Повторные запуски ИИ полезно разбирать по сохранённым ответам на одно неизменное задание. Зафиксируйте вход, доступные настройки и каждый исходный результат, затем сопоставьте конкретные утверждения. Так можно увидеть, где изменились только слова, а где — условие или вывод. Журнал одной серии не устанавливает общую надёжность модели и не объясняет причину различий.
Какой вопрос решает журнал повторов?
Допустим, сотрудник дважды попросил помощника пересказать одну инструкцию. В первом ответе сохранилось исключение, во втором оно исчезло. Для разбора нужны оба исходных текста и условия их получения. Красивый финальный пересказ не показывает, что произошло между попытками. Предлагаем вести журнал, который сохраняет эту связь и помогает ограничить вывод наблюдаемой серией.
Полезный результат здесь — ведомость различий между ответами на один вход. В ней видны общие условия, номера попыток, точные фрагменты и основание оценки. Это более узкая задача, чем организация тестирования ИИ на рабочих примерах: мы не проектируем весь набор испытаний и не решаем, допускать ли инструмент к работе.
У журнала есть и другая граница. Несколько сохранённых ответов не доказывают, что изменение вызвано конкретной настройкой, обновлением модели или случайностью. Для причинного объяснения нужны дополнительные основания. Если интерфейс не показывает внутреннюю версию, напишите «неизвестна», а не восстанавливайте её по стилю ответа.
Факт. В MEASURE 2.1 NIST AI RMF Playbook говорится о документировании тестовых наборов, метрик и сведений об инструментах проверки. Пояснение связывает документацию с повторяемостью и согласованностью измерительного процесса. В MEASURE 2.5 среди предложенных действий есть оценка и документирование вариативности системы и определение условий её проверки.
NIST описывает AI RMF и Playbook как добровольные ресурсы. Поля журнала, категории различий и упражнение ниже предложены редакцией. Они не являются формой NIST, статистическим планом или доказательством соответствия стандарту. Мы используем первоисточник для названных принципов документирования; конкретную учебную процедуру отделяем от них.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
Что считать одним повторным запуском?
Перед серией задайте единицу наблюдения. В нашем шаблоне запуск — одна передача заранее сохранённого задания с одним комплектом входных материалов, после которой фиксируется исходный ответ либо отсутствие ответа. Повтор относится к той же версии входа. Если вы исправили запрос, добавили приложение или продолжили разговор уточнением, это уже другое условие, которое следует обозначить отдельно.
Слова «спросили то же самое» слишком неточны.
Сохраните полный текст запроса, а не его краткое название. Укажите документы и редакции, порядок передачи и доступные параметры. Для небольшой учебной серии можно хранить отдельный файл входа с постоянным обозначением. Совпадение его контрольной суммы подтверждает совпадение сохранённых байтов; оно не доказывает одинаковость скрытых условий сервиса.
Если интерфейс позволяет выбирать новую беседу, заранее решите, как будете поступать во всех попытках. Вариант для нашего упражнения — каждый раз новая беседа с одинаковым предоставленным комплектом. В рабочем протоколе отдельно отметьте доступные сведения о памяти, подключённых инструментах и персональных настройках. Новая беседа сама по себе не подтверждает отсутствие всех внешних влияний.
Продолжение прежней беседы сохраните как продолжение. Например, команда «сделай короче» меняет переданное задание и использует предыдущий ответ. Её нельзя незаметно поставить рядом с первым ответом другой попытки под общим заголовком «одинаковые условия». Она может быть полезна для другой цели — разбора процесса исправления.
Не обещайте полную воспроизводимость там, где условия известны частично.
Запись «одинаковый сохранённый вход, одинаковые видимые настройки; внутренняя версия и серверные условия неизвестны» точнее категоричного «всё одинаково». Ограничение относится к заключению, а не делает сам журнал бесполезным.
Какие поля сохранить до сравнения?
Сначала отделите описание серии от записи отдельной попытки. В общей части находятся назначение, версия входа и выбранный порядок запуска. В строке попытки — время, доступное обозначение инструмента, ссылка на исходный ответ и отклонения от порядка. Тогда изменение условия будет видно до чтения содержания.
| Поле | Что записать | Зачем это нужно в нашем журнале |
|---|---|---|
| Вход | Полный запрос и версии приложений | Проверить, к одному ли заданию относятся ответы |
| Порядок | Новая беседа либо заданная история | Не смешивать первый ответ с продолжением |
| Инструмент | Название интерфейса и видимое обозначение модели | Сохранить наблюдаемое, отдельно назвать неизвестное |
| Параметры | Значения, доступные исполнителю | Увидеть намеренное изменение условий |
| Попытка | Идентификатор, время, исходный ответ | Вернуться к полному тексту без пересказа |
| Отклонение | Нет ответа, потеря приложения, ручное изменение | Не скрыть неудачную попытку при отборе |
| Сверка | Фрагмент ответа, критерий, основание | Отличить наблюдение от оценки и гипотезы |
Записывайте только реально доступные сведения. Если сервис не раскрывает параметр, оставьте соответствующий пробел с пояснением. Придуманное значение создаёт видимость контроля, которого не было. Из внешнего вида ответа нельзя получить достоверную внутреннюю конфигурацию.
Храните исходник до редакторской правки.
Для сравнения удобно сделать копию с выделенными фрагментами, но она должна ссылаться на неизменённый ответ. Иначе исчезнувшее условие можно случайно восстановить руками и затем оценить исправление как исходный результат помощника.
Отказ или отсутствие результата тоже требуют записи.
В нашем шаблоне это отдельный исход попытки, а не повод удалить строку. Если ответа нет, содержательное сравнение для неё не выполняется. При этом запланированная попытка не превращается в несуществовавшую. Причину отсутствия указывайте только по доступным данным.
До начала назначьте границу серии: какие попытки будут выполнены и при каком событии работа прекращается. Число зависит от цели конкретной проверки; универсального количества здесь нет. Правило «повторять, пока не понравится» создаёт иной процесс — отбор удачного ответа, который следует прямо описывать. Его итог нельзя представить как первый ответ инструмента.
Учебный комплект: один вход и три ответа
Все правила, ответы и обозначения далее вымышлены для занятия. Это не результаты реальных запусков, не кейс клиента и не показатели AURMIND. Три попытки выбраны только для компактного упражнения, а не как достаточный объём проверки. Ведущий выдаёт участникам весь комплект сразу.
Вход В-1. Исходная инструкция: «Передайте обращение координатору после получения описания и приложения. Если приложения нет, оставьте обращение у исполнителя и запросите приложение». Задание помощнику: «Кратко перескажи порядок передачи, сохрани условие и действие при отсутствии приложения. Не добавляй сроки». Других документов и сообщений в комплекте нет.
Вводная ведущего устанавливает для П-1, П-2 и П-3 один и тот же В-1 и одинаковые видимые условия. Каждая попытка начинается в новой беседе. Сведения о внутренних условиях отсутствуют. Это условие вымышленного упражнения; журнал реальной серии потребовал бы фактических записей, а не такой вводной.
Ответ П-1: «Передайте обращение координатору, когда получены описание и приложение. Пока приложения нет, оставьте обращение у исполнителя и запросите недостающий файл».
Ответ П-2: «Получите описание и приложение, затем передайте обращение координатору. При отсутствии приложения обращение остаётся у исполнителя: запросите приложение».
Ответ П-3: «После получения описания передайте обращение координатору. Приложение можно запросить позже».
Вопрос группе: что именно различается и какой вывод допускает комплект? Не нужно угадывать модель или объяснять её внутреннюю работу. Участникам достаточно сопоставить три полных ответа с двумя предложениями В-1 и требованиями задания.
| Проверяемое содержание | П-1 | П-2 | П-3 |
|---|---|---|---|
| Передача после описания и приложения | Сохранено | Сохранено | Требование приложения до передачи утрачено |
| При отсутствии приложения обращение остаётся у исполнителя | Сохранено | Сохранено | Не сохранено; предложена передача после описания |
| Запрос недостающего приложения | Есть до передачи | Есть при отсутствии, передача после получения | Запрос перенесён на время после передачи |
| Новые сроки | Не добавлены | Не добавлены | Не добавлены |
П-1 и П-2 различаются формулировками и порядком предложений, но сохраняют заданные условия и действия. П-3 меняет содержание: позволяет передать обращение до получения приложения. Отсутствие добавленного срока не устраняет это нарушение. Таблица проверяет отдельные требования, чтобы одно совпадение не заслонило другое различие.
Из трёх ответов нельзя вывести причину изменения.
Корректная запись для этого учебного комплекта: «При одном заданном входе в П-1 и П-2 условия сохранены, в П-3 условие получения приложения до передачи утрачено. Наблюдается различие содержания внутри вымышленной серии. Причина не установлена; вывод на другие задания не переносится». Она фиксирует ровно то, что читатель может проверить по текстам.
Не заменяйте её фразой «модель ошибается в каждом третьем случае».
Вводные не описывают поток будущих задач, механизм получения ответов или статистический план. Даже для реальной небольшой серии простая доля описывала бы наблюдённые попытки по выбранному правилу, а не автоматически частоту будущих ошибок. Здесь же вообще нет фактических запусков.
Как различать слова, содержание и условия?
Предлагаем заполнять три отдельных поля: наблюдаемое различие, основание его оценки и граница сравнения. Для П-1/П-2 наблюдение — иная формулировка действия. Основание — оба текста сохраняют получение двух материалов до передачи и действие при отсутствии приложения. Граница — заданный В-1; другие возможные инструкции не проверяются.
У пары П-1/П-3 наблюдение другое: исчезла обязательность приложения до передачи. Основание видно в первом предложении В-1. Не нужно объявлять весь П-3 бессмысленным: в нём по-прежнему есть координатор и запрос приложения, но связь между действиями изменена. Точность записи помогает коллеге проверить вывод без доверия к общей оценке.
Третью категорию оставьте для различия условий. Например, если вне основного упражнения появилась П-4 с добавленной командой «не описывай исключения», она уже не относится к серии неизменного В-1. Можно сохранить её рядом как отдельное условие. Нельзя использовать П-4 для вывода о различиях при одном и том же задании.
Если часть ответа недоступна, не достраивайте её.
Запись «по сохранённому фрагменту неясно, было ли исключение» отличается от «исключение отсутствует в полном ответе». Во втором случае проверяющий должен действительно иметь весь текст. Утрата записи — пробел доказательства, который нельзя закрыть впечатлением участника.
Похожая осторожность нужна с объяснением причины.
«Условия неизвестны» не означает «их изменение доказано». «Вход совпадает» не означает «внутренние условия одинаковы». Два таких вывода противоположны по форме, но оба выходят за пределы сохранённых данных. В журнале полезно прямо разделить установленные обстоятельства и гипотезы для будущей проверки.
Можно ли поручить сравнение нейросети?
Для разрешённого учебного комплекта можно попросить помощника подготовить черновую ведомость. Это предлагаемый способ организации занятия, а не заявление о точности такого сравнения. Человек сверяет каждую строку с исходными текстами и сохраняет исправления отдельно. Автоматическая разметка не становится основанием сама для себя.
Пример задания:
Сопоставь В-1 и полные ответы П-1, П-2, П-3. Для каждого требования выпиши точный фрагмент ответа и основание из В-1. Раздели изменение слов и изменение условия. Не выбирай лучший ответ вместо разбора всех попыток. Не придумывай отсутствующие настройки, причину различий или частоту будущих ошибок. Если данных недостаточно, назови конкретный пробел. Дай черновую ведомость, исходные ответы не переписывай.
Проверьте, не слила ли модель П-1 и П-2 в одну попытку. Содержательное совпадение не отменяет двух отдельных исходных ответов в журнале. Это отличается от учёта дубликатов входных карточек: там решают вопрос о составе набора до запуска, здесь сохраняют разные события получения результата.
Другая возможная ошибка черновика — оценить П-3 как приемлемый из-за совпадения ключевых слов.
Попросите показать связь «приложение получено → передача». Если обоснование не совпадает с исходником, исправьте ведомость по В-1. Список терминов не заменяет проверку действия и условия.
Наконец, верните все попытки, если помощник оставил только удачную. Выбор П-1 может помочь подготовить учебный пересказ, но не решает задачу разбора серии. Журнал должен позволять увидеть П-3 и объяснить, почему его содержание отличается. Удаление неудобного ответа меняет доступную картину.
Как закончить разбор без лишних выводов?
Передайте ведомость человеку, который не участвовал в запуске или занятии. Пусть он найдёт вход, каждый исходный ответ и основание хотя бы одного существенного различия. Если для этого требуется устное объяснение автора, дополните указатель или сохранённый текст. Получателю нужен проверяемый документ, а не пересказ впечатлений.
Мнение редакции. Для первого занятия удобен один короткий вход с явным условием. Так участники успевают обсудить каждую связь между текстами. Сложный комплект можно взять позже, когда группа уже различает сохранение смысла, изменение входа и неизвестную причину. Это предпочтение для обучения, не норматив объёма испытаний.
Ключ ведущего: В-1 общий для трёх вымышленных попыток; П-1 и П-2 сохраняют требования разными словами; П-3 допускает передачу без приложения и потому меняет правило; добавленного срока нет во всех трёх. Внутренняя причина неизвестна. П-4 не входит в комплект и показывает только отдельный случай изменения запроса.
Заключение заканчивается перечнем нерешённых вопросов. Для реальной серии это могут быть недоступная версия сервиса, пропущенный ответ или неизвестный состав вложения. Назовите, какое свидетельство помогло бы продолжить разбор. Не выдавайте план получения сведений за уже установленное объяснение.
Если затем будете считать показатели по серии, заранее определите единицу и правило учёта всех попыток. При чтении готовых процентов пригодится отдельная ведомость сопоставимости отчётов об ИИ. Наш журнал сохраняет исходные события; он не решает автоматически вопросы статистической независимости, представительности или пригодности системы для процесса.
Для корпоративного обучения работе с ИИ опишите, какие ответы команде трудно сопоставлять. Обсудить формат занятия можно по обезличенному описанию задачи; передачу рабочих материалов согласуйте отдельно.
Частые вопросы
Нужно ли повторять до получения правильного ответа?
Это другая цель: поиск подходящего результата через несколько попыток. Если применяете такой порядок, сохраните все попытки и заранее назовите правило остановки. Не представляйте выбранный результат как единственный исходный ответ и не используйте его вместо журнала вариативности.
Два одинаковых ответа означают стабильность модели?
Они показывают совпадение в сохранённых попытках и выбранной границе сравнения. Из них не следует обещание для всех будущих заданий. В нашем учебном комплекте П-1 и П-2 совпадают по требованиям В-1, а не дословно; это различие тоже нужно назвать.
Что делать, если часть настроек не видна?
Зафиксируйте доступные сведения и явно назовите неизвестные. Не заполняйте пробел догадкой о модели или её внутренней версии. Содержательные различия ответов можно описать по текстам, сохранив ограничение на вывод о причине.
Можно ли посчитать долю ошибок по упражнению?
В нём три вымышленных текста, а не реальные наблюдения. Назвать один из трёх не соответствующим правилу можно по вводным; выдавать это за фактическую точность или частоту будущих ошибок нельзя. Для реального измерения понадобится отдельный обоснованный план и правила оценки.
Источники
- NIST AI RMF Playbook: MEASURE — MEASURE 2.1 о документации; MEASURE 2.5 об условиях проверки и документировании вариативности. Журнал и упражнение предложены редакцией.
- NIST AI RMF Playbook — добровольный статус ресурса и характер предлагаемых действий.
- NIST AI Risk Management Framework FAQs — добровольное применение рамки управления рисками.
