Проверка эталонных ответов ИИ начинается с исходного материала, а не с совпадения ответа модели с ключом. Если в ключе потеряно исключение, верный ответ может получить отрицательную отметку. Ниже — учебный разбор такого дефекта: как доказать ошибку эталона, выпустить исправленную редакцию и найти оценки, которые нужно рассмотреть заново.
Что именно проверяем?
Эталон здесь — заранее подготовленное ожидаемое содержание ответа для конкретного задания. Это не заявление о безошибочности документа. Для проверки нужны само задание, разрешённые входные материалы, правило оценивания и версия ключа.
Одного столбца «правильный ответ» недостаточно: нужно понять, откуда взялось его значение.
Этот текст помогает ведущему корпоративного занятия подготовить карточку дефекта эталона. На выходе будут основание исправления, новая версия ключа и список связанных оценок для отдельной сверки. Мы не выбираем лучшую модель, не проектируем весь эксперимент и не диагностируем навыки сотрудников.
В тестировании ИИ на рабочих примерах описан общий порядок испытаний. Здесь предмет уже: проверка опорного ответа внутри готового комплекта. А в разборе разногласий оценщиков исходная рубрика допускает два толкования. В нашем основном примере правило однозначно, но ключ ему противоречит.
Для обнаружения дефекта не требуется спор двух людей.
Факт. Раздел MEASURE 2.1 NIST AI RMF Playbook предусматривает документирование тестовых наборов, метрик и сведений об инструментах проверки. Используем это как основание сохранять материалы оценки. Карточка дефекта, обозначения версий и порядок исправления ниже — редакционный учебный шаблон AURMIND, а не утверждённая форма NIST. AI RMF и Playbook предназначены для добровольного применения; добровольность рамки также поясняет FAQ NIST.
Все задания, названия комнат, документы и отметки в статье вымышлены. Это полностью заданный пример для чтения, без реальных запусков модели и без результатов работы клиента. Для занятия не нужны закрытые документы организации.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
Соберите комплект до просмотра отметок
Сохраните неизменённые материалы и обозначьте их версии. В нашем шаблоне нужны идентификатор задания, полный текст исходника, правило оценивания, ключ и записи прежних оценок. Если ответ модели уже есть, сохраните и его.
Не заменяйте его удачной исправленной редакцией: иначе будет непонятно, что именно оценивали раньше.
Разделите две проверки. Первая устанавливает, какой ответ следует из задания и разрешённого исходника. Вторая выясняет, совпадает ли с ним ключ. Попытка сразу «улучшить эталон» по ответу помощника меняет направление проверки: убедительный ответ начинает служить собственным основанием.
Мнение. Для учебной сверки предлагаем сначала закрыть столбец ключа и самостоятельно выписать ожидаемое содержание с указанием фрагмента. После этого открыть ключ и сравнить записи. Это учебный приём, который делает расхождение видимым; он не гарантирует независимости или отсутствия ошибок у проверяющего.
Не восстанавливайте недостающую версию по памяти. Если известно только имя файла, а его содержимое менялось, пометьте пробел. Можно сверить текущий ключ с текущим исходником, но нельзя без дополнительных записей заявлять, что именно этот комплект использовали в прежней серии.
Важен и текст задания. Требование «назовите комнату» и просьба «перечислите все помещения» предполагают разный результат. Даже правильное значение не отвечает на вопрос о полноте, пока не прочитано задание. Сохраните инструкции рядом с источником, а не в отдельной переписке, доступной только составителю.
| Материал | Что сохраняем | Какой вопрос он разрешает |
|---|---|---|
| Задание З-4 | Полный текст и обозначение редакции | Какое содержание требуется извлечь? |
| Исходник И-4 | Полный учебный фрагмент | На каком основании получено значение? |
| Правило Р-4 | Проверяемое поле и допустимые формы записи | Что считается выполнением задания? |
| Ключ К-1 | Ожидаемое значение для каждого случая | Что фактически использовал проверяющий? |
| Ответы О-А, О-Б | Исходные сохранённые тексты | Какой объект получил каждую отметку? |
| Оценки Е-А, Е-Б | Ссылки на ответ, ключ и правило | Какие записи могут зависеть от дефекта? |
Эта таблица описывает наш комплект, а не обязательную корпоративную систему документооборота. В организации состав полей и доступ определяют отдельно. Если данные нельзя передавать выбранному сервису, наличие карточки не меняет этого ограничения.
Учебный пример: исключение есть в исходнике, но отсутствует в ключе
Зададим комплект полностью. И-4, версия 1: «Для учебного расписания обычная комната — “Кедр”. Утренние занятия проходят в обычной комнате. Вечерние занятия проходят в комнате “Лён”; это исключение из общего размещения. Других правил выбора комнаты в этом фрагменте нет».
З-4: «Для каждой карточки назови одну комнату занятия по И-4. Учитывай указанное исключение. Не добавляй сведения из других документов». Карточка А: утреннее занятие. Карточка Б: вечернее занятие. Их время суток явно задано; определять его по часам не требуется.
Р-4, версия 1: «Значение комнаты соответствует И-4 для условий карточки, включая исключение. Различия внешних кавычек и пробелов не влияют на отметку. Другое название комнаты не принимается». В этом упражнении не оцениваются стиль, скорость, стоимость или полнота объяснения: нужен один извлечённый атрибут.
Составитель сохранил К-1: для А — «Кедр», для Б — «Кедр». Это дефектный ключ. Он приведён намеренно, чтобы разобрать его проверку; копировать его в учебную форму как правильный нельзя.
Дополнительные вводные: О-А содержит «Кедр», О-Б содержит «Лён». Условный проверяющий сравнил значения с К-1 и записал Е-А «принято», Е-Б «не принято». Обе записи прямо ссылаются на Р-4 и К-1. Так задана история упражнения; это не отчёт о действительном помощнике.
| Случай | Условие карточки | Основание в И-4 | Ожидаемое по исходнику | Запись К-1 |
|---|---|---|---|---|
| А | Утро | Утренние занятия — в обычной комнате | Кедр | Кедр |
| Б | Вечер | Вечерние занятия — в комнате «Лён» | Лён | Кедр |
В строке Б расхождение доказано двумя фрагментами: карточка задаёт вечер, исходник задаёт для вечера «Лён». Не нужно предполагать, какую комнату обычно предпочитают сотрудники.
Внутри этого примера таких сведений нет и они не требуются.
Проверка А важна не меньше. Там ключ соответствует исходнику. Один найденный дефект не делает остальные строки автоматически неверными. Отдельная сверка позволяет ограничить исправление конкретной записью и не уничтожать пригодную часть комплекта.
Отличите дефект ключа от пробела исходника
Для нашего Б исходных сведений достаточно, а правило прямо требует учитывать исключение. Поэтому можно записать «ключ не соответствует исходнику».
Это сильнее замечания «ответ кажется странным»: указано точное противоречие и значение, которое следует из комплекта.
Но такая запись подходит не всегда.
Добавим отдельный случай В: «занятие, время суток не указано». Других сведений о нём нет. Из И-4 нельзя установить, относится ли В к утреннему или вечернему размещению. В нашей проверке результат для В — «недостаточно условий для выбора комнаты». Это отдельная учебная задача, отсутствующая в исходной серии А/Б; мы не включаем её в прежний знаменатель.
Если кто-то допишет для В «Кедр», он применит общее правило без установленного основания исключить вечернее условие. Если допишет «Лён», он выдумает вечер.
Обе версии требуют сведений, которых карточка не содержит. Исправление здесь начинается с задания или с явно согласованного правила работы с неопределённостью, а не с угадывания комнаты.
Ещё один вариант — исходник с двумя несогласованными указаниями для одного случая. Если ни приоритет, ни применимая редакция не установлены, уверенный ключ не устраняет противоречие. В карточке дефекта назовите оба места и оставьте вопрос владельцу материала. Не выбирайте удобный пункт только ради завершённого теста.
| Наблюдение при сверке | Что можно записать | Чего нельзя заключать |
|---|---|---|
| Правило ясно, ключ указывает другую комнату | Дефект значения ключа для заданного случая | Все ответы модели неверны |
| Карточка не содержит нужного условия | Ожидаемое значение пока не установлено | Неполная карточка подтверждает значение по умолчанию |
| Источник содержит неразрешённое противоречие | Требуется уточнение применимого правила | Красивое объяснение выбирает правильную версию |
| Ключ и ответ различаются только внешними кавычками | Применяем разрешённое Р-4 различие формы | Любые различия названий можно игнорировать |
Последняя строка относится только к явно заданному Р-4. Она не предлагает автоматически убирать все знаки из рабочих идентификаторов или названий. В другом задании форма записи может быть существенной. Граница нормализации должна быть известна до выставления отметки.
Запишите исправление так, чтобы его можно было проверить
Сохраните К-1 вместе с замечанием. Создайте К-2, в котором А остаётся «Кедр», а Б становится «Лён». В карточке изменения укажите: исправлена строка Б; основание — вечернее условие карточки Б и фраза об исключении в И-4; задание З-4 и правило Р-4 не менялись.
Слова «ошибка исправлена» не заменяют такого описания. Получатель должен увидеть, что поменялось и почему. Если одновременно переписать исходник, задание, правило и ключ, исчезнет возможность проверить, была ли исходная отметка следствием дефекта К-1 или результатом совершенно новой задачи.
Предлагаем следующие поля карточки Д-4. Названия редакционные; используйте их как заготовку для упражнения.
| Поле | Запись для нашего примера |
|---|---|
| Дефектная запись | К-1, строка Б: «Кедр» |
| Проверяемый комплект | З-4; И-4 версия 1; Р-4 версия 1; карточка Б |
| Основание | Б задаёт вечер; И-4 назначает вечеру комнату «Лён» |
| Исправление | К-2, строка Б: «Лён» |
| Что осталось прежним | А: «Кедр»; тексты З-4, И-4 и Р-4 |
| Связанные оценки | Е-Б ссылается на Б/К-1; Е-А проверена отдельно |
| Ограничение | Не установлена работа какой-либо реальной модели |
Не исправляйте старую оценку простым стиранием слова «нет». Новая запись должна ссылаться на ту же сохранённую О-Б и на К-2. Тогда читатель увидит две разные операции: прежнее сравнение по дефектному ключу и новую сверку по исправленному. Ответ помощника между этими операциями не изменялся.
Изменение ожидаемого содержания и изменение допустимой формы тоже стоит развести. Если вы разрешили дополнительные синонимы, это новая редакция правила оценивания. В нашем Б синонимы не нужны: «Кедр» и «Лён» обозначают разные комнаты, а Р-4 требует правильного значения. Нельзя скрыть смысловое исправление под технической нормализацией.
Найдите зависимые оценки, прежде чем менять итог
Начните с записей, которые ссылаются на дефектную строку. В условном журнале Е-Б относится к карточке Б, ответу О-Б и К-1. Она входит в список для повторной сверки. Е-А относится к А; её ключ уже проверен и совпадает с И-4.
Эти основания позволяют рассматривать записи отдельно.
Если журнал хранит только общий итог, точная зависимость может оказаться неустановленной. Запишите, каких материалов не хватает: перечня заданий, ответов, версии ключа или связей между ними. Не называйте все прежние отрицательные отметки ошибочными только потому, что найден один дефект эталона.
В нашем полностью заданном комплекте пересверка возможна. О-Б содержит «Лён» и соответствует К-2/Р-4. Новая запись Е-Б-2 получает «принято». Для О-А результат остаётся прежним. В исходном журнале было одно принятие из двух; после исправления ключа по тем же двум ответам — два из двух.
Это арифметика вымышленного упражнения, а не процент качества настоящей системы.
Ответы не улучшились: они остались теми же.
Изменилось основание их оценки. Поэтому фраза «после исправления модель стала лучше» противоречит вводным. Так же неверно считать, что обнаруженный дефект автоматически оправдывает любой отвергнутый ответ. Если бы О-Б содержал третью комнату, исправление ключа на «Лён» не сделало бы эту третью комнату правильной.
Сохраните два итога с разными основаниями. Для старого укажите К-1 и наличие дефекта; для нового — К-2, те же ответы и выполненную повторную сверку. Если показываете их рядом, подпишите причину изменения. Отдельный читатель не должен принять эту пару за сравнение двух версий помощника.
Число затронутых оценок не выводят из самого факта ошибки.
Как поручить ИИ черновик сверки?
Предлагаем использовать помощника для составления таблицы «условие — фрагмент — ожидаемое значение — запись ключа». Человек затем проверяет каждую связь по разрешённым материалам. Это вариант организации задания; мы не утверждаем, что любая модель выполнит сверку без ошибок или заменит предметного проверяющего.
Для учебного комплекта можно дать такой запрос:
Проверь ключ К-1 по З-4, И-4, Р-4 и карточкам А/Б. Сначала для каждой карточки выпиши условие и точный фрагмент И-4, затем ожидаемую комнату. Только после этого сравни с К-1. Не используй ответы О-А/О-Б как доказательство правильности ключа. Раздели дефект ключа, нехватку условий и допустимое отличие формы. Предложи К-2 с перечнем изменённых строк. Не исправляй старые оценки; выпиши их связи для отдельной сверки. Если материала недостаточно, назови пробел.
Передайте весь комплект, который назван в запросе. Если удалить из И-4 фразу о вечере, помощник не получит основания для «Лён». Правдоподобная догадка после такого удаления не будет проверкой по исходнику. Это полезная дополнительная демонстрация: убирая основание, ведущий должен ожидать указания на пробел, а не прежнего уверенного значения.
Проверьте ответ помощника по содержанию. Он может правильно назвать дефект Б, но неверно объяснить А: например, сослаться на исключение для вечерних занятий.
Правильное итоговое значение с неподходящим основанием ещё не даёт готовую карточку. В ней должны быть проверяемы и значение, и связь с условием.
Вторая возможная ошибка — помощник переписывает К-1 поверх старого и объявляет историю очищенной. Верните требование сохранить первоначальную редакцию и создать отдельную К-2.
Третья — он пересчитывает весь архив, хотя получил только две записи. Ограничьте вывод А/Б; для остальных попросите перечень недостающих связей.
Не просите «подтверди правильность эталона». Такая формулировка заранее подсказывает желаемое решение. Задайте проверку соответствия с возможностью обнаружить дефект или недостаток данных. Это редакционная рекомендация к нашему упражнению, а не измеренный способ повысить точность модели.
Что выдать участникам занятия и что оставить ведущему?
Начальный пакет содержит З-4, И-4, Р-4, карточки А/Б и дефектный К-1. Попросите участников независимо составить ожидаемые значения и отметить расхождения. Историю Е-А/Е-Б выдайте следующим шагом: тогда предметом первого прохода будет корректность ключа, а не защита уже выставленной отметки.
Это порядок учебного обсуждения, а не научно проверенная методика контроля предвзятости. Он просто разделяет два вопроса, которые участники должны разобрать в явном виде. На первом шаге — какое значение следует из источника, на втором — какие записи зависят от неверного ключа.
Ключ ведущего: для А верно «Кедр», для Б — «Лён». Дефект К-1 находится только в Б. Р-4 прямо охватывает исключение, поэтому в данном комплекте не нужно придумывать новую рубрику. К-2 сохраняет А и меняет Б. О-Б не меняется; отдельно появляется Е-Б-2 по К-2. Упражнение не доказывает улучшение модели.
После основного разбора выдайте карточку В без времени суток. Участники должны назвать недостаток условия, а не механически распространить найденное исключение на всё подряд. Не добавляйте В к прежним двум оценкам: это другой этап занятия с отдельным вопросом. Так ведущий проверит понятность границы между исправимым дефектом и неустановленным ожидаемым значением.
Готовую работу предлагаем обсуждать по наблюдаемым признакам: найдено ли основание Б, сохранена ли К-1, точно ли описана К-2, отделены ли старые оценки от новых и ограничен ли вывод известными записями. Это обратная связь по выполненному заданию. Она не превращается в вывод о профессиональной пригодности человека или надёжности помощника на будущих задачах.
Для обсуждения корпоративного обучения команды проверке материалов ИИ опишите, какие задания сотрудники готовят и кто отвечает за их содержание. На первом разговоре достаточно обезличенного описания процесса. Передачу реальных ключей и исходников согласуйте отдельно в разрешённом контуре.
Частые вопросы
Должен ли эталон быть дословным ответом?
Это определяется заданием и правилом оценивания. В нашем упражнении проверяется значение комнаты, а внешние кавычки и пробелы несущественны по Р-4. Для другой задачи может потребоваться точная строка либо несколько обязательных смысловых элементов. Сначала установите границу, затем сверяйте ключ.
Можно ли проверить ключ только другим ИИ?
Дополнительный ответ можно использовать как черновик замечаний. Совпадение двух ответов само по себе не показывает связь с исходником. Для карточки дефекта нужны условия задания, фрагмент-основание и проверка предлагаемого исправления человеком, который понимает материал.
Нужно ли после исправления запускать модель заново?
В примере А/Б для повторной оценки достаточно сохранённых полных ответов и известного исправления ключа. Новый запуск создаст другой объект и не заменит проверку старого. В рабочей ситуации сначала установите достаточность сохранённых материалов; вопрос о новом испытании решается отдельно.
Что делать, если правильное значение не установлено?
Зафиксируйте конкретный пробел и не выдавайте догадку за ключ. Для карточки В не хватает времени суток. При противоречии источников нужны основания выбора применимой редакции. После уточнения сохраните новые материалы и отдельно проверьте ключ по ним.
Источники
- NIST AI RMF Playbook: MEASURE — MEASURE 2.1 о документировании тестовых наборов, метрик и инструментов проверки.
- NIST AI RMF Playbook — добровольный статус ресурса; карточка Д-4 не является формой NIST.
- NIST AI Risk Management Framework FAQs — добровольность рамки и пояснения к её использованию.
