Слепая оценка ответов ИИ в этой статье означает узкую процедуру: проверяющий сначала читает ответ под нейтральным кодом, а сведения о его происхождении получает после сохранения своей оценки. Предлагаем собрать такой учебный пакет, не меняя содержание ответов и не теряя связь с оригиналами. Результат — комплект карточек, отдельный ключ соответствий и запись о раскрытии, а не рейтинг моделей.
Зачем отделять ответ от названия модели?
Представьте занятие: участникам дали два текста и сразу сообщили, какой из них подготовлен выбранным руководителем инструментом. Мы предлагаем другой порядок выдачи материалов — сначала текст и критерий, затем сведения об источнике. Здесь не исследуется влияние бренда на решения людей. Статья показывает устройство пакета, позволяющего отложить раскрытие заранее выбранных сведений.
Скрыть название недостаточно, чтобы объявить оценку объективной.
Проверяющий может узнать текст, участвовать в его подготовке или увидеть самоназвание внутри ответа. Ведомость должна сохранять такие ограничения. Само наличие кодов не доказывает ни отсутствие предвзятости, ни превосходство одной модели. Для вывода об эффекте процедуры потребовалось бы отдельное исследование; у нашего упражнения такой цели нет.
В независимой оценке ИИ обсуждаются роль и полномочия оценщика. Здесь они уже определены. Наш предмет — выдаваемые ему материалы: что он видит до оценки, какие сведения остаются у хранителя ключа и как восстановить происхождение после раскрытия. Независимый специалист может получить открытые названия; участник с закодированными карточками не становится независимым автоматически.
Факт. MEASURE 2.1 NIST AI RMF Playbook предусматривает документирование тестовых наборов, метрик и сведений об инструментах проверки. Это основание сохранять описание материалов и условий оценки. Нейтральные коды, ключ соответствий и порядок раскрытия ниже — редакционный учебный шаблон, а не предписанная NIST методика слепого испытания.
AI RMF и Playbook предназначены для добровольного применения. FAQ NIST также подтверждает добровольный статус рамки. Не представляйте заполненный пакет как сертификат, требование российского права или разрешение использовать систему в рабочем процессе.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
Согласуйте, какие сведения откладываются
В паспорте пакета укажите один конкретный вопрос. Например: «Сохраняет ли каждый текст требование подтвердить адрес до отправки учебной посылки?» Проверяющему нужны исходная инструкция и критерий, иначе он будет угадывать ожидаемый результат. Откладываемые сведения в нашем варианте — обозначение источника ответа и номер исходного файла у организатора.
Паспорт описывает именно эту границу.
Не называйте её полной анонимностью: содержательные признаки текста остаются видимыми. Также не обещайте, что участник не сможет догадаться об источнике. Запишите, какие сведения организатор намеренно не выдаёт до сохранения оценки, и отдельно — какие подсказки всё же обнаружены.
Для учебного комплекта предлагаем три роли. Составитель сохраняет исходные материалы и готовит карточки. Хранитель ключа контролирует таблицу соответствий и момент её выдачи; в маленькой группе эту роль может выполнять составитель. Проверяющий получает карточки, инструкцию и рубрику, но не ключ. Имена людей для тренировки не нужны — достаточно этих ролей.
Правила работы с реальными документами организация определяет отдельно. Смена имени файла не разрешает загружать закрытые материалы в любой сервис. Для занятия ниже используются только вымышленные тексты и вымышленные источники, поэтому не требуется заимствовать переписку сотрудников или сведения о клиентах.
Сохраните оригинал до подготовки карточки
Каждый полный ответ получает постоянный внутренний идентификатор. Сохраните его вместе с заданием, исходной инструкцией и доступными сведениями о получении. Если название сервиса или версия неизвестны, так и напишите. Не восстанавливайте происхождение по уверенности тона или характерной пунктуации.
Такая догадка не заполняет ключ.
Затем создайте копию для выдачи. В нашем простом варианте содержание ответа переносится без исправлений; меняются только имя файла и внешняя подпись. Редактура опечатки, сокращение пояснения или удаление неудобной фразы уже изменяют объект оценки. Если такая обработка необходима, обозначьте новую редакцию и перестаньте называть её дословной копией исходного ответа.
Контрольная сумма помогает проверить совпадение сохранённых байтов. Она не устанавливает, какая модель создала текст, и не доказывает подлинность сведений о происхождении. Для маленького занятия достаточно ручной сверки полного текста, если результат этой сверки записан. Автоматический способ выбирайте только тогда, когда участники понимают, что именно сравнивается.
Оригинал нужен и после раскрытия.
Предположим, коллега спрашивает, не исчезло ли при переносе исключение. Составитель должен показать исходный ответ и выданную карточку, а не уверять, что «ничего существенного не менял». Если полная копия не сохранилась, оставьте этот вопрос открытым. Нельзя подтвердить тождество по одному заголовку файла.
Как устроить коды и отдельный ключ?
Код карточки должен однозначно находить одну выданную редакцию внутри пакета. Для нашего упражнения используем К-7 и К-2; числа не обозначают качество, модель или очередность получения. Такой выбор иллюстрирует отсутствие смыслового ранга, но не является процедурой случайного распределения.
В ключе свяжите код с внутренним идентификатором оригинала, версией копии и основанием соответствия. Не кладите таблицу на вторую страницу того же файла, который отправляется проверяющему. Отдельно проверьте имена вложений, подписи и свойства документа: если там осталось обозначение источника, заявленная граница выдачи не соблюдена.
| Запись | Видит проверяющий сначала | Остаётся у хранителя до раскрытия |
|---|---|---|
| Общая инструкция И-9 | Полный текст и версия | Та же версия в архиве пакета |
| Карточка К-7 | Код и полный ответ | Связь с оригиналом О-42 и источником «Мастерская» |
| Карточка К-2 | Код и полный ответ | Связь с оригиналом О-13 и источником «Лаборатория» |
| Рубрика Р-9 | Вопрос и правило отметки | Та же редакция, без скрытого дополнительного критерия |
| Ключ С-9 | Не выдаётся на первом этапе | Обе связи, проверка копий и запись о выдаче ключа |
Названия «Мастерская» и «Лаборатория» вымышлены. Это условные источники учебных ответов, не настоящие продукты и не организации, чьи результаты сравниваются. Таблица целиком показана читателю как руководство для ведущего; в самом занятии её правая колонка не входит в первоначальный пакет участника.
Если одному проверяющему выдают карточки в порядке К-7, К-2, зафиксируйте этот порядок. Если другой получает их иначе, сохраните вторую последовательность отдельно. Статья не устанавливает, какой порядок статистически предпочтителен, и не выдаёт перестановку двух файлов за устранение эффекта порядка.
Учебный комплект: два текста и закрытый ключ
Все обозначения, ответы и сведения о происхождении далее придуманы для упражнения. Это не реальные запуски ИИ и не опыт клиента AURMIND. Цель группы — правильно собрать пакет и раскрыть соответствия после записи оценок. По двум синтетическим текстам нельзя ранжировать инструменты.
И-9, инструкция: «Отправляйте учебную посылку только после подтверждения адреса получателем. Если подтверждения нет, сохраните посылку на складе и запросите подтверждение. Срок отправки в инструкции не установлен».
Р-9, рубрика: «Отметьте, сохранён ли запрет отправки до подтверждения адреса. “Да” — текст требует подтверждения до отправки и оставляет посылку на складе при его отсутствии. “Нет” — хотя бы одна из этих связей утрачена. Если полный текст недоступен, отметка “недостаточно данных” с указанием пробела». Других требований к стилю или длине в Р-9 нет.
К-7: «Получите подтверждение адреса от получателя, затем отправьте учебную посылку. Пока подтверждения нет, посылка остаётся на складе: запросите подтверждение».
К-2: «Отправьте учебную посылку и запросите у получателя подтверждение адреса».
Проверяющий видит только эти четыре материала и идентификатор пакета П-9. Для него составитель не добавляет подписи «новая модель», «платный сервис» или «ответ эксперта». Исходники и ключ не выдаются. Ведущий просит записать отметку по каждой карточке и фразу, на которой она основана.
В руководстве ведущего отдельно задан С-9: К-7 является дословной копией О-42 из условного источника «Мастерская», К-2 — дословной копией О-13 из «Лаборатории». Это вводная сценария, а не установленное по стилю происхождение. Оригиналы О-42 и О-13 содержат ровно тексты соответствующих карточек выше; их копии не сокращались.
Получаем ожидаемый учебный разбор: К-7 — «да» по Р-9; К-2 — «нет», поскольку разрешает отправку без предварительного подтверждения и не сохраняет ожидание на складе. Вывод относится к двум данным текстам и конкретной рубрике. Он не доказывает превосходство «Мастерской», даже внутри вымышленного мира: других заданий или ответов в комплекте нет.
Ключ не нужен для этой содержательной отметки.
Он нужен для следующего действия — восстановить происхождение после сохранения оценки. Ведущий сначала получает отдельные записи по К-7 и К-2, затем выдаёт С-9 и отмечает событие раскрытия. После этого участники дополняют указатель связями К-7 → О-42 и К-2 → О-13. Первоначальные отметки остаются привязаны к карточкам и Р-9; их не переписывают под названия источников.
Что делать, если происхождение стало видно раньше?
Рассмотрим отдельное продолжение, которого нет в основном П-9. Проверяющий сообщает: «Я видел О-42 вчера и узнал его в К-7». В записи укажите эту фразу, карточку и момент сообщения относительно сохранения оценки. Не стирайте признание ради отметки «слепая проверка проведена».
Узнавание — ограничение заявленного порядка, а не доказательство того, что оценка неправильна. Организатор решает, использовать ли запись как открытую оценку или подготовить другой материал для следующего занятия. Нельзя задним числом сделать прочитанный текст неизвестным человеку.
В другом отдельном случае ответ сам называет сервис. Удаление самоназвания изменит текст, поэтому сначала уточните цель. Если важно оценить исходный ответ целиком, сохраните фразу и отметьте, что источник раскрывается содержанием. Если нужна специально обработанная учебная версия, создайте её как новый объект, опишите удалённый фрагмент и не смешивайте её результат с оценкой полного оригинала.
Отложенная выдача названия и обезличивание персональных данных — разные задачи. Наш ключ кодирует происхождение ответа для занятия. Он не устанавливает правовой статус данных и не решает вопрос допуска документов к внешней обработке.
Можно ли поручить подготовку нейросети?
Для синтетического комплекта можно запросить черновик указателя. Не передавайте помощнику право незаметно улучшать ответы. Предлагаемое задание ограничивает преобразование и требует показать, какие элементы останутся вне первоначальной выдачи. Человек всё равно сверяет каждый текст и каждую связь.
По учебным И-9, Р-9, О-42 и О-13 подготовь проект пакета П-9. Перенеси О-42 в К-7, О-13 в К-2 дословно. В первоначальную выдачу включи И-9, Р-9 и обе карточки; сведения об условных источниках оставь в отдельном ключе С-9. Не исправляй ответы, не добавляй скрытый критерий и не оценивай модели. Отдельно перечисли, где в именах, подписях или содержании может раскрыться происхождение. Не утверждай, что участник ничего не знает об источниках.
Проверьте выход по трём вопросам: полный ли текст перенесён; не перепутаны ли соответствия; не попал ли ключ в файл для участника. Если помощник назвал К-7 «лучшим ответом Мастерской», первоначальная выдача содержит и происхождение, и подсказку оценки. Верните нейтральный код и удалите добавленную подсказку из проекта пакета, сохранив оригинал без изменений.
Если помощник переформулировал К-2 так, что посылка теперь ожидает подтверждения, он исправил учебную ошибку вместо подготовки копии. Верните текст О-13. Иначе группа будет оценивать новый ответ, а ключ продолжит вести к старому. Исправленный вариант можно сохранить для другого упражнения под новым обозначением.
При разногласиях оценщиков понадобится отдельный разбор оснований. Наличие кода не решает спор о применении Р-9.
При нескольких попытках получения ответа пригодится журнал повторных запусков: каждый оригинал должен найти свою карточку, а не исчезнуть после выбора удобного текста.
Когда пакет готов к выдаче?
Предложите коллеге проверить комплект со стороны участника. Он должен найти инструкцию, полную карточку и одинаковую для всех рубрику. В его выдаче не должно быть сведений, которые паспорт обещал отложить. Отдельно хранитель по ключу находит оригиналы и проверяет, что связи не ведут к черновикам другой редакции.
Мнение редакции. Для первого занятия полезнее две короткие карточки и прозрачный ключ, чем десятки файлов с неясной историей. Такое ограничение помогает обсудить устройство передачи материалов. Это предпочтение для обучения, а не достаточный размер выборки для оценки модели.
В завершении сохраните версию пакета, состав первой выдачи, исходные отметки, ключ и запись о его раскрытии. Если кто-то получил сведения раньше, укажите ограничение рядом с его оценкой. Готовность пакета означает только возможность восстановить ход учебной процедуры. Она не подтверждает объективность проверяющего, надёжность инструмента или пригодность ответа к реальной отправке.
Для корпоративного занятия по проверке ответов ИИ опишите задачу команды и желаемый учебный результат. Для обсуждения достаточно синтетического примера; порядок передачи рабочих материалов согласуйте отдельно.
Частые вопросы
Коды гарантируют беспристрастную оценку?
Нет. В нашем шаблоне они откладывают выдачу определённых сведений. Узнавание текста, предыдущая работа с ним и другие ограничения остаются возможными. Эффект процедуры здесь не измеряется, поэтому обещать устранение предвзятости нельзя.
Нужно ли менять порядок карточек?
Если меняете, сохраните фактическую последовательность для каждого участника. Наше упражнение не задаёт статистического плана распределения и не устанавливает преимуществ конкретного порядка. К-7 и К-2 — идентификаторы, а не ранги.
Можно ли исправить опечатку в ответе?
Для дословной копии — сначала сохраните оригинал. Исправленная редакция становится отдельным объектом с описанием изменения. Не выдавайте её за тот же неизменённый ответ; критерии допустимой обработки нужно согласовать до оценки.
Когда раскрывать ключ?
В предлагаемом занятии — после сохранения исходных отметок и оснований по всем выданным карточкам. Это выбранное учебное правило, а не универсальная норма. Если раскрытие произошло раньше, зафиксируйте событие и ограничение.
Источники
- NIST AI RMF Playbook: MEASURE — MEASURE 2.1 о документации материалов и инструментов оценки. Процедура кодирования предложена редакцией.
- NIST AI RMF Playbook — добровольное применение и характер рекомендаций ресурса.
- NIST AI Risk Management Framework FAQs — добровольный статус рамки; источник не устанавливает форму нашего пакета.
