Правило оценки изменили, а в отчёте остался прежний итог. Можно ли подписать его новой версией критерия? Сначала нужно выяснить, какие сохранённые ответы доступны для повторного разбора и как каждому из них соответствует новая отметка. Изменение критериев оценки ИИ предлагаем сопровождать ведомостью переоценки: она сохраняет историю и показывает, что именно пересчитано.
Какой результат нужен после смены правила?
Эта статья помогает ведущему корпоративного занятия подготовить переход от одной редакции оценочного правила к другой. На входе — две уже согласованные рубрики, архив неизменённых ответов и старые отметки. На выходе — ведомость с парами старых и новых оценок, основаниями переходов и перечнем строк, которые пока нельзя переоценить. Здесь не выбирают формулировку новой рубрики и не исправляют сам ответ помощника.
В разборе разногласий оценщиков предмет работы — спор по одному ответу. Здесь спор может вообще отсутствовать: новое правило уже принято, а задача состоит в переносе оценки на весь обозначенный архив. Проверка эталонного ответа ищет дефект ключа. Мы предполагаем, что обе рубрики доступны и их статус установлен, и разбираем последствия перехода для записей отчёта.
Все примеры ниже вымышлены. Ведомость и порядок действий — редакционный учебный шаблон, а не стандарт NIST и не обязательная процедура для любой организации. Объём рабочего пересмотра определяет уполномоченный владелец оценки.
Факт. MEASURE 2.1 NIST AI RMF Playbook предусматривает документирование тестовых наборов, метрик и сведений об инструментах проверки. Это основание сохранять условия оценки; источник не устанавливает предложенные здесь статусы переоценки.
AI RMF и Playbook предназначены для добровольного применения. FAQ NIST также подтверждает добровольность рамки. Из этих документов не следует, что каждое изменение формулировки требует полного пересчёта всех когда-либо полученных ответов.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
До пересчёта зафиксируйте границы архива
Дайте комплекту обозначение и перечислите его элементы. Для упражнения достаточно номера ответа, указателя на полный текст, исходного задания, версии рубрики и старой отметки. Если отметка хранится отдельно, нужна проверяемая связь с объектом. Похожее название файла само по себе не подтверждает, что перед вами тот же ответ.
Сохраните старый отчёт отдельно.
Назначьте область пересмотра по полученному решению: например, только ответы из одного учебного комплекта. Не расширяйте её по собственной догадке до всей истории работы помощника. Если решение не определяет границу, это вопрос владельцу оценки до расчёта общего результата. В ведомости можно подготовить строки, но нельзя объявить весь архив пересчитанным.
У старого отчёта полезно записать, что именно считалось успешным, сколько объектов входило в знаменатель и какие материалы доступны. Даже точный прежний процент не восстанавливает отдельные тексты.
Если сохранились только итог и число случаев, оснований присвоить новую отметку каждому ответу пока нет.
Отдельный акт полноты выгрузки поможет восстановить комплектность материалов. Ведомость переоценки начинается после определения списка объектов; она показывает судьбу их оценок. Не превращайте пустое поле новой оценки в отрицательный результат модели.
Опишите разницу между рубриками до чтения ответов
Запишите Р1 и Р2 полностью и сохраните дату или условие применения из решения владельца. Дата подготовки ведомости не заменяет дату применения правила. Для учебного занятия роль владельца и его решение задаёт ведущий; это часть вымышленного сценария, а не полномочия автора статьи.
В отдельном поле укажите, что изменилось: проверяемый признак, порог, способ объединения условий или только пояснение. Такое описание помогает сформулировать вопрос к архиву. Но запись «правка редакционная» сама по себе не доказывает, что все оценки сохраняются. Для этого нужно основание применительно к данному комплекту.
Не просите нейросеть просто заменить Р1 на Р2 во всём документе.
Одинаковые слова в заголовке и разные условия внутри могут скрыть новую систему оценки. Полезнее поручить ей таблицу различий по двум разрешённым текстам: точная цитата до изменения, точная цитата после и вопрос проверяющему. Вывод о действии правила остаётся у человека.
Мнение. В учебной работе понятнее сначала согласовать, что означает каждая отметка, и лишь затем показывать группе старый общий результат. Иначе разговор легко уходит в защиту привычной цифры вместо чтения материалов.
Учебный архив: четыре ответа и одна утраченная запись
Задание помощнику в вымышленном комплекте одинаково для всех пяти случаев: «Выпиши из карточки название занятия и место проведения». Здесь нет реального сервиса, результатов клиента или измерения способности конкретной модели. Готовые ответы заданы автором упражнения.
Ведущий выдаёт две согласованные рубрики. Р1: «Успех — в ответе верно передано название занятия». Р2: «Успех — верно переданы и название занятия, и место проведения». По сценарию владелец учебной оценки поручил применить Р2 к пяти объектам А–Д из прежнего отчёта. Ответы менять не разрешено: мы оцениваем сохранённые тексты.
Содержание карточек и ответов дано полностью для А–Г. Для Д сохранилась только старая отметка. Это намеренный пробел в упражнении.
| Случай | Исходная карточка | Сохранённый ответ | Старая отметка Р1 |
|---|---|---|---|
| А | Занятие «Таблицы», кабинет 12 | «Таблицы, кабинет 12» | Успех |
| Б | Занятие «Письма», кабинет 14 | «Письма, кабинет 41» | Успех |
| В | Занятие «Схемы», кабинет 16 | «Схемы» | Успех |
| Г | Занятие «Источники», кабинет 18 | «Письма, кабинет 18» | Неуспех |
| Д | Карточка утрачена | Текст ответа не сохранён | Успех |
По старому отчёту было четыре успеха из пяти. Эта запись задана сценарием и сохраняется как исторический итог. По доступным материалам можно независимо подтвердить применение Р1 только для А–Г. Для Д воспроизводимость прежней оценки не установлена: запись «успех» есть, но проверить её по тексту нельзя.
Обратите внимание на Г. Место указано верно, но название неверно. По Р2 требуются оба признака, поэтому одной правильной части недостаточно. Нельзя молча заменить союз «и» на «или», чтобы новая отметка совпала с ожиданием группы.
Заполните переходы, не редактируя старую колонку
Для каждой строки новая оценка должна ссылаться на тот же объект и на Р2. Рядом укажите наблюдение, объясняющее отметку. В нашем коротком упражнении наблюдение можно проверить прямо по таблице; в рабочем архиве нужен указатель на конкретный материал и его версию.
| Случай | Было по Р1 | Стало по Р2 | Основание перехода |
|---|---|---|---|
| А | Успех | Успех | Обе части совпадают с карточкой |
| Б | Успех | Неуспех | Вместо кабинета 14 указан 41 |
| В | Успех | Неуспех | Место проведения отсутствует |
| Г | Неуспех | Неуспех | Название занятия не совпадает |
| Д | Успех в старом отчёте | Не переоценено | Нет исходной карточки и текста ответа |
Получились два перехода из успеха в неуспех, один сохранённый успех и один сохранённый неуспех. Пятая строка осталась открытой. Это описание пяти записей, а не объяснение причин поведения модели. Мы знаем, что правило стало проверять дополнительный признак; мы не наблюдали новых запусков помощника.
Запись «не переоценено» отличается от «неуспех». Для Д нет достаточного объекта проверки. Нельзя использовать старую отметку как замену утраченному ответу, а затем заявить, что Р2 применили ко всем пяти. Нельзя и дописать правдоподобный ответ: он станет новым учебным объектом, а не восстановленным свидетельством.
Как подписать новый итог без ложного сравнения?
В доступной части архива по Р2 успешен один из четырёх переоценённых ответов. Результат по всем пяти пока не установлен. Если нужен показатель для доступной части, подпишите его именно так: «1 из 4 доступных для переоценки объектов; Р2; Д не переоценён». Его нельзя напрямую противопоставить прежним 4 из 5 как доказательство ухудшения помощника.
Состав сравнения тоже можно выровнять. Для тех же А–Г по Р1 было три успеха из четырёх, по Р2 — один из четырёх. Эта пара показывает отличие отметок на одних сохранённых текстах при двух правилах. Она не показывает изменение качества модели во времени: новых ответов и сведений о новой модели в комплекте нет.
Не называйте разницу между этими долями падением точности сервиса. В рамках упражнения изменился способ оценивания. Даже если в реальном проекте одновременно сменилась модель, смешанное сравнение само по себе не отделяет вклад нового правила от вклада новых ответов.
Для сопоставления готовых отчётов нужны их определения и границы. Здесь ведомость создаёт недостающий переходный материал: показывает, какие строки получили другую отметку и почему. Сохраняйте её рядом с новым итогом, чтобы следующему читателю не пришлось угадывать смысл изменения цифры.
Если позднее нашёлся недостающий материал
В продолжении вымышленного задания ведущий выдаёт карточку Д: «Занятие “Поиск”, кабинет 20» и исходный сохранённый ответ Д: «Поиск, кабинет 20». По сценарию принадлежность материала именно объекту Д подтверждена. Это новые сведения для ведомости, а не новый запуск помощника.
Добавьте дату получения, указатель на материал и отдельную запись о переоценке Д по Р2: успех. Теперь для полного учебного набора по Р2 два успеха из пяти. Предыдущая промежуточная версия «1 из 4 доступных» сохраняется в истории со своим составом, а не исправляется так, будто пятый объект всегда был под рукой.
Если найден только файл без подтверждённой принадлежности, переход пока не закрыт. В нашей процедуре сначала устанавливают связь с Д. Красивое содержание файла не подтверждает его происхождение. Также не следует подменять старый ответ вновь полученным: это другой объект со своей оценкой.
Что поручить нейросети при подготовке ведомости?
Используйте синтетический комплект или материалы, разрешённые правилами организации. Не переносите закрытые тексты в произвольный сервис. В учебном занятии достаточно вымышленных А–Д; никаких данных сотрудников для решения не требуется.
Промпт для черновика: «По приложенным Р1, Р2, карточкам и сохранённым ответам подготовь ведомость. Сохрани старые отметки отдельно. Для новой отметки приведи фрагмент ответа и условие Р2. Если карточки или ответа нет, напиши “не переоценено” и назови недостающий материал. Не восстанавливай тексты догадкой. Не делай выводов об изменении модели. Отдельно перечисли основания для нового итога и исключённые строки».
Проверьте полученный черновик построчно. Для Б помощник может заметить знакомое название и пропустить переставленные цифры кабинета. Для Г — засчитать правильное место и забыть о названии. Для Д — автоматически перенести старый успех. Это предусмотренные автором ловушки задания, а не утверждение о частоте ошибок какой-либо модели.
Ведущий может попросить участника сначала заполнить ведомость самостоятельно, затем сравнить её с предложенным черновиком и объяснить каждое расхождение. Проверяется способность читать правило и сохранять основания. Согласие с нейросетью само по себе не является ключом к упражнению.
Как передать ведомость следующему участнику?
Передайте обе рубрики, границу пересмотра, список объектов, старые оценки, новые отметки с основаниями и список открытых строк. В сопроводительной записи обозначьте, где лежит исторический отчёт и какой новый итог можно воспроизвести по доступным материалам. Не ограничивайтесь фразой «пересчитано по новой методике».
Получатель должен суметь выбрать строку, открыть исходный ответ, найти применённое условие Р2 и повторить вывод. Если для этого нужны устные пояснения автора, добавьте недостающую связь в комплект. Решение о рабочем применении нового правила хранится отдельно от результатов упражнения.
Для занятия подготовьте пять карточек, две версии рубрики и одну намеренно отсутствующую запись. При обсуждении корпоративного обучения ИИ опишите эту задачу команды: научиться переносить оценку на новое правило, сохраняя историю и границы выводов.
Частые вопросы
Можно ли сохранить старые отметки без повторной проверки?
Решение зависит от установленной области пересмотра и основания считать правила эквивалентными для данных объектов. В нашем упражнении Р2 добавляет проверку места, поэтому переноса старой отметки недостаточно. Наличие текста позволяет проверить новое условие; отсутствие текста остаётся пробелом.
Что делать, если одновременно изменили ответ и критерий?
Зафиксируйте обе версии объекта и обе версии правила. Оценка новой пары не заменяет оценку старой. Чтобы разобрать влияние правила на одни тексты, нужны именно неизменные объекты; сравнение разных ответов по разным рубрикам не решает эту задачу само по себе.
Новая доля успехов ниже. Значит, помощник стал хуже?
Из этого упражнения такой вывод не следует. Ответы оставались прежними, а критерий изменился. Можно описать переходы отметок и новый результат в обозначенном архиве. Для вывода об изменении поведения нужны другие сведения и подходящий план сравнения.
Источники
- NIST AI RMF Playbook: MEASURE — документирование тестовых наборов, метрик и инструментов проверки, MEASURE 2.1.
- NIST: описание AI RMF Playbook — добровольное применение и выбор подходящих предложений.
- NIST: вопросы об AI RMF — добровольный статус рамки; ведомость этой статьи предложена редакцией.
