В плане проверки шесть заданий, а в выгрузке — пять строк. До оценки качества стоит установить, какая запись отсутствует и что именно сохранилось в остальных. Пропущенные ответы в оценке ИИ предлагаем разбирать через сверку плана с архивом: отдельный список покажет подтверждённые связи, пробелы и материалы, которые нужно запросить. Пустая клетка сама по себе не объясняет поведение помощника.
Что проверяет акт полноты выгрузки?
У этой работы два входа: перечень запланированных случаев и полученный архив записей. Выход — акт сверки, в котором каждому случаю соответствует основание статуса. Здесь мы не выставляем оценку содержанию ответа и не выбираем лучший инструмент. Сначала проверяем, какие материалы вообще доступны для последующего разбора.
Это редакционный способ организации учебной работы, а не стандартный формат отчётности. Он пригодится ведущему занятия, которому передали неполный комплект, или коллеге, принимающему архив проверки. Нужны разрешённые к использованию материалы; примеры ниже полностью вымышлены.
Журнал повторных запусков сопоставляет содержание ответов на один вход. Сравнение отчётов об ИИ восстанавливает смысл готовых показателей. У нас другой результат: связать ожидаемые идентификаторы с реально полученными записями и перечислить разрывы этой связи. Даже один запуск на каждый случай может дать неполный архив.
Факт. MEASURE 2.1 NIST AI RMF Playbook предусматривает документирование тестовых наборов, метрик и сведений об инструментах проверки. Это основание сохранять описание материалов оценки; конкретные поля нашего акта предложены редакцией.
AI RMF и Playbook предназначены для добровольного применения. FAQ NIST также подтверждает добровольность рамки. Источники не устанавливают приведённые ниже статусы и не предписывают считать отсутствие файла ошибкой модели.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
Зафиксируйте границу полученного комплекта
Назовите архив, дату получения и версию перечня случаев. Если коллега позднее пришлёт ещё один файл, это будет дополнение к конкретной сверке. Без такой границы фраза «ответа нет» незаметно меняет смысл: нет в первой посылке, нет в доступной папке или вообще не было получено.
Начните с самого узкого утверждения.
Вместо «ИИ не ответил на З-4» запишите: «В полученном архиве А1 не найден материал, связанный с З-4». Для первого утверждения нужны сведения о ходе выполнения. Для второго достаточно проверить определённый комплект и способ связывания записей. Даже полный осмотр А1 не устанавливает содержание неизвестных архивов.
Не восстанавливайте план по имеющимся ответам. Если из шести ожидаемых случаев пришло пять, список из пяти файлов не расскажет, какой шестой случай предполагался. Запросите исходный перечень, а при его отсутствии так и ограничьте результат: можно описать полученный архив, но нельзя подтвердить полноту относительно неизвестного плана.
До начала сверки договоритесь о единице. В нашем упражнении один случай имеет один ожидаемый итоговый материал. Повторы не предусмотрены. В другой работе один случай может включать несколько попыток; тогда понадобится ключ «случай + попытка», а количество файлов не будет количеством случаев.
Не меняйте единицу в середине таблицы.
Различайте запись, содержимое и исход выполнения
Существование файла — первое наблюдение. Затем проверяют связь с заданием и доступное содержимое. Статус «файл найден» не говорит, что в нём полный ответ; статус «пустое поле» не раскрывает, почему оно осталось пустым. Предлагаем хранить эти наблюдения в отдельных столбцах.
| Наблюдение | Что можно записать | Что ещё не установлено |
|---|---|---|
| Нет связанной записи в архиве | Материал для случая не найден в указанном комплекте | Был ли ответ получен в ходе запуска |
| Связанная запись есть, поле текста пустое | В конкретной записи пустое поле | Был ли исходный ответ пустым или потерялся при экспорте |
| Сохранён текст отказа | В архиве есть такой текст с привязкой к случаю | Причина отказа и его корректность относительно задачи |
| Есть лишь начало ответа | Доступен указанный фрагмент | Полнота исходного ответа и содержание продолжения |
| Ответ связан с другим номером | Обнаружено несоответствие идентификаторов | К какому случаю относится материал до уточнения |
Сам отказ остаётся содержимым записи. Его можно отдельно оценить по правилам конкретной задачи, когда они заданы.
Акт полноты не присваивает всем отказам оценку «ошибка»: в одной задаче отказ может соответствовать условию, в другой — не соответствовать. Здесь фиксируют текст и основание привязки, оставляя содержательную оценку отдельному этапу.
С пустым полем осторожность другая. Если журнал выполнения прямо сообщает об успешном завершении и нулевой длине исходного текста, это дополнительное свидетельство. Если есть только пустая ячейка таблицы, сведений о первоначальном тексте нет. Сохраните точное наблюдение и назовите документ, который поможет уточнить исход.
Мнение. Для первого занятия полезнее несколько разных видов пробела, чем длинный список одинаково полных ответов. Группа увидит, почему нельзя заполнять столбец «качество» по одному наличию строки. Это учебный выбор, не норматив объёма проверки.
Учебный комплект: шесть случаев и пять строк
Все идентификаторы, тексты и обстоятельства этого раздела вымышлены. Они заданы для упражнения и не описывают работу конкретного сервиса или клиента AURMIND. План ПЛ-1 перечисляет случаи З-1, З-2, З-3, З-4, З-5, З-6. У каждого один ожидаемый материал. В полученном архиве А1 находятся ровно пять строк, приведённых далее; других свидетельств выполнения пока нет.
Строка Р-1 имеет поле case_id=З-1 и текст «Передайте заявку координатору». Вводные упражнения подтверждают: это полный сохранённый текст данной записи. Соответствие ответа исходной инструкции не проверяем — сама инструкция в комплекте для этой задачи не приведена.
Строка Р-2 имеет case_id=З-2; поле text содержит пустую строку. Журнала выполнения и исходного ответа нет. Поэтому установлена пустота поля в Р-2, но не причина и не первоначальный результат запуска.
Строка Р-3 имеет case_id=З-3 и полный сохранённый текст «Не могу выполнить это задание». Никаких пояснений о причине нет. Назовём это сохранённым текстом отказа, не объявляя его ни обоснованным, ни ошибочным.
Для З-4 связанной строки в А1 нет.
Строка Р-5 имеет case_id=З-5 и пометку отправителя «сохранено только начало». Текст: «Сначала проверьте…». Продолжение не приложено. Это доступный фрагмент, а не подтверждение того, что помощник завершил ответ многоточием.
Наконец, строка Р-6 содержит case_id=З-60 и текст «Приложение получено». Случая З-60 в ПЛ-1 нет. Нельзя молча исправить номер на З-6, даже если он кажется опечаткой. В упражнении нет свидетельства такой замены.
| Случай ПЛ-1 | Основание в А1 | Статус сверки | Что запросить |
|---|---|---|---|
| З-1 | Р-1, совпадает case_id, текст полный | Связанный полный текст есть | Для этой сверки ничего |
| З-2 | Р-2, пустое text | Связанная запись есть; исход неизвестен | Исходный материал или журнал выполнения |
| З-3 | Р-3, полный текст отказа | Связанный полный текст есть, это отказ | Причину только при отдельном разборе |
| З-4 | Нет совпадающего case_id | Связанная запись не найдена | Материал либо свидетельство исхода запуска |
| З-5 | Р-5, явная пометка о фрагменте | Связанный фрагмент есть | Полное продолжение с привязкой |
| З-6 | Совпадения нет; Р-6 указывает З-60 | Связанная запись не найдена | Основание привязки Р-6 или иной материал |
Р-6 вынесите также в список лишних относительно плана записей: «З-60 отсутствует в ПЛ-1; принадлежность не установлена».
Это не седьмой случай плана и не доказанная запись З-6. Отдельный список не даёт потерять материал при обходе только ожидаемых номеров.
Проверьте баланс без подмены смысла
В ПЛ-1 шесть случаев: четыре имеют связанную запись — З-1, З-2, З-3, З-5; два её не имеют — З-4 и З-6. В А1 пять строк: четыре связаны с планом, одна пока вне плана. Так объясняется разница между количеством ожидаемых случаев и количеством полученных строк.
Теперь отдельно разберите содержимое четырёх связанных записей. У двух есть полный текст — З-1 и З-3. Одна содержит пустое поле — З-2. Одна представляет фрагмент — З-5.
Пустота поля и фрагмент не исчезают из числа связанных записей; одновременно они не превращаются в полный материал.
Счёт связи и счёт полноты отвечают на разные вопросы.
Заключение для этого комплекта можно записать так: «А1 не подтверждает наличие полного связанного текста для каждого случая ПЛ-1. Полные тексты доступны для З-1 и З-3, один из них — отказ. По З-2 нужно установить исход, по З-4 и З-6 найти привязанный материал, по З-5 получить продолжение. Р-6 пока не отнесена к плану». Это завершённый акт с конкретными запросами, а не диагноз поведения модели.
Не вычисляйте здесь «долю ошибок ИИ» как четыре из шести или любую другую величину. Упражнение даёт состояния архива, а не критерий качества и не результаты проверки содержания. Даже для полного Р-1 неизвестно, соответствует ли он исходному заданию. Арифметика учёта не восполняет отсутствующие условия оценки.
Что изменится после получения дополнения?
Продолжим вымышленный пример отдельным событием. После завершения первой сверки отправитель прислал дополнение А2: полный текст для З-5 и подписанное пояснение, что Р-6 действительно относится к З-6, а case_id содержит опечатку. Считаем эти сведения вводными второго этапа упражнения. В первой версии акта их ещё не было.
Сохраните А1 и акт версии 1. В версии 2 укажите основание нового состояния: «З-5 — полный материал по А2», «З-6 — привязка установлена по пояснению А2; исходный номер Р-6 сохранён». Не переписывайте исходную Р-6 так, будто правильный номер находился в ней с самого начала.
Теперь пять случаев имеют связанные записи, для одного — З-4 — связи по-прежнему нет. Полные тексты есть у четырёх: З-1, З-3, З-5, З-6. З-2 остаётся записью с пустым полем и неизвестным исходом.
Новые сведения об одной строке не закрывают остальные пробелы.
Версия 1 не была ложной из-за того, что позднее пришло дополнение. Она описывала полученный на тот момент комплект. Ссылка на А2 показывает, почему заключение изменилось. Если же прежний акт ошибочно пропустил имевшуюся запись, это исправление ошибки сверки; назовите его именно так, сохранив основание.
Как поручить черновую сверку нейросети?
Для занятия используйте разрешённый вымышленный комплект и попросите подготовить черновик. Это предлагаемое задание, а не обещание, что модель надёжно выполнит сверку. Проверяющий возвращается к каждому исходному полю и сам подтверждает вывод.
Сверь ПЛ-1 и А1 только по предоставленным данным. Сохрани все шесть случаев плана. Для каждого укажи связанную строку, доступное содержимое, основание статуса и недостающий материал. Отдельно перечисли строки архива вне плана. Не исправляй идентификаторы без основания. Не приравнивай пустое поле к отказу, отсутствие записи к сбою модели, а фрагмент к полному ответу. Не оценивай качество. Дополнение А2 сейчас не используй.
Проверьте три возможных дефекта черновика. Если З-2 назван отказом, верните точное наблюдение «пустое text». Если Р-6 автоматически отнесена к З-6, уберите неподтверждённую связь из версии 1. Если З-4 исчезла из таблицы, восстановите строку по ПЛ-1: отсутствие материала не удаляет случай из плана.
Ещё одна проверка — граница времени. Помощник мог использовать А2 при составлении первого акта, если ведущий передал все файлы сразу. В таком занятии нужно явно задать, какой комплект разрешён для какой версии, или выдавать дополнение после первого разбора.
Не называйте знание из А2 выводом из А1.
Ведущий принимает работу, когда другой участник может найти основание каждого статуса и воспроизвести оба баланса. Согласие с оценкой «хороший ответ» здесь не требуется.
Учебный результат — аккуратная передача неполного архива следующему проверяющему.
Для корпоративного обучения работе с ИИ опишите, какие выгрузки и записи команде трудно сверять. Начать обсуждение занятия можно с обезличенного описания процесса; состав рабочих материалов согласуют отдельно.
Частые вопросы
Отсутствие строки доказывает, что ИИ не ответил?
Нет. Оно показывает отсутствие найденной связи в указанном архиве. Сведения о ходе выполнения нужно получать отдельно. В А1 для З-4 нет ни ответа, ни журнала, поэтому причина остаётся неизвестной.
Считать ли сохранённый отказ полным ответом?
В нашем акте Р-3 — полный сохранённый текст отказа, связанный с З-3. Это статус материала. Приемлемость отказа определяют по отдельному критерию задачи; в упражнении такой оценки нет.
Можно ли исправить очевидную опечатку в номере?
Для подтверждённой связи нужно основание. В версии 1 Р-6 остаётся вне плана. В версии 2 пояснение А2 устанавливает принадлежность З-6; исходную запись и историю изменения сохраняют.
Что передать следующему проверяющему?
План, перечень полученных материалов с версиями, акт сверки и конкретные запросы недостающих свидетельств. Укажите, для каких случаев текст полный, где есть только фрагмент или пустое поле, а где связь не установлена. Не заменяйте этот комплект итоговым процентом.
Источники
- NIST AI RMF Playbook: MEASURE — MEASURE 2.1 о документации материалов оценки. Акт полноты и упражнение предложены редакцией.
- NIST: описание Playbook — добровольное применение рамки и ресурса.
- NIST: вопросы об AI RMF — добровольный статус AI RMF.
