Два отчёта могут показывать разные проценты и при этом не отвечать на один вопрос. В одном считают черновики, принятые сразу, в другом — материалы после исправлений. Сопоставимость результатов оценки ИИ начинается с восстановления смысла показателя: что попало в числитель и знаменатель, какие случаи проверяли и при каких условиях. Предлагаем составить ведомость сравнения двух готовых отчётов, прежде чем объявлять улучшение или выбирать решение.
Что означает сопоставимость двух отчётов?
Здесь мы разбираем документы, которые уже подготовлены. Задача читателя — выяснить, какие утверждения можно поставить рядом, какие потребуют пересчёта по исходным записям, а какие пока нельзя сравнить. Результат — ведомость с основаниями и ограничениями. Она не даёт допуска к работе и не заменяет статистическое исследование.
Если вам нужно организовать сами испытания, начните с протокола тестирования ИИ на рабочих примерах. В этой статье другой вход: два законченных отчёта и доступные приложения к ним. Даже хорошие испытания могут быть описаны показателями с разным смыслом. Мы будем разбирать именно эту разницу, а не повторять весь порядок пилота.
Факт. MEASURE 2.1 NIST AI RMF Playbook предусматривает документирование тестовых наборов, метрик и сведений об инструментах проверки. В пояснении к разделу документация связана с повторяемостью и согласованностью измерительного процесса. Это основание запрашивать сведения за итоговой цифрой, а не считать любую пару процентов сравнимой.
NIST называет AI RMF и Playbook добровольными ресурсами. Вопросы, статусы и ведомость ниже — наш редакционный способ разбора отчётов, а не обязательная форма NIST. В FAQ рамка описана как помощь разработчикам, пользователям и оценщикам в управлении рисками ИИ; наша узкая учебная процедура не охватывает всю эту работу.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
Начните с расшифровки одной итоговой цифры
Найдите в каждом документе точное название показателя. Перепишите его дословно вместе со сноской. Слово «качество» в заголовке презентации не говорит, что измеряли: сохранение условий, принятие редактором, скорость или итог совместной работы человека и инструмента. Пока определения нет, в ведомости остаётся вопрос, а не догадка.
Попросите запись в форме «событие / множество, среди которого его считали». Например, «черновики, принятые без изменения смысла, среди всех черновиков данной серии». Это описание ещё нужно проверить по отчёту. Сами слова не доказывают, что в знаменатель вошли отказы сервиса, пропущенные ответы или все предусмотренные случаи.
Название не заменяет формулу.
Посмотрите, что считается единицей: запрос, запуск, ответ, документ или задача после нескольких попыток. Если один отчёт считает первый ответ, а другой выбирает лучший из повторов, их показатели относятся к разным процедурам. Для сравнения потребуется общий вопрос и достаточные исходные записи; простое переименование столбца ничего не исправит.
В нашем шаблоне удобно хранить четыре поля: исходная формулировка, ссылка на её место в документе, восстановленное определение и открытый вопрос. Так проверяющий отделит сказанное автором отчёта от своей интерпретации. Если приложение отсутствует, отметьте это прямо.
Какие различия мешают прямому сравнению?
Пройдите от единицы счёта к условиям получения результата. Не требуйте одинаковых реквизитов ради порядка: выясняйте, какое различие меняет ответ на ваш вопрос. Если сравнивают две версии помощника, различие версий ожидаемо. Но вместе с ними могли поменяться инструкции, набор задач и критерий приёмки — тогда одной итоговой цифры недостаточно, чтобы приписать изменение версии.
| Что сверить | Что искать в отчётах | Что записать при различии |
|---|---|---|
| Единица счёта | Запуск, ответ, задача или принятый материал | Показатели относятся к разным единицам; нужен отдельный разбор |
| Событие успеха | Принят сразу либо принят после исправления | Общий ярлык «принят» скрывает разные события |
| Знаменатель | Все предусмотренные случаи либо только ответы с оценкой | Уточнить исключения и наличие исходных записей |
| Состав задач | Категории, входные документы, периоды отбора | Сравнение общих долей не отделяет различия состава |
| Повторы | Первый запуск, все попытки либо выбранная попытка | Уточнить правило выбора до пересчёта |
| Условия | Версия решения, инструкция, инструменты, участие человека | Не приписывать разницу одному изменению без оснований |
Это список вопросов для чтения документов, а не доказательство влияния каждого фактора в конкретной паре. Иногда нужная деталь окажется одинаковой. Тогда приведите основание: номер приложения, поле протокола или совпадающее определение. Пустая клетка и подтверждённое совпадение — разные состояния.
MEASURE 1.1 NIST отмечает зависимость предмета измерения от цели, аудитории и потребностей оценки. В предложенных действиях раздела есть документирование критериев выбора метрик. Поэтому к двум числам полезно приложить вопрос, ради которого их вообще поставили рядом. Сравнение скорости и сравнение сохранности условий не требуют одного и того же заключения.
Мнение редакции. Если цель сравнения сформулирована только как «найти лучший ИИ», сначала сузьте её до конкретного показателя в конкретной работе. Ведомость поможет обнаружить несопоставимость; ранжировать инструменты по любым доступным цифрам она не должна.
Учебный пример: два раза по восемьдесят процентов
Все документы, числа и записи далее вымышлены для обучения. Это не результаты испытаний модели, не клиентский кейс и не показатели AURMIND. Помощник готовит краткие учебные памятки по заданному тексту. Руководителю принесли два отчёта об одной учебной операции и предложили сделать вывод, что качество осталось прежним.
В обоих заголовках написано «принято 80%». К отчётам приложены следующие условия и записи. Для простоты одна задача соответствует одному запуску; повторов в этом учебном комплекте нет. Все десять задач каждой серии дали ответ и получили оценку. Эти ограничения действуют только внутри примера.
Документ А. Проверяли версию V1 по набору К1. Из десяти черновиков восемь приняли без исправлений; два отклонили. В показатель включены только ответы, принятые сразу. После отклонения материалы не дорабатывали в этой серии. Участие человека ограничено оценкой по приложенному правилу.
Документ Б. Проверяли версию V2 по набору К2. Из десяти черновиков пять приняли сразу, три приняли после содержательных исправлений сотрудником, два отклонили. В заголовок попали восемь итоговых материалов, принятых сразу или после исправлений. Проверяющий использовал тот же приложенный критерий сохранности условий, но измеряли уже результат с учётом доработки.
Комплект также сообщает: К1 содержит десять обычных кратких инструкций; К2 — пять обычных кратких инструкций и пять материалов с исключением из общего правила. Тексты К1 и К2 не совпадают. Оценки по категориям для Б не приведены. Данных о времени, стоимости и частоте таких задач в реальной работе нет.
| Показатель из учебного комплекта | Документ А | Документ Б |
|---|---|---|
| Все задачи с ответом и оценкой | 10 | 10 |
| Принятые без исправлений | 8 | 5 |
| Принятые после содержательных исправлений | 0 | 3 |
| Отклонённые | 2 | 2 |
| Событие в заголовке | Принят сразу | Принят сразу или после исправлений |
| Доля, вынесенная в заголовок | 8/10 = 80% | (5+3)/10 = 80% |
Первая проверка — арифметика. Оба заголовка правильно рассчитаны относительно собственных определений. Нельзя объявить Б ошибкой только потому, что редактор ожидал другую метрику. Нужно сохранить формулировку документа и назвать её смысл.
Вторая проверка — событие. У А это принятие исходного черновика; у Б — принятие материала после возможной доработки. Равенство процентов не устанавливает равенство результата помощника без исправлений. По сохранённым записям можно отдельно вычислить для Б долю принятых сразу: пять из десяти, то есть 50%.
На этом сравнение ещё не закончено.
Новая пара 80% и 50% использует одинаково названное событие, но относится к разным наборам. К2 содержит материалы с исключениями, а К1 — только обычные инструкции. Из этой пары нельзя заключить, что V2 ухудшила результат: одновременно изменились версия и состав заданий. В комплекте нет данных, позволяющих отделить эти изменения. Неявную предпосылку «всё остальное одинаково» можно отдельно разобрать в реестре допущений при оценке ИИ.
Не помогает и попытка оставить в Б только обычные инструкции. Мы знаем их количество, но не знаем, как распределены пять принятых сразу ответов между категориями К2. Нельзя записать «пять из пяти» или любую другую долю этой подгруппы. Нужны соответствующие записи, а не удобное распределение по памяти.
Как оформить ограниченное заключение?
Ведомость должна завершаться ответом на поставленный вопрос, а не общим предупреждением. В нашем учебном примере вопрос звучал так: «Подтверждают ли два заголовка, что результат помощника без исправлений остался прежним?» Ответ отрицательный: события в заголовках различаются. Это заключение о достаточности представленных оснований, а не доказательство ухудшения модели.
Предлагаем три рабочих статуса. «Сопоставимо в указанной границе» ставьте, когда определения и необходимые условия подтверждены. «Нужен пересчёт» — когда исходные записи позволяют восстановить нужный показатель. «Сравнение пока не обосновано» — когда существенное различие или пробел не устранены. Для каждого статуса укажите конкретную границу. Эти названия придуманы для ведомости и не являются терминами NIST.
В примере два последних статуса появляются последовательно. Для события «принят сразу» в Б возможен пересчёт: нужные числа даны. Но для вывода о влиянии V1/V2 сравнение пока не обосновано: наборы различаются. Устранение одной несопоставимости не устраняет остальные.
Запись может выглядеть так:
Заголовки А и Б не сравнивают принятие исходного ответа: в Б включены исправленные материалы. После пересчёта Б даёт 5/10 принятых сразу, А — 8/10. Наборы К1 и К2 различаются, поэтому эти доли описывают каждую серию, но не устанавливают влияние версии. Для сравнения внутри обычных инструкций недостаёт распределения оценок Б по категориям.
Сохраните рядом точные места документов и расчёт. Если позже появится приложение с оценками по категориям, проверяющий сможет продолжить с известного пробела. Не нужно переписывать прежнее заключение так, будто этих данных всегда было достаточно: новая редакция должна назвать добавленное основание.
Пересчёт не превращает выбранный набор в представительную выборку будущей работы. В нашем комплекте вообще нет описания реального потока задач. Поэтому здесь нельзя рассчитать ожидаемую долю успеха на работе, статистическую значимость разницы или экономию времени. Арифметика учебной таблицы отвечает только за явно заданные числа.
Что поручить нейросети при чтении отчётов?
Предлагаем использовать ИИ для подготовки черновика ведомости. Дайте ему только разрешённые документы и требуйте привязать каждую запись к фрагменту. Человек затем сверяет цитаты, определения и арифметику. Это способ организации задания; мы не заявляем, что любая модель выполнит его без ошибок.
Пример задания для учебных документов А и Б:
Сравни определения показателей в приложенных документах. Не выбирай лучший инструмент. Для каждого отчёта выпиши единицу счёта, событие успеха, знаменатель, правило повторов, участие человека и состав задач. Рядом приведи фрагмент-основание. Отсутствующее обозначь «не дано». Отдели расчёт из имеющихся чисел от вывода, для которого данных не хватает. Затем ответь, подтверждают ли заголовки одинаковый результат помощника без исправлений. Не додумывай оценки по категориям К2.
К этому заданию приложите весь учебный комплект, а не только заголовки. Удалив описание К2, вы лишите проверяющего основания заметить изменение состава. Нейросеть не должна восстанавливать скрытое приложение по косвенным признакам. Если она пишет «вероятно, сложные случаи дали все ошибки», это предположение, а не наблюдение комплекта.
Проверьте три типичных ошибки именно этого упражнения. Первая — модель объявила оба отчёта неверными, хотя арифметика каждого заголовка верна. Вторая — она пересчитала 50% и сразу приписала снижение V2, пропустив К1/К2. Третья — распределила успешные ответы по категориям без данных. Исправление такого ответа должно вернуть его к тексту документов, а не к более уверенной формулировке.
Разбор с командой: что считать готовой ведомостью?
Раздайте участникам документы А и Б, оставив заголовки видимыми. Попросите сначала отдельно ответить на вопрос об одинаковом результате без исправлений. Затем выдайте таблицу полей и предложите обосновать каждую запись. Так обсуждение останется проверяемым по комплекту, а не превратится в спор о том, какая модель обычно лучше.
Ключ ведущего состоит из связанных шагов. Оба 80% арифметически верны. События различаются. Для Б можно восстановить пять принятых сразу из десяти. Состав К1/К2 не совпадает. Категориальных оценок Б нет. Поэтому ни равенство результата без исправлений, ни ухудшение из-за V2 не установлены. Эти ответы следуют из вымышленных вводных, а не из внешней статистики.
Оценивать на занятии предлагаем качество ведомости: есть ли основания полей, отделены ли расчёт и вывод, назван ли точный недостающий документ. Это учебное обсуждение не является валидированной диагностикой навыков сотрудников. Не переносите результат одного задания на кадровые решения.
Готовая ведомость сохраняет и полезное совпадение: обе серии имеют по десять задач, все получили ответ и оценку, повторов не было. Эти сведения помогают ограничить проблему. Нет оснований добавлять к примеру ещё и пропущенные запуски или неизвестные повторы — комплект прямо исключает их. Аккуратный разбор не умножает неопределённость там, где вводные ясны.
Чтобы обсудить корпоративное обучение команды работе с ИИ, выберите способ связи на главной и опишите, какие отчёты сотрудникам приходится читать. Для первого разговора достаточно обезличенного описания задачи. Порядок передачи рабочих документов согласуйте отдельно.
Частые вопросы
Достаточно ли одинаковой формулы?
Нет. Формула может совпадать, а единицы, наборы и правила оценки — различаться. В учебном примере пересчёт даёт одинаковое событие «принят сразу», но К1 и К2 остаются разными. Нужна граница конкретного сравнения, а не только знак деления.
Можно ли сравнивать отчёты без исходных ответов?
Иногда можно проверить определения и арифметику по достаточным приложениям. Но нельзя утверждать больше, чем позволяют материалы. Если требуется проверить саму оценку ответа, итоговых чисел недостаточно. В ведомости укажите, что вы проверили, а что осталось за пределами доступа.
Нужно ли всегда повторять испытания?
Из пробела отчёта это автоматически не следует. Сначала запросите недостающие определения и записи. Если имеющихся оснований достаточно для нужного пересчёта, новый запуск не требуется для самой арифметики. Решение о новом испытании принимает владелец оценки по конкретному вопросу и доступным данным.
Можно ли объединить два набора в одну долю?
Арифметически складывать сопоставимые события и соответствующие им количества можно, но новая общая доля будет описывать получившуюся смесь. Она не устранит различия состава и не докажет влияние версии. В нашем упражнении объединение не отвечает исходному вопросу, поэтому не используйте его вместо ведомости.
Источники
- NIST AI RMF Playbook: MEASURE — MEASURE 2.1 о документировании измерения; MEASURE 1.1 о цели и выборе метрик.
- NIST AI RMF Playbook — добровольный статус ресурса.
- NIST AI Risk Management Framework FAQs — назначение рамки и аудитория.
