В итоговой строке помощник допустил четыре ошибки из двадцати ответов. Но эта строка не показывает, на каких заданиях они появились. Разбор ошибок ИИ по группам примеров помогает перейти от общей доли к проверяемой таблице: какие входные материалы вошли в группу, сколько ответов оценено и где находятся записи об ошибках. Предлагаем учебный способ такого разбора без новых запусков модели и без вывода о её надёжности в будущей работе.
Какой вопрос решает разбор по группам?
Вход для этой работы — один законченный журнал с сохранёнными ответами и оценками. Результат — таблица распределения ошибок внутри этого журнала.
Вы не сравниваете две версии помощника и не исправляете эталон. Вы выясняете, одинаково ли распределились уже установленные ошибки между группами заданий.
Например, общий итог может объединять инструкции с исключением и без него. Если признаки входов известны, записи можно разнести и пересчитать. Если известен только общий процент, восстановить распределение по группам нельзя.
Оно не содержится в итоговой цифре.
Факт. MEASURE 2.1 NIST AI RMF Playbook предусматривает документирование тестовых наборов, метрик и сведений об инструментах проверки. Это основание сохранять материалы за числом. Приведённая ниже таблица — наш редакционный шаблон, а не форма NIST.
AI RMF и Playbook предназначены для добровольного применения. FAQ NIST отдельно подтверждает добровольность рамки. Эти источники объясняют статус и роль документации; арифметика и вымышленное упражнение ниже не являются результатами исследования NIST.
Если задача начинается с разных законченных отчётов, используйте разбор сопоставимости результатов оценки ИИ. Здесь у нас один журнал, одно правило оценивания и один набор сохранённых ответов.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
Сначала зафиксируйте единицу и событие
Назовите, что именно считается одной строкой: первый ответ на одно задание, отдельный запуск или итог после доработки. Затем определите событие ошибки.
Без этой пары одинаковые слова в таблице могут скрывать разные величины.
Для нашего упражнения единица — один сохранённый первый ответ на одну карточку. Ошибка — несовпадение указанной в ответе комнаты с проверенным ключом. Все карточки получили ответ и однозначную оценку; пропусков, повторов и исправлений нет. Это условия учебного комплекта, а не предположение о любом рабочем журнале.
В реальном наборе эти условия нужно установить по записям. Отсутствующий ответ не становится правильным ответом, а отсутствие оценки — подтверждением ошибки. Если журнал содержит такие состояния, сохраните их отдельный учёт и определение знаменателя.
Не переносите упрощённую формулу упражнения на неполные материалы.
Закрепите редакции журнала, ключа и правила в заголовке таблицы. Тогда следующий читатель поймёт, по каким данным сделан расчёт. Если обнаружится дефект ключа, сначала оформите его отдельную проверку: распределение ошибочных отметок не объяснит, какие из них были неверно выставлены.
Одной итоговой доли недостаточно для разделения.
По какому признаку разделять записи?
Предлагаем начинать с признака, который можно проверить во входном материале независимо от оценки ответа. В нашем случае это наличие явно написанного исключения из общего правила.
Признак отвечает на вопрос о карточке, а не о том, понравился ли проверяющему результат.
Для каждого значения задайте границу. «Без исключения» означает: в полном тексте карточки дано одно общее правило и нет условия, меняющего назначенную комнату. «С исключением» означает: в тексте есть общее правило и отдельное условие, которое назначает другую комнату. Обе группы определены до просмотра отметок в упражнении.
Не называйте их «простые» и «сложные». Эти слова не сообщают, по какой строке исходника отнести карточку к группе. Кроме того, наличие исключения само по себе не устанавливает сложность задания для конкретной модели.
Мнение. Для первого учебного разбора рекомендуем один признак с непересекающимися значениями. Так легче проверить принадлежность каждой строки и сверить суммы. Это удобство нашего упражнения, а не универсальное правило анализа ИИ.
Если одна карточка соответствует нескольким признакам, не складывайте пересекающиеся группы как части общего итога. Можно подготовить отдельные разрезы: сначала по наличию исключения, затем по формату входа. В каждом разрезе явно назовите правило счёта. Строка, попавшая в две группы одного разреза, иначе будет учтена дважды.
Для неустановленного признака оставьте отдельное состояние.
Не угадывайте наличие исключения по ошибке в ответе. Если полного входного текста нет, основание для классификации отсутствует.
Учебный комплект: двадцать ответов, четыре ошибки
Все карточки, комнаты, ответы и числа далее вымышлены.
Это не клиентский кейс, не результаты испытания сервиса и не показатели AURMIND. Комплект нужен, чтобы вручную проверить распределение и границы вывода.
Помощнику давали карточки с правилами выбора комнаты. В карточках А01–А16 написано: «Для занятия назначена комната Кедр». Задание — назвать комнату по карточке, без добавления условий. В карточках Б01–Б04 написано: «Для занятия назначена комната Кедр. Если занятие вечернее, назначена комната Лён. Это вечернее занятие». Задание то же.
Ключ К-7 проверен по полным текстам: для всех А ожидается «Кедр», для всех Б — «Лён». Правило Р-7 требует правильного значения; внешние кавычки и пробелы не учитываются. Все ответы содержат только одно название без спорных вариантов. Редакция журнала Ж-7 сохраняет следующие записи:
| Карточки | Признак входа | Сохранённый ответ | Оценка по К-7/Р-7 |
|---|---|---|---|
| А01–А15, каждая отдельно | Без исключения | Кедр | Верно: 15 записей |
| А16 | Без исключения | Лён | Ошибка: 1 запись |
| Б01 | С исключением | Лён | Верно: 1 запись |
| Б02–Б04, каждая отдельно | С исключением | Кедр | Ошибка: 3 записи |
Диапазоны обозначают отдельные перечисленные карточки с одинаковыми значениями, а не один групповой запуск. Всего шестнадцать А и четыре Б. Каждой карточке соответствует ровно один ответ; повторов и выбора лучшей попытки в комплекте нет.
Сначала пересчитайте общий итог: правильны пятнадцать А и одна Б, то есть шестнадцать ответов. Ошибочны одна А и три Б, то есть четыре ответа. Доля ошибок во всём журнале — 4/20 = 20%. Доля верных — 16/20 = 80%.
Этот итог арифметически верен.
Теперь разделите те же записи по заранее заданному признаку входа. В группе без исключения ошибка одна среди шестнадцати: 1/16 = 6,25%. В группе с исключением — три среди четырёх: 3/4 = 75%.
Ни один ответ и ни одна оценка при пересчёте не изменились.
| Группа Ж-7 | Все оценённые ответы | Ошибки | Доля ошибок внутри группы |
|---|---|---|---|
| Без исключения, А01–А16 | 16 | 1 | 1/16 = 6,25% |
| С исключением, Б01–Б04 | 4 | 3 | 3/4 = 75% |
| Весь Ж-7 | 20 | 4 | 4/20 = 20% |
Не усредняйте 6,25% и 75% как две равновесные части.
Число ответов в группах различается. Для общего итога складываются числители и знаменатели: (1+3)/(16+4). Простое среднее двух процентов здесь дало бы другую величину, которая не равна доле ошибок среди двадцати ответов.
Отдельный вопрос — какая часть всех ошибок приходится на Б. Ответ: 3/4 = 75%, но знаменатель здесь уже четыре ошибки всего журнала. Совпадение с долей ошибок внутри Б случайно обусловлено числами упражнения.
Подписи нельзя менять местами: «ошибки среди ответов Б» и «ошибки Б среди всех ошибок» — разные показатели.
Что можно сказать по этой таблице?
Корректная запись звучит так: «В вымышленном Ж-7 ошибки распределены неравномерно по заданному признаку: 1/16 в А и 3/4 в Б; общий итог 4/20. Три из четырёх ошибок журнала находятся в Б». Рядом укажите определение ошибки, К-7/Р-7 и номера карточек.
Из этого не следует, что исключение стало причиной ошибки модели. В заданном журнале наблюдается распределение, а причины не исследовались. Нет также оснований переносить 75% на все будущие инструкции с исключениями.
Четыре Б — весь учебный раздел этого журнала, а не доказанная представительная выборка рабочей переписки.
Таблица не устанавливает частоту таких заданий в компании. В комплекте Б занимают 4/20 входов; доля реальных вечерних занятий или инструкций с исключениями неизвестна. Нельзя подменить распределение учебного набора распределением будущей нагрузки.
Не выводите и правило допуска: «для А помощник безопасен, для Б запрещён». Ж-7 описывает сохранённые ответы по одному критерию. Он не содержит оценок ущерба, условий эксплуатации и полномочий для такого решения.
Хорошее заключение сохраняет числа и ограничение вместе.
Если руководителю нужно продолжение, сформулируйте открытый вопрос: повторится ли наблюдаемое различие на других заранее описанных карточках при фиксированном правиле? Это вопрос для отдельного исследования, а не результат уже выполненного пересчёта. Организацию новых испытаний разбирает протокол тестирования на рабочих примерах.
Как поручить ИИ черновик таблицы?
Предлагаем использовать помощника как составителя черновика, который затем проверяется по исходным строкам. Не обещаем, что модель верно посчитает любой журнал или самостоятельно установит причины ошибок. Для Ж-7 можно дать такой запрос:
По полному Ж-7 составь таблицу ошибок по признаку входа. Единица — один сохранённый первый ответ на карточку. Ошибка определена К-7/Р-7. Используй две группы: А01–А16 без исключения и Б01–Б04 с исключением. Покажи номера записей, число ответов, число ошибок, дробь и процент внутри группы. Отдельно сверь суммы с 20 ответами и 4 ошибками. Не меняй оценки и ключ. Не выводи причину различия, надёжность на будущих заданиях или разрешение на применение. Если записи не позволяют расчёт, укажи конкретный пробел.
Проверяющий начинает с принадлежности карточек. Если помощник назвал Б01 ошибкой лишь потому, что она относится к группе с исключением, он подменил сохранённую оценку групповым ярлыком. В Ж-7 Б01 верна: ответ «Лён» совпадает с ключом.
Вторая проверка — знаменатели. У Б четыре ответа, а не двадцать. Выражение 3/20 показывает долю ошибок Б среди всех ответов журнала; оно не отвечает на вопрос о доле ошибок внутри Б. Оба расчёта возможны, но у них разные названия.
Третья проверка — суммы. В нашем разбиении каждая строка попадает ровно в одну группу, поэтому 16+4 должно дать 20, а 1+3 — 4. Несовпадение требует найти пропуск, повторный учёт или другую редакцию данных.
Не добавляйте «прочие» только ради красивого итога, не установив записи этой группы.
Наконец, прочитайте вывод. Правильные числа не оправдывают фразу «ИИ не понимает исключения». По Ж-7 известны конкретные ответы и оценки; механизм их появления не установлен. Верните помощнику задачу описать наблюдение без причинного объяснения.
Если в исходнике не хватает признаков или оценок
Представьте отдельный журнал Ж-8: известны двадцать ответов и четыре ошибки, но номера ошибочных записей не сохранены. Известно также, что шестнадцать входов без исключения и четыре с ним. Этого недостаточно, чтобы получить таблицу Ж-7: ошибки могли распределиться по группам иначе.
В Ж-8 правильный результат работы — указание на недостающую связь «карточка — оценка». Нельзя перенести в него распределение 1/3 из предыдущего примера.
Это другой вымышленный комплект с меньшим объёмом сведений.
Другая ситуация: оценки доступны, но часть полных входов потеряна. Тогда принадлежность к группе может остаться неустановленной. Отделите известные значения от неизвестных; покажите, какие строки требуют исходного текста.
Пустое поле не означает «без исключения».
Если несколько оценщиков дали разные отметки, прежде чем считать единый столбец ошибок, установите, какая запись используется и на каком основании. Сам разбор групп не разрешает спор. Не превращайте выбор удобной отметки в скрытую часть арифметики.
Как провести упражнение с командой?
Выдайте участникам полные тексты карточек, К-7/Р-7 и Ж-7. Сначала попросите вручную восстановить обе группы и общий итог. Затем дайте тот же комплект помощнику и сравните черновик с ручной ведомостью. Это предложенный порядок занятия, а не проверенный эксперимент по эффективности обучения.
Ключ ведущего: А — 16 ответов и 1 ошибка; Б — 4 ответа и 3 ошибки; всего — 20 и 4. Внутригрупповые доли равны 6,25% и 75%, общая — 20%. Ответы и оценки при разбиении не меняются.
Б01 остаётся верной. Причинный вывод и перенос на будущие задания не обоснованы.
Следующим шагом выдайте Ж-8. Здесь успешная работа состоит в отказе выдумывать распределение при отсутствии связи карточек с оценками. Не оценивайте одинаково заполненную таблицу и честно названный пробел: в двух комплектах разные исходные возможности.
Для обсуждения корпоративного обучения команды работе с ИИ опишите, какие журналы сотрудники разбирают и кто проверяет расчёты. Начните с обезличенного описания задачи; передачу настоящих документов согласуйте отдельно. Учебный Ж-7 можно использовать без подстановки рабочих данных.
Частые вопросы
Можно ли сделать группы после просмотра ошибок?
Для описания уже увиденного распределения можно явно указать, как возник признак. Но найденную после просмотра закономерность не выдавайте за заранее проверенную гипотезу. В нашем упражнении значения признака определены входами до оценок; для нового исследования его план нужно описать отдельно.
Группа без ошибок означает, что помощник надёжен?
Нет. Нулевой числитель описывает только определённые проверенные записи при заданном правиле. Для будущих заданий и других критериев такой вывод не установлен. Сохраните размер группы и границу наблюдения рядом с нулём.
Что делать с пересекающимися группами?
Подпишите пересечение и не складывайте их как непересекающиеся части журнала. Для нашего простого шаблона подготовьте отдельные разрезы или заранее определите взаимоисключающие сочетания признаков. После этого снова проверьте принадлежность всех строк и знаменатели.
Нужно ли заново запускать модель ради таблицы?
Для Ж-7 нет: полные ответы, признаки и оценки уже сохранены. Новый запуск дал бы новые ответы и другой объект счёта. Если необходимых материалов нет, назовите пробел; необходимость нового испытания не решается одной формулой.
Источники
- NIST AI RMF Playbook: MEASURE — MEASURE 2.1 о документировании наборов и метрик; таблица групп разработана редакцией.
- NIST AI RMF Playbook — добровольный характер Playbook.
- AI Risk Management Framework FAQs — подтверждение добровольного статуса рамки.
