Дубликаты тестовых примеров ИИ стоит разбирать до запуска оценки: пять файлов могут оказаться четырьмя карточками, а разные формулировки — проверять одно и то же условие. Предлагаем учебное упражнение, в котором команда составляет ведомость повторов, сохраняет связанные варианты и объясняет каждое исключение. Результат — проверяемое описание состава набора, а не оценка качества модели.
Что считать повтором в наборе примеров?
Сначала назовите объект сравнения. В этой статье карточка включает исходный текст правила, задание помощнику и ожидаемое действие. Похожее название файла ещё не делает две карточки одинаковыми. И наоборот: разные имена не превращают копию одного задания в новый случай.
Ниже используем три редакционных обозначения. Точная копия совпадает по всем трём полям. Перефразированный вариант отличается словами, но по выданным вводным сохраняет условие и ожидаемое действие. Самостоятельная вариация меняет существенное условие задания. Эти определения служат нашему упражнению; они не являются универсальной классификацией NIST.
Сравнивать нужно то, что действительно входит в карточку.
Если в рабочем тесте важны вложение, история диалога или формат документа, включите их в описание единицы сравнения. Совпадение текста запроса при разных приложениях само по себе не устанавливает повтор. Решение зависит от вопроса проверки, а не от количества одинаковых слов.
Общий протокол тестирования ИИ на рабочих примерах описывает запуск, ответы и решение о применении. Здесь работа заканчивается раньше: мы проверяем отношения между карточками ещё до запуска. Не будем выбирать модель, выставлять оценки её ответам или рассчитывать показатель успешности.
Факт. MEASURE 2.1 NIST AI RMF Playbook предусматривает документирование тестовых наборов, метрик и сведений об инструментах тестирования, оценки, валидации и верификации. В пояснении также рассматривается документирование подходов, процессов и материалов измерения. Это основание сохранять описание набора; раздел не задаёт нашу таблицу повторов или автоматическое правило удаления карточек.
AI RMF и Playbook предназначены для добровольного применения. NIST не предписывает предложенные ниже обозначения, число примеров или порядок занятия. Все тексты и числа упражнения вымышлены редакцией, не относятся к испытаниям реального сервиса и не описывают результаты клиентов AURMIND.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
Отделите файл, карточку и семейство
Файл — сохранённый объект. Карточка — выбранная единица задания. Семейством в нашем упражнении назовём связанные карточки с общим основанием. В семействе могут быть и копии, и полезные вариации. Само членство в нём не означает, что все участники должны быть удалены.
Для начальной ведомости предлагаем поля: идентификатор файла, идентификатор карточки, редакция, три сравниваемых поля, связанные карточки, основание связи и решение о включении. Если редакции нет, так и напишите. Слово «последняя» без основания не заменяет номер версии.
Сохраните исходный список отдельно от рабочего перечня.
В рабочем перечне можно выбрать одну копию. Но исходная ведомость должна показывать, что было получено и почему состав изменился. Иначе коллега увидит меньше файлов и не сможет отличить осмысленное исключение от случайной потери.
Схема показывает разные уровни учёта. Она не утверждает, что четыре карточки независимы или представляют реальную работу. Размер списка и широта охвата — разные вопросы.
Для объяснения связи не нужно придумывать историю подготовки. Если текст совпадает, можно зафиксировать совпадение. Но нельзя без свидетельства писать, что автор скопировал файл из определённой папки. Происхождение материала восстанавливают отдельно; наша ведомость описывает содержимое и заданные отношения.
Учебный комплект: пять файлов и четыре карточки
Представьте полностью вымышленное занятие. Помощнику предстоит определить, можно ли передать учебную заявку координатору по короткому правилу. Правила придуманы только для этого комплекта. Мы не предлагаем применять их в реальном процессе.
К-01, редакция А. Исходное правило: «Передайте заявку координатору после получения описания и вложения». Задание: «Есть описание, вложения нет. Можно ли передать заявку по этому правилу?» Ожидаемое действие: «Не передавать; отсутствует вложение».
К-01-копия — второй файл. Вводные прямо сообщают, что все три поля карточки, её идентификатор и редакция полностью совпадают с К-01. Отличается только имя файла. Никаких дополнительных приложений или историй диалога в этих двух файлах нет.
К-02, редакция А. В ней то же исходное правило. Задание сформулировано иначе: «Описание получено, вложение ещё не поступило. Разрешена ли передача координатору?» Ожидаемое действие то же: «Не передавать; отсутствует вложение». Ведущий явно задаёт: для этого упражнения К-02 — перефразированный вариант К-01 без изменения условия.
К-03, редакция А. Правило прежнее. В задании уже получены и описание, и вложение. Ожидаемое действие: «Передать координатору». Это вариация наличия вложения, а не новая копия прежнего случая.
К-04, редакция Б. Исходное правило иное: «Передайте заявку координатору после получения описания». Задание: «Есть описание, вложения нет. Можно ли передать заявку по этому правилу?» Ожидаемое действие: «Передать координатору». Вводные не сообщают, что редакция Б заменила А в рабочем процессе: это два условных правила для сравнения.
Других карточек, ответов модели и результатов запусков нет.
| Файл или карточка | Что совпадает с К-01 | Что различается | Запись в ведомости |
|---|---|---|---|
| К-01-копия | Все три поля, идентификатор, редакция | Только имя файла | Точная копия; в рабочем перечне оставить один экземпляр К-01 |
| К-02 | Правило, условие отсутствия вложения, ожидаемое действие | Формулировка задания | Связанный перефразированный вариант по явной вводной |
| К-03 | Правило редакции А | Вложение получено; другое ожидаемое действие | Отдельная вариация условия |
| К-04 | Формулировка вопроса и отсутствие вложения | Исходное правило редакции Б; другое ожидаемое действие | Отдельная карточка с другим правилом |
После исключения второго экземпляра К-01 остаются четыре карточки: К-01, К-02, К-03 и К-04. Это точный итог внутри заданного комплекта. Он не означает четыре независимых наблюдения и не устанавливает достаточность набора для будущего тестирования.
К-02 не нужно ни автоматически удалять, ни объявлять новым условием.
Если вопрос будущей проверки — устойчивость к двум формулировкам, её можно оставить как связанный вариант и явно указать эту цель. Если нужен перечень различных условий, К-01 и К-02 не следует представлять как два разных условия только из-за разных слов. Решение меняет описание охвата; оно не меняет исходных текстов.
К-04 особенно легко потерять при сравнении только вопросов. Вопрос у неё совпадает с К-01, но правило не требует вложения. Если удалить К-04 как «ещё одну заявку без вложения», исчезнет заданная вариация исходного правила. Проверяющий должен сопоставить все три поля, а не один столбец.
Как записать решение без скрытой потери вариантов?
Для каждой спорной пары запишите наблюдение, основание, решение и границу решения. Например: «К-01-копия совпадает с К-01 по трём полям; это прямо задано комплектом; второй файл не входит в рабочий перечень; исходный файл и запись исключения сохранены».
Для К-02 запись другая: «Формулировка вопроса отличается, условие и ожидаемое действие сохранены по вводной ведущего; карточка включена как вариант формулировки; не считать её новым условием наличия вложения». Такое решение позволяет сохранить полезный вариант, не преувеличивая разнообразие.
У К-03 основание отдельности видно в тексте: вложение уже есть. У К-04 изменилось правило. Не нужно вводить показатель смыслового сходства, чтобы объяснить эти две связи в нашем небольшом комплекте.
| Поле записи | Учебная запись для К-04 |
|---|---|
| Сравниваемая пара | К-01/А и К-04/Б |
| Наблюдение | Одинаковый вопрос, разные исходные правила |
| Существенное различие | А требует вложение, Б — только описание |
| Решение | Сохранить обе карточки в данном учебном перечне |
| Граница | Не утверждать, что Б актуальнее или разрешена в реальной работе |
| Основание | Полные тексты правил из выданного комплекта |
Не назначайте семейство по слову «заявка» всем материалам подряд. В нашем примере можно дать обозначение С-1 связанным карточкам К-01–К-04: все они созданы вокруг учебного действия передачи заявки и явно показанных вариаций. Это редакционная группировка для занятия, а не доказанная история происхождения.
Одна карточка может иметь несколько связей. К-04 похожа вопросом на К-01 и ожидаемым действием на К-03. Не выбирайте только одну связь ради дерева без пересечений. Оставьте пары, которые нужны для объяснения решений, и укажите смысл каждой.
Если пары нельзя разрешить по выданным материалам, нужен статус «недостаточно оснований». Запрос должен быть конкретным: отсутствует исходное правило, не обозначена редакция или непонятно, входит ли приложение в карточку. Неизвестное отношение лучше сохранить открытым, чем удалить материал по догадке.
Что можно поручить нейросети при поиске повторов?
Предлагаем использовать модель как помощника для чернового сопоставления, после которого человек сверяет все поля с оригиналами. Это способ постановки задания, а не заявление о точности сервиса. Передавайте только разрешённый учебный комплект; доступность текста в папке сама по себе не разрешает его загрузку во внешний инструмент.
Пример задания по вымышленным К-01–К-04:
Сравни карточки по трём полям: исходное правило, задание и ожидаемое действие. Имена файлов не считай отдельными условиями. Для каждой пары укажи совпадение и различие с точными фрагментами. Не удаляй материалы. Подготовь ведомость: точная копия, заданное перефразирование, вариация условия или недостаточно оснований. Не приписывай карточкам неизвестное происхождение. Отдельно перечисли исходные файлы и предложенный рабочий перечень. Не оценивай качество модели: ответов модели в комплекте нет.
Сначала проверьте, не исчезла ли К-04. Если модель видит одинаковый вопрос и пишет «дубликат», попросите привести оба исходных правила. Различие не нужно угадывать: оно дано явно. Ведомость должна его сохранить.
Другая ошибка — назвать К-02 новым сценарием только потому, что вопрос перефразирован. Ведущий задал сохранение условия. Для этого комплекта новое слово не создаёт нового требования к вложению.
Наконец, модель может объявить набор «разнообразным и достаточным». Откуда это известно? Во вводных нет описания реального потока задач, его частот и требований к охвату. Исправленный черновик должен ограничиться установленными связями и открытыми вопросами.
Модель не должна получать право удалять исходники.
Для большого рабочего набора могут потребоваться другие инструменты, правила и специалисты. Эта статья не задаёт порог сходства, алгоритм поиска или статистический дизайн выборки. Сначала определяют, какое различие важно для цели проверки; затем выбирают способ поиска кандидатов и ручной сверки.
Как провести занятие и проверить ведомость?
Сначала выдайте все пять файлов и попросите участников назвать единицу сравнения. Не показывайте только вопросы: тогда К-01 и К-04 действительно окажутся неразличимы по предоставленным данным. Для полного упражнения нужны все три поля и заданные редакции.
Затем группа составляет исходный список, отмечает пары и предлагает рабочий перечень. Пусть для каждого исключения участники покажут основание. Ведущий проверяет не минимальное число оставшихся карточек, а сохранность различий. Удалить больше не значит выполнить задание лучше.
Мнение. Для первого занятия я бы оставил маленький комплект с одной точной копией и двумя разными основаниями похожести. Так можно обсудить каждую запись по тексту. Большая выгрузка легко превращает упражнение в соревнование по скорости, хотя цель здесь — объяснить решение коллеге.
Ключ ведущего следует из вводных: пять файлов, четыре карточки после исключения второй копии К-01; К-02 сохраняет условие К-01; К-03 меняет наличие вложения; К-04 меняет правило. Ни запусков, ни оценок ответов нет. Решение о будущем использовании перефразирования зависит от явно названной цели, а не выводится из его похожести.
Закончите занятие короткой передачей ведомости другой группе. Получатель должен восстановить исходный список и понять, почему К-04 осталась, а второй экземпляр К-01 не включён. Если это невозможно без устного объяснения автора, дополните основание или указатель на текст.
Не превращайте результат занятия в кадровую оценку. Разбор проверяет подготовленный документ в границах вымышленного комплекта; он не является валидированной диагностикой компетенций сотрудника. Точно так же четыре оставшиеся карточки ничего не говорят об ожидаемом качестве будущей модели.
После проверки состава можно перейти к отдельному проектированию испытания. В ведомости должны остаться назначение набора, выбранная единица, список связей, исключённые копии и нерешённые пары. Если получены новые материалы, сохраните новую редакцию перечня и объясните изменение. Не переименовывайте старую ведомость так, будто новый состав использовался изначально.
Для корпоративного обучения работе с ИИ выберите способ связи на главной и опишите, какие наборы примеров готовит ваша команда. Начать обсуждение можно с обезличенного описания задачи; передачу документов согласуйте отдельно.
Частые вопросы
Нужно ли удалять все похожие примеры?
Нет такого правила в нашем упражнении. Точную копию К-01 исключаем из рабочего перечня, сохраняя исходник и запись. К-02 может остаться для проверки варианта формулировки. К-03 и К-04 сохраняют самостоятельные изменения условия и правила.
Совпадение вопроса доказывает повтор?
Нет. У К-01 и К-04 одинаковый вопрос, но разные исходные правила. Сравнивать надо всю заданную единицу. Если часть карточки недоступна, отметьте границу сравнения вместо вывода о полной одинаковости.
Четыре карточки означают четыре независимых случая?
Такой вывод не следует из числа. В комплекте известны связи между карточками, а статистический дизайн вообще не задан. Ведомость показывает состав и отношения; она не подтверждает независимость наблюдений или представительность будущей работы.
Можно ли после очистки рассчитать точность ИИ?
В этом комплекте нет ответов и оценок, поэтому считать точность нечего. Для отдельного испытания понадобятся условия запуска и правила оценки. Даже полученная доля будет относиться к конкретному составу набора; очистка сама по себе не устанавливает качество модели.
Источники
- NIST AI RMF Playbook: MEASURE — MEASURE 2.1 о документировании тестовых наборов, методов и материалов измерения.
- NIST AI RMF Playbook — добровольное применение ресурса. Классификация повторов и учебный комплект предложены редакцией.
- NIST AI Risk Management Framework FAQs — добровольный статус рамки и её назначение.
