Происхождение данных для ИИ стоит разбирать на уровне конкретного материала: из какого документа взят фрагмент, какая копия прошла обработку и что именно попало в запрос. Для учебного занятия предлагаем составить цепочку «источник → преобразование → результат» и проверить каждую стрелку по выданным свидетельствам. Если связи нет, участник сохраняет разрыв, а не восстанавливает историю по правдоподобному названию файла.
Какой результат даст разбор происхождения?
Результат — небольшая карта происхождения одного учебного набора с указателями на версии материалов и основания связей. По ней коллега должен найти исходник выбранного фрагмента, объяснить выполненное преобразование и назвать участок, для которого подтверждения не хватает.
Карта не определяет допустимость загрузки и не доказывает правильность ответа модели.
Это отдельная задача от подготовки данных для нейросети. Там изменяют содержимое копии для упражнения. Здесь восстанавливают связь между уже выданными материалами. Удобно выполнять разбор на полностью вымышленных документах, не открывая рабочий сервис.
В паспорте ИИ-системы можно сослаться на набор знаний. Но паспорт описывает применение в целом; наша карта показывает путь конкретного фрагмента внутри набора. Один адрес папки эту задачу не решает: в учебной папке могут лежать разные копии с похожими именами.
Факт. В предложениях раздела MAP 2.3 NIST AI RMF Playbook говорится о документировании процессов, которые позволяют понимать и прослеживать происхождение обучающих и тестовых данных и связанных метаданных. Там же рассматривается документирование методов сбора, отбора, разметки, очистки и анализа обучающих данных. Это положение именно об обучающих и тестовых данных. Мы используем идею прослеживаемости для отдельного редакционного упражнения с материалами запроса, не объявляя эти материалы обучающей выборкой модели.
AI RMF и Playbook предназначены для добровольного применения. Таблица, обозначения и учебные правила ниже предложены редакцией AURMIND; это не обязательная форма NIST и не подтверждение соответствия стандарту. NIST описывает AI RMF как рамку управления рисками для разработчиков, пользователей и оценщиков. Наше упражнение охватывает лишь восстановление документированных связей.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
Начните с объекта, который действительно передали
Выберите конечный материал: например, фрагмент Ф-X из учебного запроса. Не начинайте со слов «все документы компании». Сначала нужно понять, какой объект группа будет прослеживать и где заканчивается её задание.
Для Ф-X граница может проходить от исходной памятки до сохранённого текста запроса, без исследования ответа помощника.
Дайте каждому объекту своё обозначение. Исходная памятка И-X, извлечённый текст К-X и фрагмент Ф-X — три объекта, даже если они рассказывают об одном процессе. Укажите доступную редакцию каждого и место хранения в разрешённом учебном комплекте. Если редакция не обозначена, запишите именно это, а не слово «актуальная».
Имена файлов помогают искать, но в этом упражнении не служат единственным основанием связи. Название «памятка_новая» не показывает, из какой памятки получили текст.
Нужен материал, который связывает конкретного родителя с конкретным результатом: например, сохранённая запись преобразования и сверка пары документов.
Не добавляйте в карту закрытые пути, пароли или исходные персональные сведения. Для занятия достаточно условных идентификаторов и синтетических текстов.
Состав реальной записи и права на её чтение организация определяет отдельно.
Схема и таблица ниже показывают отдельный условный пример с обозначениями И-X, К-X и Ф-X. Это не вводные следующего задания про П-1, Т-1 и Ф-1. Подтверждённость связей в каждом комплекте проверяют отдельно.
Схема показывает редакционный способ чтения цепочки. На реальном занятии число объектов зависит от выданных материалов. Не добавляйте этап перевода, очистки или объединения, если во вводных его нет.
Отделите объекты от операций между ними
Объект — сохранённый материал. Операция — действие, по которому появился другой материал. В таблице удобно держать их раздельно: идентификаторы объектов остаются устойчивыми, а описание операции поясняет связь. Для учебной пары И-X → К-X операция может звучать так: «Из памятки извлечён текст разделов 1–3; изображение приложения не переносилось».
Из такой записи ещё не следует, что извлечение выполнено правильно.
Отдельно укажите основание выполнения и основание сверки. Сообщение исполнителя «извлёк» и протокол сравнения текста с памяткой отвечают на разные вопросы. Если выдано только сообщение, так и отметьте границу подтверждения.
Предлагаем следующий минимальный набор полей:
| Часть записи | Что вписать | Какой вопрос останется без этого |
|---|---|---|
| Результат | Ф-X, обозначение редакции, указатель на файл | Какой именно фрагмент разбираем? |
| Родитель | К-X и его редакция | Из какой копии его получили? |
| Операция | Отбор абзацев 2–4 без изменения текста | Что должно было измениться? |
| Основание связи | Запись отбора, относящаяся к К-X и Ф-X | Почему считаем объекты связанными? |
| Сверка | Кто и по каким материалам сопоставил пару | Проверяли ли сохранность содержимого? |
| Пробел | Что отсутствует и кому адресован вопрос | Как продолжить восстановление? |
Это редакционный шаблон. Можно объединить поля в существующей системе учёта, если получатель различает объект, действие и подтверждение. Не требуйте отдельного приложения только ради заполнения таблицы.
У операции зафиксируйте границу: какие страницы, строки или разделы вошли в результат. В вымышленной памятке можно написать «разделы 1–3, приложение исключено». Формулировка «обработан документ» скрывает эту разницу. Получатель должен видеть, где искать исходное место каждого существенного фрагмента.
Учебный пример: две памятки и один спорный фрагмент
Ведущий выдаёт полностью вымышленный комплект. Памятка П-1, редакция А, содержит правило: «Заявку передают координатору после получения описания и вложения». Памятка П-2, редакция Б, содержит другое правило: «Заявку передают координатору после получения описания». Эти тексты придуманы для занятия; из них нельзя делать выводы о работе какой-либо компании.
В комплекте также есть Т-1 с текстом правила из П-1 и запись извлечения, которая явно связывает П-1/А с Т-1. Проверочный лист подтверждает, что это предложение Т-1 сопоставлено с П-1/А без потери условия о вложении. Для первой стрелки основания даны.
Фрагмент Ф-1 содержит короткое правило без слов о вложении. Он сохранён в тексте учебного запроса. Рядом лежит заметка «фрагмент взят из памятки», без идентификатора и редакции. Записи отбора из Т-1 в Ф-1 нет.
Никаких других свидетельств ведущий пока не выдаёт.
Что можно установить? Ф-1 присутствует в данном сохранённом запросе. Его правило совпадает по тексту с правилом П-2/Б. Но совпадение не подтверждает, что Ф-1 получили именно из П-2: по вводным он мог появиться иначе. В частности, нельзя объявить установленным, что модель убрала условие.
Выход модели в комплект вообще не включён.
| Участок | Что дано | Что можно записать |
|---|---|---|
| П-1/А → Т-1 | Запись извлечения и проверочный лист пары | Связь подтверждена в границе данного предложения |
| Т-1 → Ф-1 | Нет записи отбора; тексты различаются | Происхождение Ф-1 от Т-1 не установлено |
| П-2/Б → Ф-1 | Совпадение предложения, без записи получения | Текстовое совпадение; связь происхождения не подтверждена |
| Ф-1 → учебный запрос | Сохранённый запрос с данным фрагментом | Присутствие Ф-1 в этом запросе подтверждается комплектом |
Здесь полезно остановиться.
Не выбирайте родителя голосованием и не исправляйте историю под ожидаемый ответ. Полученный результат уже содержателен: первая связь подтверждена, происхождение Ф-1 открыто, использование Ф-1 в данном запросе видно. Следующий запрос адресуют составителю фрагмента: какой объект он использовал и каким свидетельством это подтверждается?
В продолжении ведущий выдаёт запись отбора, которая связывает П-2/Б с Ф-1. Если она действительно относится к этим объектам и не противоречит остальным материалам, участники дополняют карту этой веткой. Цепочка П-1/А → Т-1 остаётся отдельной. Её нельзя задним числом соединять с Ф-1 только ради одной красивой линии.
Новое свидетельство устанавливает происхождение в границах учебного комплекта. Оно не решает, какую памятку следовало использовать и правильны ли правила. Для этого нужен другой предмет проверки и полномочия соответствующего участника.
Как обращаться с разрывами и противоречиями?
Для упражнения достаточно трёх обозначений: «основание есть», «связь не установлена» и «свидетельства расходятся». Эти статусы относятся к отдельной стрелке. Они не описывают безопасность набора, качество модели или разрешение на использование материала.
Если документа нет, запишите, какой именно связи недостаёт. «Нужны документы» не помогает продолжить работу. «Нужна запись отбора Ф-1 с обозначением родительского объекта и редакции» задаёт проверяемый вопрос.
Укажите получателя запроса и доступное место для ответа по правилам занятия.
Противоречие требует сохранения обоих свидетельств. Допустим, позднее появляется другая запись, которая называет родителем Ф-1 объект Т-1. Не удаляйте первую запись и не выбирайте более позднюю автоматически. Укажите расхождение: две записи относят один Ф-1 к разным родителям, а текст Ф-1 не сохраняет условие Т-1. Передайте вопрос тому, кто вправе установить историю подготовки.
Для условного примера допускается и ответ «восстановить нельзя». Тогда карта должна честно сохранить этот участок. Для нового упражнения можно подготовить новый фрагмент с документированной цепочкой.
Это создаст другую ветку, а не докажет происхождение старого Ф-1.
Мнение. Для занятия полезнее один явно показанный разрыв с точным вопросом, чем полностью заполненная таблица с догадками. Проверяйте, может ли другой участник повторить поиск основания. Красивое описание пути без доступных подтверждений не выполняет задачу упражнения.
Если появляется новая редакция родителя, не переносите на неё прежнюю связь молча. Сохраните указание той редакции, из которой фактически получен материал. Решение о замене уже используемых копий можно связать с реестром изменений ИИ, но оно относится к последующей работе, а не переписывает прошлую цепочку.
Что поручить нейросети при составлении карты?
На занятии нейросети можно предложить черновую разметку разрешённого синтетического комплекта. Это задание на извлечение явно указанных связей; выполнение каждого пункта человек сверяет по исходным материалам. Возможный запрос:
По приложенному учебному комплекту перечисли объекты и их обозначенные редакции. Для каждой связи «родитель → результат» укажи точный фрагмент записи, который её подтверждает. Отдельно перечисли текстовые совпадения без подтверждения происхождения. Не выводи происхождение из имени файла или сходства текста. Не придумывай преобразования, даты, версии и результаты проверки. Если основания отсутствуют или расходятся, сохрани открытый вопрос. Не оценивай допустимость использования данных и не выбирай правильную памятку.
В нашем примере ошибочный черновик мог бы написать: «Т-1 сократили до Ф-1».
В первой части комплекта такой операции нет. Исправление — удалить неподтверждённую стрелку и сохранить вопрос о родителе.
Нельзя просто добавить слово «вероятно» и считать цепочку восстановленной.
Другая возможная ошибка — назвать Ф-1 результатом обучения модели. Во вводных это фрагмент запроса. Материалы запроса, обучающие данные и ответ помощника — разные объекты нашей задачи. Если в комплекте нет сведений о том, как разработчик обучал модель, карта ничего об этом не устанавливает.
Отдельно проверьте, не превратил ли черновик происхождение в оценку содержания. Фраза «Ф-1 получен из П-2/Б» после второй выдачи подтверждается учебной записью. Фраза «поэтому Ф-1 правильный» не следует из неё. Происхождение отвечает на вопрос «откуда», а не заменяет предметную проверку правила.
Как принять работу группы?
Подготовьте ключ до занятия. Для первого раунда в нём четыре положения: П-1/А связан с Т-1 в указанной границе; происхождение Ф-1 неизвестно; совпадение с П-2/Б не устанавливает родителя; присутствие Ф-1 в сохранённом запросе дано. Во втором раунде добавляется запись П-2/Б → Ф-1. История первого раунда сохраняется.
Передайте карту участнику, который не видел обсуждения. Попросите найти родителя Т-1, показать основание его связи и объяснить, почему Ф-1 нельзя сразу отнести к Т-1. Затем выдайте продолжение и попросите добавить одну подтверждённую ветку, не меняя остальные. Так проверяется чтение оснований, а не способность угадывать замысел ведущего.
Для принятия учебного результата предлагаем смотреть на три свойства: объекты различены, каждая заявленная связь имеет указатель на основание, неизвестное не подменено выводом. Это критерии данного редакционного упражнения. Они не измеряют качество промышленной системы и не выдают допуск к рабочим данным.
Начните с одного фрагмента.
Когда группа умеет прослеживать его путь, можно подготовить другой синтетический комплект с объединением двух источников. В нём у результата будет несколько родителей; каждую связь потребуется объяснить отдельно. Не расширяйте первый пример задним числом: сохранённая карта должна соответствовать выданным вводным.
Чтобы включить такой разбор в обучение команды, обсудите программу корпоративного обучения ИИ. Для первого обсуждения достаточно описать навык: различать источник, копию, преобразование и недостающее свидетельство. Рабочие документы передавать не нужно.
Частые вопросы
Ссылка на папку подтверждает происхождение фрагмента?
В нашем упражнении нет. Она помогает найти материалы, но не связывает конкретный результат с определённой редакцией родителя и операцией. Нужны основания именно для рассматриваемой пары объектов.
Если тексты совпали, можно соединить их стрелкой?
Можно отметить совпадение. Утверждение о происхождении требует отдельного основания из комплекта. Одинаковое предложение само по себе не показывает, кто, когда и из какой копии его взял.
Подтверждённая цепочка разрешает загрузку в ИИ?
Нет. Карта описывает происхождение. Допустимость обработки, доступ и применимость содержания организация определяет отдельно. Для занятия используйте полностью вымышленные материалы.
Источники
- NIST AI RMF Playbook: MAP — MAP 2.3: прослеживаемость обучающих и тестовых данных и документирование методов работы с обучающими данными. Редакционное упражнение про материалы запроса имеет более узкую и другую границу.
- Описание NIST AI RMF Playbook — добровольное применение и выбор подходящих предложений.
- Вопросы NIST об AI RMF — назначение рамки управления рисками; не подтверждение эффективности учебного упражнения.
