В папке с контрольными заданиями появился файл с готовыми ответами. Само его наличие ещё не показывает, кто получил ключ и когда. Чтобы разобрать раскрытие контрольных примеров ИИ, предлагаем восстановить историю передачи материалов относительно конкретного сохранённого ответа. Результат — журнал подтверждённых событий и открытых вопросов, с которым коллега сможет проверить происхождение каждого вывода.
Что именно будем устанавливать?
Наш вопрос узкий: какие материалы были переданы конкретному участнику или включены в конкретный запрос до момента сохранения ответа? Мы не определяем, запомнила ли модель текст, обучалась ли на нём и почему дала определённый результат.
Это разные утверждения.
Ниже — редакционный способ учебного разбора. Он подходит для занятия, где выданы задания, ключи, сообщения о передаче и сохранённые запросы. Его результат описывает имеющиеся свидетельства, а не подтверждает независимость проверки всего сервиса.
Дубликаты тестовых примеров относятся к сходству карточек. Слепая оценка ответов скрывает происхождение ответа от оценщика. Здесь мы восстанавливаем другое отношение: материал, адресат и время его передачи. Ключ может быть правильным, карточки — различными, а сведения о передаче всё равно неполными.
Факт. MEASURE 2.1 NIST AI RMF Playbook предусматривает документирование тестовых наборов, метрик и сведений об инструментах проверки. Это основание сохранять материалы измерения; наш журнал раскрытия не является формой NIST.
AI RMF и Playbook предназначены для добровольного применения. FAQ NIST также подтверждает добровольность рамки. Источники поддерживают эти положения о документации и статусе рамки. Правила упражнения и приведённые ниже обозначения предложены редакцией.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
Разделите материал и событие
Для начала задайте единицу учёта. В нашем журнале это одно подтверждаемое событие передачи определённой редакции материала определённому адресату. Один файл может участвовать в нескольких событиях, а одно сообщение — содержать несколько файлов.
Не сводите их в одну строку без пояснения.
Предлагаем различать текст задания, ключ с ожидаемым ответом и разбор с объяснением. Слово «пример» без уточнения не показывает, что именно было раскрыто. Передача только вопроса и передача вопроса с ключом — разные вводные для описания условий ответа.
Назовите адресата точно: участник занятия, ведущий, оценщик или конкретный запрос помощнику. Сообщение участнику не доказывает, что содержимое затем вошло в запрос модели. Сохранённый запрос с текстом ключа, напротив, позволяет проверить именно включение этого текста в данный запрос.
Статус папки тоже нуждается в границе. Запись «файл лежит в общей папке» показывает размещение, если оно подтверждено. Она не устанавливает открытие файла каждым участником.
Для вывода о конкретном просмотре потребуется соответствующее свидетельство.
Какие поля нужны журналу?
Начните с идентификатора материала и редакции. Затем укажите вид содержимого, адресата, событие, время, основание и связанный ответ. Добавьте поле «что не установлено», чтобы неизвестное не потерялось при сокращении таблицы.
| Поле | Что записать | Чего запись не подтверждает |
|---|---|---|
| Материал | К-7, редакция А, ключ | Актуальность других редакций |
| Адресат | Участник У-1 | Получение помощником |
| Событие | Сообщение с вложением | Прочтение без отдельного подтверждения |
| Время | Метка из сохранённого сообщения | Время создания содержимого |
| Связанный ответ | О-7, сохранённый текст и время | Все предыдущие ответы |
| Основание | Полное сообщение и само вложение | Неизвестные каналы передачи |
Для сопоставления времени укажите часовой пояс и точность меток. Если один журнал хранит минуты, а другой секунды, не придумывайте порядок двух событий внутри одной минуты. При разных поясах сохраните исходные метки и отдельно покажите правило приведения.
В учебном комплекте ниже все времена заданы в одном часовом поясе, а последовательность событий прямо оговорена. В рабочем материале это предстоит установить.
Если данных нет, используйте запись «не установлено».
Она не равна ни «не передавали», ни «передали». Полезный открытый вопрос называет недостающий документ: например, нет полного текста сообщения или невозможно определить редакцию вложения.
Учебный пример: ключ до ответа и после него
Все объекты, события и времена в этом разделе вымышлены. Это не история клиента AURMIND и не наблюдение за реальным сервисом. Ведущий выдаёт следующий полностью заданный комплект.
Карточка К-7/А содержит вопрос: «По учебному правилу передача заявки возможна после описания и вложения. Описание есть, вложения нет. Можно ли передать заявку?» Ключ КЛ-7/А: «Нет; отсутствует вложение». Разбор Р-7/А повторяет этот ключ и объясняет оба условия.
В комплекте три независимых цепочки. Обозначения У-1, У-2 и У-3 относятся к разным участникам. Чужие сообщения между цепочками не пересылались — это явное условие упражнения. Но комплект не описывает прочие возможные знания участников.
Цепочка У-1. В 10:00 сохранено сообщение ведущего участнику с карточкой и ключом; полный текст и вложения выданы. В 10:10 сохранён ответ О-1 участника.
Данных о запросе модели нет. Установлена передача ключа участнику до О-1; включение ключа в запрос помощнику не установлено.
Цепочка У-2. В 10:00 сохранён запрос З-2 помощнику, содержащий карточку и текст ключа. В 10:01 сохранён ответ помощника О-2. Полные тексты З-2 и О-2 выданы. Установлено включение ключа в этот запрос до О-2.
Почему помощник выбрал конкретные слова, комплект не устанавливает.
Цепочка У-3. В 10:00 сохранён запрос З-3 только с карточкой, в 10:01 — ответ помощника О-3, в 10:20 — сообщение ведущего участнику с разбором Р-7/А. В полном З-3 ключа нет. Установлена передача данного разбора после О-3.
Это не доказывает отсутствие любых более ранних каналов получения ключа вне выданных записей.
| Цепочка | Что установлено относительно ответа | Что остаётся неизвестным |
|---|---|---|
| У-1 / О-1 | Ключ передан участнику до ответа | Содержимое запроса модели; чтение ключа участником |
| У-2 / О-2 | Ключ включён в З-2 до ответа помощника | Причина конкретного ответа; обучение или память модели |
| У-3 / О-3 | Р-7/А передан после ответа; в полном З-3 ключа нет | Иные предшествующие каналы получения ключа |
Порядок времени подтверждён только внутри названных цепочек. Не переносите событие У-1 на У-3: материалы не сообщают, что все участники получили одно общее письмо.
Так сохраняется главный результат упражнения — три разных по объёму утверждения вместо общего «контрольный набор раскрыт».
Как поручить черновой разбор нейросети?
Предлагаем дать помощнику только разрешённый учебный комплект и попросить таблицу с основаниями. Это постановка задания для последующей проверки человеком, а не обещание точности инструмента. Рабочие ключи и закрытые журналы нельзя считать разрешёнными к загрузке лишь потому, что они доступны сотруднику.
Пример запроса:
Разбери выданные цепочки У-1, У-2 и У-3 отдельно. Для каждой укажи материал с редакцией, адресата, подтверждённое событие передачи, время, связанный ответ и точный фрагмент основания. Отделяй передачу участнику от включения в запрос помощнику, а передачу от прочтения. Укажи, было ли данное событие до или после данного ответа. Не достраивай неизвестные каналы. В отдельном поле перечисли, чего комплект не устанавливает. Не оценивай качество ответов и не делай выводов об обучении модели.
Сначала проверьте строку У-1. Если в ней появилось «модель получила ключ», попросите показать запрос. По вводным такого документа нет. Исправление должно сузить утверждение до передачи участнику; оно не должно подменять пробел догадкой.
У-2 проверяется иначе: в полном З-2 дан текст ключа. Черновик «возможно, был доступ» слишком расплывчат для этого события. Нужно точно записать включение в запрос и сохранить основание. Однако «помощник запомнил ключ» снова выходит за выданные сведения.
Для У-3 частая ошибка в учебном разборе — заменить «этот разбор передан после О-3» на «ключ раньше никто не видел». Такого общего доказательства нет. Просите сохранить обе границы: отсутствие ключа в полном З-3 и неизвестность прочих каналов.
Нейросеть здесь не восстанавливает отсутствующую историю. Она подготавливает проверяемый черновик из предоставленных записей.
Что делать с противоречием или неполным сообщением?
Сохраните противоречащие записи рядом. Допустим, отдельная подпись говорит «ключ отправлен в 09:50», а полного сообщения нет. Не заменяйте ею выданное событие 10:20. Добавьте отдельную неподтверждённую запись и запросите полный документ, адресата, вложение и сведения о времени.
Это дополнительная вымышленная ситуация, не часть трёх цепочек выше.
До получения документа уместен вывод: «Есть неподтверждённое указание на более раннюю передачу; порядок относительно ответа не установлен». Не выбирайте удобную версию по уверенности формулировки.
Если восстановлен новый факт, сохраните прежнюю редакцию журнала. В новой укажите основание исправления и затронутые строки.
История события и история нашей записи о нём — разные вещи. Исправление таблицы сегодня не меняет время передачи материала вчера.
Мнение. Для первого занятия рекомендуем небольшой полностью заданный комплект с разными адресатами и явной последовательностью. Так участники смогут проверить каждую связь. Это выбор учебного формата, а не норматив количества примеров.
Как завершить разбор без лишних выводов?
Итоговая записка называет охват: какие редакции заданий, какие адресаты, какие ответы и какие каналы проверены. Затем перечисляет установленные события, неразрешённые вопросы и документы, которые нужны для уточнения. Не превращайте отсутствие записи в подтверждение отсутствия события.
Журнал не выставляет оценку ответу. Если неверен сам ключ, нужна проверка эталонных ответов. Если требуется решение о применении помощника, одного журнала передач также недостаточно: он описывает только часть условий получения ответа.
Для учебной приёмки вернитесь к трём строкам. У-1 должен остаться передачей человеку, У-2 — включением в конкретный запрос, У-3 — поздней передачей конкретного разбора. В каждой строке нужен собственный ответ и собственное основание. Утверждения о памяти, скрытом обучении и всех возможных каналах не принимаются по этим вводным.
Следующий шаг — взять один разрешённый комплект и составить журнал без новых запусков. Если команда затрудняется отличить подтверждённое событие от вывода, эту работу можно включить в обсуждение корпоративного обучения. На странице способов связи AURMIND выберите подходящий канал и опишите учебную задачу и ограничения материалов.
Частые вопросы
Значит ли письмо с ключом, что модель его получила?
Нет. Письмо участнику подтверждает событие передачи этому адресату в пределах сохранённых материалов. Для вывода о включении ключа в запрос нужен сам запрос или другое соответствующее свидетельство. В цепочке У-1 такого документа нет.
Можно ли назвать О-3 независимым ответом?
По выданному З-3 можно установить отсутствие ключа в этом запросе. Разбор Р-7/А передан после О-3. Эти два наблюдения не исключают все возможные более ранние каналы. Журнал сохраняет узкие утверждения и открытый вопрос об остальной истории.
Нужно ли удалять раскрытую карточку из архива?
Для нашего упражнения сохраняют исходные материалы и описание событий. Решение о составе будущей проверки принимают отдельно; удаление истории не объяснит, в каких условиях получен прежний ответ. Изменённый набор получает собственное описание.
Доказывает ли включение ключа обучение модели?
Нет. В У-2 установлен состав конкретного запроса до конкретного ответа. Вывод об обучении, памяти или причине выбора слов не следует из этого комплекта. Для журнала достаточно точно назвать наблюдаемое событие.
Источники
- NIST AI RMF Playbook — добровольное применение Playbook.
- NIST AI RMF FAQs — добровольный статус рамки.
- NIST Playbook: Measure — MEASURE 2.1, документирование материалов проверки.
