Утверждения об отсутствии в ответах ИИ проверяйте вместе с границами просмотра. «В двух переданных памятках не описан срок» и «срока не существует» — разные выводы. Ниже — вымышленное упражнение для команды: полный комплект, спорные ответы и карточка, которая показывает, что именно просмотрено и насколько узко можно сформулировать результат.
Какой результат должен получить участник?
Предлагаем разобрать одну фразу с «нет», «не предусмотрено» или «никогда». Участник сохраняет предмет отрицания, область проверки и основание. На выходе коллега сможет повторить просмотр и увидеть, почему вывод принят, сужен или оставлен неподтверждённым. Это редакционный протокол учебного задания, а не универсальный метод доказательства любых отрицательных суждений.
В проверке цитат выясняют, совпадают ли слова и верно ли назван их источник. Здесь кавычек может вообще не быть. Вопрос другой: позволяет ли просмотренный материал написать «в комплекте такого положения нет»? Точный фрагмент из одного раздела ещё не отвечает за остальные разделы.
Ведомость неизмеренных рисков помогает спланировать получение недостающих свидетельств об исследовании. Наш результат — проверенная формулировка отрицательного утверждения о содержании конкретного набора текстов. Мы не строим план измерения рисков и не решаем, разрешено ли применять помощник.
Все памятки, роли и ответы ниже придуманы редакцией AURMIND. Это не клиентский кейс и не результаты реального эксперимента с моделью. Занятие можно провести на бумаге.
Рабочие документы, переписка и персональные сведения для него не нужны.
Факт. MAP 1.1 NIST AI RMF Playbook предусматривает понимание и документирование назначения и контекста применения ИИ. Здесь это общий повод явно задать область задания. NIST не устанавливает нашу карточку проверки отрицания и не является источником вымышленной памятки.
AI RMF и Playbook предназначены для добровольного применения; FAQ NIST отдельно подтверждает добровольность рамки. Эти три узких положения — единственные фактические утверждения о NIST в статье. Дальнейшие правила упражнения, примеры и критерии разбора предложены редакцией.
Мнение. В учебном разборе полезнее попросить показать границу фразы «не найдено», чем спорить об уверенности помощника. Граница делает замечание проверяемым: видно, какой документ или участок ещё не прочитан.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
Сначала сохраните точную отрицательную фразу
Возьмите предложение целиком. «Нет срока ответа» может означать отсутствие текста о сроке в памятке, отсутствие установленного срока в организации или отсутствие обязанности отвечать. В этом задании нельзя подменять одно другим.
Сначала перепишите утверждение, затем отдельно назовите его предмет и область.
Например, предмет — «положение о сроке ответа на заявку группы Л». Область — «полный текст памятки Р, редакция 1, пункты Р.1–Р.3». Если автор ответа написал «в организации», не сокращайте область до Р молча.
Такое сужение будет исправлением исходного ответа, которое нужно показать.
Слово «никогда» требует отдельного внимания.
Оно расширяет высказывание по времени.
В нашем упражнении нет истории всех прошлых редакций, поэтому их содержание нельзя вывести из одной текущей памятки. Столь же отдельно проверяют слова «все материалы», «ни один» и «вообще»: что именно входит в названное множество?
Проверка не обязана закончиться отрицательным выводом. Если текст прямо содержит искомое положение, карточка должна сохранить найденное основание, а не объяснять, почему помощник его не заметил.
Причину ошибки нельзя приписывать модели без наблюдения её работы.
Схема различает основания и допустимые формулировки. Это правила данного редакционного упражнения, а не классификация NIST.
Полный учебный комплект: две памятки и опись
Ведущий выдаёт опись К и две вымышленные памятки Р и С. В первой выдаче разрешённый комплект состоит только из них. Тексты приведены полностью; скрытых пунктов, приложений и иных редакций внутри этой выдачи нет.
Сведения о реальной организации упражнение не содержит.
Опись К: «В комплект входят памятка Р, редакция 1, пункты Р.1–Р.3, и памятка С, редакция 1, пункты С.1–С.2». Опись перечисляет состав учебной выдачи, но не утверждает, что в мире или в организации не существует других документов.
| Место | Полный текст |
|---|---|
| Р.1 | Заявку на занятие группы Л передают координатору. |
| Р.2 | В заявке указывают тему занятия и название группы. |
| Р.3 | Передача заявки координатору не означает подтверждения записи на занятие. |
| С.1 | По заявке группы Л координатор направляет ответ в течение двух рабочих дней после её получения. |
| С.2 | Если ответ не получен, составитель может направить уточнение координатору. |
Вопрос Q: «Что предоставленный комплект говорит о сроке ответа на заявку группы Л?» Искомое положение относится именно к сроку ответа. Не следует смешивать его со сроком передачи заявки или датой самого занятия.
Представим три ситуации просмотра. Это заданные учебные условия, а не журнал модели. В ситуации А участнику доступен и полностью прочитан только Р. В Б доступны и полностью прочитаны Р и С из описи К. В В доступны Р и С, но просмотрен только Р. Разница между А и В — в доступности С; совпадающий просмотр Р не делает их одинаковыми.
| Ситуация | Доступно | Полностью просмотрено | Допустимый вывод о сроке по заданным текстам |
|---|---|---|---|
| А | Р | Р.1–Р.3 | В Р положение о сроке ответа не содержится; по всему К вывод пока не установлен |
| Б | Р и С | Р.1–Р.3 и С.1–С.2 | С.1 устанавливает срок ответа для группы Л: два рабочих дня после получения заявки |
| В | Р и С | Только Р.1–Р.3 | В просмотренном Р положения нет; С ещё требуется прочитать, отрицание по К не подтверждено |
В Б наличие срока устанавливается прямым текстом С.1. Не нужно подсчитывать частоту слова «срок»: слово может отсутствовать, а выражение «в течение двух рабочих дней» всё равно отвечает на Q.
Поиск одного слова не заменяет чтение смысла в этом упражнении.
Для А правильный следующий шаг — запросить С из описи. Для В документ уже доступен: его нужно прочитать, а не снова запросить. У обоих случаев одинаковый предел текущего вывода, но разные незавершённые действия.
Р.3 содержит прямое отрицание другого предмета: передача не означает подтверждения записи.
Это не молчание. Однако Р.3 ничего не сообщает о сроке ответа. Нельзя взять любое предложение с «не» и использовать его как основание для произвольного отрицательного вывода.
Карточка проверки: область, просмотр, основание
Заполняйте одну карточку на одно утверждение.
Если ответ одновременно отрицает срок, подтверждение записи и существование других памяток, разделите его на три проверки. Иначе найденный дефект одной части будет заслонять разные основания остальных.
| Поле | Что записать для ситуации В |
|---|---|
| Исходная фраза | «В комплекте К нет срока ответа для группы Л» |
| Предмет отрицания | Положение о сроке ответа на заявку группы Л |
| Заявленная область | Весь К по описи |
| Доступные тексты | Р и С, обе редакции 1 |
| Фактический просмотр | Полностью Р.1–Р.3; С не просмотрена |
| Основание | Р не описывает срок; это не свидетельство о содержании С |
| Итог | Отрицание по всему К не подтверждено |
| Исправление и действие | «В Р срок ответа не описан; для ответа по К нужно прочитать доступную С» |
Карточка не подтверждает, что в реальном интерфейсе модель прочитала файл полностью. В упражнении состав просмотра дан явно. При собственном запуске сохраняйте то, что действительно можете установить: переданный набор и ответ, доступные записи извлечения, пропущенные участки.
Не заменяйте неизвестный охват формулировкой «прочитано всё» только потому, что ответ выглядит связным.
Отдельно указывайте нечитабельный участок. Если страница изображения не распознана, напишите это.
Полный список имён файлов ещё не доказывает полного просмотра их содержимого.
Чтение описи К помогает увидеть ожидаемый состав, но не сообщает содержание Р и С.
С другой стороны, бесконечно запрашивать неизвестные документы для узкого вывода о Р не требуется. В А полный текст Р дан и прочитан, поэтому фразу «в Р положения о сроке нет» можно проверить по Р. Для неё не нужно доказывать отсутствие такого положения во всех документах организации.
Область вывода определяет объём этой проверки.
Четыре придуманных ответа для разбора
Покажите участникам ответы О1–О4 после того, как они прочитали комплект. Это редакционные антипримеры, не реальные ответы какого-либо сервиса. Их число не используется для оценки надёжности ИИ.
| ID | Условие и ответ | Решение по учебному ключу |
|---|---|---|
| О1 | А: «В Р срок ответа не описан. Для ответа по К нужна С из описи» | Принять в границах Р и заданного просмотра; С действительно недоступна в А |
| О2 | В: «Мы проверили Р, поэтому в комплекте К срока ответа нет» | Не принять: отрицание расширено на непросмотренную С |
| О3 | Б: «Срока ответа нет: слово “срок” в памятках отсутствует» | Не принять: С.1 содержит положение о двух рабочих днях без этого слова |
| О4 | Б: «Р.3 не подтверждает запись; значит отвечать на заявку вообще не нужно» | Не принять: отрицание о подтверждении записи подменено отрицанием обязанности ответить, а С.1 прямо описывает ответ |
Для О2 исправление проходит в два этапа. Сначала сохраняют факт: по Р срока не видно. Затем читают С, которая уже доступна. После чтения итоговый ответ на Q становится положительным: срок указан в С.1.
Нельзя сохранять прежнее «нет», просто добавив ссылку на новый документ.
О3 показывает границу поиска по словам.
Читатель должен найти смысловое основание в С.1.
Условие задачи не требует расширять словарь запроса до бесконечности: полный комплект короткий и приведён целиком. Главное — не выдавать результат поиска одного слова за проверку всего содержания.
О4 ошибочен даже при точной передаче Р.3. Речь в этом пункте о подтверждении записи, а в Q — об ответе. Наличие или отсутствие одного действия не переносится на другое без отдельного основания. Здесь С.1 позволяет назвать срок ответа, но не сообщает, что ответ обязательно означает подтверждение записи.
У О1 есть собственная граница приёмки: он верен для А, а не для Б. Если тот же текст после полного чтения С оставить как окончательный ответ по К, он будет неполным. Полезная формулировка зависит от фактического состава просмотра, а не только от осторожных слов.
Три ситуации различаются доступностью и фактическим просмотром. Точный состав каждой задан в учебной таблице.
Как поручить нейросети черновую проверку?
Для занятия можно дать модели полный комплект и попросить разобрать заранее придуманные ответы. Такой запрос задаёт работу, но не гарантирует её правильного выполнения. Результат сверяют с исходными пунктами, включая С.1, независимо от уверенности формулировок.
Прочитай вымышленный комплект К: опись, Р.1–Р.3 и С.1–С.2. Проверь ответы О1–О4 в заданных ситуациях А, Б и В. Для каждого выдели предмет отрицания, заявленную область и фактически просмотренный набор по условиям упражнения. Различай прямое отрицание в источнике, отсутствие положения в полностью прочитанном тексте и незавершённый просмотр. Не считай поиск слова «срок» полной проверкой содержания. Укажи точное основание и исправление. Не делай выводов о реальной организации или прошлых редакциях. Ситуации просмотра — вводные упражнения, не сведения о твоём внутреннем чтении.
После этого запроса вставьте весь комплект, условия А–В и таблицу ответов.
Упоминание одного имени «С» без её текста не передаёт модели С.1. Если проводите реальный запуск, сохраните запрос и ответ отдельно от ключа ведущего. Не дописывайте удачный ответ в историю как результат запуска, которого не было.
В рабочей задаче допустимые инструменты, состав передаваемых документов и доступы определяет организация. Учебная карточка не разрешает загрузку корпоративных материалов в любой сервис и не заменяет согласование. Для открытого упражнения используйте только приведённые вымышленные тексты.
Продолжение: новый комплект меняет область, а не прошлое
Ведущий выдаёт дополнение Д: «Для следующего вопроса используется комплект К2, состоящий только из Р, редакция 1. С в К2 не входит». Текст Р не меняется. Вопрос Q2: «Содержит ли К2 положение о сроке ответа?»
После полного просмотра Р ответ «в К2 такого положения нет» допустим по заданным условиям: К2 состоит только из Р. Но это не отменяет С.1 в ранее выданном К. Отрицательный вывод по К2 и положительный по К могут одновременно быть правильными — области разные.
Это учебная смена состава, не отмена действующего документа.
Нельзя написать «С больше не действует»: Д не устанавливает действие документов и вообще не описывает реальную организацию. Оно только меняет выдачу для другого вопроса.
Историю первой карточки сохраняют, новую карточку связывают с Q2 и К2.
Ещё одно продолжение: ведущий сообщает лишь «в Р есть непрочитанная страница», не выдавая её текста. Тогда прежняя предпосылка полного Р меняется. Отрицание о всём Р потребует нового просмотра. При этом нельзя придумывать, будто на странице обязательно есть срок.
Неизвестное содержание не подтверждает ни наличие, ни отсутствие положения.
Для такого продолжения нужно явно назвать новую версию учебных условий. В исходной выдаче выше полный Р — это ровно Р.1–Р.3; никаких скрытых страниц там нет. Ведущий не должен задним числом объявлять исходный ключ ошибкой участника.
Как завершить занятие и проверить работу?
Попросите другого участника повторить проверку по карточке без устного пояснения автора. Он должен найти заданную область, сверить состав и прочитать указанные пункты.
Для ответа о всём К понадобится С; для ответа только о Р достаточно полного Р. Если карточка скрывает эту разницу, её следует уточнить.
Ключ первой выдачи: в Р срок ответа не описан; в С.1 он указан; по К после чтения обеих памяток срок найден.
Прямое отрицание в Р.3 относится только к связи передачи заявки и подтверждения записи. В А С нужно запросить, в В — прочитать доступную С. После Д вывод по К2 ограничен Р и не переписывает результат по К.
Приёмка учебной работы требует объяснить основание, а не только выбрать верную фразу. Участник должен показать, почему О2 выходит за просмотр, О3 теряет смысловой эквивалент срока, а О4 меняет предмет отрицания. Совпавший итог без такого объяснения ещё не показывает, что способ проверки освоен.
Не оценивайте по одной карточке профессиональную пригодность человека или способность модели работать с любыми документами. Она показывает выполнение конкретного задания. Для обсуждения корпоративного обучения работе с ИИ опишите, где команда сталкивается с фразами «не предусмотрено» и «такого правила нет». Первое обсуждение можно начать с обезличенного описания задачи; передачу внутренних материалов согласуют отдельно.
Частые вопросы
Можно ли вообще доказать отсутствие положения?
В условиях нашего задания можно проверить отсутствие положения в полном, явно ограниченном коротком тексте Р. Такой результат относится к его содержанию. Он не доказывает отсутствие правила в организации, во всех прошлых редакциях или в неизвестных документах.
Достаточно ли попросить модель привести цитату, если она пишет «нет»?
Для прямого отрицания Р.3 можно указать точный пункт. Отсутствие положения о сроке в Р не представлено одной фразой «срока нет»: это результат просмотра всего заданного Р. Поэтому нужны границы и охват, а не выдуманная отрицательная цитата.
Нужно ли искать слово во всех вариантах написания?
Это может помочь навигации по большому разрешённому документу, но само по себе не подтверждает полноту смысловой проверки. В С.1 положение о сроке выражено без слова «срок». Для нашего короткого упражнения полный текст уже дан, и ключ опирается на его чтение.
Почему осторожное «не найдено» тоже требует уточнения?
Без области непонятно, что проверялось: один фрагмент или обе памятки. Укажите комплект и фактический просмотр. При незавершённой проверке честно назовите её незавершённой; осторожное слово не делает просмотр полным.
Источники
- NIST AI RMF Playbook: MAP — MAP 1.1 о понимании и документировании контекста; не источник правил отрицательных выводов.
- NIST AI RMF Playbook — добровольное применение рамки и Playbook.
- NIST AI RMF FAQs — добровольный статус. Учебный комплект и протокол предложены редакцией.
