Проверку цитат в ответах ИИ начните с двух текстов рядом: фразы в кавычках и полного исходного абзаца. Затем отдельно отметьте дословность, сохранность условий и правильность указания источника. В учебном упражнении ниже эти проверки дают разные результаты: точное совпадение слов ещё не означает, что фраза годится для выбранного ответа.
Какой результат получит участник занятия?
Предлагаем ведущему корпоративного обучения протокол одной цитаты. По нему коллега сможет найти оригинал, увидеть конкретное изменение и решить, что исправить: восстановить текст, вернуть условие, сменить атрибуцию или убрать кавычки после отдельной проверки пересказа.
Это узкая редакционная задача. В общем порядке проверки ответа нейросети рассматриваются факты, числа, ссылки и даты. Здесь весь разбор посвящён устройству прямой цитаты: какие слова действительно взяты из оригинала, где проходит сокращение и что осталось за границей фрагмента. Результат — не общий статус ответа «верно», а воспроизводимое решение по каждой паре текстов.
Все памятки, ответы и роли в упражнении вымышлены. Это не записи реальных запусков и не клиентский опыт. Порядок сверки, обозначения и ключ ведущего предложены редакцией AURMIND; статья не устанавливает правовые правила цитирования и не оценивает качество какой-либо модели.
Факт. MAP 1.1 NIST AI RMF Playbook связывает понимание контекста применения ИИ с документированием назначения, условий применения, соответствующих норм и ожиданий. Здесь этот принцип служит общим контекстом для явно заданных условий задания, а не источником правил оформления цитат.
AI RMF и Playbook предназначены для добровольного применения. FAQ NIST отдельно подтверждает добровольность рамки. На эти документы мы ссылаемся только в названных пределах. В них не следует искать наш учебный ключ или требование использовать именно такую таблицу.
Мнение. Ведущему полезнее попросить участника показать место расхождения, чем принять фразу «нейросеть исказила смысл». Точное замечание можно проверить и исправить, не споря об общем впечатлении от ответа.
Каждая проверка получает свою запись. Один положительный результат не заполняет остальные поля.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
Разделите слова цитаты и утверждение вокруг неё
В карточку сначала перенесите проверяемый фрагмент целиком, включая вводные слова. Например: «По памятке М, “описание передают координатору” — значит, вложение можно не проверять». Здесь есть текст внутри кавычек, указание источника и отдельный вывод. Их нужно разобрать раздельно.
Слова могут действительно присутствовать в М. Но вывод об отмене проверки вложения требует своего основания. Даже если цитата точна, не ставьте отметку «весь ответ подтверждён». Иначе проверка нескольких слов незаметно превратится в приёмку чужого вывода.
Сохраните ответ до исправлений.
Для короткого занятия достаточно ID ответа и номера предложения. В большом разрешённом комплекте добавьте устойчивый указатель на версию документа и место фрагмента. Страница без обозначения редакции может оказаться недостаточной для повторной сверки; этот пробел следует записать, а не заполнять словом «последняя».
Рядом разместите исходный абзац, из которого якобы взята цитата. Если его нет, первым результатом будет «оригинал не предоставлен». Нельзя объявить дословность установленной, сравнив два пересказа. Для восстановления пути копии есть отдельный разбор происхождения материала; протокол цитаты не подменяет его.
Какие правила задать перед сверкой?
До начала упражнения договоритесь, что в нём считается точным совпадением. В нашем ключе сравниваются слова и их порядок. Внешние кавычки, технический перенос строки и положение завершающей точки относительно кавычек не входят в критерий дословности этого упражнения. Подмену слов, перестановку или необозначенный пропуск слов правила занятия не разрешают. Пунктуационное редактирование здесь отдельно не оцениваем.
Это условия нашего упражнения, а не универсальный издательский стандарт. Если организация пользуется другим редакционным регламентом, ведущий должен дать его участникам до проверки. Нельзя сперва получить ответ, а потом выбрать удобное правило совпадения.
Для сокращения используем обозначение […]. Оно показывает, что из оригинала убрали часть текста. В данном задании сокращённая цитата допустима для ответа только тогда, когда оставшиеся слова и сопровождающее пояснение сохраняют все условия, значимые для поставленного вопроса. Сам знак пропуска не делает сокращение удачным.
Пересказ в упражнении оформляется без кавычек и явно называется пересказом. Снять кавычки недостаточно: нужно отдельно проверить, сохранился ли смысл. Перевода в этом комплекте нет. Если добавляете его в своё занятие, выдайте оригинал и перевод отдельно и задайте критерий смысловой сверки; не называйте русскую формулировку дословной цитатой английского оригинала.
Полный учебный оригинал и четыре спорных ответа
Ведущий выдаёт памятку М, редакцию А, с двумя абзацами. Их полный текст приведён ниже. Других разделов у М в этом упражнении нет. Автор памятки — вымышленная учебная редакция, а не координатор или ведущий занятия.
М, абзац 1: «Для заявки очной группы описание передают координатору после проверки вложения. Если вложения нет, заявку возвращают составителю».
М, абзац 2: «Для заявки дистанционной группы описание передают ведущему. Проверка вложения в этом абзаце не описана».
Вопрос Q: «Что памятка М говорит о передаче описания заявки очной группы и о заявке без вложения?» Вид группы и предмет вопроса заданы явно. Мы выясняем содержание именно М; юридическую силу или актуальность реального документа здесь не устанавливают.
Ниже четыре придуманных ответа помощника. Они не получены в эксперименте, поэтому по их числу нельзя считать частоту ошибок ИИ.
| ID | Ответ для проверки |
|---|---|
| О1 | По М: «Для заявки очной группы описание передают координатору после проверки вложения». Если вложения нет, М предписывает вернуть заявку составителю. |
| О2 | По М: «Для заявки очной группы описание передают координатору». Значит, описание можно передать до проверки вложения. |
| О3 | По М: «Для заявки очной группы описание передают координатору […]». Этого достаточно для ответа Q. |
| О4 | Координатор сказал: «Если вложения нет, заявку возвращают составителю». Это личное указание координатора. |
Для О1 приведены все слова первого предложения по порядку. Второе предложение ответа — пересказ без кавычек. В О2 исходное предложение оборвано после слова «координатору»: оригинал продолжается условием. В О3 знак пропуска явно показывает сокращение, но ответ заявляет, что этого достаточно для всего Q. В О4 слова есть в М, однако вводная приписывает их другому говорящему.
Прочитайте оба абзаца М полностью.
Второй абзац нужен как контроль области: его адресат — ведущий — относится к дистанционной группе. Это не альтернативный ответ на очный Q. При этом отсутствие описания проверки вложения в абзаце 2 не означает запрета проверки или её ненужности: текст лишь не описывает её в этом месте.
Схема — указатель на разбор. Полные основания остаются в М, формулировке Q и таблице ответов.
Заполните протокол: три поля вместо одной галочки
В предлагаемом протоколе «дословность» отвечает за совпадение текста; «достаточность для Q» — за сохранение нужных условий и полноту ответа на выданный вопрос; «атрибуция» — за то, кому или чему приписаны слова. Дополнительно указывайте действие по исправлению. Так будет видно, что именно участник проверил.
| Ответ | Дословность фрагмента | Условия и полнота для Q | Атрибуция и действие |
|---|---|---|---|
| О1 | Полное первое предложение совпадает | Условие проверки сохранено; отсутствие вложения отражено отдельным верным пересказом | Источник М указан; в рамках задания исправление не нужно |
| О2 | Как полная прямая цитата не совпадает: текст оборван без отметки сокращения | Утверждение «можно до проверки» противоречит условию; возврат без вложения не отражён | М назван верно; восстановить условие и ответ на вторую часть Q |
| О3 | Оставшиеся слова идут по оригиналу, пропуск отмечен | Убрано значимое для Q условие; не дан ответ о возврате; заявление о достаточности не принято | М назван верно; расширить фрагмент и отдельно отразить второе предложение М |
| О4 | Второе предложение абзаца 1 совпадает | Показано действие без вложения, но не дан полный ответ о передаче описания | Нет основания приписывать М координатору; указать памятку и дополнить ответ |
О1 принимается только как ответ на заданный Q по двум абзацам М. Это не подтверждение, что памятка описывает весь реальный процесс или что модель будет правильно цитировать другие материалы.
Для О2 замечание должно назвать потерянные слова «после проверки вложения» и неподтверждённый вывод «можно до проверки». Восстановление одних кавычек или одного знака пропуска не исправляет этот вывод. Нужна содержательная правка ответа.
О3 показывает другой дефект. Пропуск обозначен честно, и оставшиеся слова можно сопоставить с оригиналом. Но фрагмент недостаточен для вопроса, который прямо спрашивает о вложении. Если участник поставил «всё точно», попросите назвать отдельное поле, где он проверил достаточность. Не стирайте положительное наблюдение о порядке сохранившихся слов, исправляя отрицательный итог.
О4 не доказывает, что координатор никогда не говорил таких слов. В комплекте просто нет записи его высказывания. Поэтому точный статус — «атрибуция координатору не подтверждена». Внести слова из М в прямую речь конкретного человека без основания нельзя в рамках правил этого задания.
Как исправить ответ, сохранив историю проверки?
Для О2 предлагаем новую редакцию: «В памятке М сказано: “Для заявки очной группы описание передают координатору после проверки вложения”. Если вложения нет, заявку возвращают составителю — это пересказ следующего предложения М». Внутри первой пары кавычек сохранены все слова исходного предложения по порядку. Внешнее оформление кавычек допускается правилами, заданными выше.
Старый О2 оставьте рядом с исправленным О2-испр. В поле причины напишите: «Вернули условие проверки; убрали противоположный вывод о передаче до проверки; добавили действие при отсутствии вложения». Сравните новую редакцию с обоими предложениями абзаца 1, а не только с замечанием проверяющего.
Исправление проверяют заново.
Для О3 можно выбрать ту же полную цитату и отдельный пересказ второго предложения. Можно пересказать оба предложения без кавычек: «По М описание очной заявки передают координатору после проверки вложения, а при отсутствии вложения заявку возвращают составителю». Это редакционный пересказ, а не дословная цитата. Отказ от кавычек здесь меняет вид представления, но не отменяет сверку условий и адресата.
Для О4 достаточно не только заменить вводную «координатор сказал» на «в М сказано». Вопрос Q содержит ещё первую часть — порядок передачи описания. Исправленный ответ должен охватить её, сохранив условие очной группы и проверки вложения. Иначе одна ошибка уйдёт, а неполнота останется.
Если оригинал не предоставлен или доступна лишь непроверенная копия, не создавайте «восстановленную цитату» по памяти. Сохраните непроверенный фрагмент отдельно и назовите недостающее основание. Отсутствие найденной строки в одном доступном документе не доказывает, что такой фразы нигде не существует.
Что поручить помощнику при разборе?
Для упражнения достаточно синтетического комплекта выше. Участники могут проверить его на бумаге без сервиса. Если используете разрешённого организацией помощника, сохраните исходный запрос, выданный комплект и фактический ответ. Не загружайте рабочие документы только ради этого примера.
Предлагаем такое задание:
Сверь О1–О4 с полным текстом М и вопросом Q. Для каждого ответа отдельно укажи совпадение слов и их порядка, сохранность условий для Q, полноту и атрибуцию. Приведи точное место расхождения. Соблюдай выданные правила сокращения и не заменяй прямую цитату пересказом без отметки. Не считай совпадение фразы одобрением всего ответа. Не приписывай слова человеку без свидетельства. Сначала покажи протокол исходных ответов; исправленные редакции вынеси отдельно.
Такой запрос — предложенное поручение, а не доказательство способности модели выполнить его. После получения ответа участник сопоставляет каждую строку с М. Если помощник верно заметил условие О2, но не заметил ложную атрибуцию О4, эти наблюдения фиксируют раздельно.
Не просите другой ответ той же системы служить единственным подтверждением дословности. В нашем упражнении доступно непосредственное основание — два абзаца оригинала. Второй черновик можно сравнить с первым, но решение проверяющего должно ссылаться на М, а не на уверенность инструмента.
Исходный ответ, замечание и новая редакция сохраняются отдельно. Повторная сверка возвращается к М и Q.
Как ведущему принять результат группы?
Выдайте одной группе М и Q, другой — заполненный протокол первой группы и тот же полный комплект. Проверяющие должны восстановить замечание без устного пояснения автора. Попросите их указать конкретные слова М для каждого решения.
Ключ занятия: О1 подходит к Q в рамках комплекта; О2 теряет условие и добавляет противоположный вывод; О3 отмечает сокращение, но не сохраняет нужную для Q информацию; О4 содержит точные слова, однако приписывает их координатору без основания и не охватывает весь Q. Исправления должны сохранять очную группу, проверку вложения и возврат при его отсутствии.
Отдельный контрольный вопрос: «Можно ли считать абзац 2 разрешением передавать очную заявку ведущему?» Ожидаемый ответ — нет: этот абзац описывает дистанционную группу. Если участник ссылается на одинаковое слово «заявка», верните его к полному условию каждого абзаца.
Другой контроль: «Доказали ли мы, что координатор не произносил О4?» Нет. Мы установили отсутствие основания для такой атрибуции в комплекте. Эта формулировка сохраняет границу между недоказанностью и опровержением.
Результат занятия — проверенный протокол четырёх вымышленных ответов и отдельные исправленные редакции. По нему нельзя оценивать общую грамотность сотрудника, частоту галлюцинаций модели или экономию времени команды. Если нужен подобный разбор для сотрудников, опишите задачу корпоративного обучения и выберите способ связи: какие фрагменты они цитируют, где доступен оригинал и кто принимает окончательную редакцию.
Частые вопросы
Достаточно ли найти такую же фразу в документе?
В нашем упражнении это подтверждает текстовое совпадение. О4 показывает, почему отдельно нужна атрибуция, а О3 — почему нужно учитывать вопрос и удалённые условия. Общий статус ответа не следует из одной найденной строки.
Можно ли поставить многоточие вместо потерянного условия?
Для этого задания используем явный знак […]. Но обозначение пропуска само по себе не решает содержательную проблему. Если условие важно для Q, его нужно вернуть в цитату или явно сохранить в сопровождающем пояснении, а затем проверить полноту ответа.
Что делать с пересказом без кавычек?
Сверить смысл, область и атрибуцию отдельно. Например, в исправленном пересказе О3 должны остаться очная группа, условие проверки и действие при отсутствии вложения. Снятые кавычки не дают права опустить эти сведения.
Нужно ли исправлять исходную памятку?
В выданном занятии предметом проверки являются ответы, поэтому М сохраняют. Рабочее изменение самого документа — другое действие с отдельными полномочиями. Протокол цитаты не предоставляет их автоматически.
Источники
- NIST AI RMF Playbook — добровольное применение AI RMF и Playbook. Проверено 10 ноября 2026 года.
- NIST AI Risk Management Framework FAQs — добровольный статус рамки, а не правила цитирования.
- NIST Playbook, MAP — MAP 1.1 о документировании контекста, назначения и условий применения. Протокол цитаты, правила сокращения и вымышленные материалы М/Q/О1–О4 разработаны редакцией для этого занятия.
