Границы допустимого риска ИИ помогают отделить вопрос «что показала проверка?» от вопроса «с чем организация согласна работать?». Команда может измерить число ошибок, но сам результат измерения ещё не задаёт допустимую границу. Для обсуждения нужны назначение системы, последствия, основания выбранного ограничения и человек с полномочиями принять решение. Ниже — учебный разбор записи о границе, без универсальных процентов и разрешения на запуск.
Почему показатель проверки не равен допустимому риску?
Представьте две фразы: «В учебном наборе нашли пропуски условий» и «Такие пропуски допустимы». Первая описывает наблюдение. Вторая выражает решение. Между ними недостаёт основания: какие именно условия потеряны, где будут использовать результат, кого затронет ошибка и кто вправе принять её последствия.
Это разные вопросы.
Даже полностью заполненный протокол испытания может не содержать решения о допустимости. И наоборот: согласованный документ с границей ничего не доказывает о фактическом поведении помощника. Чтобы сравнить их, сначала проверьте, относятся ли документы к одному назначению, версии и способу использования результата.
В материале NIST MAP 1.5 risk tolerance описана через уровень и тип риска, который организация готова принять при выполнении своей миссии и стратегии. Раздел рассматривает определение и документирование таких границ в контексте применения. Это шире, чем допустимое число неточностей в ответе.
Факт. NIST AI RMF и Playbook предназначены для добровольного применения. Они не устанавливают общий обязательный процент ошибок для всех компаний. Предложенные ниже поля и учебный пример — редакционный способ разобрать решение, а не форма NIST, норматив или доказательство безопасности.
Текст адресован руководителю процесса и L&D-специалисту, который готовит обсуждение границ использования ИИ. Его полезный результат — проект вопросов к принимающему решение. По этому проекту нельзя самостоятельно разрешать работу системы, назначать медицинские, правовые или иные профессиональные ограничения.
Если сначала нужно понять, как ошибка может повлиять на людей, используйте отдельную карту возможных последствий ошибок ИИ. Здесь мы рассматриваем следующий логический вопрос: на каком основании предложенную границу вообще считают допустимой.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
Опишите предмет границы до выбора числа
Фраза «допускаем небольшое число ошибок» не сообщает, что считается ошибкой. В одной задаче обсуждают неточность стилистики, в другой — потерю условия, которое меняет действие адресата. Общий процент склеит эти случаи и скроет предмет решения.
Начните с короткого описания: помощник делает что, по каким материалам и куда попадёт результат. Затем назовите конкретное нежелательное событие. Например, «в черновике памятки потеряно условие подтверждения заявки». Это определение для учебного обсуждения, не сообщение о действующем продукте.
Разделите область наблюдения и область применения. Учебный набор может содержать только короткие памятки; будущий сценарий — ещё и приложения к ним. Если приложений в проверке не было, запись о границе не должна незаметно распространяться на них.
Назовите единицу учёта. Число документов с хотя бы одним пропуском, число пропущенных условий и число действий, выполненных по ошибочному тексту, — разные величины. Первые две относятся к результату обработки текста. Третья уже требует сведений об использовании.
Для проектной записи можно взять такие поля:
| Поле | Что требуется уточнить |
|---|---|
| Назначение | Какой результат и для кого готовит помощник |
| Нежелательное событие | Какое расхождение или последствие обсуждают |
| Область | Версия, документы, пользователи, способ применения |
| Основание | Какие сведения и ограничения учли при предложении границы |
| Проект границы | Что именно предлагают считать допустимым и при каких условиях |
| Решающий участник | Кто имеет полномочия, где подтверждены эти полномочия |
| Статус | Предложение, вопрос на согласовании либо подтверждённое решение |
| Пересмотр | Какое изменение возвращает вопрос на обсуждение |
Название статуса должно соответствовать документам. «Проект» не превращается в «согласовано» после красивого оформления таблицы.
Схема показывает три отдельных вопроса. Она не задаёт автоматическую цепочку допуска: между предложением и решением может остаться открытое разногласие, а наблюдение может оказаться неприменимым к выбранному сценарию.
Где искать основание для предложенной границы?
В MAP 1.5 NIST предлагает учитывать применимые правила и руководства, разные источники и уровни риска, а также контекст применения. Среди предложенных действий есть определение предельной границы, выше которой систему не развёртывают или прекращают её использование в данном контексте. Конкретные значения для вашего процесса этот раздел не выдаёт.
Поэтому вопрос «какой процент выбрать?» преждевременен без объяснения, что именно ограничивают. Источником основания могут быть действующие требования организации, результаты предметной оценки и сведения о последствиях. Применимость закона, договора или отраслевого правила определяют ответственные специалисты; нейросеть не может объявить их соблюдёнными своим ответом.
В учебной записи разделите три вида основания. Первое — документ, задающий обязательное условие в рамках упражнения. Второе — сведения о поведении помощника в определённом наборе. Третье — решение уполномоченного участника о том, как эти сведения соотносятся с допустимостью выбранного сценария.
Не приписывайте документу больше, чем в нём сказано.
Протокол с результатами проверки не устанавливает полномочия согласующего. Приказ о полномочиях не доказывает отсутствие ошибок. Общая политика использования ИИ может обозначать роли, но не содержать решения о конкретном нежелательном событии. Ссылку на неё следует довести до нужного положения, а оставшийся вопрос сохранить открытым.
Мнение. Для учебного обсуждения полезнее оставить честное «основание не представлено», чем заполнить клетку правдоподобной нормой. Такая пустота показывает следующий вопрос владельцу процесса. Выдуманное значение прячет его.
Учебный пример: черновик памятки и исчезнувшее условие
Вся ситуация ниже придумана для обучения. Документы А–Г — полные вводные упражнения. Они не описывают клиента AURMIND, реальную систему или допустимый уровень риска. Числа здесь нужны только для демонстрации различий между наблюдением и решением.
А. Условие учебного процесса. Помощник готовит внутренний черновик памятки по оформлению заявки. Перед использованием редактор сверяет его с исходником. Пункт исходника: «Заявку передают исполнителю после подтверждения комплекта материалов». Документ А не задаёт числовую границу риска и не разрешает удалять это условие.
Б. Учебный протокол. В наборе из десяти памяток один черновик не содержит условия подтверждения. В девяти остальных это условие сохранено. Другие виды ошибок в протоколе не рассматриваются. Ничего не сообщается о случайности отбора, представительности набора или поведении помощника за его пределами.
В. Проект записи. Автор проекта написал: «Допустимый риск — одна ошибка на десять памяток; проверка пройдена; разрешена автоматическая передача заявок». Поле основания содержит только ссылку на Б. Участник, уполномоченный согласовать границу риска, не указан.
Г. Распределение полномочий упражнения. Редактор вправе сверить текст и вернуть черновик. Руководитель учебного процесса рассматривает предложения об изменении способа использования помощника. В материалах нет его решения по проекту В и нет утверждённой границы допустимого риска.
Что можно установить по этим вводным? В Б есть один черновик с определённым пропуском среди десяти рассмотренных. В В наблюдение превратилось в допустимую норму без отдельного основания. Кроме того, назначение изменилось: подготовка внутреннего черновика стала автоматической передачей заявок.
Последний переход особенно важен. Даже если бы границу для подготовки черновиков согласовали, это ещё не было бы решением для автоматической передачи. В упражнении нет ни первого, ни второго решения.
| Фраза из проекта В | Что дают документы | Что записать после разбора |
|---|---|---|
| «Одна ошибка на десять допустима» | Б описывает наблюдение в учебном наборе | Допустимость не установлена; требуется основание и решение |
| «Проверка пройдена» | Критерий успешного прохождения не представлен | Итог допуска по этому критерию определить нельзя |
| «Разрешена автоматическая передача» | А описывает подготовку черновика; Г не содержит такого разрешения | Это другое назначение; основание разрешения отсутствует |
| «Риск равен доле пропусков» | Б считает черновики с одним видом расхождения | Назвать показатель точно; не выдавать его за полную оценку риска |
Исправленный проект может звучать так: «По Б в одном из десяти учебных черновиков отсутствует условие подтверждения комплекта материалов. Граница допустимости этого расхождения не представлена. Решение об автоматической передаче заявок в А–Г отсутствует. Проект направляется руководителю учебного процесса с вопросами об основаниях и назначении».
Это не утверждение о безопасной частоте ошибок. И не оценка вероятности будущего пропуска. Мы только привели запись в соответствие с полными вводными.
Как не подменить оценку риска удобным показателем?
В упражнении долю черновиков с пропуском можно посчитать: один из десяти — десятая часть. Но эта арифметика ничего не добавляет к основаниям допустимости. Неизвестно, какую частоту можно ожидать в другом наборе, какие последствия возникнут при использовании и как они соотносятся с условиями организации.
Если участник пишет «риск низкий», попросите раскрыть смысл слова.
Он говорит о числе обнаруженных расхождений, тяжести возможного последствия, уверенности в оценке или готовности принять последствия? Это не взаимозаменяемые описания.
Сохраните отдельное поле для неизвестного. «Нет данных о применении черновика» не равно «последствий не было». «Граница не представлена в упражнении» не равно «никакой границы в организации никогда не существовало».
В первом случае говорим о полном наборе вводных А–Г; во втором потребовалось бы исследовать другую область.
Полезный контрольный вопрос к каждой фразе — какой новый документ позволил бы её подтвердить?
Для утверждения о согласованной границе понадобилось бы решение с областью и основанием. Для вывода о фактическом последствии — сведения об использовании результата.
Один дополнительный протокол проверки текста не закроет все эти пробелы.
Не сводите разные последствия в общую цифру без объяснения. Пропуск уточнения в учебном черновике и неверная команда в рабочей системе требуют разного предметного разбора. Здесь не предлагается способ назначать им общий балл или переносить границу между ними.
Что можно поручить нейросети при подготовке обсуждения?
Используйте модель как помощника для извлечения записей и поиска логических разрывов, если такой способ работы разрешён для выбранных материалов. В учебном задании дайте ей полные вводные А–Г. Не загружайте реальные чувствительные документы ради примера; состав разрешённых данных определяют по правилам организации.
Пример задания:
Разбери только учебные документы А–Г. Отдельно выпиши наблюдения из Б, предложенную границу из В, назначение из А и полномочия из Г. Для каждой строки укажи документ и точную опору. Найди, где наблюдение выдано за решение или изменилось назначение. Не выбирай допустимый процент, не оценивай будущую вероятность, не разрешай запуск. Если основания нет, напиши «в А–Г не представлено». Затем составь вопросы руководителю учебного процесса.
Это редакционный шаблон задания. Он не гарантирует правильного ответа модели. Участники проверяют результат по исходным документам, а ведущий оценивает сохранность различий.
Типичная ошибка в ответе — объявить один пропуск приемлемым, потому что остальные девять памяток выглядят лучше. Вторая — предложить снизить долю до другого числа и назвать новую границу безопасной. Ни одно значение не следует из А–Г. Третья — выдать полномочие редактора исправлять текст за право разрешать автоматическую передачу заявок.
При такой ошибке верните модели конкретное расхождение: «Г даёт редактору право вернуть черновик; покажи основание для приписанного ему разрешения». Не просите просто «оценить риск точнее»: без новых оснований это приглашение дописать недостающий смысл.
Вопросы руководителю в рамках упражнения могут касаться источника предлагаемой границы, состава учитываемых последствий и области назначения. Это запрос сведений, не заранее подготовленное согласие с проектом В.
Когда возвращаться к записи о границе?
Изменение назначения — повод проверить применимость прежнего решения. В примере переход от внутреннего черновика к автоматической передаче меняет именно предмет обсуждения.
Нельзя исправить только заголовок записи и считать, что старое основание сохранилось.
Редакция предлагает заранее назвать события пересмотра: другой тип документов, новый получатель результата, изменение возможности исправить ошибку, новые сведения о последствиях или обновление применимых требований. Организация определяет собственный порядок. Это не универсальные сроки и не перечень всех возможных оснований.
При пересмотре сохраните старую запись с её областью. Рядом отметьте, что изменилось и какие подтверждения предстоит обновить. Так участник увидит разницу между «прежнее решение относится к прежнему сценарию» и «новый сценарий уже одобрен». Историю изменений можно связать с реестром изменений ИИ, не превращая сам реестр в орган согласования риска.
Мнение. На занятии лучше проверять способность заметить недостающее решение, чем скорость заполнения всех полей. Участник, который оставил обоснованный открытый вопрос, может точнее выполнить задачу, чем автор уверенной, но неподтверждённой нормы.
Как проверить результат учебного разбора?
Попросите участника защитить каждое предложение исправленного проекта. Он должен показать, откуда взято наблюдение, почему отсутствует основание допустимости и где изменилось назначение. Если ответ опирается на «обычно так делают», это новая вводная, которой нет в А–Г.
Ключ для ведущего: один пропуск в десяти учебных черновиках — наблюдение; допустимая граница не согласована в предоставленных материалах; разрешение автоматической передачи отсутствует; редактор не получил соответствующего полномочия. Нельзя ни разрешать запуск, ни назначать новую норму вместо ответственного участника.
Получившийся документ — проект записи и список открытых вопросов. Он помогает обсудить основания допустимости с владельцем процесса. Более широкий порядок ролей и исключений рассматривается в политике использования ИИ; эта статья не заменяет её и не переписывает заново.
Для обсуждения корпоративного обучения ИИ опишите задачу команды и то, какие решения участники сейчас смешивают: измерение, предложение границы или разрешение использования. На учебном материале можно проверить именно это различие, не выдавая результат занятия за оценку безопасности действующей системы.
Частые вопросы
Можно ли взять допустимый процент из учебного примера?
Нет. Один пропуск в десяти черновиках — заданное наблюдение Б. Документы А–Г не устанавливают допустимость этой доли и не позволяют оценивать по ней частоту будущих ошибок. Новое число вместо старого тоже не создаст основания.
Означает ли «граница не представлена», что система обязательно опасна?
Нет. Это описание нехватки основания в конкретном наборе материалов. Оно не доказывает ни безопасность, ни опасность системы. В упражнении требуется обозначить пробел и вопрос принимающему решение, а не вынести заключение о действующем продукте.
Можно ли перенести границу с черновиков на автоматическую отправку?
Из А–Г такой перенос не следует. Меняется способ использования результата; решение для нового назначения не представлено. В проекте следует сохранить этот вопрос открытым и запросить нужные основания у участника с соответствующими полномочиями.
Источники
- NIST AI RMF Playbook | NIST —
- AI Risk Management Framework FAQs | NIST —
- NIST AI RMF Playbook: MAP —
