Обратная связь пользователей ИИ помогает заметить опыт, который не виден из отчёта команды внедрения. Но папка с отзывами ещё не показывает, сколько людей столкнулось с проблемой и все ли могли о ней сообщить. В этой статье соберём учебную схему потока: от возможности оставить сообщение до границ вывода по собранным записям.
Материал предназначен руководителю и L&D, которые учат команду разбирать сведения об использовании помощника. Результат упражнения — перечень каналов, правила учёта сообщений и короткая аналитическая записка с неизвестным. Это редакционный способ работы с вымышленными вводными, а не обязательная форма отчётности, проверка безопасности или решение о запуске системы.
Что именно проверяет схема обратной связи?
Представьте внутренний помощник для поиска по учебным материалам. Редактор знает, как устроен каталог. Сотрудник видит, что получил по своему запросу. Ведущий занятия слышит вопросы после демонстрации. Эти сведения относятся к разным точкам процесса. Если собрать только разговоры на занятии, самостоятельное использование останется за пределами этой подборки.
Наша схема отвечает на вопрос: какой опыт мог попасть в собранный поток и что этот поток позволяет утверждать?
В карте затронутых сторон определяют группы и их связь с применением. Здесь группы — исходные сведения. Дальше проверяем путь сообщения: известен ли канал, кому он доступен, что сохраняется при передаче и как запись попадает в сводку. Даже правильно составленная карта не доказывает, что все перечисленные люди смогли высказаться.
Факт. В разделе MEASURE 3.3 NIST AI RMF Playbook обратная связь конечных пользователей и затронутых групп связана с оценкой ИИ-системы. Среди предложенных действий — оценивать результативность сообщений о проблемах, участие в сборе обратной связи и осведомлённость о такой возможности. Это основание проверять сам способ сбора, а не только содержание полученных отзывов.
AI RMF и Playbook предназначены для добровольного применения. NIST не задаёт нашу таблицу, универсальную норму участия или обязательный срок ответа. Поля, примеры и последовательность ниже — предложения редакции для учебного разбора. Вопросы правомерности обработки сведений организация решает отдельно со своими специалистами.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
Опишите путь до первой цифры
Начните с одного применения и ограниченного периода наблюдения. В учебном задании запишите их словами, даже если календарные даты не нужны: «Самостоятельный поиск по каталогу после занятия; сообщения из выданного комплекта». Не объединяйте в одном потоке поиск, создание документов и оценивание сотрудников, если вводные описывают разные способы использования.
Затем восстановите переходы. Человек узнаёт, где сообщить о затруднении; получает доступ к каналу; отправляет сообщение; запись сохраняется; составитель включает её в сводку. На каждом переходе может не хватать сведений. Отсутствие подтверждения не заполняйте знакомой процедурой из другой команды.
Сохранённая запись подтверждает только то, что действительно сохранено. Устный пересказ ведущего не превращайте в прямую цитату участника. Если составитель получил сокращённую заметку, обозначьте происхождение и ограничение: «Пересказ после занятия, исходная формулировка не дана». Это особенно важно, когда несколько похожих реплик хочется объединить в одну тему.
Не обещайте анонимность по названию формы. Для такого обещания нужны проверенные условия конкретного канала и согласованный порядок работы. В учебном комплекте достаточно условных идентификаторов, заранее придуманных ведущим. Рабочую переписку и персональные сведения для этого упражнения собирать не требуется.
Разделите сообщение, случай и участника
Одна запись в выгрузке — ещё не один независимый случай. Человек мог отправить уточнение к своему первому сообщению. Два человека могли описать одну демонстрацию. Или одинаковая фраза относится к разным ситуациям. Без связи с вводными ни объединять, ни разделять такие записи уверенно нельзя.
Предлагаем сначала вести учёт на уровне сообщений. Связь с предполагаемым случаем вынесите в отдельное поле и оставьте статус проверки. Так исходные записи сохранятся, а сводная тема не подменит их содержание.
| Поле учебной записи | Что в него поместить | Чего не заключать автоматически |
|---|---|---|
| Идентификатор сообщения | Условный номер записи из комплекта | Что номер соответствует уникальному человеку |
| Происхождение | Канал и способ получения текста | Что пересказ равен прямой реплике |
| Контекст использования | Действие, указанное в сообщении | Что речь идёт о любой задаче с ИИ |
| Наблюдение автора | Что человек сообщает о своём опыте | Что причина уже установлена |
| Связь с другим сообщением | Явное уточнение либо открытый вопрос | Что сходство слов доказывает один случай |
| Пробел | Какие сведения отсутствуют | Что отсутствие записи означает отсутствие проблемы |
Таблица — предложенный редакционный шаблон. Она не создаёт права хранить любые сведения, не устанавливает срок хранения и не заменяет порядок работы с обращениями. Для реального процесса состав полей и доступ к записям нужно согласовать до сбора.
Тема сообщения тоже требует границы. «Не удалось найти материал» может описывать запрос, непонятную навигацию или отсутствие нужной информации в каталоге. В сводке допустимо сохранить дословное наблюдение и вопрос о причине. Назначать технический диагноз по короткой реплике в нашем упражнении нельзя.
Учебный пример: четыре записи не равны четырём ошибкам
Ведущий выдаёт полностью вымышленный комплект А–Д. Все условия ниже придуманы для упражнения; они не описывают клиентов или результаты AURMIND.
А. После занятия помощник доступен двум учебным группам — «очная» и «самостоятельная». Размеры групп и число обращений к помощнику не указаны.
Б. Ссылка на форму обратной связи показана на экране очного занятия. Во вводных нет сведений о том, что самостоятельная группа получила эту ссылку. Доступ к форме для обеих групп не проверен.
В. В сохранённой подборке четыре сообщения: С1 — «По запросу про отпуск не нашёл памятку»; С2 — «Уточнение к С1: искал по слову “отгул”»; С3 — «На показе не нашёл памятку по отпуску»; С4 — «Ответ помог найти нужный раздел».
Г. Подборка не содержит сведений о том, кто отправил С3 и относится ли оно к ситуации С1. Для С4 не указан запрос. Имена, исходные ответы помощника и история поиска отсутствуют.
Д. Черновая сводка гласит: «Получены четыре независимых отзыва; три подтверждённые ошибки поиска. Самостоятельная группа проблем не сообщала, поэтому её опыт положительный».
Сначала исправьте единицы счёта. В подборке действительно четыре сообщения. С2 явно уточняет С1, поэтому называть все четыре независимыми отзывами по этим вводным нельзя. Связь С3 с С1 не установлена; сходная тема не даёт ни объединить их в один случай, ни объявить двумя независимыми случаями.
Дальше проверьте слово «подтверждённые». С1 и С3 сообщают о затруднении, но исходных ответов и контекста для проверки причины нет. С2 уточняет формулировку запроса. Это не три подтверждённые технические ошибки. С4 — положительное сообщение об одном неуказанном запросе; оно не подтверждает качество поиска по всему каталогу.
Самая незаметная подмена — вывод о самостоятельной группе.
В комплекте не установлено, что она знала о форме и могла ею воспользоваться. Более того, принадлежность отправителей к группам не дана. Поэтому нельзя даже уверенно сказать, что сообщений от этой группы не было: в подборке отсутствует признак, который позволил бы это проверить. Корректная запись: «Представленность опыта самостоятельной группы неизвестна; способ информирования и доступность канала требуют уточнения».
Для выданного комплекта предлагаем такую сводку: «Сохранены четыре сообщения. С2 является уточнением С1. С1 и С3 описывают затруднение поиска; их взаимосвязь и причина не установлены. С4 сообщает об успешном поиске без указания запроса. Размер групп, объём использования и представленность каждой группы неизвестны. По подборке нельзя оценить долю ошибок или распространить впечатления на всех пользователей».
Это итог анализа документов, а не оценка самой системы. Даже без положительного или отрицательного рейтинга работа завершена: составитель отделил известное от того, чего комплект не доказывает.
Какие вопросы вернуть составителю потока?
После разбора полезен короткий перечень недостающих оснований. Сначала уточните, как обе группы узнали о возможности высказаться и проверялся ли доступ в их условиях использования. Отдельный вопрос — можно ли сопоставить сообщения с контекстом, не собирая лишних сведений о людях. Решение об изменении канала принимает владелец процесса, а не модель по своему шаблону.
Не начинайте с предложения «обязать всех заполнить анкету». Это меняет способ получения сведений и само по себе не отвечает на вопрос, что именно нужно выяснить. Для нашей учебной задачи достаточно зафиксировать пробел и предложить проверить канал. Измерять удовлетворённость, диагностировать причины ошибок и оценивать обучение пришлось бы по отдельно сформулированным задачам.
Проценты тоже требуют основания. Если известны лишь четыре сообщения, знаменателем не может стать выдуманное число пользователей. Даже когда размер групп позже сообщат, нужно выяснить, относятся ли числитель и знаменатель к одной единице и одному периоду. «Сообщения на человека» и «доля людей, сообщивших о затруднении» — разные показатели; второму нужна информация о числе разных людей, которой наш комплект не содержит.
Мнение редакции: на первом учебном разборе полезнее сохранить честную строку «неизвестно», чем требовать от участников законченного рейтинга. Иначе упражнение по чтению свидетельств превращается в соревнование по заполнению пустых клеток.
Как поручить ИИ черновик сводки?
Используйте только синтетические вводные А–Д. В рабочем процессе заранее определите разрешённую среду и состав передаваемых данных. Нейросети не нужны реальные анкеты сотрудников, чтобы отработать логику этого примера.
Предлагаем такое задание:
По комплекту А–Д составь черновик разбора обратной связи. Сохрани идентификаторы С1–С4. Отдельно укажи число сообщений, явные связи между ними, неподтверждённые связи, сведения о каналах и неизвестное об охвате групп. Каждое заключение свяжи с конкретной вводной. Не придумывай участников, ответы помощника, размеры групп, причины затруднений и доступность формы. Не рассчитывай частоту ошибок, не присваивай рейтинг системе и не считай молчание положительной оценкой. Перепиши сводку Д так, чтобы она не выходила за пределы комплекта. В конце перечисли вопросы для уточнения.
Ответ — черновик. Участник открывает вводные и проверяет каждую строку. Наличие ссылки «В» ещё не означает, что фраза подтверждена: вводная В содержит сообщения, но не техническую проверку их причин.
Ведущий может намеренно предложить неверный модельный вывод: «После объединения С1 и С2 остаются три независимых случая». Участник должен увидеть, что независимость С3 не установлена и у С4 не указан запрос. Исправление не сводится к замене числа: нужно убрать неподтверждённую характеристику единицы.
Другой дефект: «Самостоятельная группа не участвовала». Вводные подтверждают лишь отсутствие сведений об информировании и принадлежности отправителей. Такая формулировка должна стать вопросом, а не отрицательным фактом. Нельзя исправлять её на столь же бездоказательное «участвовала мало».
Где заканчивается сводка и начинается другой процесс?
Обратная связь может содержать разные запросы. Человек описывает неудобство, просит объяснить ответ или требует пересмотра конкретного результата. Наша схема помогает не потерять исходную реплику и её контекст, но не даёт составителю полномочий разрешать любой вопрос.
Если речь о пересмотре результата, используйте установленный маршрут обращения и рассмотрения. Нельзя закрыть индивидуальное обращение тем, что его включили в общую диаграмму тем. Для случая, требующего фиксации и передачи ответственному, существует журнал инцидентов. Сводка потока не заменяет ни рассмотрение, ни проверку отдельного события.
В учебном комплекте А–Д таких решений нет. Не назначайте виновного, не обещайте исправление и не объявляйте применение разрешённым или запрещённым. Итог здесь уже: показать границы сведений и вопросы к устройству обратной связи.
Как принять учебную работу?
Попросите участника объяснить один вывод вслух. Почему четыре сообщения не стали четырьмя независимыми случаями? Что известно о С2? Почему принадлежность С3 нельзя вывести из его текста? Какое основание нужно, чтобы говорить об опыте самостоятельной группы? Ответ проверяется по комплекту, а не по сходству с красивой формулировкой ведущего.
Затем уберите сводку Д и дайте участнику составить свою. В ней должны сохраниться число записей, явная связь С2 с С1, неизвестная связь С3, ограничение С4 и отсутствие данных об охвате. Длинный текст не получает преимущества перед коротким, если оба одинаково точно показывают границу вывода.
Для принятия работы предлагаем простой критерий: другой человек по сводке может восстановить, на чём основаны заключения и чего комплект не позволяет установить. Это редакционный критерий конкретного упражнения, а не подтверждение компетентности сотрудника во всех задачах с ИИ.
Следующий шаг — разобрать один синтетический поток вместе с командой до использования реальных отзывов. Если нужен такой практикум, опишите задачу корпоративного обучения AURMIND: кто собирает обратную связь, какие сведения получает и какие выводы должен уметь ограничивать. Для первого обсуждения достаточно описания задачи без рабочих секретов и персональных сведений.
Частые вопросы
Можно ли объединить похожие сообщения в одну тему?
Для навигации по подборке можно предложить общую тему, сохранив исходные записи. Но тематическая близость не доказывает, что сообщения описывают один случай или независимые события. В нашем комплекте явная связь дана только между С2 и С1.
Что делать, если отрицательных отзывов нет?
Сначала выясните, что известно о способе сбора, доступности канала и представленности пользователей. Отсутствие отрицательных записей в подборке само по себе не подтверждает отсутствие затруднений или положительное отношение всех людей. Неизвестное остаётся частью сводки.
Нужна ли оценка качества модели в этой таблице?
Наша таблица описывает происхождение сообщений и границы их интерпретации. Для проверки качества системы нужны отдельно определённые задача, материалы и способ проверки. По одним впечатлениям из вымышленного комплекта техническую оценку не проводим.
Источники
- NIST AI RMF Playbook: MEASURE — MEASURE 3.3: обратная связь, результативность каналов, участие и осведомлённость о возможности сообщить.
- NIST: описание Playbook — добровольное применение рамки и Playbook; редакционный шаблон не является обязательной формой NIST.
- NIST: вопросы об AI RMF — назначение рамки и её добровольный характер, без обязательной нормы участия для нашего упражнения.
