Чтобы проверить навыки работы с нейросетями у кандидата, дайте ему рабочее задание с понятным результатом. Оцените, как он задаёт контекст, проверяет ответ и исправляет ошибки. Одинаковые вводные и рубрика с наблюдаемыми критериями помогут обосновать оценку. Такой же подход подходит для диагностики сотрудника до и после практики, если сохранить сопоставимые условия.
Что именно проверять в навыке работы с ИИ
Проверяйте последовательность действий: понимание задачи, подготовку запроса, работу с ответом, сверку содержания и объяснение ограничений. Для каждого действия нужно свидетельство из выполненного задания. Например, кандидат обнаружил противоречие в заметках, уточнил запрос и сохранил спорный пункт как открытый вопрос. Перечень сервисов в резюме даёт тему для разговора, но оценку в этой рубрике подтверждает работа.
Сначала определите, какой навык нужен должности. Подготовка внутренней сводки, сверка таблицы и редактура готового документа требуют разных действий. В одном задании не стоит одновременно проверять всё. Иначе будет трудно объяснить, что именно повлияло на оценку: владение предметом, работа с ИИ или знакомство с форматом.
Разделяйте вклад кандидата и свойства полученного ответа.
Готовый текст показывает, что было сдано. Запросы, исправления и пояснения помогают понять, как кандидат пришёл к результату. Если в тексте нет ошибок, это ещё не свидетельство проведённой проверки. Нужна сама сверка: указание исходного фрагмента, сопоставление числа или объяснение, почему спорное утверждение исключено.
Мнение. Для роли, где сотрудник отвечает за содержание документа, проверке результата стоит придать больший вес, чем оформлению запроса. Эта рекомендация подходит, если ошибки в содержании мешают использовать документ. Для другой роли веса нужно пересмотреть.
Не требуйте определённой манеры общения с нейросетью. Краткий запрос может содержать все нужные вводные, а длинный — пропустить ключевое ограничение. Оценивайте связь действий с задачей. Умение произнести название приёма в предлагаемую рубрику не входит.
Расскажите, чему хотите научить команду. Обсудим задачи и формат обучения.
Как выбрать рабочую задачу для теста
Выберите законченный фрагмент обязанностей, для которого можно подготовить исходники и проверить результат без догадок. В задании должны быть понятны аудитория, назначение документа и допустимые источники. Для роли со сводками подойдёт резюме заметок для встречи. Для роли с расчётами потребуется отдельный сценарий, где проверяют числа, единицы измерения и соответствие исходной таблице.
Затем составьте эталон проверки. Это перечень обязательных сведений, допустимых выводов и ошибок, которые интервьюер должен заметить. Эталон не обязан содержать единственный правильный текст. Два кандидата могут по-разному сформулировать одну мысль и одинаково точно передать исходные данные.
Для теста лучше создать вымышленные материалы с нуля. Простая замена имён в реальном документе не подтверждает, что остальные сведения можно передавать выбранному инструменту. В учебном наборе оставьте только информацию, необходимую для задания. Не используйте выполнение теста как способ получить готовую работу по действующему клиентскому проекту.
Перед выдачей задания проверьте комплект:
- Задача соответствует конкретной обязанности по вакансии.
- Все сведения в учебных исходниках вымышлены и обозначены как условные.
- Формат результата и допустимые источники описаны заранее.
- Интервьюер подготовил опорные факты и известные неоднозначности.
- Рубрика описывает действия, которые можно увидеть в этом задании.
Сложность должна соответствовать требованиям роли.
Если знание отраслевых терминов не входит в требования вакансии, дайте небольшой словарь. Если проверяете работу с выданными материалами, не добавляйте скрытую проверку поиска в интернете. Любое дополнительное требование должно быть связано с целью диагностики и известно кандидату до начала.
Какие правила сообщить до начала
До начала кандидат должен знать, какие инструменты разрешены, сколько времени предусмотрено и какие материалы нужно сдать. Укажите, разрешён ли поиск в интернете, можно ли задавать уточняющие вопросы и как показывать ход работы. Для сравниваемых выполнений сохраните одинаковые правила. Если условия различались, запишите различия рядом с оценкой, чтобы учитывать их при разборе.
Предложите доступ к согласованному инструменту либо заранее определите допустимые варианты. Не делайте личную платную подписку скрытым условием успешного выполнения. Если проверяете владение конкретным интерфейсом, назовите это отдельным критерием. Не смешивайте его с оценкой постановки задачи и проверки содержания.
Объясните, какие материалы подтверждают процесс. Для текстового задания подойдут запросы, ответ модели, финальная версия и краткий журнал исправлений. Не требуйте историю личного аккаунта или сведения из посторонних диалогов. Достаточно материалов, относящихся к выданному сценарию.
Проверка должна оставаться понятной кандидату.
Если нужна демонстрация экрана, предупредите заранее и предусмотрите согласованный способ показать только рабочую область. Если наблюдение проходит без экрана, попросите сохранить версии и затем объяснить изменения. Способ сбора свидетельств зафиксируйте до выполнения, а не после спорного результата.
Отдельно согласуйте подсказки интервьюера. Уточнение формулировки задания и указание на ошибку — разная помощь. Записывайте содержательные подсказки: результат после прямого указания на пропущенный факт не подтверждает самостоятельное обнаружение этого факта. Если произошёл технический сбой, отметьте его и решите, какие критерии вообще удалось наблюдать.
Как составить рубрику оценки навыка
Составьте рубрику до выполнения задания и опишите различия между уровнями через наблюдаемые действия. В условной шкале ниже базовому уровню соответствует один балл, рабочему — два, сильному — три. Ноль означает, что предоставленная возможность была, но требуемого действия кандидат не выполнил. Если возможности наблюдать действие не было, поставьте «не наблюдалось» и объясните причину.
| Критерий | Базовый уровень — 1 | Рабочий уровень — 2 | Сильный уровень — 3 | Вес в условном примере |
|---|---|---|---|---|
| Понимание задачи | Учитывает часть требований, упускает назначение или формат | Учитывает цель, аудиторию и формат | Дополнительно обнаруживает существенную неоднозначность и уточняет её | 20% |
| Контекст запроса | Передаёт исходники, но пропускает важные условия | Указывает исходники, цель, формат и запрет на добавление фактов | Дополнительно задаёт способ обработки противоречий и пропусков | 20% |
| Доработка ответа | Меняет формулировки без связи с обнаруженным недостатком | Исправляет конкретный недостаток и проверяет правку | Проверяет, что правка устранила причину ошибки и не исказила другие сведения | 20% |
| Проверка результата | Сверяет отдельные сведения, оставляет существенный пропуск | Сверяет обязательные факты и исправляет обнаруженные расхождения | Дополнительно проверяет статусы, выводы и отсутствие неподтверждённых добавлений | 25% |
| Границы применения | Говорит о необходимости проверки без указания спорных мест | Называет конкретные открытые вопросы | Разделяет готовые сведения, вопросы и действия, требующие решения ответственного | 15% |
Это редакционная схема для условной задачи со сводкой. Она не взята из стандарта и не задаёт норму найма. Перед использованием замените общие слова на признаки из своего задания: какие сведения обязательны, какое противоречие существенно и что считается исправлением.
Факт. Веса в этой таблице составляют 100%: 20 + 20 + 20 + 25 + 15. Это проверяемое свойство условной рубрики, а не статистика или доказательство её пригодности для любой должности.
Если нужен сводный балл, умножьте оценку каждого критерия на его вес и сложите результаты. Используйте веса как доли: 20% соответствуют 0,20. Все критерии при этом должны быть оценены по одной шкале. «Не наблюдалось» нельзя без пояснения превращать в ноль или исключать из расчёта.
Итоговый балл оставляйте рядом с профилем критериев.
Отдельно опишите ошибки, при которых результат нельзя использовать без исправления. В условной сводке такой ошибкой будет выдуманный факт о согласовании. Хорошее оформление не компенсирует этот дефект. Это ограничение относится к пригодности конкретного документа, а решение о кандидате требует более широких оснований.
Не начисляйте баллы за количество запросов. Если первый ответ пригоден и кандидат подтвердил это сверкой, искусственная доработка не нужна. Для проверки именно навыка исправления можно всем участникам выдать одинаковый заранее подготовленный ответ с ошибкой. Оценку такого упражнения храните отдельно от самостоятельной работы с инструментом.
Разобранный условный пример задания и оценки
Рассмотрим полностью вымышленную задачу: подготовить сводку для руководителя по заметкам о внутренних инструкциях. Все названия, числа, статусы и действия ниже — вводные условного примера. Они не описывают клиентов, сотрудников или результаты AURMIND. Кандидату нужно передать состояние работы и открытые вопросы, сохранив различие между подготовкой, проверкой и согласованием.
Учебный комплект содержит три заметки:
| Источник | Содержание вымышленной заметки | Что должно сохраниться в сводке |
|---|---|---|
| Заметка А | В плане шесть инструкций. Черновики четырёх готовы. Две ещё не подготовлены | Готовность черновика нельзя называть готовностью утверждённой инструкции |
| Заметка Б | Из четырёх черновиков два проверены. По остальным проверка продолжается | Проверены только два черновика; завершение остальных проверок не подтверждено |
| Заметка В | Дата согласования пока не назначена. Ответственный должен предложить её после проверки | Согласованной даты нет; предложение даты остаётся открытым действием |
В брифе задана аудитория — руководитель подразделения. Формат — короткий абзац о состоянии работы и отдельный блок открытых вопросов. Использовать разрешено только эти заметки. Кандидат сдаёт запросы, финальную сводку и пояснение, какие сведения он проверил.
Подходящий запрос может выглядеть так: «Подготовь сводку для руководителя по заметкам А–В. Сначала опиши состояние работы, затем открытые вопросы. Сохрани различие между черновиком, проверкой и согласованием. Не добавляй сроки и факты, которых нет в заметках».
Это пример запроса, а не обязательная формулировка.
Допустим, для разбора интервьюер подготовил условный ответ с ошибкой: «Из шести инструкций четыре готовы, оставшиеся две проходят проверку. Согласование состоится после завершения проверки». Этот текст нельзя выдавать за реальный ответ определённого сервиса. Он специально составлен для демонстрации проверки.
В нём искажены статусы: четыре черновика названы готовыми инструкциями, а две неподготовленные инструкции — проходящими проверку. Кроме того, предложение о согласовании звучит как установленный порядок завершения работы. Исходники подтверждают лишь то, что ответственный должен предложить дату.
| Фрагмент условного ответа | Основание для проверки | Исправление |
|---|---|---|
| «Четыре готовы» | В заметке А речь о готовых черновиках | «Подготовлены четыре черновика из шести» |
| «Оставшиеся две проходят проверку» | Две инструкции ещё не подготовлены; проверка относится к черновикам | Разделить подготовку недостающих инструкций и проверку имеющихся черновиков |
| «Согласование состоится…» | В заметке В дата не назначена | Указать отсутствие даты и открытое действие ответственного |
Исправленная сводка может быть такой: «Из шести запланированных инструкций подготовлены четыре черновика, две инструкции ещё не подготовлены. Проверены два черновика из четырёх; проверка остальных продолжается. Дата согласования не назначена. Открытый вопрос: какую дату предложит ответственный после проверки?»
Теперь оценка опирается на действия.
Если кандидат обнаружил неверный статус, изменил запрос и сверил исправленный текст со всеми заметками, это свидетельство доработки и проверки. Если он заметил только слово «готовы», но оставил ошибку о двух неподготовленных инструкциях, проверка неполна. Общая фраза «я всё перепроверил» не устраняет расхождение.
В записи оценки укажите фрагмент работы: «Сопоставил предложение о проверке с заметками А и Б; разделил неподготовленные инструкции и непроверенные черновики». Такая запись объясняет балл. Она также позволяет второму интервьюеру проверить, соответствует ли оценка рубрике.
Как наблюдать за ходом работы и обсуждать решение
Во время выполнения записывайте решения и их основания: что кандидат уточнил, какие условия включил в запрос и какие расхождения нашёл. Не заменяйте наблюдение характеристиками вроде «уверенный пользователь». Если действие не было видно, отметьте пробел и обсудите его после задания. Уверенное объяснение нужно сопоставить с сохранёнными материалами и финальным результатом.
Удобно вести короткий журнал с привязкой к версии. Например: «После первого ответа заметил неверный статус; во втором запросе потребовал различать подготовку и проверку». Журнал не должен превращаться в стенограмму. Его задача — сохранить основания оценки и отметить помощь интервьюера.
| Что наблюдать | Свидетельство | Вопрос для разбора |
|---|---|---|
| Понимание назначения | В запросе учтены аудитория и формат | Как назначение сводки повлияло на ваш запрос? |
| Работа с недостатком | Изменён конкретный фрагмент запроса или ответа | Какую ошибку вы исправляли? |
| Самостоятельная сверка | Тезис сопоставлен с нужной заметкой | Какая часть исходников подтверждает этот вывод? |
| Проверка после правки | Исправленный текст повторно сопоставлен с исходниками | Что вы проверили после изменения? |
| Граница применения | Открытый вопрос сохранён без выдуманного ответа | Чего не хватает для использования документа? |
Разбор проводите по выполненной работе. Попросите объяснить одно существенное решение и показать его след в результате. Если кандидат говорит, что проверил все статусы, предложите найти основание для конкретного предложения. Так вопрос проверяет заявленное действие, а не способность пересказать общие советы.
Подсказку нужно учитывать отдельно.
Когда интервьюер прямо назвал ошибку, исправление показывает реакцию на обратную связь. Оно не подтверждает самостоятельное обнаружение. Оба действия могут быть нужны роли, но это разные свидетельства. В протоколе достаточно отметить, что именно подсказали и что кандидат сделал после этого.
Как проверить результат, источники и границы применения
Приёмку начните с требований брифа: решена ли задача, сохранены ли обязательные сведения и соблюдён ли формат. Затем сопоставьте содержательные утверждения с исходниками. В условной сводке проверьте числа, статусы и открытые вопросы. Отдельно ищите добавления, которых нет в заметках: вымышленные сроки, обещания завершить работу или выводы о причинах задержки.
Проверяйте и пропуски. Текст может не содержать ложного предложения, но скрывать важное ограничение. Например, сводка сообщает о четырёх черновиках и умалчивает, что проверены только два. Если статус проверки нужен руководителю для решения, такой пропуск должен отразиться в оценке.
Для задания с внешними фактами заранее определите допустимые первоисточники. В протоколе сохраните название документа, ссылку и фрагмент, на который опирается вывод. Само наличие ссылки ещё не показывает, что документ подтверждает предложение. Это нужно установить при сверке содержания.
Стиль не входит в доказательство точности.
В этой диагностике не просите кандидата давать юридические, медицинские, налоговые или инвестиционные заключения. Если рабочий материал затрагивает профильный вопрос, достаточно распознать границу компетенции, обозначить недостающие основания и передать вопрос ответственному специалисту. Не начисляйте дополнительные баллы за уверенный ответ вне условий задания.
Разделяйте два вывода: «документ пригоден после исправления» и «кандидат самостоятельно выполнил проверку». После подсказки документ может стать пригодным, а свидетельств самостоятельной проверки по-прежнему не будет. Записывайте это прямо, чтобы готовность результата не скрывала потребность сотрудника в практике.
Как сравнить кандидатов и диагностировать навык до и после
Сравнивайте выполнения по одной рубрике и сохраняйте основания каждого балла. Для диагностики сотрудника до и после практики подготовьте разные, но сопоставимые задания: одинаковые рабочие действия, близкий объём исходников и сходные виды неоднозначностей. Полное совпадение текстов создаёт отдельный вопрос: сотрудник применил навык или вспомнил разобранный ответ. Разные условия тоже нужно учитывать.
| Что сопоставить | До практики | После практики |
|---|---|---|
| Содержание задачи | Один фрагмент обязанностей с заданным результатом | Тот же тип работы с новыми вымышленными вводными |
| Сложность | Зафиксированы объём, противоречия и обязательные сведения | Сопоставимые объём, противоречия и обязательные сведения |
| Инструменты | Записаны инструмент и доступные функции | Сохранены условия либо явно отмечены изменения |
| Помощь | Отмечены уточнения и подсказки | Отмечены уточнения и подсказки по тем же правилам |
| Критерии | Баллы и свидетельства по каждому критерию | Та же рубрика и свидетельства по каждому критерию |
| Время | Выполнение, самостоятельная проверка и исправления | Те же составляющие времени |
| Пригодность | Необходимые правки до использования | Необходимые правки до использования |
Не складывайте автоматически скорость и точность в один показатель. Более быстрое выполнение с пропущенной ошибкой не означает улучшения по всей рубрике. Если сотрудник стал проверять больше сведений и потратил дополнительное время, отразите оба изменения. Оценка должна показывать, какой результат получен и какой ценой.
Причину изменения балла нужно обсуждать отдельно.
На результат могли повлиять практика, знакомство с форматом, подсказки или изменение инструмента. По одному повторному заданию нельзя приписать весь прирост обучению. Для рабочей диагностики полезнее конкретный вывод: «стал самостоятельно разделять факты и открытые вопросы, но ещё пропускает изменения статусов».
Если оценивают несколько интервьюеров, сначала предложите им независимо разобрать один условный образец. Затем обсудите расхождения по свидетельствам и уточните формулировки рубрики. Это подготовка оценщиков, а не основание менять баллы уже выполненных работ без повторного разбора по общим правилам.
Частые ошибки проверки и следующий шаг
Главная ошибка — выставить общий балл без объяснения, какое действие его подтверждает. Другая ошибка — оценивать число запросов, скорость печати или знакомство с названием сервиса вместо решения задачи. Оценка только готового текста оставляет без ответа вопрос о проверке. Скрытые требования и подсказки дополнительно мешают сопоставить выполнения по объявленным критериям.
Перед использованием рубрики проверьте её на условном образце:
- Для каждого критерия есть наблюдаемое действие и пример свидетельства.
- Уровни различаются по содержанию, а не словами «хорошо» и «лучше».
- Правила учитывают подсказки, сбои и отсутствие возможности наблюдать действие.
- Пригодность результата проверяется отдельно от сводного балла.
- Вывод описывает показанный навык и сохраняет границы конкретного задания.
Рабочая запись может быть короткой: версия задания, условия, оценки по критериям, подтверждающие фрагменты, подсказки и время проверки. Рядом оставьте следующий шаг для сотрудника. Например: «Отработать сверку статусов по исходникам; затем выполнить новый сценарий с той же рубрикой».
Не превращайте этот шаг в общий план курса.
Результат такой диагностики — заполненная рубрика и обоснованный вывод о действиях в заданном сценарии. Если не хватило свидетельств, следующим шагом будет дополнительное сопоставимое задание. Если обнаружен конкретный пробел, подберите практику на это действие и повторно проверьте его на новых вводных.
Чтобы обсудить подготовку рубрики и диагностики для команды, перейдите к способам связи по корпоративному обучению ИИ, выберите подходящий и опишите рабочую задачу сотрудников.
Рабочая схема
Схема показывает последовательность действий; критерии каждого этапа разобраны в статье.
Частые вопросы
Достаточно ли спросить кандидата на интервью, какими нейросетями он пользовался?
Для оценки по этой рубрике недостаточно. Ответ даёт тему для разговора об опыте, но не показывает выполнение задачи. Нужны рабочий результат и свидетельства того, как кандидат его получил, проверил и исправил.
Можно ли поручить нейросети оценить практическое задание кандидата?
В предложенной схеме оценку выставляет интервьюер по рубрике и свидетельствам из работы. Если ИИ используют для предварительного разбора, каждое замечание нужно сверить с заданием и исходниками. Ответ модели не стоит принимать за итоговую оценку кандидата.
Можно ли сравнивать кандидатов только по готовому ответу нейросети?
По готовому ответу можно проверить содержание и формат результата. Он не показывает, кто обнаружил ошибку и как проводилась сверка. Для оценки процесса нужны запросы, версии, наблюдения или разбор действий.
Как использовать рубрику для проверки сотрудника до и после практики?
Сохраните критерии и подготовьте сопоставимый сценарий с новыми вводными. Запишите условия, подсказки, время выполнения, проверки и исправлений. Сравните действия по каждому критерию; изменение общего балла само по себе не доказывает влияние обучения.
Источники
- Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1 — первоисточник для проверки контекста управления рисками ИИ; предложенная шкала оценки кандидата из него не заимствована.
- Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1 — первоисточник для проверки контекста рисков генеративного ИИ; не используется как норматив оценки сотрудников.
