К основному содержанию
NovaLead

Метрики ИИ-ассистента: ответы, передачи и результат

Как считать передачи сотруднику, время ответа, запись и оценку разговора. Почему объём сообщений и отдельный процент не доказывают качество.

Оглавление

Количество сообщений показывает нагрузку, но не отвечает на вопрос, решена ли задача клиента. Ассистент может долго переписываться, не оформить запись или передать вопрос без ответственного.

Для отчёта договоритесь о событиях, способе подсчёта и периоде. Смотрите показатели вместе с выборкой разговоров: одинаковое число передач может объясняться разными причинами.

Handoff rate (% эскалаций на оператора)

Это доля диалогов, переданных человеку. Укажите, какие разговоры входят в расчёт, и отделите просьбу клиента о сотруднике от нехватки информации или ошибки действия.

Универсальный целевой процент здесь не подходит. Высокая доля может соответствовать задачам команды, а низкая не гарантирует правильного решения.

  • Разбирайте причины передачи по типам вопросов.
  • Проверяйте, получил ли сотрудник контекст и принял ли задачу.
  • Читайте разговоры, которые завершились без передачи: не осталось ли там неподтверждённого обещания.

Conversion (чат → запись)

Считайте долю обращений, закончившихся фактической записью, среди выбранной группы обращений. Посещение и оплату учитывайте отдельно. Повторный вопрос и перенос существующего визита не должны автоматически становиться новым привлечением.

Сравнивайте одинаковые периоды и типы запросов. Уточнение базы знаний или сценария можно оценить после проверки результата в журнале, а не по тому, насколько уверенно звучал ответ.

Time to first response (TTFR)

Зафиксируйте, от какого сообщения и до какого ответа считаете время. Для обслуживания полезно отдельно учитывать содержательный ответ и автоматическое подтверждение получения.

Смотрите обычные ответы и длинные задержки. При сбое проверьте канал, обработку запроса и очередь. Рабочие часы и ожидание сотрудника учитывайте по правилам SLA; единое обещание нескольких секунд не описывает все случаи.

Satisfaction (CSAT)

Если собираете оценку после разговора, запишите формулировку вопроса, число ответивших и способ расчёта. Положительная оценка среди ответивших не равна мнению всех клиентов.

  • Читайте причины отрицательных оценок вместе с диалогом.
  • Сравнивайте похожие вопросы и одинаковый способ опроса.
  • Не задавайте целевую долю положительных оценок без собственной базы для сравнения.

Escalation accuracy

При ручном разборе отмечайте, соответствовала ли передача правилам и мог ли помощник корректно продолжить разговор по доступным сведениям. Проверяйте также случаи, где сотрудник был нужен, но не подключился.

Оценка оправданности передачи помогает менять конкретное правило, материал или действие. Снижение числа передач не должно становиться самостоятельной целью.

Объём и результат считайте отдельно

Число сообщений, длина разговора и объём ответов полезны для оценки нагрузки и затрат. Для качества обслуживания дополнительно нужны результат задачи, точность ответа и выполненные договорённости.

Что читать дальше

Сопоставьте показатели с порядком проверки конверсии и правилами передачи сотруднику.

Для записи используйте проверку ошибок внедрения. Распределение обязанностей разбирается в статье об ИИ и менеджере.

ИИ-агент

Смотреть в NovaLead