Какие KPI фиксировать до запуска

Q: Сколько KPI достаточно для пилота?

Обычно нужен один главный показатель результата и несколько ограничителей качества. Точное число зависит от процесса, но длинная панель метрик размывает ответственность.

Q: Можно ли считать точность модели главным KPI?

Только если она напрямую описывает полезный результат процесса. Чаще точность является технической метрикой, а бизнесу важнее время цикла, стоимость операции или доля принятых рекомендаций.

Q: Что делать, если исходных данных нет?

Сначала провести короткий ручной замер на репрезентативной выборке и зафиксировать метод измерения. Без базовой линии оценка эффекта будет спорной.

Главный KPI AI-проекта нужно выбрать до разработки: он должен описывать изменение бизнес-процесса, иметь исходное значение, владельца, единицу измерения и период наблюдения. Для пилота чаще всего достаточно одной основной метрики — например, времени подготовки коммерческого предложения — и двух–четырёх ограничителей: качества, доли ручных исправлений, соблюдения регламента и фактического использования инструмента. Точность модели, число обработанных документов и скорость ответа системы полезны, но сами по себе не доказывают экономический эффект. Если базовой линии нет, сначала измеряют текущий процесс, а уже затем согласуют целевой диапазон и правило приёмки.

Кому актуальна система KPI
Какие признаки указывают на проблему
Пять уровней метрик
Как посчитать экономику
Готовый сервис или разработка
Схема измерения
План внедрения
Типовые ошибки
Чек-лист
FAQ

Кому актуальна система KPI

Материал нужен владельцу процесса, руководителю функции, финансовому директору, внутренней IT-команде и подрядчику. У каждой стороны свой взгляд: бизнес хочет получить измеримый результат, финансы — понять стоимость изменения, IT — сохранить устойчивость и безопасность, а команда внедрения — иметь однозначные критерии приёмки. Общая карта метрик превращает эти ожидания в один договорённый язык.

Особенно важно зафиксировать показатели, когда проект связан с документами, продажами, закупками или сервисом. В таких процессах результат складывается не только из скорости. Автоматическая обработка может быть быстрой, но создавать много исправлений. Рекомендации могут быть точными, но менеджеры могут их игнорировать. Поэтому метрика результата всегда рассматривается вместе с качеством и использованием.

Какие признаки указывают на проблему

У проекта, начатого без базовой линии, обычно обнаруживаются знакомые симптомы:

участники по-разному определяют, что значит «стало быстрее»;
в презентации есть точность модели, но нет времени полного цикла;
экономический эффект рассчитан на максимальной загрузке, которой в реальности нет;
ручные проверки после автоматизации не учитываются;
целевое значение меняется после получения первых результатов;
никто не отвечает за сбор фактических данных;
пилот признан успешным, но сотрудники продолжают работать по старой схеме.

Такие признаки не означают, что технология не работает. Они показывают, что система измерения не отделяет техническую демонстрацию от изменения процесса.

Пять уровней метрик

Полезно разделить показатели на пять уровней. Первый — бизнес-результат: стоимость операции, длительность цикла, доля обработанных обращений в срок, конверсия или объём предотвращённых потерь. Второй — качество: доля корректных результатов, количество критических ошибок, процент возвратов на доработку. Третий — операционная нагрузка: минуты ручной работы, число касаний, размер очереди. Четвёртый — использование: доля сотрудников и кейсов, в которых новый контур действительно применяется. Пятый — техническая устойчивость: доступность, задержка, ошибки интеграций и полнота журналирования.

Для пилота выбирают один показатель первого уровня. Остальные становятся ограничителями. Например, цель — сократить медианное время обработки заявки, но только при условии, что доля критических ошибок не растёт, а не менее согласованной доли обращений проходит через новый маршрут. Конкретные пороги определяются на Discovery и не должны копироваться из чужого проекта.

Как посчитать экономику

Сначала фиксируют текущий объём и трудоёмкость. Затем отдельно считают потенциальный эффект и реально подтверждённый эффект. Ниже — условный пример, а не обещание результата.

| Показатель | До пилота | Условная цель | Факт пилота | Источник | |---|---:|---:|---:|---| | Обращений в месяц | 2 000 | 2 000 | 1 860 | CRM | | Ручное время на обращение | 12 мин | 8 мин | 8,5 мин | замер выборки | | Возвраты на доработку | 9% | не выше 9% | 7% | журнал статусов | | Использование нового маршрута | 0% | от 70% | 74% | журнал системы |

В модели экономии времени используют формулу:

объём × (время до − время после) × стоимость минуты исполнителя.

Если условная стоимость минуты равна 15 ₽, расчёт для фактического объёма будет: 1 860 × (12 − 8,5) × 15 = 97 650 ₽ высвобождённого времени в месяц. Это ещё не денежная экономия. Она становится финансовым эффектом только тогда, когда компания понимает, как использует освобождённую мощность: сокращает сверхурочную работу, увеличивает объём без расширения штата или переводит специалистов на более ценные задачи. В расчёт также включают стоимость лицензий, интеграций, контроля и сопровождения.

Готовый сервис или разработка

Готовый сервис уместен, когда процесс типовой, данные поступают в поддерживаемом формате, правила обработки стабильны, а необходимые интеграции уже доступны. Тогда KPI можно проверять на ограниченном контуре: одной группе пользователей, одном типе документов или одном канале.

Разработка нужна, если результат зависит от внутренних справочников, сложных прав доступа, нескольких систем, отраслевых правил или уникального маршрута согласования. В этом случае важна не только модель. Потребуются интеграционный слой, журнал событий, интерфейс проверки человеком и механизм отката. Технические метрики при этом становятся шире, но главный бизнес-KPI остаётся прежним.

Выбор не должен начинаться с названия продукта. Сначала описывают единицу работы, точку старта и завершения процесса, стоимость ошибки и ожидаемое решение сотрудника. После этого становится ясно, достаточно ли конфигурации готового инструмента.

Схема измерения

Оригинальная схема для карточки пилота может выглядеть так:

[Базовая линия]
  объём + время + качество
           │
           ▼
[Ограниченный пилот] ──► [Журнал каждого шага]
           │                    │
           ▼                    ▼
[Главный KPI]          [Качество / использование]
           │                    │
           └─────────┬──────────┘
                     ▼
          [Решение: масштабировать,
           доработать или остановить]

Ключевой элемент схемы — единый журнал. Без него команда будет сравнивать агрегаты из разных источников и спорить о причинах отклонений. Для каждой единицы работы полезно сохранять время входа, этапы, автоматический результат, ручное решение, исправления и финальный статус. Персональные и конфиденциальные данные в журнале должны обрабатываться по согласованной политике доступа.

План внедрения

Назначить владельца процесса. Он утверждает определение результата и отвечает за регулярный разбор метрик.
Описать единицу работы. Это может быть заявка, документ, звонок, позиция спецификации или сервисное обращение.
Снять базовую линию. Использовать системные логи, выборочный хронометраж и проверку качества на одном и том же периоде.
Выбрать главный KPI. Формула должна быть понятна руководителю и исполнителю без дополнительной интерпретации.
Задать ограничители. Отдельно определить критическую ошибку, допустимую ручную доработку и минимальный уровень использования.
Настроить журналирование. У каждой метрики должен быть источник, частота обновления и ответственный.
Запустить контрольную группу. Сравнивать сопоставимые типы задач, а не разные по сложности потоки.
Провести разбор отклонений. Отличать сбой интеграции, ошибку модели, неудобство интерфейса и нарушение регламента.
Зафиксировать решение. Масштабирование допускается только при выполнении главного KPI и ограничителей.

Как оформить паспорт метрики

Для каждой метрики полезно создать короткий паспорт. В нём записывают деловое название, точную формулу, единицу, момент фиксации, источник, допустимые исключения и владельца. Отдельно указывают, кто может изменить формулу и с какой даты применяется новая версия. Например, «время обработки» может начинаться при поступлении письма или при создании карточки; завершаться при подготовке черновика или после отправки клиенту. Без этих уточнений две корректные системы покажут разные значения.

В паспорте также фиксируют срезы, необходимые для разбора: тип документа, подразделение, сложность кейса и канал. Срез не превращается в отдельный KPI, но помогает понять причину отклонения. Если общий показатель улучшился только за счёт простых задач, команда увидит это до масштабирования. Исторические значения не пересчитывают молча: изменение методики отмечают в отчёте, чтобы сравнение периодов оставалось честным.

Типовые ошибки

Самая частая ошибка — выбирать метрику, которой удобно хвалиться. «Обработано миллион символов» не показывает, стало ли бизнесу лучше. Вторая ошибка — использовать среднее время при неоднородном потоке: несколько очень долгих кейсов искажают картину, поэтому вместе со средним полезно смотреть медиану и диапазон. Третья — менять состав выборки: простой пилот сравнивают со всем историческим потоком.

Также опасно считать любой сэкономленный час прямой экономией фонда оплаты труда, игнорировать время контроля, не измерять принятие сотрудниками и не фиксировать стоимость ошибки. Ещё одна ошибка — согласовать цель без владельца источника данных. Если отчёт собирается вручную только к демонстрации, метрика не станет инструментом управления после запуска.

Чек-лист

[ ] Определена одна единица работы и границы процесса.
[ ] Зафиксирован период и источник базовой линии.
[ ] Выбран один главный бизнес-KPI.
[ ] Указаны формула, единица измерения и владелец показателя.
[ ] Определены ограничения качества и безопасности.
[ ] Измеряется фактическое использование нового контура.
[ ] Учтено время ручной проверки после автоматизации.
[ ] Пилот и база сопоставимы по типу и сложности задач.
[ ] Экономический расчёт отделяет высвобождённое время от денежного эффекта.
[ ] До старта записано правило решения о масштабировании.

FAQ

Сколько KPI достаточно для пилота?

Один главный показатель помогает удержать фокус. К нему добавляют несколько ограничителей, без которых улучшение нельзя считать безопасным: качество, использование и устойчивость. Количество зависит от риска процесса, но все метрики должны влиять на решение.

Можно ли считать точность модели главным KPI?

Иногда — например, если результатом процесса является именно классификация и цена ошибки формально определена. В большинстве бизнес-проектов точность остаётся технической метрикой. Её связывают с временем цикла, ручной нагрузкой или долей успешно завершённых операций.

Что делать, если исходных данных нет?

Провести короткий измерительный этап: выбрать типовую выборку, единообразно отметить начало и конец операции, проверить качество результата и сохранить методику. Даже ограниченная, но прозрачная базовая линия лучше ретроспективной оценки по памяти.

Связанное решение

Operations Control связывает события процесса, контрольные точки и управленческие показатели. Решение уместно, когда метрики уже определены, но данные о фактическом исполнении разбросаны по системам и отчётам.

Разберите KPI до разработки

Если нужно превратить ожидания от AI-проекта в измеримый пилот, запишитесь на разбор процесса. На встрече команда зафиксирует единицу работы, доступные источники базовой линии и один критерий, по которому можно принять решение о следующем шаге.