ИИ-трансформация

Как понять, что ИИ-агент действительно работает: считаем на пальцах, а не в презентациях

Сегодня можно часто услышать от руководителей: «Мы внедрили ИИ». Но стоит глубже поинтересоваться деталями — что именно изменилось в работе, какие конкретно задачи теперь выполняют ИИ-агенты, сколько шагов ушло из процесса, — и картина размывается. Стало ли легче бизнесу? Чаще всего ответа нет: до старта никто не договорился, что именно должно измениться.

И это не проблема отдельных компаний. MIT в исследовании «The GenAI Divide: State of AI in Business 2025» разобрал 300 корпоративных внедрений: при $30–40 млрд инвестиций 95% пилотов не дали измеримого эффекта на прибыль. McKinsey в «State of AI 2025» показывает тот же разрыв с другой стороны: ИИ регулярно используют 88% компаний, влияние на операционную прибыль видят 39%, а заметный эффект — свыше 5% EBIT — получают лишь 6%. Почти все «внедрили». Почти никто не заработал.

Разница между этими группами — не в моделях. Она в том, что «шестипроцентники» меняют процесс и меряют процесс, а остальные покупают инструмент и меряют впечатления.

Что значит «внедрить ИИ-агента»

Внедрить агента — это не «подключить нейросеть». Это отдать ему конкретный кусок работы целиком. Не «отвечать на вопросы про договоры», а «получить входящий документ, определить тип, зарегистрировать, назначить ответственного и поставить срок». Агент — это сотрудник, у которого есть обязанности, доступ к системам и границы: что он делает сам, а что обязан показать человеку.

И вот здесь ломается большинство проектов. Агента запускают поверх почты, Excel и бумаги — то есть поверх процесса, которого в системе нет. Ему неоткуда взять историю решений, не с чем сверить маршрут, некому передать результат. Он честно отвечает общими словами, все разочарованно разводят руками и пополняют те самые 95%.

Почему мы сделали из этого методологию

Мы прошли этот путь на себе и оформили его в методологию — DATM (Documentolog AI Transformation Methodology). У неё есть жёсткое правило, вокруг которого строится всё остальное: ИИ-агент приходит только туда, где процесс уже живёт в системе. Порядок неизменный:

  1. Оцифровать. Процесс переезжает в d8n целиком: маршруты, роли, сроки, документы. Не «часть заявок в системе, часть в WhatsApp» — весь поток в одном русле.
  2. Описать. Регламент, номенклатура, правила маршрутизации, база знаний процесса. Агенту нужны не только данные, но и правила, по которым эти данные читаются.
  3. И только потом — агент. Он забирает рутину: классификацию, регистрацию, подбор исполнителя, контроль сроков.

Между вторым и третьим шагом у нас стоит формальный гейт: не меньше 80% документопотока процесса идёт через систему минимум четыре недели подряд. Не достигли — агента не запускаем, сколько бы ни хотелось показать красивое демо. Это не бюрократия, а защита от разочарования: агент поверх неготового процесса работает примерно на треть своих возможностей.

Второе правило DATM такое же неудобное и такое же важное: у каждого агента есть закреплённый руководитель уровня C-level, который отвечает за его результат и еженедельно собирает рабочую группу по разбору его работы. Не «айтишники внедрили» — а конкретный директор, у которого этот агент в KPI.

Здесь же мы фиксируем пороги качества, ниже которых агент к пользователям просто не выходит: галлюцинации не выше 1% (для финансовых процессов — 0,3%), релевантность ответов от 85%, точность цитирования от 90%, adoption от 70%, NPS пользователей от +40.

Подробно методология с этапами и сроками — на странице DATM. Кстати, MIT в том же исследовании даёт цифру, объясняющую, зачем вообще методология с внешним партнёром: до продакшна доходят 67% проектов, где внешняя экспертиза работает вместе с внутренней командой, против 22% у тех, кто внедряет силами только своего ИТ.

Как это выглядит на живом процессе: агент «Канцелярия»

Возьмём канцелярию — обработку входящей корреспонденции. Процесс, который есть у всех и который все считают простым, пока не измерят.

Что делал человек до агента:

  • открывал входящее (почта, портал, бумага) и читал целиком, чтобы понять суть;
  • определял тип документа и нужную позицию номенклатуры;
  • заводил карточку вручную: реквизиты, отправитель, дата, срок;
  • по памяти и опыту решал, в какое подразделение и кому адресовать — а если отправитель новый, шёл спрашивать коллег;
  • ставил срок исполнения по регламенту;
  • вручную отслеживал, кто не ответил вовремя, и напоминал.

Каждый шаг — минуты, а на нестандартном документе — часы ожидания, пока освободится тот, кто «знает, куда это». Регистрация одного входящего занимала до получаса.

Что делает человек после агента:

  • смотрит очередь уже разобранных документов: тип определён, карточка заполнена, исполнитель предложен, срок проставлен;
  • подтверждает или меняет решение агента там, где случай нестандартный;
  • разбирает исключения — то, что агент честно пометил как спорное и передал человеку;
  • следит за общей картиной сроков, а не за каждым напоминанием.

Роль меняется с исполнителя на супервайзера. По нашим внутренним данным, рутинных операций в этом процессе стало меньше примерно на 80% — и только после этого мы пошли тем же методом в кадры, техподдержку, совещания и аналитику для руководства.

Как измерить процесс — до

Прежде чем что-то внедрять, возьмите один процесс и честно ответьте на четыре вопроса:

  1. Сколько времени проходит от начала до результата?
  2. Сколько раз человек трогает задачу руками?
  3. Где она чаще всего застревает?
  4. Что стоит каждая ошибка или просрочка — деньгами, клиентом, репутацией?

Это baseline — точка «до». Без неё любой разговор об эффективности превращается в обмен ощущениями. И да, снимать baseline нужно до старта: задним числом он всегда получается удобным.

Какие метрики ставить

Метрика должна быть про процесс, а не про технологию. Вот рабочие ориентиры по типовым процессам — цифры справа мы используем как целевые при постановке задачи, а не как обещание результата:

ПроцессМетрикаКак считатьЦелевой ориентир
Канцелярия / входящиеВремя регистрации документаот поступления до заведённой карточки−50% и ниже
Канцелярия / порученияДоля просроченных порученийпросрочено / всего за месяц−30%
Любой документооборотРучных касаний на документсреднее число действий человекасокращение в разы
ТехподдержкаВремя первого ответаот обращения до первого ответа клиентуминуты вместо часов
ТехподдержкаДоля обращений, дошедших до людейэскалации / все обращенияснижение при том же CSAT
ПродажиПотерянные заявкинеобработанные за периодк нулю
Любой процессКачество работы агентагаллюцинации, релевантность, цитирование≤1% / ≥85% / ≥90%

Обратите внимание на последнюю строку: качество агента — тоже метрика, и она не менее важна, чем скорость. Быстрый агент, который ошибается, дороже медленного человека.

Как это делают те, у кого получилось

Лучший публичный пример правильного счёта — Klarna. Посмотрите, какими метриками они отчитались о своём ассистенте поддержки: время решения вопроса клиента упало с 11 минут до 2, повторные обращения снизились на 25%, ассистент закрыл две трети чатов — эквивалент работы 700 операторов и порядка $40 млн эффекта за год. Ни слова про «умную модель» — только процессные цифры «до и после». А год спустя Klarna честно признала, что срезала слишком глубоко, и вернула людей в премиум-поддержку. Это второй урок того же кейса: у агента должны быть границы, и двигать их по данным — нормально.

Наши примеры скромнее масштабом, но логика та же.

Воронка продаж. Мы разобрали собственную воронку и увидели, что за неделю потеряли 14 заявок: они приходили ночью и в выходные, а квалификация зависела от человека, который спит. Отдали агенту один шаг — ночную квалификацию входящих. Метрика простая: потерянные заявки. Было 14 за неделю, стало ноль.

Техподдержка. Первую линию ведёт агент: типовые вопросы закрывает сам, сложные передаёт инженерам с уже собранным контекстом. Нагрузка на службу поддержки снизилась на 70% — и это не про сокращения: сотрудников перевели на задачи, до которых раньше не доходили руки.

Как оценить эффективность — после

Через месяц-два вернитесь к тем же четырём вопросам и сравните:

Что меряемДоПосле
Время процесса от заявки до результатачасы / дни?
Ручных касаний на одну задачуN?
Ошибки и просрочки за периодN и их цена?
Куда ушло освободившееся времяна что-то полезное или растворилось?

Эффект — это разница между «до» и «после» минус стоимость внедрения и сопровождения. Я сознательно не называю «средний срок окупаемости ИИ» — его не существует, у каждого процесса он свой. Klarna меряет минуты чата, мы — потерянные заявки и долю рутины.

Открытый пример расчёта

Ниже — не тизер и не «результат после регистрации», а сам расчёт на открытых данных примера. Для канцелярии на 300 операций в месяц мы взяли время 30 → 6 минут, ручные касания 6 → 2, ошибки 12% → 4%, просрочки 18% → 6% и коэффициент переиспользования времени 50%.

Исходные данные ROI worksheet: показатели процесса до и после ИИ-агента

РычагСейчас, ₸/годПосле, ₸/годЭффект, ₸/год
Время процесса2 250 000450 0001 800 000
Ручные касания900 000300 000600 000
Ошибки и возвраты1 728 000576 0001 152 000
Просрочки5 184 0001 728 0003 456 000
Итого эффект в год10 062 0003 054 0007 008 000
Стоимость первого года2 319 300
Чистый эффект первого года4 688 700
Окупаемость4,0 месяца

Расчёт ROI worksheet: эффект 7 008 000 тенге, чистый эффект 4 688 700 тенге, окупаемость 4,0 месяца

Пятый рычаг — управляемость — в сумму намеренно не включён: качество решений нельзя честно превратить в деньги одной универсальной формулой.

Пять рычагов эффекта: время, ошибки, SLA, цикл операции и управляемость

Забрать рабочий ROI-файл

Оставьте email. Пришлём одноразовую ссылку на 7 дней — без вложений.

Принцип один: считайте не цену ИИ, а цену процесса до и после. Это язык, который понимает и директор, и бухгалтер, и совет директоров. И это ровно то, что отличает 6% заработавших от 95% «внедривших».

С чего начать: выберите один процесс, который болит сильнее всего, и приходите на демо — посчитаем его экономику «до и после» вместе, на ваших данных. А если хотите сначала посмотреть весь маршрут — он описан на странице методологии DATM.

ДАЙДЖЕСТ CEO

Читайте новые материалы первыми

Лонгриды сразу после выхода и один недельный дайджест. Подписка подтверждается по email.