ВЕРИТИОН
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ
Разбор

Как кастомные модели ускорили ключевые процессы клиента на 40–60%

Без модели под домен бизнес не мог безопасно автоматизировать разметку и маршрутизацию — либо дорого руками, либо рискованно «как есть» из SaaS.

Отрасль
Операции / обработка данных
Срок
3 месяца (пилот + внедрение)
Команда
4 человека
Услуги
ML‑разработка, Подготовка данных, Интеграция, MLOps

Скорость целевого процесса

базовый цикл+40–60%

за счёт автоматизации разметки/маршрутизации

Доля ручной перепроверки

высокая−50%+

human‑in‑the‑loop только на низкой уверенности

Ошибки на доменных классах

неприемлемо для SaaSв допуске SLA

модель обучена на данных клиента

Все проекты

Искусственный интеллект

Как кастомные модели ускорили ключевые процессы клиента на 40–60%

Контекст

Коробочные модели путали внутренние коды и термины — сотрудники всё равно перепроверяли результат руками.

Что делали

Разметили корпус, сравнили baseline с fine-tuned моделью и встроили API с порогом уверенности и эскалацией.

Что изменилось

Процесс ускорился на 40–60%, человек подключается только на спорных кейсах, качество мониторится в проде.

Скорость

+40–60%

Ручная проверка

−50%

Доменные ошибки

в SLA

Релиз модели

регламент

Accuracy vs baseline

кастом ~93%

93%84%74%

Поток без человека

72%

Precision по классам

Внутр. коды93%
Термины91%
Документы94%
Маршрутизация88%

Fine-tuned модель проходит порог по критичным классам

О клиенте и процессе

Клиент обрабатывал поток документов и обращений, где универсальные облачные модели давали неприемлемую долю ошибок на отраслевой терминологии и внутренних кодах. Сотрудники вручную перепроверяли результаты, из‑за чего выигрыш от «коробочного ИИ» съедался. Нужно было решение на своих данных, с понятным качеством и встраиванием в существующий контур.

Проблема

Без модели под домен бизнес не мог безопасно автоматизировать разметку и маршрутизацию — либо дорого руками, либо рискованно «как есть» из SaaS.

  • Коробочные модели ошибались на внутренних классах и терминах
  • Ручная перепроверка съедала 40–60% выигрыша от автоматизации
  • Не было пайплайна: данные → обучение → оценка → деплой в прод

Ограничения

  • Данные нельзя выносить за периметр без маскирования
  • Нужна измеримая метрика качества до раскатки на весь поток
  • Интеграция в уже работающие API и очереди без простоя
  • Команда клиента должна уметь мониторить drift и переобучать по регламенту

Решение

Пошли по циклу «данные → baseline → кастом → интеграция»: собрали и разметили корпус, сравнили open‑source/API baseline с fine‑tuned моделью на PyTorch/TensorFlow. Для зрения — OpenCV + классификатор/детектор под классы клиента; для текста — дообученный NLP‑конвейер. Деплой в Docker за API шлюзом, логирование ошибок, A/B на части трафика, затем полный перевод с human‑in‑the‑loop на спорных кейсах.

Python
TensorFlow
PyTorch
OpenCV
NLP
Docker

Ход проекта

  1. 01

    Аудит данных и метрик успеха

    Определили целевые классы, критерии качества, стоимость ошибки и объём разметки.

  2. 02

    Baseline и подготовка корпуса

    Очистка, аугментация, валидация разметки; замер коробки как нижней планки.

  3. 03

    Обучение и сравнение моделей

    Fine‑tuning, подбор архитектуры, отчёт precision/recall по критичным классам.

  4. 04

    Интеграция в контур

    API, очереди, UI для разбора ошибок, пороги уверенности и эскалация человеку.

  5. 05

    Раскатка и MLOps

    Мониторинг качества, регламент переобучения, документация для команды клиента.

Результаты

Скорость целевого процесса

базовый цикл+40–60%

за счёт автоматизации разметки/маршрутизации

Доля ручной перепроверки

высокая−50%+

human‑in‑the‑loop только на низкой уверенности

Ошибки на доменных классах

неприемлемо для SaaSв допуске SLA

модель обучена на данных клиента

Время вывода новой версии

ad‑hocрегламентный цикл

Docker + пайплайн оценки

Что было и что сделали

Модель под домен, а не «средняя по больнице»

Что было

Общий API путал внутренние коды и термины — сотрудники всё равно правили руками.

Что сделали

Fine‑tuned модель проходит порог качества; человек подключается точечно.

От эксперимента к процессу

Что было

ИИ жил в ноутбуке дата‑сайентиста без мониторинга.

Что сделали

Сервис в проде с логами, порогами и понятным циклом переобучения.

Мы наконец получили ИИ, который понимает наши классы. Рутина ушла, а контроль качества остался в наших руках.
Дмитрий С.·Операционный директор
Есть похожая задача?
Есть задача под кастомную модель на ваших данных — обсудим пилот с измеримым KPI