ВЕРИТИОН
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ
Разбор

Как кастомные модели ускорили ключевые процессы клиента на 40–60%

Без модели под домен бизнес не мог безопасно автоматизировать разметку и маршрутизацию — либо дорого руками, либо рискованно «как есть» из SaaS.

Отрасль
Операции / обработка данных
Срок
3 месяца (пилот + внедрение)
Команда
4 человека
Услуги
ML‑разработка, Подготовка данных, Интеграция, MLOps

Скорость целевого процесса

базовый цикл+40–60%

за счёт автоматизации разметки/маршрутизации

Доля ручной перепроверки

высокая−50%+

human‑in‑the‑loop только на низкой уверенности

Ошибки на доменных классах

неприемлемо для SaaSв допуске SLA

модель обучена на данных клиента

Все проекты

О клиенте и процессе

Клиент обрабатывал поток документов и обращений, где универсальные облачные модели давали неприемлемую долю ошибок на отраслевой терминологии и внутренних кодах. Сотрудники вручную перепроверяли результаты, из‑за чего выигрыш от «коробочного ИИ» съедался. Нужно было решение на своих данных, с понятным качеством и встраиванием в существующий контур.

Проблема

Без модели под домен бизнес не мог безопасно автоматизировать разметку и маршрутизацию — либо дорого руками, либо рискованно «как есть» из SaaS.

  • Коробочные модели ошибались на внутренних классах и терминах
  • Ручная перепроверка съедала 40–60% выигрыша от автоматизации
  • Не было пайплайна: данные → обучение → оценка → деплой в прод

Ограничения

  • Данные нельзя выносить за периметр без маскирования
  • Нужна измеримая метрика качества до раскатки на весь поток
  • Интеграция в уже работающие API и очереди без простоя
  • Команда клиента должна уметь мониторить drift и переобучать по регламенту

Решение

Пошли по циклу «данные → baseline → кастом → интеграция»: собрали и разметили корпус, сравнили open‑source/API baseline с fine‑tuned моделью на PyTorch/TensorFlow. Для зрения — OpenCV + классификатор/детектор под классы клиента; для текста — дообученный NLP‑конвейер. Деплой в Docker за API шлюзом, логирование ошибок, A/B на части трафика, затем полный перевод с human‑in‑the‑loop на спорных кейсах.

Python
TensorFlow
PyTorch
OpenCV
NLP
Docker

Ход проекта

  1. 01

    Аудит данных и метрик успеха

    Определили целевые классы, критерии качества, стоимость ошибки и объём разметки.

  2. 02

    Baseline и подготовка корпуса

    Очистка, аугментация, валидация разметки; замер коробки как нижней планки.

  3. 03

    Обучение и сравнение моделей

    Fine‑tuning, подбор архитектуры, отчёт precision/recall по критичным классам.

  4. 04

    Интеграция в контур

    API, очереди, UI для разбора ошибок, пороги уверенности и эскалация человеку.

  5. 05

    Раскатка и MLOps

    Мониторинг качества, регламент переобучения, документация для команды клиента.

Результаты

Скорость целевого процесса

базовый цикл+40–60%

за счёт автоматизации разметки/маршрутизации

Доля ручной перепроверки

высокая−50%+

human‑in‑the‑loop только на низкой уверенности

Ошибки на доменных классах

неприемлемо для SaaSв допуске SLA

модель обучена на данных клиента

Время вывода новой версии

ad‑hocрегламентный цикл

Docker + пайплайн оценки

Что было и что сделали

Модель под домен, а не «средняя по больнице»

Что было

Общий API путал внутренние коды и термины — сотрудники всё равно правили руками.

Что сделали

Fine‑tuned модель проходит порог качества; человек подключается точечно.

От эксперимента к процессу

Что было

ИИ жил в ноутбуке дата‑сайентиста без мониторинга.

Что сделали

Сервис в проде с логами, порогами и понятным циклом переобучения.

Мы наконец получили ИИ, который понимает наши классы. Рутина ушла, а контроль качества остался в наших руках.
Дмитрий С.·Операционный директор
Есть похожая задача?
Есть задача под кастомную модель на ваших данных — обсудим пилот с измеримым KPI