Без модели под домен бизнес не мог безопасно автоматизировать разметку и маршрутизацию — либо дорого руками, либо рискованно «как есть» из SaaS.
Скорость целевого процесса
базовый цикл→+40–60%
за счёт автоматизации разметки/маршрутизации
Доля ручной перепроверки
высокая→−50%+
human‑in‑the‑loop только на низкой уверенности
Ошибки на доменных классах
неприемлемо для SaaS→в допуске SLA
модель обучена на данных клиента
Клиент обрабатывал поток документов и обращений, где универсальные облачные модели давали неприемлемую долю ошибок на отраслевой терминологии и внутренних кодах. Сотрудники вручную перепроверяли результаты, из‑за чего выигрыш от «коробочного ИИ» съедался. Нужно было решение на своих данных, с понятным качеством и встраиванием в существующий контур.
Без модели под домен бизнес не мог безопасно автоматизировать разметку и маршрутизацию — либо дорого руками, либо рискованно «как есть» из SaaS.
Пошли по циклу «данные → baseline → кастом → интеграция»: собрали и разметили корпус, сравнили open‑source/API baseline с fine‑tuned моделью на PyTorch/TensorFlow. Для зрения — OpenCV + классификатор/детектор под классы клиента; для текста — дообученный NLP‑конвейер. Деплой в Docker за API шлюзом, логирование ошибок, A/B на части трафика, затем полный перевод с human‑in‑the‑loop на спорных кейсах.
Определили целевые классы, критерии качества, стоимость ошибки и объём разметки.
Очистка, аугментация, валидация разметки; замер коробки как нижней планки.
Fine‑tuning, подбор архитектуры, отчёт precision/recall по критичным классам.
API, очереди, UI для разбора ошибок, пороги уверенности и эскалация человеку.
Мониторинг качества, регламент переобучения, документация для команды клиента.
Скорость целевого процесса
за счёт автоматизации разметки/маршрутизации
Доля ручной перепроверки
human‑in‑the‑loop только на низкой уверенности
Ошибки на доменных классах
модель обучена на данных клиента
Время вывода новой версии
Docker + пайплайн оценки
Что было
Общий API путал внутренние коды и термины — сотрудники всё равно правили руками.
Что сделали
Fine‑tuned модель проходит порог качества; человек подключается точечно.
Что было
ИИ жил в ноутбуке дата‑сайентиста без мониторинга.
Что сделали
Сервис в проде с логами, порогами и понятным циклом переобучения.
Мы наконец получили ИИ, который понимает наши классы. Рутина ушла, а контроль качества остался в наших руках.