Компьютерное зрение на производстве: контроль качества, OCR и видеоаналитика

Когда компьютерное зрение экономически оправдано

Начинать стоит не с выбора нейросети, а с карты потерь. Система имеет бизнес-смысл, если визуальное событие регулярно влияет на себестоимость, производительность или риск: дефект проходит на следующую операцию, оператор тратит время на сплошной контроль, простой обнаруживается слишком поздно, а разбор инцидента зависит от ручного просмотра видео. Для каждой точки контроля мы фиксируем частоту события, стоимость пропуска, стоимость ложной остановки, доступное время реакции и человека, который должен получить сигнал.

Практический критерий приоритета можно записать так: ожидаемый эффект = предотвращённый брак + высвобождённое время операторов + сокращённый простой − стоимость владения системой. Если исходные значения невозможно измерить хотя бы на одной линии, пилот преждевременен: сначала нужен короткий этап инструментирования процесса.

Архитектура промышленной системы

Рабочее решение состоит не только из модели. Оно включает оптику и освещение, сбор и хранение кадров, вычислительный контур, правила реакции, интерфейс оператора и интеграции. Ошибка любого слоя снижает общий результат, даже если модель показывает высокую точность на тестовой выборке.

1. Съёмка. Подбираем поле зрения, фокусное расстояние, выдержку, частоту кадров и тип подсветки. Для бликующей упаковки, металла и прозрачных материалов часто важнее стабильное освещение, чем более дорогая камера.
2. Edge-контур. На производстве инференс обычно выполняется рядом с линией. Это сокращает задержку, сохраняет работу при потере интернета и уменьшает объём передаваемого видео.
3. Сервис принятия решений. Он объединяет предсказание модели с технологическими правилами: допустимыми зонами, скоростью конвейера, серией продукции и контекстом смены.
4. Интеграции. События передаются в MES, ERP, WMS, систему качества или диспетчеризации. Важно заранее определить, где хранится первичный статус инцидента и кто подтверждает действие.
5. Наблюдаемость. Версии модели, входные данные, задержка, отказы камеры и решения оператора должны логироваться. Иначе невозможно расследовать ошибку и доказательно улучшать систему.

Как собрать датасет без смещения

Главная задача этапа данных — описать реальное разнообразие процесса. В выборку включают разные смены, партии сырья, поставщиков упаковки, скорости линии, режимы освещения, загрязнение линзы и редкие переходные состояния. Если все дефекты сняты в один день, модель может выучить фон или параметры конкретной партии вместо самого признака дефекта.

До разметки составляется онтология событий: что считается дефектом, какие классы объединяются, что относится к неопределённому случаю и когда решение должен принять человек. Инструкция разметчику содержит положительные и отрицательные примеры, граничные случаи и правило разрешения разногласий. Часть изображений размечается двумя специалистами — это показывает, насколько однозначна сама производственная норма.

Данные делятся на обучение, валидацию и тест не случайными кадрами из одного ролика, а по партиям, датам или физическим объектам. Так соседние почти одинаковые кадры не попадут одновременно в обучение и тест. Финальный тестовый набор замораживается до приёмки пилота.

Метрики, связанные с риском

Одна «точность 97%» почти ничего не говорит. При редком дефекте модель, всегда отвечающая «норма», может показывать высокую accuracy и не приносить пользы. Набор метрик выбирается по цене ошибок.

• Recall дефектов показывает, какую долю реальных нарушений система обнаружила. Он критичен, если пропуск приводит к рекламации или риску безопасности.
• Precision показывает долю истинных событий среди всех тревог. Он важен, когда ложная остановка линии дорога.
• False accept и false reject переводят качество модели на язык принятия и отбраковки продукции.
• Задержка p95 измеряет время от появления объекта до готового решения для 95% событий. Среднее значение может скрыть редкие, но критические задержки.
• Доступность контура учитывает камеры, edge-устройство, сеть и интеграцию, а не только API модели.
• Доля ручного разбора показывает, сколько неопределённых случаев остаётся оператору после автоматизации.

Приёмочные пороги фиксируются до обучения. Иначе команда рискует подобрать метрику под уже полученный результат.

Пилот за 6–10 недель

Продолжительность зависит от готовности данных и доступа к линии, но управляемый пилот обычно строится по одинаковой логике.

1. Недели 1–2: обследование. Описываем поток, карту потерь, условия съёмки, интеграции и критерии успеха. Проводим тест оптики непосредственно на объекте.
2. Недели 2–4: данные и базовая модель. Собираем репрезентативную выборку, согласуем разметку, создаём воспроизводимый baseline и отчёт по ошибкам.
3. Недели 4–6: теневой режим. Система работает на реальном потоке, но не управляет оборудованием. Решения сравниваются с действиями специалистов.
4. Недели 6–8: ограниченный запуск. Подключается одна линия, зона или категория продукции. Ложные тревоги и пропуски разбираются по журналу событий.
5. Недели 8–10: промышленная приёмка. Проверяем нагрузку, отказоустойчивость, регламент реакции, мониторинг качества и процедуру отката.

Переход к следующему этапу выполняется только после достижения заранее согласованного порога. Красивое демо на нескольких роликах не считается пилотом.

Экономическая модель

Ниже — условный расчёт, а не результат конкретного клиента. Допустим, линия выпускает 120 000 единиц в месяц, доля визуально обнаруживаемого брака составляет 0,8%, а средняя стоимость дефекта после упаковки — 650 ₽. Если система предотвращает 70% таких случаев, валовый предотвращённый ущерб составит 120 000 × 0,008 × 650 × 0,70 = 436 800 ₽ в месяц. К этой сумме можно добавить подтверждённую экономию времени контроля и вычесть поддержку, амортизацию оборудования и стоимость ложных остановок.

ROI считается по формуле: (годовой эффект − годовая стоимость владения) / годовая стоимость владения. Перед масштабированием мы проверяем чувствительность модели: как меняется окупаемость при меньшем recall, росте ложных срабатываний и изменении объёма выпуска. Это защищает решение от оптимистичного сценария.

Эксплуатация после запуска

Производственный процесс меняется: появляется новая упаковка, камера смещается после обслуживания, меняется поставщик сырья или освещение. Поэтому система должна отслеживать дрейф данных и бизнес-метрик. Мы сохраняем репрезентативные события, регулярно пересматриваем неопределённые случаи, версионируем датасеты и проводим контролируемое переобучение. Новая модель сначала сравнивается со старой на замороженном наборе и в теневом режиме, затем вводится с возможностью быстрого отката.

Чек-лист готовности к пилоту

• Есть владелец процесса и ответственный за решение по тревоге.
• Определены стоимость пропуска и стоимость ложного срабатывания.
• Можно получить выборку нормальных и дефектных примеров из разных смен и партий.
• Место установки камеры доступно и позволяет стабилизировать свет.
• Зафиксированы целевые recall, precision, задержка и доступность.
• Понятно, куда передавать событие и как оператор подтверждает результат.
• Есть план теневого режима, приёмки и возврата к ручному сценарию.
• Согласованы хранение данных, права доступа и срок удаления видео.

Частые вопросы

Можно ли начать без размеченного датасета?

Да. На обследовании мы определяем схему съёмки и минимальный объём данных, после чего организуем сбор и итеративную разметку. Для редких дефектов применяются управляемые постановочные примеры, но итоговая проверка всё равно проводится на естественном потоке.

Обязательно ли использовать облако?

Нет. Для низкой задержки, конфиденциальности или нестабильной сети подходит edge-развёртывание. Облако может использоваться отдельно для обучения, аналитики и централизованного мониторинга.

Можно ли сразу управлять линией?

Безопаснее начать с теневого режима и уведомлений. Автоматическое воздействие подключается после проверки качества на реальном потоке, анализа отказов и согласования регламента с технологами.

Как понять, что решение готово к масштабированию?

Пилот должен выдерживать согласованный период на реальной линии, достигать порогов качества и задержки, иметь рассчитанную экономику и повторяемую процедуру установки. После этого архитектуру тиражируют, отдельно калибруя каждую площадку.