Система распознавания автомобильных номеров (ANPR)

ООО «Экосмарт» — система контроля доступа автотранспорта

PyTorch
MTCNN
C++
OpenCV
MLFlow
DVC

Система распознавания автомобильных номеров для контроля доступа автотранспорта, построенная для реального объекта: камеры передают кадры в кастомный нейросетевой пайплайн, который детектирует и считывает номера, сверяет их с ежедневным белым/ожидаемым списком, при необходимости открывает шлагбаум и передаёт каждое обнаружение на бэкенд с веб-интерфейсом для операторов и оповещает отдел логистики (email и/или смс) о прибытии транспорта под разгрузку.

Обзор

Система автоматизирует контроль доступа на въезде объекта. Камеры наблюдают за въездом; кастомный пайплайн глубокого обучения (MTCNN для детекции номера, STN + сеть-распознаватель для считывания) находит номерной знак в каждом кадре и считывает его прямо с живого потока — без ручной проверки. Каждое считывание сверяется с ежедневным списком ожидаемого транспорта, который формирует логистика для загрузки или разгрузки; при совпадении шлагбаум может открыться автоматически, а каждое обнаружение — совпавшее или нет — логируется для проверки операторами.

Номер грузовика обнаружен и считан прямо с камеры — Обнаруженный автомобиль: номер найден и считан прямо с кадра камеры, вместе с уверенностью распознавания.

Журнал обнаружений со всеми считанными номерами, датой/временем, фильтрацией и переключателем языка — Журнал обнаружений: каждое считывание, с фильтрацией и действием просмотра/удаления по каждой строке для проверки оператором. Интерфейс также поддерживает переключение языков.

Список ожидаемого транспорта, который операторы используют для регистрации въезжающих грузовиков — Список ожидаемого транспорта, который операторы используют для планирования въезда грузовиков; прибытия сверяются с ним автоматически, а отмеченные как прибывшие — выделяются.

Ключевые результаты

Проектирование ANPR-системы. Спроектировал и реализовал систему распознавания автомобильных номеров (ANPR) от начала до конца на кастомных глубоких сетях (MTCNN, STR-Net).
Оптимизация пайплайна MTCNN. Провёл глубокий анализ MTCNN и перестроил пайплайн детекции на P-Net и O-Net, полностью исключив R-Net — снижение нагрузки на GPU без потери точности.
Real-time пайплайн на C++. Перенёс основной цикл обработки видеокадров с Python на C++, сократив время обработки кадра до 11–13,5 мс (~75–90 кадров/с) — примерно в 1,5 раза быстрее реализации на Python.
Инструменты для датасетов и экспериментов. Кастомизировал LabelImg под формат метаданных компании, руководил командой разметки, построил пайплайн валидации датасетов; настроил on-prem версионирование данных и экспериментов (MLFlow, DVC).
Бизнес-эффект. Автоматическое распознавание ожидаемых автопоездов на подъезде к объекту, интегрированное с логистической системой оповещений, устранило простои транспорта и ускорило разгрузку.

В продакшене такое автоматическое распознавание ожидаемого транспорта — интегрированное с логистической системой оповещений — устранило простои транспорта на въезде и ускорило разгрузку, убрав ручную сверку каждого грузовика с расписанием на день.

(приватный репозиторий — готов предоставить доступ или демо по запросу)