Проект для Гагарин хакатона команды WinWin

Как запустить

docker-compose up --build

Создать суперпользователя

docker-compose exec backend python manage.py createsuperuser

Если таблиц нет

docker-compose exec backend python manage.py makemigrations api

Сопроводительная документация к 1 задаче

Команда: WIN/WIN

1. Детализированные требования в отношении задачи

1.1. Какие требования ставила команда перед началом работы и сумела реализовать:

1.1.1. (Frontend) Создать упрошенный интерфейс в вебе:

Возможность загрузки файла.

Отображение информации, после отработки всех моделей.

А именно:

-тип документа

-точность определения

-серия

-номер

-фио и другие данные опционально.

1.1.2. (Backend) Разработать сервис API , готовый к приемке и обработке данных от frontend и ml, выложить всю структуру на сервер.

1.1.3. (Computer vision) Создать модели и нейросети для обработки изоображений.

Модель классификации.

Модель для детекции серии/номера на фото

Метод распознавания серии и номера

Модель определяющая номер страницы документа

1.2. Решение:

Мы создали обособленный продукт (коробочное решение), которое самостоятельно со своими моделями умеет обрабатывать документы (Водительское средство, свидетельство о регистрации транспортного средства, паспорт рф, ПТС)

1.3. Задачи, решаемые сервисом

1.Быстрая идентификация документа

2.Сканирование и обработка документа, с дальнейшем выводом информации по документу с целью автоматизации работы компании.

2.Общая архитектура сервиса.

В данном блоке будет описана внутренняя архитектура нашего сервиса, все используемые в ней компоненты, структуры таблиц.

2.1 Структурная схема веб сервиса

Наш сервис состоит из 1 БД в которую мы записываем все данные присылаемые нам от пользователя, а также от CV моделей. И 3 контейнера: для бэка, для фронта, для ML алгоритма.

3. Протокол взаимодействия с сервисом. Описание методов

3.1. Описание методов

Сервис команды Win/Win позволяет с помощью API получать и возвращать информацию после обработки CV.

Ссылка на описание API: https://docs.google.com/document/d/13YWrAQbUrJT042NBxuJN7cbfB3zrBuhD-KeHKftxN74/edit

4. Описание работы Computer vision моделей

4.1. Модель Классификации

Красная пунктирная линия на графике представляет эпоху обучения, в течение которой была получена окончательная модель. Мы обучали модель в течение 10 эпох. Однако решили использовать модель, полученную после шестой эпохи, поскольку дальнейшее обучение приводило к переобучению. Это было сделано на основе ResNet. Точность модели 98%

4.2. Модель Детекции положения серии и номера на фото

Мы разметили данные из датасета и на их основе обучили нейросеть для поиска серии/номера на фото.

Точность модели 95%

4.3. Метод распознавания серии и номера

Мы сделали два кластера цвета:

Первый включает наиболее встречающийся цвет - фон,

Второй - текст.

Таким образом не будет иметь значение черный или красный шрифт для распознавания. Отрисовываем только второй кластер с погрешностью.

Мы умеем определять горизонтальные вертикальные серию/номер, а также с буквами.

5. Руководство пользователя

С помощью кнопки «Загрузить файл» мы можем загрузить фото необходимого документа в систему. После обработки изображения в блоке информации появится информация по документу.

6. Дополнительные фичи

6.1. Вывод информации по всему документу.

Мы также создали модель для распознавания текста на документе.

Мы считаем, что это намного упростит жизнь пользователя.

Оформили данный метод в виде отдельной апи .

6.2. множественная загрузка документов

сервис API и модели позволяют сразу принимать несколько изображений на вход.

Это позволит пользователю разом загрузить все документы и проверить по ним информацию, а не фотографировать/загружать каждый файл по отдельности.

Это может быть также полезно для сотрудников организации, которые могут массово принимать документы от клиентов.