В ходе выполнения 3-го заключительного этапа был создан установщик системы автоматизации разметки массивов изображений для обучения системы искусственного интеллекта и была разработана документация на программный продукт:
1)программа и методики экспериментальных исследований прототипа программного продукта;
2) описание программы;
3) руководство пользователя.
Для тестирования разработанного функционала программы разметки было подготовлено два набора данных.
При разметке фотографий из этой базы активно применялись интеллектуальные функции доразметки. В частности, функция автоматического поиска и разметки неразмеченных объектов на текущем кадре была сильно востребована для планограмм, для которых характерно наличие 60-80 объектов в кадре, подлежащих разметке, а также функция автоматического поиска других экземпляров объекта в окрестности выделенного, т.к. пачки сигарет на стеллажах всегда размещают группами.
1) Несколько видеозаписей, полученных при помощи БПЛА в России (Город Ижевск, его южные и восточные окрестности, трасса Агрыз-Можга, трасса Ижевск-Агрыз, Подмосковье и др.);
2) Видеозапись (город Бандунг, Западная Ява, Индонезия);
3) База изображений с транспортными средствами (ТС) – KIT. Города Германии. Около 12000 изображений;
4) База изображений с транспортными средствами – VEDAI. США, штат Юта. Около 3500 изображений;
5) База изображений с транспортными средствами - DLR 3K. Открытый доступ. Мюнхен. Создатель- Institute of Transportation Systems. Около14000 изображений.
В базе данных встречаются изображения, полученные в различных условиях (урбанизированные территории, сельская местность, леса и т.д.). Данные из разных источников имели различный формат и были приведены к единому формату.
При разметке изображений также использовались интеллектуальные функции доразметки. Функция автоматического поиска других экземпляров объекта в окрестности выделенного применялась, в основном, при разметке ТС стоящих в пробке или припаркованных вдоль дорог.
Пример ручной разметки ТС представлен на изображении слева: красным выделена область поиска для функции автоматического поиска других экземпляров объекта в окрестности выделенного объекта. На изображении справа - результаты работы функции автоматического поиска других экземпляров объекта в окрестности выделенного объекта.
Разработанные специальные самообучающиеся алгоритмы и архитектуры нейронных сетей, задействованные в алгоритмах разметки предлагается использовать для дальнейшего развития систем организации информации, а разработанный прототип ПО послужит основой для создания коммерческого программного продукта, при этом скорость процедуры разметки (аннотирования) видеоряда изображений типовых или известных (классифицированных) объектов по сравнению с ручной процедурой может увеличиваться более чем на порядок.
На втором году выполнения НИОКР при поддержке Фонда содействия инновациям и Инвестора планируется разработать интеллектуальную компоненту автоматизации разметки регионов для искусственных нейронных сетей семантической сегментации.
Основная особенность ПО будет заключаться в том, что наряду с процессом ручной разметки имеется возможность использовать нейронную сеть семантической сегментации для выделения объектов или регионов на изображении полигональными контурами, причем сеть дообучается в процессе работы оператора.
Система разметки со всеми интеллектуальными функциями позволит не только автоматически детектировать объекты на изображениях, но и автоматически проводить смысловую сегментацию изображений.