Интеллектуальной технологии геопривязки изображений – поддержка Фонда перспективных исследований

Интеллектуальной технологии геопривязки изображений – поддержка Фонда перспективных исследований

Команда молодых разработчиков из ЛЭТИ предложила перспективное решение для определения местоположения фотографий, основанное на алгоритмах искусственного интеллекта и машинного обучения.

11.11.2020 502

В ноябре 2020 года Фонд перспективных исследований подвел итоги конкурса на лучшую интеллектуальную технологию геопривязки изображений. Партнером конкурса выступил Фонд «Сколково» при технической поддержке ООО «Форексис».

Конкурс проводился с целью поиска наиболее перспективных и развитых технологий определения места проведения съемки по фотографии и распознавания на ней различных объектов – указателей, государственных номеров автомобилей, информационных и рекламных вывесок, достопримечательностей и природных ландшафтов.

Финалистами конкурса стали команды Санкт-Петербургского государственного электротехнического университета «ЛЭТИ», Военно-космической академии им. А.Ф. Можайского, Московского государственного технического университета им. Н.Э. Баумана, Волгоградского государственного университета и ООО «Юнит» (г. Санкт-Петербург).

В номинации «Лучшее техническое решение» победителем стала команда СПбГЭТУ «ЛЭТИ» в составе доцента кафедры автоматики и процессов управления (АПУ) Дмитрия Ильича Каплуна, аспиранта кафедры АПУ Александра Синица и студента факультета компьютерных технологий и информатики (ФКТИ) Евгения Шалугина.

Лэтишники предложили технологию определения локации фотосъемки, основанную на алгоритмах искусственного интеллекта и машинного обучения. Техническое решение способно обнаруживать на снимках такие объекты, как указатели, информационные вывески и достопримечательности. «Определение местоположения по фотографии – очень сложная задача. Как правило, ее решение ограничено определенными областями мира, фотографиями достопримечательностей или обязательным наличием метаданных. Нам предстояло научить искусственный интеллект определять местоположение любых фотографий – от селфи до профессиональных снимков. Мы решали эту задачу методами глубоко обучения с применением сверхточных нейронных сетей», – рассказывает аспирант кафедры АПУ Александр Синица.

Классические алгоритмы определения местоположения фотографии представляют собой решение задачи классификации – карта Земли разделяется на географические области. Проблему переобучения и несбалансированности датасетов команда решила разделением планеты на клетки с одинаковым количеством изображений.

«Проблему неспособности нейросети запомнить все разнообразие мест в мире мы решили дополнительной классификацией сцен – контекста фотографий, которые разделяются различными средовыми условиями. При определении геолокации наша команда использовала многосекционный подход: мы добавили распознавание сюжетов этих фотографий, а при оценке геолокации одновременно использовали несколько пространственных разрешений (разбиений)».

Доцент кафедры АПУ СПбГЭТУ «ЛЭТИ» Дмитрий Ильич Каплун

Технология, предложенная командой ЛЭТИ, может найти применение в системах автономного вождения, расширенной реальности, геолокализации архивных фотографий, а также в геоинформационных системах.

Разработчики планируют расширить обучающий датасет, увеличить число сцен, а также применить к ним разные модели классификации объектов. Фонд перспективных исследований предложил заключить договор для продолжения работы по проекту в интересах одного из своих заказчиков.