Траектория «Компьютерное зрение: сенсоры и синтез видеосистем»

В рамках данной траектории основное внимание направлено на сквозное проектирование систем компьютерного зрения: от объекта наблюдения до потребителя.

Дисциплины траектории

Дисциплина обеспечивает подготовку магистрантов по образовательной программе «Инфокоммуникационные технологии анализа и обработки пространственной информации» в области информационных гетерогенных 7 систем, алгоритмической переработки информационных потоков, эффективности информационных систем. Слушатели получают теоретические сведения об информационных пространственных полях, гетерогенных многосвязных системах, о кодировании в реальном времени изображений при квадратичном критерии точности, характеристиках и особенностях робототехнических телевизионных систем.

Дисциплина обеспечивает подготовку магистрантов по образовательной программе «Инфокоммуникационные технологии анализа и обработки пространственной информации» в области аудиовизуальной техники. В дисциплине изучаются физические основы структуры твердотельных фотоприемников, их фотоэлектрические характеристики и принципы построения на их основе ахроматических и цветных телевизионных камер. Рассматриваются вопросы проектирования узлов видеотехнических систем с использованием 12 современной отечественной и импортной элементной базы.

Дисциплина обеспечивает подготовку магистрантов по образовательной программе «Инфокоммуникационные технологии анализа и обработки пространственной информации» в области аудиовизуальной техники. В дисциплине изучаются особенности формирования сигнала изображения, принципы работы электронных и твердотельных фотоэлектрических преобразователей и их характеристики. Рассматриваются особенности анализа и синтеза аналоговых и цифровых изображений в телевизионных системах.

Целью преподавания дисциплины является ознакомление магистрантов с элементной базой система на кристалле (СнК), принципами проектирования аппаратного обеспечения СнК на базе современных САПР, методами разделения алгоритмов обработки видеоинформации на аппаратную и программную составляющие. Большое внимание уделяется изучению подходов к разработке устройств на базе аппаратныx (hard core) и синтезируемых (soft core) процессорных элементах в составе СнК. На практических занятиях магистранты осваивают и применяют САПР для проектирования СнК ведущих мировых производителей (Quartus Prime, Vivado/Vitis, Diamond). Лабораторные работы проводятся на основе учебных стендов DE1-SoC и ZedBoard, что позволяет рассмотреть полный цикл проектирования и моделирования видеоинформационных систем на базе программируемых логических интегральных схем и систем на кристалле.

Лекционный материал траектории посвящен: принципам проектирования систем компьютерного зрения; анализу свойств оптического изображения (спектральных, энергетических, динамических и др.); оптическим системам (объективы, фильтры, зеркальные элементы); сенсорам изображения (ПЗС, КМОП-сенсоры, TOF-сенсоры, мульти- и гиперспектральные сенсоры, UV/SWIR/MWIR/LWIR/THz сенсоры), а также интерфейсам передачи данных в системах компьютерного зрения (от LVDS до USB3.2).

В рамках обучения студенты получают практические навыки в области построения систем компьютерного зрения, а именно расчет параметров для функционирования системы и построения моделей (Maltab, Wolfram); разработка структурных, функциональных, электрических-принципиальных схем (Altium Designer, AutoCAD); разработка систем управления и обработки изображений на ПЛИС (FPAG) в САПР Quartus Prime.

Каждый из рассматриваемых вопросов сопровождается большим количеством примеров из накопленного опыта решения уникальных задач, с которыми научный коллектив кафедры сталкивался на протяжении более чем 70 лет. В частности используются примеры, из следующих выполненных проектов:

  • Космическое телевидение
    • фокальная плоскость телескопа MAGIS;
    • ТВ камеры UV диапазона;
    • ТВ камеры для звездного датчика и системы стыковки космических аппаратов;
    • телевизионная система для наблюдения за лабораторными животными на спутнике БИОН;
    • система машинного зрения для мобильного робота на МКС;
    • система обнаружения космического мусора.
  • Медицина / Биология
    • система для анализа генома человека;
    • видеоэндоскоп и видеолапароскоп;
    • высокоточные сканеры отпечатка пальца.
  • Системы специального назначения 
    • высокоскоростная система записи быстропротекающих процессов;
    • сверхвысокочувствительные системы.