Разработка цифровой платформы анализа Больших данных

Разработка платформы для выполнения анализа данных большого объема, хранящихся на удаленных, распределенных источниках (например, у операторов Больших данных) без передачи их к месту анализа.

Проект

Описание Технологии
Библиотека анализа распределенных данных

Библиотека содержит алгоритмы интеллектуального анализа данных (ИАД) декомпозированные на функциональные блоки для их выполнения на распределенных источниках. Для параллельных  и распределенных вычислений используются Java потоки, акторы и агенты.

Библиотека разрабоатывается как Open Source проект.

Требуется как реализация новых алгоритмов, так и добавление новых модулей (адаптеров к данным, преобразований данных, визуализации моделей и т.п.)

Java, Java threads,
машинное обучение,
модели акторов AKKA, многоагентная система JADE.

Облачная платформа анализа Больших данных

Платформа предназначена для анализа больших объемов данных хранящихся в распределенных разнородных источниках подключаемым через Интернет.

Требуется реализация отдельных модулей платформы, интерфейса пользоватля, адаптеров к источникам данных и др.

Java, Apache Spark, Apache ignite, Apache Drill и др.

Python, Django и др.

 

Контакты: профессор каф.ВТ - Холод Иван Иванович (iiholod@etu.ru)