На портале открытых данных ЕАЭС представлено 17 тематических разделов, включающих более 100 реестров. За наполнения портала отвечают 5 стран. Ежедневно у портала более 3000 активных посещений.
Наполнение тематического раздела – это классический ETL процесс: загрузка, трансформация и представление данных.
В зависимости от раздела данные могут быть запрошены из БД Mongo, Postgre, получены по апи в формате json или xml файлов, введены пользователем на портале или загружены в виде эксель файла.
Задача эти данные проверить:
• выполнить форматно-логический контроль,
• проверить на дубли,
• сформировать пространственную привязку (выполнить упрощенное прямое или обратное геодкодирование) и т.д.
И сформировать представление: сохранить в БД, положить в очередь kafka, сформировать отчеты.
Таким образов GeoData обеспечил бэкэнд портала: за каждым действием на фронте стоит вызов экземпляра процесса: как действия в личном кабинете (загрузить, обновить, направить, удалить и т.д.), так и формирование печатных форм (списки реестров, карточки записей и др.) для пользователей портала.
Использование платформы обеспечило единый подход к ведению портала:
• прозрачность логики и легкость чтения, условно, кода процессов,
• единые технологии,
• единую система логирования.
Успешный опыт использования платформы начинает применяться и для автоматизации других направлений деятельности комиссии: формирование данных общих процессов, наполнение технического портала, организация миграций данных между системами.