Кейс. Ведение портала открытых данных ЕАЭС
Кейс. Ведение портала открытых данных ЕАЭС

На портале открытых данных ЕАЭС представлено 17 тематических разделов, включающих более 100 реестров. За наполнения портала отвечают 5 стран. Ежедневно у портала более 3000 активных посещений.

Наполнение тематического раздела – это классический ETL процесс: загрузка, трансформация и представление данных.

В зависимости от раздела данные могут быть запрошены из БД Mongo, Postgre, получены по апи в формате json или xml файлов, введены пользователем на портале или загружены в виде эксель файла.

Задача эти данные проверить:

• выполнить форматно-логический контроль,

• проверить на дубли,

• сформировать пространственную привязку (выполнить упрощенное прямое или обратное геодкодирование) и т.д.

И сформировать представление: сохранить в БД, положить в очередь kafka, сформировать отчеты.

Таким образов GeoData обеспечил бэкэнд портала: за каждым действием на фронте стоит вызов экземпляра процесса: как действия в личном кабинете (загрузить, обновить, направить, удалить и т.д.), так и формирование печатных форм (списки реестров, карточки записей и др.) для пользователей портала.

Использование платформы обеспечило единый подход к ведению портала:

• прозрачность логики и легкость чтения, условно, кода процессов,

• единые технологии,

• единую система логирования.

Успешный опыт использования платформы начинает применяться и для автоматизации других направлений деятельности комиссии: формирование данных общих процессов, наполнение технического портала, организация миграций данных между системами.

Поделиться