Системные требования и типовые конфигурации

В документе рассматриваются:

1. Архитектура
2. Требования к программному обеспечению
3. Рекомендации по достижению лучших результатов при реализации проекта

Обозначения и сокращения#

1. Архитектура#

Решение предлагает компонентную архитектуру, которая позволяет масштабировать решение горизонтально и вертикально. Архитектура кластерного развертывания представлена на схеме ниже.

1.1 Компоненты кластера#

Балансировщик нагрузки (nginx)

Web модуль BI (SiglaVision) — модуль для управления пользовательскими сессиями и обработки запросов в BI-системе. На разных уровнях решает следующие задачи:

• уровень сетевой маршрутизации;
• уровень бизнес-обработки.

Ключевой функционал Web-модуля: модуль поддерживает целостность сессий при одновременном эффективном распределении вычислительной нагрузки между серверными ресурсами, обеспечивая надёжность и оптимальную производительность системы.

Мастер узел — центральный компонент системы, отвечающий за координацию worker-процессов и управление метаданными.

Основные функции:

• управление worker-процессами;
• управление метаданными.

Ключевой функционал: модуль координирует взаимодействие между BI-узлами и worker-движками, обеспечивая эффективное распределение задач и доступ к данным через управление метаданными.

Вычислительный узел — выполняет задачи расчёта и задачи обновления данных, которые получает исполнительный компонент системы, состоящий из вычислительного узла и модуля мониторинга.

Основные компоненты:

• вычислительный узел;
• модуль мониторинга.

Ключевой функционал: модуль обеспечивает выполнение задач обработки данных с возможностью оптимизации нагрузки и встроенным механизмом самовосстановления при сбоях.

Хранилище данных — хранит основные BI-таблицы и наборы данных.

Репозиторий — сохраняет метаданные сервера, включая пользователей, права доступа и расписание обновлений. Обеспечивает консистентность при работе в кластере.

Сервер состояний (Redis) — следит за состоянием всех узлов BI-проекта, фиксирует ошибки и управляет распределением задач.

Файловый сервер — централизованное хранилище файлов проекта (шаблоны, драйверы, резервные копии и т.д.) для обеспечения доступа всех узлов BI.

Сервис логов — записывает действия пользователей и системные события. Позволяет анализировать производительность, поведение пользователей и отслеживать события.

1.2 Состав архитектуры#

Подключение к источникам#

Подключение к источникам данных осуществляется по протоколу JDBC. Система предоставляет набор преднастроенных коннекторов, а также позволяет использовать сторонние JDBC-драйверы.

Управление процессами обработки данных#

SiglaVision позволяет работать с источниками данных в двух режимах: режим прямых запросов и режим экстракта.

В режиме прямых запросов BI-система выполняет push down вычислений в систему-источник данных, перекладывая нагрузку на СУБД. BI только визуализирует результат выполненных вычислений. Этот режим предпочтителен для работы с большим объёмом данных и специализированными СУБД: MPP, колоночные, in-memory.

В режиме экстракта данные выгружаются в BI-систему. После загрузки данных обращений к системе-источнику не происходит, нагрузка на источник значительно снижается. Режим предпочтителен для медленных источников данных, а также для источников, данные которых требуют дополнительной обработки и подготовки.

SiglaVision предоставляет минималистичный, простой в освоении ETL, который позволяет трансформировать и агрегировать загруженные в платформу данные. Доступны типовые операции: join, union, filter, aggregate, добавление новых колонок и др.

Хранилище метаданных#

Для хранения метаданных SiglaVision может использовать различные СУБД, в том числе MySQL и PostgreSQL. Репозиторий используется в системе для хранения данных о пользователях, правах доступа, метаданных объектов системы.

Презентационный каталог и интерфейс пользователя#

Доступ в SiglaVision осуществляется через веб-интерфейс. Для доступа пользователей поддерживаются современные браузеры, в том числе Яндекс Браузер. Для просмотра дашбордов и их разработки не требуется установка дополнительного ПО. Разработка форматированных отчётов, которые поставляются как отдельный модуль, требует установки толстого клиента.

Интерактивные формы#

SiglaVision предоставляет широкие возможности по визуализации данных. Каждый элемент визуализации может быть гибко настроен и зависеть от данных; различные графики могут отображаться на одном виджете.

Администрирование и настройка#

Ключевые настройки ПО вынесены в раздел администрирования ПО. В данном разделе выполняются основные настройки ролевой модели, параметры аутентификации, логирования и пр.

В зависимости от используемой версии часть настроек развертывания системы может быть вынесена в специализированный модуль SiglaVision Monitor, который отвечает за развертывание компонентов решения, их мониторинг, бэкапирование и обновление.

2. Требования к программному обеспечению#

Решение может быть развернуто как на физических серверах, так и на виртуальных машинах. Решение также поддерживает развертывание в облаке.

2.1 Совместимое ПО и инфраструктура#

2.2 Рекомендуемый сайзинг для компонент#

Компоненты системы могут быть установлены в виде единой инсталляции (standalone), так и в виде набора отдельных компонентов, которые запускаются SiglaVision Monitor. Рекомендуемый сайзинг по компонентам приведён в таблице ниже.

Несколько компонентов могут быть запущены вместе на одном сервере или виртуальной машине; в этом случае необходимый сайзинг суммируется.

2.3 Сайзинг по сценариям использования#

Далее сайзинг решения рассчитывается исходя из количества узлов Web-модулей BI и вычислительных узлов. Инфраструктурные модули не требуют значительного увеличения мощности при росте числа пользователей; их сайзинг можно считать фиксированным.

В таблицах ниже приведены примеры расчёта сайзинга для различных сценариев. Указаны ориентиры для инсталляций до 3000 пользователей. Система также позволяет масштабироваться на большее число пользователей, но сайзинг в большей степени начинает зависеть от сценария использования. В соответствии с таблицами ниже предложенный в приложении сайзинг рассчитан примерно на 1000–3000 пользователей в зависимости от сценария.

Сценарий прямого подключения к данным#

Данные получаются напрямую с источников. В этом сценарии требуется большее число Web-узлов BI-системы, отвечающих за рендеринг отчётов. Основные вычисления выполняются на стороне СУБД источника данных.

Сценарий Self-Service#

Большое число активных пользователей, которые используют отчёты и самостоятельно создают новые. Потребность в ресурсах растёт быстрее: разработка отчётов более ресурсоёмкая, чем просмотр готового отчёта.

Сценарий выгрузки данных источника#

Данные в основном выгружаются из систем-источников и загружаются в BI-систему. Пользователи активно используют отчёты и создают новые. Нагрузка выше: нужно обслуживать запросы пользователей и выполнять задания по обновлению данных.

3. Рекомендации по достижению лучших результатов при реализации проекта#

Для успешной реализации проекта рекомендуется на старте учесть следующие моменты (желательно закрепить их в проектной документации):

• рекомендации по визуализации данных и разработке отчётов в корпоративных стилях, чтобы пользовательские отчёты были выполнены в едином стиле;
• рекомендации по разработке отчётов с оптимальной производительностью.