Qlik Sense в Росгосстрах

На момент старта проекта в компании было много источников данных, сложная синхронизация, большое количество разнородных данных с качеством от плохого до хорошего, что затрудняло использование. Все отчеты велись в Excel, что означало статичную картинку, ограниченную дистрибуцию, детализацию и частоту выпуска. Методология была нестабильной, отсутствовал единый источник правды в отчетах и аналитике.

В выборе платформы участвовали различные подразделения компании. Главные причины, по которым был выбран Qlik Sense: ассоциативное хранилище данных, современная универсальная визуализация, высокая скорость разработки, возможность создания приложений для бизнес-пользователей, а не только аналитиков.

Этапы внедрения включали: первый тестовый стенд, прототип отчета по продажам, утверждение Qlik Sense как единого инструмента BI, приобретение первого пакета лицензий, утверждение проекта ИТ-решения, создание кластера из 4 серверов, внедрение расширений Vizlib, запуск первого промышленного приложения с массовым доступом, создание команды в Финансовом департаменте, получение лицензий Qlik ELA.

Был выбран гибридный путь внедрения с параллельными процессами: проекты внутренних заказчиков реализовывались in-house командой разработки, а первичный проект по ETL операционных данных выполнялся с внешним партнером. Разработка велась в режиме мини-проектов. Сформирована внутренняя команда разработчиков, в которую вошли руководство центром BI, технический архитектор, команда разработчиков, бизнес-аналитики и проектные менеджеры.

В компании развернут продуктивный кластер с балансировкой нагрузки, используются виртуальные машины для тестирования, ежедневно осуществляется резервное копирование приложений без данных между машинами. В инфраструктуре работают четыре физических сервера по 768 Гб RAM, два виртуальных сервера, DWH на PostgreSQL и Pentaho.

В системе зарегистрировано 4 500 пользователей, ежедневно работает 500 уникальных пользователей, плановое количество пользователей — 33 000, за последние 3 месяца было 3 800 активных пользователей, максимальное количество уникальных пользователей в день превышает 1 200.

В системе 1 700 приложений, из них 1 200 активны за последние 90 дней и 300 — за последние 7 дней. К самым популярным приложениям относятся: розничная управленческая панель, автострахование (котировки, конверсия), подбор агентов, дебиторская задолженность, KPI Опердепа, отчетность Финдепа, контроль платежей, управление сетью, обучение, CRM, актуарные приложения, персонал, внутренние приложения Финдепа, приложения цифрового блока.

Сложная разработка и централизованное моделирование остаются в группе разработки Финдепа. Никто не знает задачи и данные лучше, чем сами бизнес-подразделения, владеющие данными. Цель — self-service силами power-пользователей в бизнес-подразделениях.

Отчеты по дебиторской задолженности ранее представляли собой не хранимый, динамический показатель. Полный отчет по компании формировался из двух операционных систем несколько часов и содержал более двух миллионов строк. Просто посмотреть текущую задолженность по партнеру, подразделению или филиалу занимало от 10 минут до нескольких часов. Отсутствовала централизованная «версия правды» — каждый филиал делал свои отчеты и анализировал их по своему желанию. Для сохранения истории изменений приходилось хранить каждый сформированный отчет. Проанализировать динамику по конкретному партнеру или филиалу было задачей на несколько часов, при этом качество и глубина анализа оставляли желать лучшего. Изменения и ошибки в исходных данных иногда делали невозможным ручной анализ.

В Qlik Sense реализована не только визуализация, но и обработка данных с бизнес-логикой: базовая выгрузка, загрузка данных в архив (ETL1), обработка данных (ETL2), обновление приложения QS. Еженедельная выгрузка полного отчета в Excel, исправление ошибок в исходных данных, загрузка исходных данных в единый архив, выявление связанных сущностей, построение взаимосвязей, создание итогового архива для приложения, формирование расчетных показателей для обратной загрузки в операционные системы и аналитических показателей для бизнес-пользователей.

Результат — единый центр данных по дебиторской задолженности: все филиалы пользуются единым источником данных, преднастроенные фильтры и аналитические разрезы, подсветка «зон внимания» для анализа и отработки, возможность посмотреть динамику за два года по любому набору сущностей в несколько кликов, детализированные таблицы с пользовательской настройкой столбцов для выгрузки в Excel.

Филиалам необходимо было дать инструмент для работы с непривязанными платежами. Ежедневно поступает 20–30 тысяч страховых платежей, которые должны привязываться к договорам страхования. В бухгалтерской системе отсутствовал готовый интерфейс для работы со списком непривязанных платежей, а простой полный отчет формировался около 10 минут и давал существенную нагрузку на базу данных. Не было возможности «нарезать» список под конкретных бизнес-пользователей.

Qlik Sense позволил отказаться от создания сложных инструментов в бухгалтерской системе. Каждый час в базе данных выгружается полный список непривязанных платежей и сохраняется в отдельной таблице, список платежей загружается в приложение QS, данные обогащаются дополнительными аналитиками, которые гибко настраиваются в скрипте загрузки, определяются уровни доступа и сегменты видимости платежей для филиалов, реализован удобный и легко настраиваемый интерфейс.

Результат — удобное рабочее место для работы с непривязанными платежами: без доработок бухгалтерской системы, быстро настраиваемые дополнительные аналитики, моментальный доступ к данным без нагрузки на основную базу данных, быстрый поиск по любому параметру и сквозной полнотекстовый поиск, контроль результатов работы филиалов, система рейтинга по качеству отработки.