АТБ-Маркет

В апреле 2012 года компании Citia BTC и АТБ-Маркет анонсировали результаты внедрения аналитической системы для нужд розничного бизнеса. Исторически сложилось, что в нашей стране ритейловые сети к внедрению полномасштабных Хранилищ Данных относятся достаточно скептически, поэтому каждый большой проект в рознице вызывает значительный интерес у специалистов в области BI¹. 

Как известно, АТБ-маркет – один из «локомотивов» розничного бизнеса в Украине. Зародившись в Днепропетровске, сеть агрессивно расширяется не только в близком юго-восточном регионе, но и на западе и в столице страны. Только в 2012 году планируется открыть более 120 новых магазинов, увеличив сеть более чем до 600 объектов в 16 областях.  Разумеется, такой интенсивный рост требует не только солидных вложений, но и повышенное качество управления деятельностью организации.

Одним из шагов, направленных на повышение качества управления компанией стало решение руководства компании о внедрении Информационно-Аналитической Системы (ИАС), в качестве инструмента для работы с важнейшими показателями по эффективности деятельности сети. Внедрение системы позволит высвободить ресурсы аналитических подразделений от значительного объема ручных операций по подготовке и обработке исходных данных и направить усилия непосредственно на анализ информации для обоснования принятия управленческих решений.

Для формализации критериев, по которым должны были оцениваться возможности инструментов  и организации процесса тендера была привлечена компания «Эрнст энд Янг», специалисты которой сопровождали процесс выбора поставщика и технологий для решения на протяжении первой половины 2011 года. К участию в тендере были приглашены поставщики решений из Украины и России, которые представляли основных вендоров на рынке. Так в части инструментов для хранения данных были представлены СУБД от IBM, Oracle, Vertica, Sybase, Microsoft, а в части инструментов работы пользователей с информацией такие инструменты как SAP Business Objects BI, MicroStrategy, QlikView, IBM Cognos BI и ряд других.

После продолжительных сравнительных испытаний и обсуждения условий внедрения тендерный комитет в конце июля 2011 года выбрал интегратора – компанию   Citia BTC, предложившую SAP Sybase IQ в качестве СУБД, SAP Business Objects Data Integrator в качестве ETL-инструмента²  и SAP Business Objects Edge BI в качестве инструмента конечного пользователя. Таким образом, набор средств SAP показал в данном случае наиболее привлекательное соотношение цена/качество, причем, ключевую роль в принятии решения сыграл опыт и экспертиза специалистов Citia BTC, представивших адекватный ситуации подход к организации работ и методологическому обеспечению проекта.

Реализация проекта происходила по «водопадной» схеме и началась в конце августа со спецификации требований к системе. В ходе совместной работы аналитика проекта с бизнес-экспертами Заказчика были формализованы показатели и размерности, используемые для анализа объемов продаж с детализацией до чековой статистики,  остатков товаров на складах и в магазинах, движения товаров, ассортиментного перечня и инвентаризации магазинов. Ведущий архитектор  Citia BTC сформировал функциональную архитектуру решения и спроектировал модель и процедуры наполнения ее  данными.

Рисунок 1. Крупно-уровневая архитектура ИАС

Существенным аспектом работ по спецификации требований и проектированию было использование– case-средства³  SAP Sybase PowerDesigner 15.3. Использование данного инструмента обеспечило команду проекта единой средой для работы с требованиями и моделью данных и их взаимосвязями, что весьма позитивно сказалось на ходе реализации проекта и качестве его результатов.

По мере подготовки спецификаций на процедуры извлечения и загрузки данных во второй половине октября основная масса проектных работ перешла к группе разработки ETL-процедур, которую представляли специалисты Заказчика. Контроль качества выполнения работ осуществляли специалисты   Citia BTC, при этом для управления работами совместной команды активно использовался трекер⁴  Atlassian Jira. Совместными усилиями удалось произвести первые запуски системы на загрузку данных в начале 2012 года. Высокая производительность труда разработчиков была обеспечена удачной системой управления версиями и наличием компонент для быстрой разработки процедур измерений, функциональным построителем процессов загрузки и другими средствами автоматизированной разработки  в инструменте Data Integrator. 

При работе с СУБД Sybase IQ 15.3 подтвердились высокие характеристики производительности на выполнении запросов на моделях, предназначенных для решения аналитических задач (звезда/снежинка), а также отличная скорость выполнения массированных операций (вставка, удаление и обновление данных) достигающая десятков миллионов записей в минуту. В сочетании с возможностями механизма pushdown⁵  в инструменте Data Integrator был достигнут четырехкратный прирост скорости исполнения ряда процедур. 

На завершающей стадии работ разработчики  Citia BTC создали несколько юниверсов⁶ , объединивших в себе все требуемые показатели и размерности, после чего были начаты работы по комплексному тестированию системы и выведению ее в эксплуатацию, которая началась в первой половине апреля.

Конечно же, ни один крупный проект не обходится без трудностей, не был исключением и этот.  Так в части СУБД наиболее проблемными моментами оказались: 

• Крайне низкая скорость выполнения построчных операций загрузки данных – для обновления 1000 строк в справочниках измерений (процедуры SCD 1/2⁷ )  требовалось до 20 минут
• Малая скорость выполнения сложных запросов, например соединение десятков таблиц по нескольким полям

При разработке процедур извлечения, трансформации и загрузки данных проявилась недостаточная совместимость Data Integrator и Sybase IQ – например, в случае применения условных выражений или соединения таблиц по полям с разными типами механизм pushdown  отключался (чего не наблюдалось с другими СУБД), кроме того было отмечено неэффективная параллельная обработка данных в процедурах загрузки.

 Ну и, наконец, использование ранних релизов новой версии SBOB BI Edge 4.0 ожидаемо принесло целый букет мелких ошибок в продукте.

Что же касается организационной части, то опыт данного проекта в очередной раз подтвердил необходимость активного использования методик «гибкой» разработки, которые позволили бы на ранних сроках привлечь пользователей к формированию облика системы и избежать ряда досадных ошибок, которые были выявлены только на заключительном этапе.

В данный момент пользователи осваивают систему, овладевая всеми возможностями богатого пользовательского инструментария, который расширяет возможности и упрощает самостоятельный анализ данных благодаря интуитивно понятному графическому интерфейсу SBOB Edge BI 4.0

В заключение хотелось бы сказать, что в ходе восьмимесячного проекта силами совместной команды была создана мощная универсальная система, дает заинтересованным лицам в компании удобный доступ к имеющейся информации в новом качестве и снимает необходимость в большом объеме ручных операций при решении задач анализа данных, что, несомненно, позитивно скажется на эффективности деятельности и развития сети. Созданный продукт является важным первым шагом на пути развития аналитической системы, которую АТБ-Маркет в силах развивать собственными специалистами в соответствии с динамично изменяющимися потребностями бизнеса.