Сетевой журнал: галерея ИТ-проектов

“ФОРС – Центр разработки”: хранилище данных для электроэнергетической отрасли

Работы по созданию хранилища данных и системы аналитической отчетности для НП “АТС” (некоммерческое партнерство “администратор торговой системы”) на основе СУБД Oracle, ставшей уже промышленным стандартом, компания “ФОРС – центр разработки” начала в декабре 2003 года. Подключение оперативных систем к хранилищу проходило поэтапно, и на предпоследнем этапе хранилище данных на базе СУБД Oracle 9i аккумулировало информацию из пяти оперативных систем и обеспечивало функционирование системы платной отчетности НП “АТС”

К этому времени (ноябрь – декабрь 2003 года) в НП “АТС” уже был построен комплекс различных оперативных систем (ОС), обеспечивающих функционирование отдельных ключевых бизнес­процессов, в частности торговая система, с по помощью которой рассчитывалась стоимость электроэнергии для соответствующего сектора рынка.

Однако главным недостатком существовавших на ту пору ОС было отсутствие централизованного хранилища. К примеру, результаты торгов поступали из торговой системы в виде ежедневно обновляемого набора файлов. Очевидно, что такой способ осложнял анализ и обработку данных; столь же трудоемким оказывалось и создание аналитических отчетов. Операторы и аналитики оперативных систем в НП “АТС” были вынуждены вручную собирать данные для формирования отчетов, и из­за большого объема рутинной работы был велик риск совершить ошибку.

Так и возникла необходимость в консолидации данных из различных ОС предприятия, в поддержке истории их изменения и в формировании справочной системы и отчетов, охватывающих весь рынок электроэнергии, – то есть по сути в создании централизованного хранилища данных (ХД). Реализацией этого проекта занялась компания “ФОРС – Центр разработки”, уже имеющая большой опыт построения отраслевых и универсальных решений на базе Oracle. Внедрение ХД для обслуживания НП “АТС” и участников рынка электроэнергии (как производителей, так и потребителей) в европейском и сибирском регионах заняло более года и условно было разделено на пять этапов.

Начальный, наиболее продолжительный этап работы протекал около пяти месяцев и был завершен в апреле 2004­го. К этому моменту была введена а эксплуатацию первая очередь хранилища, созданного на базе самой новой на тот момент версии СУБД Oracle 9i. Предпочтение продуктам Oracle было отдано по той причине, что этот вендор представляет полный спектр решений и технологий с функциональностью, позволяющей построить и хранилище, и аналитическую систему без привлечения продуктов каких­либо других поставщиков.

Рисунок 1. Подключение оперативных систем к хранилищу проходило поэтапно, и на предпоследнем этапе хранилище данных на базе СУБД Oracle 9i аккумулировало информацию из пяти оперативных систем и обеспечивало функционирование системы платной отчетности НП “АТС”


При подключении торговой системы компанией ФОРС были разработаны общая структура хранилища (рис. 1), ETL­процедуры, а также необходимый набор аналитических отчетов. Использовались инструменты Oracle Warehouse Builder (с его помощью можно проектировать хранилища в визуальном режиме: определять источники информации, описывать структуру баз данных и ETL­процедуры), Oracle Discoverer (система позволяет создавать табличные и графические аналитические отчеты и проводить анализ данных) и ряд служебных утилит, входящих в состав Oracle 9i Database (в частности, Oracle XML SQL Utility).

Последующие этапы проекта, в течение которых компания ФОРС совместно с НП “АТС” подключала к хранилищу дополнительные оперативные системы, выполнялись примерно по той же схеме. Так, на втором и третьем этапах, занявших по два месяца каждый, были подключены ОС системного оператора и регулируемого сектора оптового рынка электроэнергии.

На четвертом этапе (3 месяца) к хранилищу подсоединились оперативные системы НП “АТС”, используемые для расчета отклонений и стоимостных показателей конкурентного сектора, – модуль расчета отклонений и финансово­расчетная система. Наконец, на завершающем этапе, также занявшем около трех месяцев, в связи с выходом компании на новые рынки параллельно с существующим хранилищем данных для европейской ценовой зоны было развернуто ХД сибирской ценовой зоны (рис.2). Архитектура хранилищ позволяет подключать новые источники данных и оперативные системы к уже существующим.

Рисунок 2. Архитектура хранилища данных для европейской и сибирской ценовых зон совершенно одинакова


В результате создания хранилища были реализованы:

  • консолидация данных;
  • поддержание историзма данных с сохранением версий модифицируемых записей;
  • система регламентированной и нерегламентированной аналитической отчетности.

    К перспективам развития можно отнести создание многомерных витрин данных на базе Oracle OLAP Option и Oracle Business Intelligence, а также применение Oracle Data Mining для выявления в данных, содержащихся в хранилище, скрытых закономерностей, зависимостей и взаимосвязей, полезных для принятия решений на различных уровнях управления.

    В завершение рассказа о проекте можно сказать, что мастер­класс, проведенный компаниями Oracle и “ФОРС – Центр разработки” 20 мая нынешнего года в московском Центре международной торговли, был посвящен новым функциональным возможностям продуктов и технологий Oracle для построения хранилищ данных на примере проекта НП “АТС”. Заказчик признал проект успешным...

  • сетевой форум
    поиск
    подписка на журнал
    о сетевом