Сетевой журнал: галерея ИТ-проектов

Cisco – CTI – "Мехатрон": 10 Гбит/c для нефтехимического комплекса

Нефтехимический и нефтеперерабатывающий комплекс "Салаватнефтеоргсинтез" (СНОС), расположенный в г. Салавате (Башкортостан), первым из российских промышленных предприятий развернул корпоративную IP-сеть с ядром, работающим на скорости 10 Гбит/с. Мультисервисная Ethernet-сеть, построенная на оборудовании Cisco Systems, спроектирована специалистами московской компании CTI – Center of Telephony Integration – "Золотого партнера" Cisco. Генеральным подрядчиком, непосредственно осуществившим установку сети на предприятии, выступила инжиниринговая фирма (ИФ) "Мехатрон" из соседнего Стерлитамака, имеющая 12-летний опыт на рынке системной интеграции и постоянно сотрудничающая со СНОС. Бюджет проекта составил 3 млн. долл.

Задача
Комбинат "Салаватнефтеоргсинтез" был основан в 1948 году, а в 1993-м преобразован в акционерное общество. В настоящее время это крупнейший в России нефтехимический и нефтеперерабатывающий комплекс, выпускающий более 70 наименований крупнотоннажной продукции – всевозможные виды топлива, химические реактивы, минеральные удобрения, а также бытовые товары (изделия из пластмасс, моющие средства и многое другое).

В целях повышения прибыльности, конкурентоспособности и управляемости на предприятии широко применяются информационные технологии. В частности, здесь работают ERP-система SAP R/3, в качестве вычислительной базы которой используются высокопроизводительные серверы и оборудование для хранения данных HP, и охранное телевидение. Первый проект по установке IP-видеокамер на заводских проходных, реализованный специалистами ИФ "Мехатрон" два года назад, дал значительный экономический эффект, так что систему решено было развивать. На сегодня наблюдение за территорией СНОС ведут около 200 камер высокого разрешения и планируется ввод новых. Единая управляющая система записывает изображения со всех камер, регистрирует все въезжающие и выезжающие автомобили, входящих и выходящих людей.

Для централизованной обработки, анализа и хранения данных необходима быстрая и надежная связь, и в 2002 году руководство комбината приняло принципиальное решение о модернизации его сети. На тот момент развитая сетевая инфраструктура существовала только в здании управления и в соседних с ним корпусах, более удаленные объекты (а их большинство – нефтехимический комплекс занимает площадь около 15 кв. км) были подключены к общей сети по xDSL- или коммутируемым модемным линиям. Понятно, что такое положение затрудняло формирование единого информационного пространства предприятия. В рамках запланированной модернизации предстояло проложить по территории СНОС волоконно-оптические линии связи и построить на их основе современную корпоративную сеть передачи данных (КСПД).

Выбор решения
На построение КСПД был объявлен тендер, который выиграла ИФ "Мехатрон". Вопрос о выборе поставщика оборудования, как рассказал генеральный директор "Мехатрона" Мударис Шигабутдинов, не представлял сложности: "Мнение заказчика и исполнителя совпало полностью – Cisco Systems отличают комплексные технологические решения, высокое качество, производительность, надежность и отказоустойчивость оборудования". Проектирование, как уже говорилось, было поручено специалистам CTI, имевшим для этого необходимый опыт и квалификацию. А вот к решению применить технологию 10 Gigabit Ethernet разработчики проекта пришли не сразу.

Размеры сети комбината предполагали использование гигабитных каналов, а с учетом будущих потребностей одного гигабита могло оказаться и недостаточно. Сеть нужно было спроектировать в расчете на расширение не менее чем на 50% в ближайшем будущем и так, чтобы в течение пяти лет не потребовалась новая модернизация. Тем не менее соединения на 2 или 4 Гбит/с на верхних уровнях сети (ядра и распределения) позволили бы выполнить все технические условия, т.е. пропускная способность 10 Гбит/с не была категорической необходимостью.

С другой стороны, предварительные оценки показали, что увеличение скорости до 10 Гбит/с не очень существенно удорожает проект. Два его варианта различались только интерфейсными платами в главных коммутаторах, и на фоне общих затрат на оборудование стоимость этих плат не имела принципиального значения – при том, что достигался весьма существенный выигрыш в производительности. Вдобавок вариант проекта с высокоскоростной магистралью получался более изящным, поскольку для соединений со скоростью 2 или 4 Гбит/с на тот момент требовалось задействовать несколько оптических волокон.

Правда, технология 10 Gigabit Ethernet была совсем новой и ни разу не опробованной на российских промышленных предприятиях, так что ее внедрение означало определенный риск. Но поскольку идею поддержало российское представительство Cisco, заинтересованное в таком проекте, остальные участники решили согласиться на эксперимент. Первый эскизный вариант проекта был подготовлен в мае 2003 года, а вариант с 10 Гбит/c – ближе к осени.

Архитектура решения
В полном соответствии с рекомендациями Cisco по построению бесперебойно работающих сетей КСПД имеет иерархическую модульную архитектуру и содержит уровни ядра, распределения, доступа, а также уровень подключения корпоративных серверов (серверной фермы) (рис.1). Функции уровней ядра, распределения и серверной фермы выполняют восемь коммутаторов Cisco Catalyst 6509 и 6506 с модулями коммутации и управления Supervisor Engine 720. Все соединения между ними организованы по технологии 10 Gigabit Ethernet. Доступ пользователей к сети обеспечивают 54 коммутатора Catalyst 3750 и 24 – Catalyst 2950.

Критически важные информационные системы СНОС (некоторые из них непосредственно используются в технологических процессах, относящихся к непрерывному производству) сделаны полностью отказоустойчивыми. Две серверные фермы в разных зданиях дублируют друг друга, и если какой-либо сервер выйдет из строя или окажется недоступен, его функции возьмет на себя резервный, находящийся в другом здании. Столь же надежно построена и КСПД, необходимая для работы ИС. На уровнях ядра, распределения и серверной фермы продублированы как все коммутаторы (они размещаются в тех же двух зданиях, что и серверы), так и соединения между ними, причем основные и резервные магистральные каналы проходят разными маршрутами. Особое внимание уделено электропитанию коммутаторов: они и оборудованы избыточными блоками питания, и подключены к системам UPS. Благодаря этим и другим мерам сбой, возникший в одном из блоков сети, не повлияет на систему в целом и его можно будет быстро устранить без нарушения нормальной работы предприятия.

Для защиты КСПД от внешних и внутренних вторжений коммутаторы серверной фермы Catalyst 6509 снабжены модулями межсетевого экрана FWSM (Firewall Service Module), анализа сети NAM (Network Analysis Module) и детектора вторжений IDSM-2 (Intrusion Detection Service Module 2). Эти модули анализируют весь трафик внутри сети, позволяя на ранних стадиях выявлять (и пресекать) хакерские атаки и другие нежелательные воздействия (со стороны вирусов, "червей", некорректно работающих приложений и т.п.).

В качестве ПО управления сетью используются программные пакеты CiscoWorks LAN Management Solution / Routed WAN solution, Cisco Secure Access Control Server, Cisco VPN и Security management solution.

Этапы проекта
Самая первая стадия проектирования заключалась в сборе информации о потребностях заказчика и осуществлялась специалистами ИФ "Мехатрон". Вместе с представителями ИТ-отдела СНОС они проводили опрос сотрудников, составляли планы территории, зданий и т.д. После окончания этого этапа основная работа переместилась в Москву, где инженеры CTI на основе подготовленных данных спроектировали сеть, а затем собрали в своей лаборатории ее макет для тестирования и проработки деталей конфигурации.

Хотя с точки зрения проектирования сеть на 10 Гбит/с почти не отличается от просто гигабитной, это все же был первый опыт, и разработчики стремились проверить и перепроверить все, что только возможно, еще тщательнее, чем обычно. Тестирование, в ходе которого в конфигурацию сети вносились многочисленные изменения для ее оптимизации, повышения надежности и т.д., продолжалось в течение мая – июня 2004 года и закончилось предварительными приемо-сдаточными испытаниями. В Москву прибыли представители заказчика, которым была продемонстрирована работа сети, в том числе в нештатных ситуациях: сотрудники CTI имитировали отказ каналов связи, сбои различного оборудования и показывали, что механизмы обеспечения отказоустойчивости реагируют именно так, как ожидалось. По результатам испытаний были сделаны еще некоторые доработки, после чего промаркированная и запакованная аппаратура отбыла к заказчику.

Получив оборудование, инженеры ИФ "Мехатрон" приступили к его монтажу и затем включению по предоставленным CTI схемам-таблицам. Они также провели базовую проверку оптических каналов и согласовали с заказчиком и CTI процедуру перехода на новую сеть без нарушений производственного процесса. Теперь все было готово для перехода. На комбинат приехал представитель CTI, который провел там неделю. Он выполнил несколько небольших доработок, после чего в течение субботы и воскресенья в ноябре 2004 года первые пользователи были переведены на новую магистраль.

В ходе подготовительного этапа монтажники установили оборудование во всех 50 корпусах, где оно должно находиться по плану, но оптический кабель проложен еще не везде. При вводе сети в эксплуатацию к ней было подключено около 30% локальных сетей, оставшиеся 70% подключаются по мере строительства магистрали. Эти работы выполняются ИФ "Мехатрон" и ИТ-отделом заказчика без участия CTI.

Результаты и перспективы
Итак, с ноября КСПД работает без единой неполадки и постепенно распространяется на всю территорию предприятия. За это время в ней не отмечено ни единого отклонения от нормы. "Мы ни разу не пожалели о двух месяцах, потраченных на ее тестирование, подбор оптимальной конфигурации и версий ПО", – заметил по этому поводу глава технического отдела CTI Иван Дементьев.

Дальнейшее расширение сети может происходить за счет как добавления новых устройств доступа (коммутаторов) – например, при строительстве и подключении новых корпусов, – так и путем внедрения новых ИС. Сеть строилась как мультисервисная и уже сейчас используется для передачи данных и видео (в системе охранного наблюдения). В скором времени должна, кроме того, появиться IP-телефония – разработкой этого проекта также занимается компания CTI, для которой системы передачи голосового трафика по IP-сетям являются одним из главных направлений деятельности. Запланировано и внедрение видеоконференцсвязи.

Интересным направлением развития КСПД может также стать ее использование для передачи информации автоматизированных систем управления технологическими процессами (АСУ ТП) предприятия. В качестве устройств доступа Cisco при этом рекомендует новые коммутаторы серии Catalyst 2955, специально разработанные для условий промышленного производства. Они устойчивы к воздействию пыли, вибрации и влажности, имеют расширенный температурный режим (от -40 до +60°С), полностью пассивное охлаждение и встроенную поддержку стандартов (прежде всего механизмов QoS), обеспечивающих передачу специфического трафика АСУ ТП. Благодаря технологии 10 Gigabit Ethernet резерв производительности сети огромен и позволит реализовать самые ресурсоемкие системы.

сетевой форум
поиск
подписка на журнал
о сетевом