rac_utel.pdf (120 Кб)

 

 

Основная цель проекта – создание современной высокопроизводительной отказоустойчивой программно-аппаратной платформы для развертывания комплекса приложений, обеспечивающих работу биллинговой системы.

 

 

Биллинговая система должна функционировать в режиме 24x7x365 и ее даже кратковременный простой влечет за собой серьезные убытки. Требуемый уровень доступности сервиса способны обеспечить только кластерные системы.

 

 

Архитектура датацентра.

 

 

 

Созданная в рамках проекта система представляет собой комплекс кластерных систем. Ядро системы – двухузловой высокодоступный кластер на базе 8-ми процессорных RISC-серверов IBM pSeries 650 – является платформой для функционирования СУБД Oracle в конфигурации Oracle Real Application Cluster.

 

Работа узлов кластера в режиме "симметричный активный/активный" позволяет не только с максимальной эффективностью использовать имеющиеся вычислительные ресурсы но и минимизировать перерыв в обслуживании в случае отказа одного из узлов (в данном случае он составляет всего несколько секунд).

 

Разделяемое централизованное хранилище данных построено на базе технологии сетей хранения данных (SAN). Использование в качестве дискового массива IBM DS4400 позволило обеспечить требуемый уровень отказоустойчивости, производительности и масштабируемости хранилища. На данный момент физическая емкость массива составляет 5TB и может быть увеличена в случае необходимости на порядок.

 

Традиционным для Oracle RAC методом организации хранения данных является их размещение на неструктурированных устройствах (raw-devices), отображаемых на имеющийся дисковый ресурс. Существенным недостатком подобного подхода является более сложные процедуры администрирования и резервного копирования данных СУБД по сравнению с вариантом их размещения на файловых системах. Однако файловые системы всех современных ОС являются локальными и не могут обеспечить параллельный доступ нескольких узлов, что требуется для функционирования Oracle RAC.

 

В созданной системе данная проблема решена размещением данных СУБД Oracle RAC на параллельной файловой системе IBM GPFS, допускающей одновременный доступ с множества узлов. Высокий уровень доступности GPFS обеспечивается ее функционированием поверх многоузлового кластера, причем два из трех его узлов одновременно являются и узлами Oracle RAC, а третий выполняет функции арбитража.

 

Вспомогательные сервисы биллингового комплекса развернуты на двух 4-х процессорных RISC-серверах IBM pSeries 630, которые также подключены к SAN и используют дисковые ресурсы централизованного хранилища.

 

В качестве устройства резервного копирования используется роботизированная ленточная библиотека IBM Scalable Ultrium Tape Library емкостью 14.4TB (с учетом компрессии 2:1). Библиотека снабжена интерфейсом Fibre Channel, что позволило подключить ее непосредственно к SAN и реализовать LAN-FREE схему резервного копирования.

 

При резервном копировании данных биллинговой системы они передаются непосредственно по сети хранения данных, что позволяет достичь высокой скорости резервного копирования (до 100МБ/c) без увеличения нагрузки на локальную сеть. В качестве ПО резервного копирования использован IBM Tivoli Storage Manager.

 

В процессе архитектурного проектирования было принято решение о внесении в комплекс элемента катастрофоустойчивости путем размещения роботизированной ленточной библиотеки в другом здании (резервная площадка). Это стало возможным благодаря наличию между площадками двух оптоволоконных линий.

 

С точки зрения катастрофоустойчивости архитектура датацентра соответствует системе типа S2 (удаленный асинхронный репозитарий) и обеспечивает сохранность и приемлемую степень актуальности данных в случае массового разрушения оборудования на основной площадке.

 

 

Все использованное при создании комплекса оборудование произведено компанией IBM, что гарантирует высокие эксплуатационные характеристики и отсутствие явных и скрытых несовместимостей оборудования.

 

Созданный в рамках проекта комплекс успешно прошел приемосдаточные испытания и находится в промышленной эксплуатации с декабря 2003 года.