Суперкомпьютер «СКИФ Cyberia»

Суперкомпьютер "СКИФ Cyberia" на базе 566 двухъядерных процессоров Intel® Xeon® серии 5150 на момент создания в феврале 2007 года явился самым мощным вычислительным комплексом на территории России, СНГ и Восточной Европы, а также одним из ста мощнейших компьютеров мира. Пиковая производительность "СКИФ Cyberia" составляет 12 триллионов операций в секунду; результат системы на стандартном тесте Linpack составил 9.019 триллионов операций (75% от пиковой). "СКИФ Cyberia" построен на базе последних технологических достижений мировой суперкомпьютерной отрасли. "СКИФ Cyberia" является основой Межрегионального вычислительного центра Томского государственного университета. ТГУ, старейший университет Сибири и Дальнего Востока, стал первым российским вузом, оснащенным суперкомпьютерным центром мирового уровня: сегодня это один из 15-ти самых современных и производительных вычислительных центров в мировой системе образования*.

Суперкомпьютер ТГУ, созданный силами компании "Т-Платформы" при активной поддержке и участии специалистов ИПС РАН, является отечественной разработкой, не использующей готовые платформенные решения от ведущих мировых производителей. Основу суперкомпьютерного комплекса "СКИФ Cyberia" составляет вычислительный кластер на базе 282 вычислительных и 1 управляющего узла в конструктиве 1U на базе 566 двухъядерных процессоров Intel® Xeon® 5150.

При разработке платформы для вычислительного узла "СКИФ Cyberia" инженеры "Т-Платформы" использовали технологии термодизайна, полученные в ходе реализации программы "СКИФ"** и доказавшие свою надежность. Вычислительный узел базируется на специально модифицированной по заказу разработчиков материнской плате: для достижения наилучшей производительности вычислительных задач стандартный серверный набор микросхем заменен на чипсет Intel 5000x, обычно применяющийся для строительства графических станций. Максимально высокий уровень производительности пользовательских приложений также призваны обеспечить впервые примененные в России технологии системной сети QLogic InfiniPath и системы хранения данных T-Platforms ReadyStorage ActiveStor. Система хранения данных "СКИФ Cyberia", разработанная специально для кластерных систем, обеспечивает прямой параллельный доступ всех вычислительных узлов к данным, устраняя узкие места традиционных сетевых хранилищ. Уникальная особенность выбранного решения - великолепная масштабируемость: при подключении новых модулей хранения возрастает не только объем хранилища, но и пропускная способность всей системы. Комфортный мониторинг и управление кластером обеспечивает сервисная сеть СКИФ ServNet разработки ИПС РАН.

Помимо стандартного набора управляющего и системного ПО "СКИФ Cyberia" использует новую операционную систему Microsoft® Windows® Compute Cluster Server 2003. Привычная среда разработки новой ОС и легкость интеграции с существующей инфраструктурой и приложениями призваны облегчить и ускорить процесс создания приложений для высокопроизводительных вычислений. В комплект поставки также вошли ОС SUSE Linux Enterprise Server 9, свободно распространяемые средства управления и мониторинга, компиляторы Intel® с языков Fortran и C/C++, средства оптимизации Intel® VTune™ Performance Analyzer 8.0 и математическая библиотека Intel® Math Kernel Library 8.1.

Комплексный экологический мониторинг атмосферы и гидросферы, контроль за разливом рек, распространением пожаров и эпидемий, рациональное использование лесных и минеральных ресурсов, новые конкурентоспособные методы разведки нефтегазовых месторождений, восстановление загрязненных почв, проектирование ракетно-космической техники и безопасного шахтного оборудования, создание новых видов ракетного топлива и сверхтвердых покрытий с помощью нанотехнологий - лишь малая часть сложнейших задач, которые ученые ТГУ решают с помощью "СКИФ Cyberia" в тесном сотрудничестве с предприятиями региона. Исследования в области применения параллельных вычислений ведутся в университете с 1992 года; "СКИФ Cyberia" позволит вывести их на новый уровень.

Комплексное решение "Т-Платформы" для ТГУ является первым в России коммерческим проектом в области высокопроизводительных вычислений, включившим не только поставку вычислительной системы, но и организацию всей инфраструктуры суперкомпьютерного центра "под ключ". Система бесперебойного электропитания "СКИФ Cyberia" с максимальной мощностью 160 кВт обеспечивает подачу напряжения с заданными характеристиками на все компоненты вычислительной системы, а также защиту от сбоев в подаче электропитания. Она способна обеспечить работу суперкомпьютера в течение 10 минут после отключения электропитания, что позволяет гарантировать сохранность пользовательских данных в аварийной ситуации. Модульное строение системы позволяет использовать внутреннее резервирование и горячую замену компонентов в процессе работы. Уникальные для российской суперкомпьютерной отрасли технологии были использованы для строительства системы охлаждения "СКИФ Cyberia". Применение традиционного воздушного охлаждения оказалось невозможным в силу небольшой площади помещения вычислительного центра ТГУ. Для обеспечения надежной работы оборудования в таких условиях инженерами "Т-Платформы" была спроектирована смешанная воздушно-водяная система охлаждения с уровнем резервирования N+1 на всех уровнях. Блоки кондиционеров, расположенных в ряду монтажных шкафов, обеспечивают забор горячего воздуха непосредственно из вычислительных узлов. Затем горячий воздух охлаждается водой в теплообменниках и подается холодным с передней стороны вычислительных стоек. Нагретая вода охлаждается фреоном в холодильных установках, конденсаторы которых располагаются на крыше вычислительного центра.

* по данным о производительности суперкомпьютеров, установленных в университетах и входящих в число 100 самых мощных компьютеров мира согласно текущей редакции суперкомпьютерного рейтинга Тор500, www.top500.org

Технические характеристики суперкомпьютера "СКИФ Cyberia":

Число вычислительных узлов/процессоров

283/566 (1132 ядра)

Конструктив узла

1U

Количество монтажных шкафов вычислительного кластера

8

Тип процессора

двухъядерный Intel® Xeon® 5150, 2,66 ГГц

Пиковая производительность

12 Тфлопс

Производительность на тесте Linpack

9.019 Тфлопс, 75 % от пиковой

Цена/пиковая производительность

158K USD/1 TFlops

Тип системной сети

QLogic InfiniPath™

Скорость передачи сообщений между узлами

не менее 950 Мб/сек

Задержка при передаче пакетов данных

не более 2.5 мкс

Тип управляющей (вспомогательной) сети

Gigabit Ethernet

Тип сервисной сети

СКИФ-ServNet

Оперативная память

1.1 Тб

Дисковая память узлов

22.5 Тб

Тип системы хранения данных

T-Platforms ReadyStorage ActiveStor

Объем системы хранения данных

10 Тб

Занимаемая площадь

72 м2

Потребляемая мощность вычислительного кластера

90 кВт

Потребляемая мощность установки в целом

115 кВт

Вес установки

16 Т

Суммарная длина кабельных соединений

более 2км



Система бесперебойного электропитания:

Тип

оn-line

Исполнение

модульное

Максимальная установленная мощность

120 кВт

Количество монтажных шкафов

6

Максимальная мощность

160 кВт

Резервирование

N+1, "горячая замена" компонентов


Климатическая система:

Тип

модульная внутрирядная

Холодопроизводительность

96 кВт

Резервирование

N+1

Теплоноситель внешнего контура охлаждения

фреон

Теплоноситель внутреннего контура охлаждения

вода

Количество рядных кондиционеров

7

Количество холодильных машин

3

Распределение охлаждающей воды

центральный коллектор

**Справка о программе "СКИФ":

Суперкомпьютерная Программа "СКИФ" Союзного государства "Разработка и освоение в серийном производстве семейства высокопроизводительных вычислительных систем с параллельной архитектурой (суперкомпьютеров) и создание прикладных программно-аппаратных комплексов на их основе" реализована в 2000 - 2004 гг. на основании Постановления Исполкома Союза Беларуси и России №43 от 22 ноября 1999 года. В программе приняли участие около 20 предприятий России и Беларуси. Основная цель программы - возрождение кооперации в компьютерной отрасли двух стран, промышленное производство ряда программно-совместимых моделей суперкомпьютеров с широким спектром производительности - до триллионов операций в секунду. В ходе программы создан ряд высокопроизводительных установок, в том числе суперкомпьютеры "СКИФ К-500" и "СКИФ К-1000", включенные в список Тор500 самых мощных компьютеров мира на момент выпуска.

Закажите свой проект