Суперкомпьютер «МГУ Чебышев»

Суперкомпьютер СКИФ МГУ

Построенный в рамках суперкомпьютерной Программы «СКИФ-ГРИД» Союзного государства, суперкомпьютер «СКИФ МГУ» на момент завершения строительства в марте 2008 года явился самым мощным в России, странах СНГ и Восточной Европы.

Пиковая производительность суперкомпьютера «СКИФ МГУ», построенного на базе 1250 четырехъядерных процессоров Intel® Xeon® E5472, составила 60 триллионов операций в секунду (TFlops). Реальная производительность системы на тесте Linpack - 47,17TFlops, составила 78,6% от пиковой, что явилось лучшим показателем эффективности среди всех систем первой сотни списка Тор500 самых мощных компьютеров мира на базе четырехъядерных процессоров Intel Xeon (www.top500.org). По производительности «СКИФ МГУ» находится на 36-ой позиции текущего мирового рейтинга Тор500, что на данный момент является абсолютным рекордом для России. «СКИФ МГУ» также является 7-м по мощности среди всех суперкомпьютеров, использующихся в мировой системе образования.

Суперкомпьютер «СКИФ МГУ» построен на базе новейших технологических решений отрасли и использует целый ряд российских разработок, созданных в рамках суперкомпьютерных программ «СКИФ» и «СКИФ-ГРИД» Союзного государства. Основу суперкомпьютера составляют blade-модули T-Blade производства «Т-Платформы», позволяющие разместить 20 четырехъядерных процессоров Intel® Xeon® с частотой 3.0ГГц на базе 45-нм техпроцесса в шасси высотой всего 5U и обеспечивающие наибольшую вычислительную плотность среди всех представленных на рынке blade-решений на базе Intel. Это первые blade-решения в отрасли, интегрируюшие поддержку нового чипсета Intel 5400, что обеспечивает выигрыш в производительности реальных приложений до 30%. Модули T-Blade также совместимы с любыми стандартными видами интерконнекта и других внешних устройств благодаря слоту расширения PCI-Express 2.0.

В качестве системной сети использована технология DDR InfiniBand с микросхемами компании Mellanox четвертого поколения. Архитектура этой новейшей реализации InfiniBand не только позволяет сократить время задержки при передаче сообщений до 1.2 микросекунд и улучшить масштабируемость приложений, но обеспечивает совместимость с новым, вдвое более производительным стандартом QDR InfiniBand. Таким образом, архитектура «СКИФ МГУ» уже сегодня ориентирована на технологии ближайшего будущего и позволит заказчику не только легко модернизировать системную сеть без замены blade-модулей, но и сохранить при этом все преимущества, полученные при оптимизации приложений на текущей конфигурации системы. Данная архитектура и технические решения являются базовыми для ряда 4 суперкомпьютерного семейства «СКИФ».

«СКИФ МГУ» впервые использует российские программные средства для кластерных систем, разработанные в рамках программы «СКИФ-ГРИД» и включающие отечественный кластерный дистрибутив ОС Linux, интегрирующий весь необходимый для работы кластера набор системного ПО, а также систему мониторинга и управления. Полнофункциональная программно-аппаратная система мониторинга разработки ИПС РАН позволяет удаленно управлять системой на всех уровнях через единый иерархический веб-интерфейс — от распределения процессорного времени для различных задач и управления нагрузкой системы хранения на верхнем уровне до контроля температуры, состояния блоков питания и автоматического изменения скорости вращения вентиляторов на вычислительных узлах. Инновационные программные средства ИПС РАН и НИВЦ МГУ (OpenTS и X-Com) существенно упрощают разработку параллельных приложений и организацию распределенных вычислений с использованием разнородных вычислительных ресурсов.

«СКИФ МГУ» - законченное сбалансированное решение, включающее систему хранения данных с параллельной файловой системой T-Platforms ReadyStorage ActiveStor объемом 60ТБ, ленточную систему резервного копирования данных, выделенную подсистему мониторинга и управления с дублированием, сложную подсистему бесперебойного электропитания и охлаждения с уровнем резервирования N+1. Параметры и состав всех подсистем подобраны таким образом, чтобы обеспечить максимальную эффективность выполнения пользовательских приложений. Так, система содержит вычислительные узлы с различным количеством памяти и дискового пространства для наиболее производительной работы различных приложений с индивидуальными требованиями к ресурсам. Большая часть вычислительных узлов не содержит жестких дисков, что улучшает отказоустойчивость системы. Бездисковая загрузка ОС, в свою очередь, упрощает администрирование: при любых обновлениях достаточно изменить только единый образ ОС на управляющем узле.

Общее энергопотребление суперкомпьютера в стандартном режиме составляет 520кВт и может достигать 720кВт при теоретически возможной пиковой нагрузке - этого хватит для отопления нескольких многоквартирных домов. Вся эта мощность сосредоточена площади менее чем в 100 кв.м, при этом температура в суперкомпьютерном центре не превышает 20°С. Для отвода тепла инженерами «Т-Платформы» была спроектирована модульная система охлаждения с герметичным «горячим коридором» между стойками с вычислительными узлами. Решение гарантирует отвод до 30 кВт тепловой энергии от каждой стойки, имеет уровень резервирования всех компонентов N+1 и, в аварийном случае, обеспечивает поддержание температурного режима в помещении не менее 10 минут.

Суперкомпьютеры семейства «СКИФ» создают новые возможности для решения научных задач, как фундаментальных, так и прикладных. Например, суперкомпьютеры позволяют НИВЦ МГУ прогнозировать изменения в распределении вечной мерзлоты на территории России, что в конечном итоге позволит предсказать развитие и последствия глобального потепления. Огромных вычислительных ресурсов требуют задачи молекулярной биологии. Благодаря высокопроизводительным вычислениям специалистам НИВЦ менее чем за полтора года удалось найти несколько новых соединений для создания лекарства от смертельно опасных тромбозов и пройти путь от их синтеза и лабораторных исследований до предклинических испытаний.

Использование суперкомпьютерных мощностей позволяет вести работы в области новейших технологий, например, в разработке топливных элементов с использованием наноструктурированных материалов, обеспечивающих прямое преобразование водорода и метанола в электрическую энергию. Высокопроизводительные вычисления приобретают все большее значение и для областей, непосредственно связанных с качеством жизни населения. Так, уже сегодня решаются задачи распространения загрязнений в городе, а также задачи, связанные с планированием градостроительных работ: благодаря компьютерному моделированию удается быстро определить скрытые под землей полости и дефекты конструкций.

Новый суперкомпьютер МГУ создан по плану работ суперкомпьютерной программы «СКИФ-ГРИД» на объединенные средства МГУ им. Ломоносова и суперкомпьютерной программы «СКИФ-ГРИД», финансируемой из бюджета Союзного государства. Общая стоимость комплексного проекта составила 231 млн. руб.

Технические характеристики суперкомпьютера «СКИФ МГУ»:

 Число вычислительных узлов/процессоров   625/1250
  Конструктив узла   blade
  Количество монтажных шкафов вычислительного кластера   14
  Тип процессора   четырехъядерный Intel® Xeon® E5472, 3,0 ГГц
  Пиковая производительность   60 TFlops
  Производительность на тесте Linpack   47.17 TFlops (78% от пиковой)
  Тип системной сети   DDR InfiniBand (Mellanox ConnectX)
  Скорость передачи сообщений между узлами   не менее 1450 Мб/сек
  Задержка при передаче пакетов данных   не более 2.2 мкс
  Тип управляющей (вспомогательной) сети   Gigabit Ethernet
  Тип сервисной сети   IPMI + СКИФ-ServNet 
  Оперативная память   5.5 ТБ
  Дисковая память узлов   15ТБ
 Тип системы хранения данных   T-Platforms ReadyStorage ActiveStor
  Объем системы хранения данных   60 ТБ
  Занимаемая площадь   96 м2
  Потребляемая мощность вычислительного кластера   330 кВт
  Потребляемая мощность установки в целом   520 кВт (в пике возможно до 720кВт)
  Суммарная длина кабельных соединений   более 2 км

Система бесперебойного электропитания:

  Тип 
  оn-line
  Исполнение   модульное
  Максимальная установленная мощность   400 кВт
  Количество монтажных шкафов   20
  Максимальная мощность   400 кВт
  Резервирование   N+1, «горячая замена» компонентов

Климатическая система:

 Тип   модульная внутрирядная
  Холодопроизводительность   400 кВт
  Резервирование   N+1
  Теплоноситель внешнего контура охлаждения   фреон
  Теплоноситель внутреннего контура охлаждения   вода+этиленгликоль
  Количество рядных кондиционеров   8
  Количество холодильных машин   3

О программе «СКИФ»

Суперкомпьютерная Программа «СКИФ» Союзного государства «Разработка и освоение в серийном производстве семейства высокопроизводительных вычислительных систем с параллельной архитектурой (суперкомпьютеров) и создание прикладных программно-аппаратных комплексов на их основе» реализована в 2000 - 2004 г.г. на основании Постановления Исполкома Союза Беларуси и России №43 от 22 ноября 1999 года. В программе приняли участие около 20 предприятий России и Беларуси. Основная цель программы - возрождение кооперации в компьютерной отрасли двух стран, промышленное производство ряда программно-совместимых моделей суперкомпьютеров с широким спектром производительности - до триллионов операций в секунду. В ходе программы создан ряд высокопроизводительных установок, в том числе суперкомпьютеры «СКИФ К-500» и «СКИФ К-1000», включенные в список Тор500 самых мощных компьютеров мира на момент выпуска.

О программе «СКИФ-ГРИД»

Суперкомпьютерная программа "СКИФ-ГРИД" Союзного государства (Разработка и использование программно-аппаратных средств Грид-технологий перспективных высокопроизводительных (суперкомпьютерных) вычислительных систем семейства «СКИФ») утверждена в апреле 2007 года при активной поддержке руководства партии «Единая Россия» со сроком исполнения в 2010 году. Программа имеет целью развитие и поддержку оригинальных отечественных технологий высокопроизводительных вычислений, в том числе, оригинальных средств для создания сервис-ориентированных грид-систем; разработку суперкомпьютеров семейства "СКИФ" (ряд 3 и ряд 4) и их программного обеспечения; развертывание экспериментальной грид-системы "СКИФ-Полигон", объединяющей ресурсы нескольких отечественных суперкомпьютерных центров; выполнения ряда пилотных проектов. Государственные заказчики и координаторы союзной программы – Национальная академия наук Беларуси и российское Федеральное агентство по науке и инновациям.


Закажите свой проект