Суперкомпьютер «Ломоносов»

Суперкомпьютер «Ломоносов», установленный в Московском государственном Университете им. М.В. Ломоносова — второй по мощности вычислительный комплекс России и Восточной Европы с пиковой производительностью в 1,7 Пфлопс. Сразу после своего создания, в ноябре 2009 года суперкомпьютер занял 12 место в рейтинге ТOP500 мощнейших компьютеров мира с пиковой производительностью 414 Тфлопс. После этого компания систематически наращивала производительность системы вплоть до существующего уровня.

Московский Государственный Университет
МГУ им. М.В. Ломоносова – крупнейший ВУЗ Российской Федерации, один из ведущих центров отечественной науки и образования. Университет проводит множество исследований для стратегически важных отраслей российской экономики, таких как энергетика и энергосбережение, транспорт, медицина, авиация и космонавтика, нанотехнологии и др. Справиться с таким объемом задач без мощных вычислительных ресурсов попросту невозможно: без них исследования могут затягиваться на годы.

В МГУ установлены несколько суперкомпьютеров. Самым мощным из них вплоть до ноября 2009 являлся суперкомпьютер СКИФ МГУ «Чебышев» с пиковой производительностью 60Тфлопс, разработанный и построенный компанией «Т-Платформы». С момента ввода в эксплуатацию в марте 2008 года мощности СКИФ МГУ «Чебышев» были полностью загружены, и уже тогда отмечалась их нехватка. По мере увеличения объема актуальных научных проблем и задач появилась объективная необходимость в наращивании вычислительных мощностей.

Задача
Руководством МГУ им. М.В. Ломоносова было принято решение о необходимости приобретения нового, более мощного суперкомпьютерного комплекса, который обеспечил бы высокопроизводительными ресурсами большее число научных коллективов и позволил проводить больше исследований. Таким образом, новый суперкомпьютер должен способствовать развитию российской науки, экономики и повышению конкурентоспособности страны на международной арене.

Одним из основных требований МГУ к поставщику суперкомпьютерного комплекса стала поставка решения с наилучшим соотношением «цена/производительность». Поставленная система должна была обеспечить вычислительную мощность не менее 400Тфлопс в рамках заданного бюджета и возможность дальнейшего расширения системы до 500Тфлопс, а также обладать высочайшей отказоустойчивостью и удовлетворять повышенным требованиям к надежности инфраструктуры. Кроме того, требовалось, чтобы в суперкомпьютере были задействованы несколько видов процессоров, с целью обеспечить высокую производительность максимально широкого спектра приложений. Открытый конкурс на поставку суперкомпьютерного комплекса для МГУ выиграла компания «Т-Платформы».

Вычислительное ядро
Суперкомпьютер «Ломоносов» - первый гибридный суперкомпьютер такого масштаба в России и Восточной Европе. В нем используется 3 вида вычислительных узлов и процессоры с различной архитектурой. Перед установкой в МГУ им. М.В. Ломоносова система прошла тщательное тестирование на производстве компании «Т-Платформы». В качестве основных узлов, обеспечивающих свыше 90% производительности системы, используется инновационная blade-платформа, получившая название T-Blade2. По вычислительной плотности на квадратный метр занимаемой площади – 30Тфлопс/м2 – эта система превосходит все мировые аналоги. T-Blade2 на базе процессоров Intel® Xeon X5570 обеспечивает производительность 18TFlops в стандартной стойке высотой 42U. В суперкомпьютере также задействованы blade-системы T-Blade 1.1 с увеличенным объемом оперативной памяти и локальной дисковой памятью для выполнения специфических задач, особенно требовательных к этим параметрам системы. Третий тип узлов – платформы на базе многоядерного процессора PowerXCell 8i, использующиеся в качестве мощных ускорителей для ряда задач. Все три типа вычислительных узлов были разработаны компанией «Т-Платформы».

Платформа T-Blade2 была сконструирована инженерами «Т-Платформы» «с нуля» - все платы и механические компоненты являются собственными разработками компании. T-Blade2 выходит за рамки традиционных возможностей blade-систем. Новая платформа позволяет создавать суперкомпьютеры высшего диапазона производительности, не уступающие специализированным нестандартным вычислителям с массивно-параллельной архитектурой (MPP).

Суперкомпьютеры на базе T-Blade2 обеспечивают высокую эффективность реальных приложений за счет принципиально новых технологий, таких как выделенные сети барьерной синхронизации и глобальных прерываний. Они позволяют за минимальное время синхронизировать вычислительные процессы на отдельных узлах и ускорить обмен данными между процессорами.

В качестве системной сети, связывающей узлы суперкомпьютера «Ломоносов», используется интерконнект QDR Infiniband с пропускной способностью до 40Гб/сек. Для максимально бесконфликтной передачи данных в интегрированных коммутаторах InflniBand предусмотрено избыточное количество внешних портов: их суммарная пропускная способность составляет 1,6Тбит/сек.

Система хранения данных
Суперкомпьютер использует трехуровневую систему хранения данных суммарным объемом до 1 350ТБ с параллельной файловой системой Lustre. Система хранения данных обеспечивает одновременный доступ к данным для всех вычислительных узлов суперкомпьютера с агрегированной скоростью чтения данных - 20Гб/сек и агрегированной скоростью записи - 16Гб/сек.

Специализированное программное обеспечение
Суперкомпьютер работает под управлением пакета Clustrx. Clustrx ОС устраняет критические ограничения масштабируемости, присущие современным операционным системам, обеспечивая более эффективное использование ресурсов крупных инсталляций размером до 25000 узлов. Пакет Clustrx содержит все необходимые компоненты для управления суперкомпьютером и организации удобного доступа пользователей к системе. Clustrx обеспечивает ежесекундный мониторинг до 300 метрик на каждом вычислительном узле, использует технологии агрессивного энергосбережения и автоматического реагирования на критические ситуации.

Отказоустойчивость
Добиться требуемого уровня отказоустойчивости позволило резервирование всех критических подсистем и компонентов суперкомпьютерного комплекса – от вентиляторов и блоков питания в вычислительных узлах до систем электропитания и охлаждения. Высокую надежность blade-систем обеспечивает отсутствие кабельных соединений и жестких дисков внутри шасси, а также целый ряд конструктивных решений, таких как специально разработанные разъемы для модулей памяти.

Применение
Система используется для решения ресурсоемких вычислительных задач в рамках фундаментальных научных исследований, а также для проведения научной работы в области разработки алгоритмов и программного обеспечения для мощных вычислительных систем.

Закажите свой проект