Суперкомпьютер МИИТ T-4700

Российская компания «Т-Платформы» и Московский Государственный Университет путей сообщения (МИИТ) создали новый центр обработки данных, который на момент инсталляции стал первым в России сразу по трем параметрам. Это первая реализация корпоративного web-портала Oracle Portal на технологии Oracle Real Application Cluster, первая инсталляция среды для коллективной работы Oracle Beehive и самый мощный в России суперкомпьютер на базе процессоров AMD Opteron™ 2356 (Barcelona). МИИТ T-4700 - система, которая позволяет как автоматизировать управление университетом, так и выполнять сверхсложные инженерные расчеты.
 
Суперкомпьютер МИИТ T-4700 на базе 64-х двухпроцессорных узлов Discus с четырехъядерными процессорами AMD Opteron™ (Barcelona) обеспечивает пиковую производительность 4,7 триллионов операций в секунду (TFlops). Реальная производительность кластера на тесте Linpack составила 3,89TFlops (82% от пиковой). Благодаря объединению всех составляющих новой информационной системы высокоскоростной сетью InfiniBand, доступ к суперкомпьютеру можно будет получить непосредственно через университетский портал, что существенно упростит процесс исследований и разработок.
 
 
Последние версии СУБД Oracle дают возможность эффективно использовать кластерные технологии для работы с базами данных. Бесперебойная работа системы управления МИИТа обеспечивается с помощью кластера баз данных T-Forge DataBase на базе 2-х четырехпроцессорных узлов Taurus c четырехъядерными процессорами AMD Opteron™ 8356 (Barcelona), на котором установлена СУБД Oracle 11g c опцией Oracle Real Application Cluster. Дублированная сетевая инфраструктура на основе высокоскоростной сети InfiniBand объединяет кластер базы данных с 4-узловым кластером серверов приложений на базе 2-процессорных узлов Discus с четырехъядерными процессорами AMD Opteron 2356 и 32 ГБ оперативной памяти на узел.
 
Двухузловой кластер на базе Oracle Web Cache служит для кэширования запросов пользователей в оперативной памяти и уменьшения времени реакции системы. Для интеллектуального распределения нагрузки между узлами кластера Oracle Web Cache предусмотрен комплект из двух коммутаторов контента Cisco 11503. Эти устройства помимо интеллектуального распределения нагрузки способны обнаружить «отказ» любого из узлов, за доступ к которым они отвечают, и перевести подключение на работоспособный узел. Инфраструктуру дополняют дублированные устройства обеспечения безопасности и маршрутизаторы Cisco. Высокопроизводительная система хранения данных с интерфейсом Fiber Channel T-Platforms ReadyStorage SAN 6998 и полезным объемом около 60 ТБ, а также система резервного копирования на базе ленточной библиотеки объемом 30 ТБ подключены к кластеру баз данных с помощью дублированной сети InfiniBand. Это позволит хранить не только информацию о деятельности университета, но и всю немалую библиотеку, которая постепенно будет переведена в электронный вид. Инфраструктуру дополняют 6 вспомогательных двухпроцессорных серверов с четырехъядерными процессорами AMD Opteron.
 
Суперкомпьютер МИИТ T-4700 укомплектован набором свободно распространяемых средств управления и мониторинга, а также специализированными средствами разработки и отладки приложений PGI Server от компании Portland Group. В комплект поставки также вошли предустановленные прикладные продукты компании MSC Software Corp. для прочностных, гидро- и газодинамических расчетов, пакет для промышленного моделирования SolidWorks, а также пакеты для моделирования и оптимизации транспортных потоков PTV Vision® .
 
Оборудование Центра обработки данных МИИТа использует общую отказоустойчивую инфраструктуру электропитания и климатическую систему. Система бесперебойного электропитания мощностью 60 КВт поддерживает «горячую замену» основных компонентов и имеет уровень резервирования N+1, обеспечивая автономную работу оборудования под полной нагрузкой до 10 минут при сбоях электросети. Для отвода тепла инженерами «Т-Платформы» была спроектирована модульная система охлаждения с герметичным «горячим коридором» между стойками с вычислительными узлами. Решение имеет уровень резервирования всех компонентов N+1 и, в аварийном случае, обеспечивает поддержание температурного режима в помещении не менее 10 минут. ЦОД МИИТ Т-4700 также оснащен системой автоматического газового пожаротушения.
 
Мощности суперкомпьютера полностью загружены. Исследователи и разработчики МИИТа постоянно имеют дело с ресурсоемкими задачами, требующими сложного математического моделирования. Например, расчет устойчивости опор моста требует учета гигантского количества неизвестных – более 10 миллионов (даже на машине с 1000 процессоров один расчет такой модели занимает 4 часа). Большой сложностью отличаются также задачи определения динамики и прочности ходовых частей поездов, моделирования транспортных потоков, проектирования зданий, тоннелей, и многие другие.
 
Подрядчик для создания информационной инфраструктуры был выбран в результате открытого конкурса. Пожалуй, впервые в российской практике «Т-Платформы» смогли объединить в одно целое элементы для выполнения разнородных задач: кластерный комплекс для обработки баз данных, систему хранения и суперкомпьютер для высокопроизводительных вычислений. Реализованный МИИТом и компанией «Т-Платформы» проект является действительно уникальным для российского рынка: по сути, впервые в стране построена инфраструктура, объединяющая систему управления деловыми процессами и ресурсы для высокопроизводительных вычислений. Стоимость проекта составила около 80 млн. рублей.

Закажите свой проект