Суперкомпьютер «СКИФ Урал»

Суперкомпьютер СКИФ Урал – четвертый по мощности в России и СНГ
Трубы зовут
Суперкомпьютер идет на завод
 
Автор: Нина Шаталова
 
Суперкомпьютерные мощности мира стремительно растут. В 31-й редакции списка самых мощных вычислителей мира Тор500 (www.top500.org), уже преодолен петафлопный барьер. Россия в нынешнем мировом рейтинге высокопроизводительных систем представлена девятью машинами, что является максимальным количеством за время существования Top500 (в прошлой редакции списка их было семь).

Один из отечественных лидеров - вычислительный кластер “СКИФ Урал”, установленный в Южно-Уральском государственном университете. Попадание в Тор500 - важный показатель уровня ИТ-значимости для любой компании или организации. Технические характеристики машины ЮУрГУ весьма внушительны: число лезвий blade-системы - 166, процессоров - 332, ядер - 1328; тип процессора - Intel Xeon Е 5472.
 
(4 ядра по 3.0 Ghz); оперативная память - 1.33 ТВ; дисковая память - 49.29 ТВ; пиковая производительность - 16 TFlops; производительность на тесте Linpack - 12.2 TFlops.

“Скиф Урал” появился в ЮУрГУ в рамках реализации инновационной образовательной программы университета “Энерго- и ресурсосберегающие технологии”. На сегодня он является самой мощной российской вычислительной установкой на Урале. При создании суперкомпьютера “СКИФ Урал” его разработчики - специалисты компании “Т-Платформы” использовали самые передовые технические решения и оригинальные конструкторские наработки, созданные в ходе выполнения программы “СКИФ-ГРИД” Союзного государства России и Белоруссии.

К вопросу суперкомпьютеризации вуза, как и к решению большинства крупных проектов, в ЮУрГУ подошли системно. “СКИФ Урал” стал уже четвертой высокопроизводительной машиной, установленной в стенах университета. Первый кластер из восьми процессоров появился здесь в 2000 году, он был поставлен по линии УрО РАН и использовался физиками вуза в основном для решения задач, связанных с нанотехнологиями. А в 2004 году ЮУрГУ, потратив три миллиона рублей из собственного бюджета, приобрел другую суперкомпьютерную систему - “Инфинити” - мощностью в 200 GFlops, которая с течением времени была модернизирована и сегодня имеет мощность в 300 GFlops.

- Именно работа на “Инфинити” помогла нам понять, куда и как именно следует двигаться в области развития высокопроизводительных вычислений, - отмечает заведующий кафедрой системного программирования ЮУрГУ профессор Леонид СОКОЛИНСКИЙ. - В частности, осознать перспективность такого направления в области параллельных вычислений, как проведение инженерных расчетов. Но это вовсе не значит, что теперь мы будем меньше уделять внимания фундаментальным исследованиям. Очень надеемся добиться того, чтобы в коммерческом плане именно проведение инженерных расчетов с помощью “СКИФ Урал” уже в ближайшем будущем начало приносить прибыль и вузу, и крупным предприятиям региона. Хочу обратить внимание на специфику как нашего университета, так и той территории, на которой он расположен: в своей деятельности ЮУрГУ успешно сочетает фундаментальную и прикладную инженерные составляющие, столь необходимые для подготовки специалистов Челябинской области - крупного промышленного центра Южного Урала.

В ходе выполнения инновационной образовательной программы ЮУрГУ за прошлый год “СКИФ Урал” стал самым значительным приобретением: на его закупку из бюджета программы было потрачено более 70 миллионов рублей и еще шесть миллионов рублей - на приобретение специализированного программного обеспечения. Кстати, не считая покупки нового кластера, за прошлый год в ходе реализации инновационной образовательной программы нашим университетом было заключено более 800 контрактов, соответственно выполнено более 800 конкурсных процедур. Нагрузка для коллектива университета огромная, но благодаря четкой организации работ все было выполнено в срок. Возможно, было бы проще потратить большую часть денег инновационного гранта “единоадресно”, например на приобретение очень дорогого суперкомпьютера, и тем самым уменьшить себе головную боль по проведению аукционов и написанию отчетности...

Принимая решение о закупке нового высокопроизводительного комплекса, руководство университета на первый план поставило вопрос о рациональной загрузке этих мощностей. Задач, для решения которых требуются высокопроизводительные кластеры уровня “СКИФ Урал”, и в университете, и в регионе существует достаточно. Немало больших задач для “СКИФ Урал” есть и у физиков ЮУрГУ: например, расчет тонких механических процессов, связанных с распределением смазки в электрических генераторах. Для получения точной модели в данном случае необходимо построение расчетной сетки более чем в 100 миллионов узлов. Моделирование и изучение свойств наноструктур, фотонных кристаллов, новых материалов, проведение инженерного анализа - все эти задачи требуют колоссальных емкостей. По словам наших коллег с разных факультетов - они готовы полностью загрузить “СКИФ Урал” уже сегодня. Мощностей “Инфинити” (даже в модернизированном виде) им уже не хватает.

- Особая специфика ЮУрГУ в нашем случае заключается в том, что он создавался первоначально как политехнический вуз, - продолжает Леонид Соколинский. - Потому в университете есть мощные инженерные кафедры, имеющие прочные связи с промышленным производством. Кстати, сегодня многие отечественные промышленные предприятия все еще не готовы в полной мере использовать возможности инженерного суперкомпьютерного моделирования, без которых зарубежные компании не мыслят уже своей деятельности: любая новая продукция прежде всего просчитывается ими на суперкомпьютерах с помощью сложного и дорогостоящего ПО. Со своей стороны мы стараемся демонстрировать преимущества такого современного подхода, ведем активное сотрудничество с предприятиями Челябинской области, многие из которых до последнего времени были не в курсе (а может, попросту и не задумывались), что специалисты университета имеют не только высокий уровень квалификации, но и высокопроизводительное оборудование для проведения самых сложных инженерных расчетов. А потому заказывать подобные работы за рубежом попросту нерентабельно: в ЮУрГУ это можно сделать быстрее, ближе и дешевле. Утверждать подобное позволяет нам наличие в университете специализированных инженерных пакетов и другого ПО, закупленного еще в 2004 году, а также в рамках реализации инновационной программы вуза одновременно с установкой “СКИФ Урал”.

Расчет некоторых сложных промышленных задач уже идет на базе нашего нового суперкомпьютера. Так, например, ЮУрГУ достаточно давно и плотно сотрудничает с Челябинским трубопрокатным заводом (ЧТПЗ), и приобретение “СКИФ Урал” позволило нам подписать контракт на разработку виртуального испытательного стенда по исследованию эффекта овализации труб в процессе термической обработки. Овализация труб - серьезный дефект при производстве данной продукции. ЧТПЗ выпускает прочные цельнокатаные (бесшовные) трубы, которые идут на критические участки нефтепровода, они способны выдержать очень высокое давление. Сварить концы трубы возможно, если они имеют одинаковый радиус окружности. Если же окружность превращается в овал, соединить трубы уже практически невозможно. Такой брак нефтяники - наши соседи в Тюменской области, естественно, не купят, потому приходится отправлять бракованные трубы на специальный правильный стан, что влечет серьезные расходы: как времени, так и денег.

Перед нами была поставлена задача смоделировать весь процесс и понять, что именно надо изменить, чтобы как минимум уменьшить эффект овализации, а в идеале - свести его на нет. С расчетной точки зрения - задача очень сложная, поскольку при ее решении следует учитывать большое количество параметров: разнотолщинность труб, их движение, вращение, скорость, температуру, давление воды и т.д. Виртуальный испытательный стенд - новое научное направление, включающее в себя последние достижения в области инженерного анализа, суперкомпьютерного моделирования и грид-вычислений. Он позволяет исследовать и моделировать сложные технологические процессы, чтобы в результате найти оптимальные параметры производимой продукции. А проведение реального эксперимента в данном случае потребовало бы остановки производства, принеся заводу серьезные финансовые потери, которые возросли бы еще больше при внесении в процесс технических изменений.

В работе виртуального испытательного стенда для ЧТПЗ будет использована инновационная методика создания проблемно-ориентированных оболочек на базе инженерных пакетов, разработанная на кафедре системного программирования ЮУрГУ. Эта методика позволяет автоматически конструировать компактную программную оболочку с нужным в каждом конкретном случае веб-интерфейсом, которая устанавливается на рабочем компьютере инженера-исследователя. Благодаря такой оболочке специалисты ЧТПЗ смогут вести моделирование процесса на любом суперкомпьютере, входящем в грид-среду.

Каждая машина семейства “СКИФ” по-своему уникальна, хотя имеет и немало общих черт со своими “суперсобратьями”. Так, например, “СКИФ Урал” оснащен комбинированной системой охлаждения: в ее составе вода и фреон. Она более экономична, с точки зрения пиковой нагрузки: ведь кластер выделяет тепло не постоянно, а только в случае постановки большой задачи.

Для энергообеспечения работы столь мощной машины мы специально модернизировали электроподстанцию на 150 киловатт: если “Инфинити” потребляет всего шесть киловатт, то для “СКИФ Урал” пиковое потребление может составить более 100 киловатт. Кстати, в случае полного отключения электроэнергии суперкомпьютер может работать 10 минут на собственных резервах, этого вполне достаточно, чтобы корректно осуществить выход из текущего режима.

“СКИФ Урал” и “СКИФ МГУ” - системы во многом схожие по технологическим параметрам, но, естественно, отличные по масштабам. В частности, в них обеих впервые было использовано новое технологическое решение от компании “Т-Платформы” - blade-лезвия особой плотности упаковки и компоновки для четырехъядерных процессоров. Кроме того, оба “СКИФа” стали первыми установками, работающими на новых процессорах Intel Xeon Е 5472. В рамках программы “СКИФ-Грид” с компанией Intel был заключен спецконтракт на опережающую поставку этих процессоров.

Чтобы в будущем реализовать поставленную перед нами руководством вуза задачу коммерческого использования кластера “СКИФ Урал”, выйти на достаточно высокий уровень самоокупаемости, нам предстоит немало поработать. С приобретением этого суперкомпьютера ЮУрГУ получил реальную возможность шагнуть на новый этап инновационного развития, упустить такой шанс нельзя. Потому намерены проводить, в хорошем смысле слова, агрессивную политику по формированию уральского рынка супервычислений: приобщать, окультуривать пользователей, делом доказывая им, что все необходимое для развития их производств можно найти рядом, а не за границами страны.

Закажите свой проект