Визит БПС в Национальную Лабораторию Окриджа
Опубликовано пользователем green,
Помните наш визит на СуперКомпутинг 2010? Сегодня мы расскажем о продолжении тогдашних событий.
Захват китайскими суперкомпьютерами звания самого быстрого суперкомпьютера в мире (позиция давно и прочно удерживаемая США), а так же третьего по мощности суперкомпьютера обеспокоил научные круги в США и они начали лелеять планы возвращения себе звания главной суперкомпьютерной державы.
Само собой суперкомпьютеры это одна из областей в которой заинтересован и БПС. Поэтому Акира-кун решил, что пришло время выполнить обещание данное на Суперкомпутинге 2010 и посетить ОкРиджскую Национальную Лабораторию (далее ОРНЛ) лично.

В лаборатории все началось с теплых приветствий.
Покончив с формальностями было решено пройти и посмотреть на лабораторские суперкомпьютеры "в живую", возможно
Ширасэ-сенсей сможет поделиться какими-то идеями возможных улучшений, а так же получше ознакомиться с системами.

Уже достаточно старый и совсем небольшой суперкомпьютер IBM BlueGene/P. Несколько непривычный наклонный дизайн
корпуса позволяет улучшить ток охлаждающего воздуха внутри.
Одним из больших преимуществ суперкомпьютеров IBM является их относительно низкое энергопотребление и
тепловыделение, что является очень важным свойством для мест с дорогой электроэнергией, как, например, в Калифорнии.
Именно поэтому многие калифорнийские исследовательские лаборатории в основном закупают оборудование от IBM даже
несмотря на наличие на рынке и более быстрых решений.
С другой стороны в шт. Теннесси электроэнергия намного дешевле, так что более быстрые предложения намного более привлекательны.

Суперкомпьютер Кракен - на данный момент второй по мощности суперкомпьютер установленный в ОРНЛ, хотя на самом
деле принадлежит он Университету Теннесси. Построенный на архитектуре Cray XT5, он выглядит как четыре таких ряда
стоечных шкафов заполненных процессорами и памятью. Этот компьютер - первый из академических суперкомпьютеров
которому удалось преодолеть рубеж скорости в 1 петафлопс (тысяча триллионов (квадриллион) операций в секунду).
Всего он состоит из 9408 отдельных вычислительных единиц, каждая из которых оборудована двумя 6-ти ядерными
процессорами AMD Opteron. В системе установлено 147 терабайт оперативной памяти.
За Кракеном стоит еще один суперкомпьютер, являющийся на данный момент вторым по производительности в мире - Ягуар.

Первый ряд традиционно оформлен красивым рисунком. К сожалению после установки Кракена ее уже не так просто увидеть.

Ягуар состоит из 8ми рядов оборудования и принадлежит ОкРиджской лаборатории.
По архитектуре он практически идентичен Кракену (Cray XT5), только больше. Он состоит из 18688 вычислительных единиц,
300 терабайт системной памяти. Пиковая производительность - 2.3 петафлоп в секунду.
Оба этих суперкомпьютера уже на пике своей мощности и дальнейшее их расширение и модернизация не планируются.
Так же на данный момент в центре происходит установка еще одного суперкомпьютера, это новая модель на базе архитектуры Cray XT6
под названием Гайя.

Пока установлено всего несколько шкафов. Улучшена система охлаждения, которая теперь нейтральна по отношению к
температуре помещения. В систему подается холодная вода, которая охлаждает воздух поступающий внизу шкафа,
и с помощью вентиляторов подает его наверх, проходя через компьютерные блоки воздух нагревается, а вверху он опять
попадает в радиатор с водой и охлаждается передавая накопленное тепло воде.
Интересная деталь про картину на передней панели - на самом деле такого места на Земле нет, это местность смоделированная
компьютером.

Еще пара шкафов от Гайа с другой стороны зала.
Этот суперкомпьютер изначально планируется не очень большого размера и его основная задача - моделирование климата.
Судя по всему Гайа займет все оставшееся свободное место на этом этаже.
Так же в планах у лаборатории и новый суперкомпьютер "монстр". Называться он будет Титан, планируемая
производительность - 20 петафлоп в секунду. Для его установки планируется построить новое здание, поскольку
возможности электроснабжения и места в старом уже исчерпаны. Ожидаемое начало установки - конец 2011 года.
Так что видимо в начале следующего года придется вновь посетить ОРНЛ для ознакомления с новой системой.
Еще одна яркая область где выделяется лаборатория - это компьютерные системы хранения данных. Исторически сложилось
что суперкомпьютеры обычно поставляются со своими встроенными системами хранения данных, однако когда в одном
месте собирается много разных суперкомпьютеров, это приводит к ненужной растрате средств. Так что ОРНЛ установили
у себя в суперкомпьютерном центре отдельную систему хранения данных, которая связана со всеми суперкомпьютерами
лаборатории и позволит подключать к ней и новые машины.
В данный момент система предлагает 10 петабайт (10000 терабайт) доступного дискового пространства (в основном
на базе массивов DDN). Эта система хранения данных - одна из крупнейших в мире.

Много-много рядов стоек полных жестких дисков.

Пришло время зайти в систему и проверить как она на самом деле работает.
Похоже что производительность Ягуара еще ого-го.
Комната системных операторов

Работать в ней намного приятней чем собственно в комнате с суперкомпьютерами - она намного тише.
К тому же суперкомпьютеры видно в большое окно в стене.

Ну вот и завершился напряженный день, а с ним и визит. Было множество полезных обсуждений и обменов идеями.
А теперь время помыть руки и отправляться домой. Большое спасибо, Пурелл-сан.






Комментарии (4)
Den3 ·
Дааа, заоблачные значения и мощности. Шум наверное как в хорошем цеху)). Интересно как же это все окупается если весть комплекс рассчитан на прогнозирование погоды? Неужели это не тупиковое использование таких мощностей? (сорри за делитанские вопросы) И если это часть универа, то что на нем делают студенты?
green ·
Ну вообще говоря те машинки, что побольше считают не только погоду, а очень много всего, от процессов в ядерных реакторах в шестимерном пространстве, до процессов в двигателях сгорания, молекулярных симуляций и тп.
Погоду обычно считают на сто лет вперед (получается не очень четко, но типа модель постоянно корректируют) и смотрят как то или иное вмешательство может повлиять на будущую погоду через много лет.
У меня как-то была книжка на триста страниц - план расчетов на 2007й год
Студенты тоже ведут всякие научные работы (но больше, конечно, научные сотрудники - проверяют свои модели и тп). Машинки эти не единое целое, их можно выделять частями, то есть если мне надо быстренько проверить крохотную модель, я могу поставить в очередь запрос на например 1000 ядер и он выполнится довольно быстро. А если поставлю запросто на сотню тысяч - то придется ждать может с неделю.
В принципе регистрация открытая, так что сотрудничающие научные организации могут тоже попросить туда доступ и запускать свои задачи в пределах аллоцированного машинного времени.
Den3 ·
Ага, спасибо. Чуток прояснилось
Гость ·
тоже смутно себе это представлял