Параллельные возможности ANSYS

Михаил Плыкин, Александр Чернов, ЗАО «ЕМТ Р»
Сергей Абузаров, Александр Буров (директор по маркетингу), ETegro Technologies
Александр Анциферов (технический директор по продуктам SGI), 
Юрий Дроненко (генеральный директор), Михаил Назаров, ARBYTE Computers
Виталий Сайфуллин (старший консультант), Novell, Inc.

Подавляющее большинство пользователей про­граммных продуктов ANSYS в ходе их освоения и использования рано или поздно приходит к реше­нию задач большой размерности. Во многих рас­четных случаях дальнейшее увеличение точности расчета возможно лишь при учете всех особен­ностей геометрии или работы в составе сборки. В процессе поиска оптимального решения порой необходимо рассмотреть десятки, а иногда и сот­ни вариантов для нахождения требуемого кри­терия, что ведет к увеличению как размерности расчетной модели, так и времени счета.

Для многих пользователей одним из важ­нейших критериев при выборе программных продуктов фирмы ANSYS, Inc. является возмож­ность решать в них задачи подобного класса, используя технику параллельных вычислений на различных платформах.

Для решения задач большой размерности в ANSYS, кроме значительных вычислительных ресурсов, требуются еще и лицензии для распа­раллеливания на дополнительные ядра.

В настоящей статье будут рассмотрены два программных продукта ANSYS: решатель ANSYS и решатель ANSYS CFX.

Обращаем внимание читателей на то, что на­чиная с версии 11.0 изменяется лицензирование распараллеливания решателя. Решатель ANSYS 11.0 использует лицензию на распараллеливание решения ANSYS Mechanical HPC (High Performance Computing, HPC). Теперь это лицензия на каждый дополнительный процессор/ядро после второго. Как и ранее, при применении двух процессоров/ ядер для решателя ANSYS дополнительная ли­цензия на параллельность не требуется.

Изменена также процедура запуска ре­шателя ANSYS как в режиме распараллелива­ния с общей памятью Shared Memory Parallel (SMP), так и в режиме распределенной памяти Distributed Memory Parallel (DMP).

Для распараллеливания решателя ANSYS удобнее применять вычислительные системы, в которых используется режим распараллели­вания с общей памятью Shared Memory Parallel (SMP), так как при этом не требуется покупать и конфигурировать высокоскоростной сетевой интерконнект (Infiniband, Myrinet, Quadrics) и настраивать специальное программное обеспе­чение для управления передачей данных меж­ду вычислительными узлами Message Passing Interface (MPI).

Таблица 1. Возможности распараллеливания
решателей ANSYS*

*Работает в режиме shared-memory parallel только на локальном компьютере. Формулировки элементов и вычисление результатов при этом будут выполняться в режиме distributedmemory parallel.

В дистрибутивах ANSYS для операцион­ных систем Microsoft Windows есть бесплатная свободно распространяемая реализация MPI — MPICH2. Для установки MPICH2 на операцион­ных системах Microsoft Windows необходимо применять MS Development Environment, Visual Studio или gcc для компиляции C/C++ MPI-про- грамм и Intel Fortran 8.0 или g77 для компиляции Fortran MPI-программ. Также можно использо­вать Microsoft Compute Cluster Pack (MS MPI) для Windows 64-bit / Windows Server 2003 x64 и Windows Compute Cluster Server 2003.

Для Linux Intel (включая EM64T) и AMD (32 и 64 бит) применяется HP MPI 2.2.2.

Для других операционных систем сведения приведены в документации ANSYS.

При выборе типа решателя следует прини­мать во внимание следующие соображения.

Решатель PCG оперирует малыми значе­ниями операций ввода-вывода дисковой систе­мы (I/O), поэтому его использование на одном компьютере при решении нескольких процес­соров дает хорошее быстродействие, так как эти процессоры оперативно обмениваются информацией друг с другом по общей систем­ной шине. Решатель DSPARSE по умолчанию работает в режиме вне диапазона оперативной памяти. При этом он оперирует большими зна­чениями операций ввода-вывода дисковой сис­темы (I/O).

Запуск решателя ANSYS в режиме распа­раллеливания возможен в двух вариантах: с ко­мандной строки в пакетном режиме и с помощью ANSYS Product Launcher. Для Windows x64 при использовании Microsoft Compute Cluster Pack (MS MPI) необходимо применять Job Scheduler, а при использовании ANSYS Workbench — Remote Solve.

В данной статье представлены результаты тестов решателей ANSYS 11.0 и CFX 11.0, вы­полненных совместно компанией ЗАО «ЕМТ Р», официальным дистрибьютором ANSYS, Inc. в России, и ее партнерами по аппаратно-вычис- лительным комплексам — компаниями ARBYTE Computers и ETegro Technologies.

Тестирование ANSYS

Для тестирования распараллеливания аппарат- но-вычислительных комплексов с использова­нием решателя ANSYS была выбрана модель кронштейна забустерной части управления не­сущего винта вертолета. Конечно-элементная сетка для модели показана на рис. 1.

Рис. 1. Объект тестирования параллельных возможностей решателя ANSYS на различных аппаратных платформах

Рис. 2. Результаты тестирования ANSYS для рабочих станций и сервера начального уровня

Модель состоит из 949 218 элементов SOLID185 c четырьмя узлами. Размерность задачи составила 578 498 степеней свободы (DOF). Последовательно рассматривалось пять вариантов нагружения.

Тип анализа — статический. Применялся решатель SPARSE MATRIX DIRECT SOLVER в режиме Shared Memory Parallel (SMP).

Решение осуществлялось как на рабочих станциях и серверах начального уровня под уп­равлением различных операционных систем, так и на мощных серверах.

Результаты тестирования для рабочих станций и сервера начального уровня приведе­ны на рис. 2. Высота столбцов диаграммы пока­зывает время решения задачи в минутах.

Результаты тестирования на мощных серверах представлены на рис. 3. Решения на платформе AMD получены на серверах ETegro Technologies под управлением операционной системы Novell SuSE Linux Enterprise Server 10. Решения на платформе Intel Xeon получены на серверах ARBYTE Computers под управлени­ем операционной системы Red Hat Enterprise Linux 4.

За рамками тестирования была успешно проведена настройка и конфигурирование ре­шателя Distributed Memory Parallel (DMP) для двух вычислительных узлов на платформе AMD компании ETegro Technologies, соединенных с помощью высокоскоростного сетевого интеркон- некта Infiniband под управлением операционной системы Novell SuSE Linux Enterprise Server 9. Виталием Сайфуллиным, старшим системным консультантом Novell, было сконфигурировано и настроено программное обеспечение для управ­ления передачей данных между вычислительны­ми узлами HP MPI 2.2.2, а также настроен се­тевой интерконнект Infiniband через коммутатор SilverStorm 7000.

Для развертывания вычислительного клас­тера было предложено использовать операцион­ную систему SuSE Linux Enterprise Server 9. Она обладает рядом характеристик, подходящих для решения поставленной задачи:

• неприхотливость к ресурсам — для работы ОС предъявляются минимальные требова­ния;
• высокая производительность и надеж­ность — система потребляет менее 1% ре­сурсов сервера; все ненужные на сервере приложения (графическая система, RPCи пр.) легко отключаются;
• масштабируемость — установка серверов легко тиражируется, добавление ресурсов дает практически линейный прирост;
• простота в управлении — основное управ­ление сервером сведено к графической (и псевдографической) панели управления YaST. Для работы с сервером пользовате­лю требуется квалификация сетевого ин­женера. Знание консольных команд Linuxнеобязательно.

Для межсерверного соединения применя­лось оборудование Infiniband. В поставке с ним идет пакет драйверов для SLES9 и подробное руководство по их установке. Внимательное по­шаговое следование инструкции позволило в короткий срок настроить MPI-соединение.

Во время нагрузочного тестирования не возникало никаких проблем, все процессорные ресурсы и 95% оперативной памяти были за­действованы под вычислительные задачи. Дис­ковая подсистема и сетевые интерфейсы испы­тывали нагрузку менее 50% от пиковой.

Тестирование ANSYS CFX

Программный комплекс ANSYS CFX предназна­чен для решения задач вычислительной гидро­динамики. Он позволяет рассчитывать широкий диапазон течений по числу Маха, многофазные и многокомпонентные течения. С его помощью моделируют внешнее обтекание самолетов и автомобилей, проектируют турбины и компрес­соры.

В реальных промышленных задачах рас­четная модель должна обеспечивать точную пе­редачу геометрии без упрощений, характерных для задач НДС. В ряде случаев даже наличие геометрической симметрии в модели не поз­воляет рассматривать половину модели вслед­ствие несимметричности течения. Это приводит к серьезному увеличению как размерности, так и времени счета. Характерные размерности для задач внешнего обтекания могут составлять до 50 млн элементов и более в зависимости от де- тализированности геометрии и применяемых расчетных моделей.

Рис. 3. Результаты тестирования ANSYS на мощных серверах

Рис. 4. Обтекание сферы сверхзвуковым потоком газа

В качестве тестовых рассматривались две модели различной размерности. Первая пред­ставляла собой сферу, находящуюся в потоке сверхзвукового идеального сжимаемого газа с числом Маха 3,5 (рис. 4). Ее размерность со­ставляла миллион гексаэдров. В расчете приме­нялась модель турбулентности SST, использу­ющая для решения около 2 Гбайт оперативной памяти и допускающая запуск на решение на стандартном компьютере. Первую модель мож­но рассматривать как базовую для сравнения производительности серверов и стандартных настольных систем. Несмотря на то что решение столь небольших задач на серверах не рекомен­дуется, ускорение данного расчета представля­ет большой интерес при поиске оптимального варианта конструкции.

Рис. 5. Результаты тестирования CFX на первой модели

Вторая тестовая модель представляла собой упрощенную модель крылатой ракеты с оперением, находящуюся в потоке сжимаемо­го идеального газа с околозвуковой скоростью. Моделирование трансзвуковых течений — се­рьезная задача, требующая четкой проработки модели для определения точных характеристик отрывных течений и положения сверхзвуковых скачков. Размерность данной задачи состави­ла 5 млн гексаэдрических элементов. В расчете применялась модель турбулентности SST, ис­пользующая при решении порядка 8 Гбайт опе­ративной памяти.

Таблица 2. Сводная таблица результатов тестирования CFX на первой модели

Таблица 3. Сводная таблица результатов тестирования CFX на второй модели

Для всех тестов применялось фиксирован­ное количество итераций. Сходимость первой модели происходила на 33-й итерации, а вто­рой — на 70-й итерации. Критерий сходимости по невязкам устанавливался на 1,0е-4.

Комплекс ANSYS CFX предоставляет воз­можность параллельных расчетов для всех фи­зических моделей. Несмотря на большой раз­мер модели, решатель при работе практически не использует дисковую систему. Благодаря этому применение дисковых систем на основе SCSI или SAS не приводит к существенному ускорению расчета. Лицензирование на парал­лельность в ANSYS CFX также осуществляется по процессорам/ядрам.

Результаты тестирования серверов на пер­вой модели представлены на рис. 5. Для срав­нения на этом рисунке также приведены резуль­таты тестирования на стандартных настольных системах на основе Pentium D и Core 2 Duo. Вре­мя указано в секундах. Более точные данные приводятся в табл. 2.

Результаты тестирования серверов на второй модели показаны на рис. 6 и сведены в табл. 3.

Рис. 6. Результаты тестирования CFX
на второй модели

По результатам тестирования можно от­метить стабильную работу программного комп­лекса ANSYS и ANSYS CFX на всех представ­ленных платформах и операционных системах. Рекомендации по выбору оптимальной конфигу­рации программно-вычислительного комплекса можно получить в компаниях — участниках тес­тирования.

Описание компаний — участников тестирования

ETegro Technologies

Компания ETegro Technologies была основана летом 2005 года. Основной ее задачей является создание инновационных продуктов для работы в современной ИТ-инфраструктуре при одно­временном предоставлении заказчикам запаса мощности и наращиваемости для выполнения задач завтрашнего дня.

Несмотря на то что компания начала рабо­тать относительно недавно, она сумела занять свою нишу на рынке серверного оборудования и систем хранения данных в России и продолжа­ет успешно наращивать объемы производства и продаж. Таких результатов удалось достичь во многом благодаря разработке и продвижению систем, нацеленных на использование в облас­тях CAM/CAD/CAE. ETegro Technologies активно сотрудничает с независимыми разработчиками соответствующего программного обеспечения (ISV) и компаниями, занимающимися внедрени­ем подобных программных продуктов.

В последнее время вследствие развития современных технологий параллельных вычис­лений и многопроцессорности/многоядернос- ти в продуктовой линейке ETegro Technologies появились системы, в которых наиболее полно реализуются возможности программного комп­лекса ANSYS 11.0.

Специалистами компаний ETegro Technologies (www.etegro.com), ЗАО «EMT P» и Novell (www.novell.com) были про­ведены всесторонние тесты с целью выявления оптимальных конфигураций и бенчмаркинга серверов производства ETegro.

В ходе тестирования использовались двух- и четырехпроцессорные системы в следующих конфигурациях:

• рабочая станция ETegroAwelionDW350:
• два двухъядерных процессора AMDOpteron280 @ 2,4 GHz,
• подсистема памяти 16 GbDDRPC3200 ECCRegistered,
• дисковая подсистема 1xSCSI73 Gb10 000 rpm,
• операционная система NovellSLES10 64-bit;
• сервер ETegro Hyperion RS570G2:
• четыре двухъядерных процессора AMDOpteron890 @ 2,8 GHz,
• подсистема памяти 32 GbDDRPC3200 ECCRegistered,
• дисковая подсистема 1xSCSI73 Gb10 000 rpm,
• операционная система NovellSLES 10 64-bit.

Кластер, созданный из серверов ETegro Technologies на базе SuSE Linux Enterprise Server 9, продемонстрировал достаточный потенциал в инженерных расчетах. Не исключено, что в дальнейших тестах наряду с SMP-системами бу­дут сравниваться и кластерные системы.

Проведенное тестирование наглядно пока­зало, что системы ETegro Technologies облада­ют отличными показателями по соотношению «цена/производительность». Вкупе с великолеп­ными характеристиками расширяемости по ре­сурсам оперативной памяти, дисковой подсисте­мы (до 12 дисков в сервере Hyperion RS570G2) и процессорной мощности это делает их гибкими и надежными инструментами для расчетов, требу­ющих значительных вычислительных ресурсов.

ARBYTE Computers

Компания осуществляет деятельность на рос­сийском рынке начиная с 1991 года. Основной ее задачей является создание комплексных ИТ- решений для корпоративного рынка.

Будучи партнером компании ЗАО «EMT Р», в последние несколько лет ARBYTE Computers проводит совместные тестирования новых программных продуктов ANSYS и аппаратных платформ ARBYTE, что позволяет находить оптимальные конфигурации для инженерных расчетов.

Специалистами компании ARBYTE Computers (www.arbyte.ru) при непосредствен­ном участии специалистов ЗАО «EMT P» было выполнено тестирование программных продук­тов ANSYS 11.0 на линейке серверов Alkazar производства ARBYTE Computers.

В качестве теста для комплекса ANSYS 11.0 была предложена реальная задача по рас­чету пяти вариантов нагружения кронштейна. Тестирование проводилось на двухпроцессор­ных платформах с двумя типами процессоров (двух- и четырехъядерными). Результаты тести­рования ANSYS 11.0 показали, что оптимальной по соотношению «цена/производительность» является следующая конфигурация сервера ARBYTE Alkazar:

• 2 CPU Intel DualCore Xeon 5160;
• 16GbFBRAM;
• 73 GB 15 000 rpm SAS Hdd;
• Red Hat 4 ES EM64T;
• ANSYS11 для LinuxEM64T. Результаты тестирования позволили сде­лать вывод, что использование четырехъядер- ных процессоров (например, IntelQuadCoreXeon53ХХ) не дает существенного прироста производительности. А применение четырех- процессорных платформ экономически неоправ­данно (цена на четырехпроцессорное решение в 2-3 раза выше при приросте производительнос­ти менее чем на 20%).

Затем было проведено тестирование про­граммного продукта ANSYS CFX 11.0 на линей­ке серверов ARBYTE Alkazar для тестовой зада­чи «Трансзвуковое и сверхзвуковое обтекание крылатой ракеты». Результаты тестов показали, что оптимальной для этого программного пакета и данного типа задач является следующая кон­фигурация сервера ARBYTE Alkazar:

• 2 CPU Intel Dual Core Xeon 5160;
• 16GbFBRAM;
• 80 Gb SATA II Hdd;
• Red Hat 4 ES EM64T;
• ANSYS 11 СFX дляLinux EM64T. Результаты тестирования показали, что для

решателя ANSYS CFX существенный прирост производительности обеспечивает объединение двух и более узлов предложенной конфигура­ции в кластер. Использование четырехъядерных процессоров, как и для задач расчета НДС, на данный момент экономически нецелесообразно. Следует обратить внимание на то, что, в отли­чие от решателя ANSYS, замена дисков SATA на SAS или SCSI не дает прироста производитель­ности для решателя ANSYS CFX.

Компания SGI в начале 2007 года предста­вила новые, преконфигурированные кластеры Altix XE, построенные на базе двух- и четырехъ­ядерных процессоров Intel Xeon.

Одним из наиболее интересных решений для вычислительных узлов является сервер SGI Altix XE 310, который содержит до 16 ядер и до 64 Гбайт памяти в формфакторе 1 U. Данный сервер построен с использованием материнских плат половинного размера и содержит два не­зависимых вычислительных узла, которые пита­ются от одного блока питания. Такая структура построения вычислительных узлов позволила существенно снизить цену на кластер. Приме­нение подобных серверов в качестве вычис­лительных узлов кластера позволяет достичь высокой плотности вычислений (до 476 ядер и 4,95 терафлоп на шкаф) при значительной эко­номии потребляемой энергии.

Еще одним интересным решением являет­ся использование водяного охлаждения в клас­терных системах SGI.

Кластерные решения SGI, полностью ин­тегрируемые на заводе компании, могут постав­ляться как с Gigabit Ethernet, так и с Infiniband в качестве вычислительного интерконнекта.

В качестве общего программного обеспе­чения для кластера могут применяться системы Red Hat Linux, SuSE Linux и Microsoft Windows Compute Cluster Server. Кластеры SGI комплек­туются также дополнительным программным обеспечением, включающим средства управ­ления кластером — Scali Management, парал­лельные библиотеки Intel MPI и средства управ­ления Infiniband. Кроме того, предлагается SGI ProPack — надстройка над Linux, содержащая пакеты расширения функционала и повышения производительности, а также Altair PBSpro — средство управления пакетными задачами в кластерной инфраструктуре.

В области систем хранения данных ком­пания SGI предлагает как высокопроизводи­тельные и масштабируемые дисковые массивы серии InfiniteStorage (например, IS10000 — это 240 Тбайт в одном шкафу!), так и программное обеспечение по управлению данными (CXFS — кластерная файловая система, DMF — иерархи­ческая система хранения данных), комплексные SAN- и NAS-решения.

Использование систем хранения и управ­ления данными SGI InfiniteStorage позволяет решить вопрос высокопроизводительного од­новременного доступа к данным в кластерных системах.

Полный спектр продукции SGI, а также тех­ническую поддержку и обучение предоставляет национальный дистрибьютор компании SGI в России — компания ARBYTE.

ЗАО «ЕМТ Р»

Компания ЗАО «ЕМТ Р» была основана в 1994 году и сегодня занимает лидирующие позиции на отечественном рынке систем инженерного анализа (CAE). Головной офис компании на­ходится в Москве, а филиалы расположены в Иркутске и Киеве (ООО «ЕМТ У», Украина). Компания ЗАО «ЕМТ Р» является авторизован­ным дистрибьютором, инженерно-консалтинго­вым и учебным центром ANSYS, Inc. в России и странах СНГ.