Как да създадете суперкомпютър: 9 стъпки (с илюстрации)

Имате нужда от автомобил, способен да извършва изчисления до стотици трилион символи след запетая в секунда? Или имате нужда от история, която може да ви бъде казана в барове, за това как суперкомпютърът в мазето ви събори задръствания? Създаване на собствен високопроизводителен компютър или суперкомпютър - задачата, която всеки опитен Джип може да реши през уикенда в присъствието на свободното време и малко пари. Изразяван от техническия език, съвременен многопроцесорен суперкомпютър - мрежа от компютри, които работят успоредно с решаването на проблема. Тази статия описва накратко всяка стъпка от процеса на изграждане на такава мрежа, вниманието се отделя на "жлезата" и софтуера.

Стъпка

един. Първо, решете кои компоненти и ресурси ще бъдат необходими. Имате нужда от един основен възел, минимални дузини идентични изчислителни възли, Ethernet превключвател, електроразпределителна единица и багажник. Определете силата на окабеляването и охлаждането, както и пространството, което ще ви е необходимо. Също така решете кои IP адреси искате да използвате за възли, които ще доставите и какви технологии ще трябва да създадат паралелна изчислителна сила (повече за това по-долу).

Въпреки че "желязото" е скъпо, всички програми, дадени в статията, се разпространяват безплатно и повечето от тях са с отворен код.
Ако искате да разберете колко бързо може да бъде теоретично, използвайте този инструмент: http: // HPL-калкулатор.Източник.Нетна /

Изображение, озаглавено Изграждане на суперкомпютър стъпка 2

2. Монтиране на възли. Ще трябва да събирате мрежови възли или да закупите предварително сглобени сървъри.

Изберете рамки за сървъри с най-рационалното използване на пространството и енергията, както и с ефективно охлаждане.

Или Можете да "изхвърлите десетина или така използвани сървъра, донякъде остаряла - и нека теглото им превишава общото тегло на компонентите, но ще спестите прилична сума. Всички процесори, мрежовите адаптери и дънните платки трябва да бъдат същите, така че компютрите да работят добре заедно. Разбира се, не забравяйте за RAM и твърдите дискове за всеки възел, както и поне едно оптично устройство за основния възел.

Изображение, озаглавено Изграждане на суперкомпютър стъпка 3

3. Инсталирайте сървърите в багажа. Започнете от дъното, така че стоката да не бъде претоварена отгоре. Ще ви е необходима помощ на приятел - събраните сървъри могат да бъдат много тежки и да ги поставят в клетките, на които те държат в багажника, доста трудно.

Изображение, озаглавено Изграждане на суперкомпютър стъпка 4

4. Инсталирайте Ethernet превключвателя до багажа. Необходимо е незабавно да конфигурирате превключвателя: задайте размера на джумбо-рамката 9000 байта, задайте статичния IP адрес, който сте избрали в стъпка 1 и изключвате ненужните протоколи, като SMTP.

Изображение, озаглавено Изграждане на суперкомпютър стъпка 5

пет. Инсталирайте дистрибутора на захранването (PDU или разпределителното устройство за захранване). В зависимост от това кой максимален товар дава на възлите в мрежата ви, може да се нуждаете от 220 волта за високопроизводителен компютър.

Изображение, озаглавено Изграждане на суперкомпютър стъпка 6

6. Когато всичко е инсталирано, отидете на конфигурация. Linux всъщност е основната система за високопроизводителни (HPC) клъстери - тя е не само перфектна като среда за научни изчисления, но все още не трябва да плащате за инсталирането на системата за стотици и дори хиляди възли. Представете си колко ще струва инсталацията на Windows за всички възли!

Започнете да използвате най-новата версия на BIOS за дънната платка и софтуера от производителя, който трябва да бъде еднакъв за всички сървъри.

Инсталирайте предпочитания Linux разпределение във всички възли и към основния възел - графичен интерфейс. Популярни системи: Centos, OpenSuse, Science Linux, Redhat и Sles.

Авторът силно препоръчва да се използва разпределението на клъстерите на скалите. В допълнение към инсталирането на цялата програма и инструменти, необходими за клъстера, скалите прилагат чудесен метод за бърз трансфер на множество копия на системата до подобни сървъри, използвайки PXE Boot и процедури "Стартиране на Kick" от изследване.

Изображението, озаглавено Изграждане на суперкомпютър стъпка 7

7. Инсталиране на интерфейс за прехвърляне на съобщения, мениджър ресурс и други необходими библиотеки. Ако не сте задали скали в предишната стъпка, ще трябва ръчно да инсталирате необходимия софтуер, за да конфигурирате логиката на паралелните изчисления.

За да започнете, ще ви е необходима преносима система за работа с Bash, например, мениджър на ресурси на въртящия момент, който ви позволява да разделяте и разпространявате задачи за няколко машини.

Добави към въртящия момент повече Maui Cluster Scheduler за завършване на инсталацията.

След това трябва да създадете интерфейс за съобщения, който е необходим, за да може индивидуалните процеси във всеки отделен код да използва общи данни. OpenMP - най-лесният вариант.

Не забравяйте за мулти-резба математически библиотеки и компилатори, които ще "събират" вашите програми за разпределени компютри. Вече казах, че просто трябва да сложите скали?

Изображение, озаглавено Изграждане на суперкомпютър стъпка 8

Осем. Свържете компютрите към мрежата. Основният възел изпраща задачи за изчисляване на подчинени възли, което от своя страна трябва да върне резултата назад, както и да изпраща съобщения един към друг. И по-бързото всичко това се случва, толкова по-добре.

Използвайте частната Ethernet мрежа, за да свържете всички възли към клъстера.

Основният възел може да работи и като NFS, PXE, DHCP, TFTP и NTP сървъри, когато е свързан към Ethernet.

Трябва да разделите тази мрежа от обществеността, за да сте сигурни, че пакетите не се припокриват от други в LAN.

Изображение, озаглавено Изграждане на суперкомпютър стъпка 9

девет. Тестов клъстер. Последното нещо, което трябва да направите, преди да предоставите достъп до компютърни съоръжения - тест изпълнение.HPL (висока производителност Lynpack) Популярна опция за измерване на скоростта на изчисленията в клъстера. Трябва да компилирате от източници с най-висока степен на оптимизация, която вашият компилатор позволява избраната от вас архитектура.

Вие, разбира се, трябва да компилирате с всички възможни настройки за оптимизация, които са достъпни за избраната от вас платформа. Например, когато използвате AMD CPU, компилирайте в Open64 и ниво на оптимизация -0.

Сравнете резултатите с Top500.ORG, за да сравните клъстера си с 500 най-бързи суперкомпютъра в света!

Съвети

IPMI може да опрости администрирането на голям клъстер, осигуряващ KVM-над-IP, дистанционно управление и много повече.
За да получите наистина висока скорост, обърнете внимание на мрежовия интерфейс на Infiniband. Но бъдете готови да платите премиен достъп.
Използвайте ганглии, за да наблюдавате натоварването на отделни възли.

Предупреждения

Уверете се, че инфраструктурата на помещението (окабеляване и т.н.) ще издържа на товара.