Obsah
je wiki, což znamená, že mnoho článků je napsáno několika autory. K vytvoření tohoto článku se na jeho vydání a jeho zlepšování v průběhu času podílelo 18 anonymních anonymních lidí.Potřebujete stroj, který musí provádět stovky miliard výpočtů s pohyblivou řádovou čárkou za sekundu? Potřebujete příběh, který vysvětlí, jak váš superpočítač ve sklepě vyhodil jistič? Vybudování klastru (nebo klastru) vysoce výkonných počítačů je výzvou, kterou může každý expert překonat o víkendu s odpovídajícím rozpočtem. Z technického hlediska je moderní víceprocesorový superpočítač sítí počítačů pracujících paralelně na řešení problému. Po provedení jednoduchých kroků pro připojení zařízení a instalaci potřebného softwaru můžete mít také superpočítač.
stupně
-
Určete potřebné vybavení a zdroje. Budete potřebovat hlavní uzel, nejméně dvanáct dalších identických uzlů, ethernetový přepínač, napájecí jednotku a polici. Určete své potřeby pro elektřinu, chlazení a prostor. Musíte se také rozhodnout, kterou IP adresu chcete použít pro vaše soukromé sítě, názvy uzlů, software, který chcete nainstalovat, a technologii, kterou chcete použít pro výpočetní schopnosti (k tomu se vrátíme později).- I když vás hardware bude stát draho, veškerý software uvedený v tomto článku je zdarma a většina z nich je bez práv.
- Pokud chcete získat představu o tom, jak rychle se superpočítač může dostat, můžete použít tento nástroj: http://hpl-calculator.sourceforge.net/.
-
Nainstalujte uzly. Budete muset sestavit uzly nebo získat předem sestavené servery.- Vyberte si serverový podvozek s dostatkem místa, vhodným chladicím systémem a optimalizací energie.
- Můžete také použít tucet starých serverů, jejichž součet převýší sílu jednotlivých jednotek a ušetříte spoustu peněz. Všechny procesory, síťové adaptéry a základní desky musí být stejné, aby celý systém fungoval hladce. Samozřejmě byste neměli zapomenout na RAM a úložný prostor pro každý z uzlů a také alespoň jednu diskovou jednotku pro hlavu.
-
Nainstalujte servery na polici. Pokud není horní část police vážena, začněte od dna. Budete také potřebovat přítele, který vám pomůže, servery mohou být těžké a bude obtížné je vést na kolejích police. -
Namontujte přepínač Ethernet na horní část skříně. Chvíli jej nakonfigurujte. Povolte velikost rámce jumbo 9000 bajtů, nastavte adresy IP na statické adresy, které jste vybrali v prvním kroku, a zakažte zbytečné protokoly, jako je SMTP snooping. -
Nainstalujte aktuální jednotku. V závislosti na tom, kolik proudu uzly budou potřebovat, budete pravděpodobně potřebovat 220 voltovou jednotku. -
Nakonfigurujte hardware. Jakmile máte vše nainstalováno, můžete začít konfigurovat hardware. Linux je výchozí operační systém pro klastry HPC, a to nejen proto, že je nejlepším prostředím pro vědecké výpočty, ale také proto, že je zcela zdarma instalovat na stovky nebo tisíce uzlů. Představte si cenu, kterou zaplatíte, kdybyste museli nainstalovat Windows na každém z těchto uzlů.- Začněte instalací nejnovějšího firmwaru BIOS a firmwaru základní desky, který by měl být stejný pro všechny základní desky.
- Nainstalujte si preferovanou distribuci Linuxu na každý z uzlů a distribuci s grafickým rozhraním na hlavní uzel. Často se používají CentOS, OpenSuse, Scientific Linux, RedHat nebo SLES.
- V tomto článku důrazně doporučujeme Rocks Cluster. Kromě instalace všech nástrojů potřebných k tomu, aby klastry správně fungovaly, používá Rocks vynikající metodu k rychlému „distribuování“ mnoha svých instancí do uzlů pomocí spouštění PXE a rychlého spuštění produktu Red Tea Tree Oil.
-
Nainstalujte software. Nainstalujte rozhraní pro přenos, správu zdrojů a další potřebné knihovny. Pokud jste v předchozím kroku neinstalovali Rocks, budete muset ručně nakonfigurovat veškerý software potřebný k aktivaci mechanismů paralelního výpočtu.- Nejprve budete potřebovat systém správy bash, jako je Torque Resource Manager, který vám umožní rozdělit a distribuovat různé úkoly na více počítačích.
- Kroutící moment Kroutící moment s Maui Cluster Scheduler pro dokončení konfigurace.
- Dále budete muset nainstalovat rozhraní odesílatele, které je nezbytné pro procesy na různých počítačích ke sdílení stejných dat. Nainstalujte si OpenMP, jeho použití je velmi snadné.
- Nezapomeňte multithreading knihovny a kompilátory vytvořit paralelní výpočet programy. Rocks je opět nejlepším řešením.
-
Připojte uzly v síti. Hlavní uzel odešle úkoly, které mají být provedeny, do ostatních výpočetních uzlů, které vrátí výsledky při odesílání zpráv navzájem. Čím rychleji to jde, tím lépe.- Pro propojení všech těchto uzlů do clusteru použijte privátní síť Ethernet.
- Hlavní uzel může také fungovat jako server NFS, PXE, DHCP, TFTP a NTP v síti, kterou vytváříte.
- Tuto síť musíte oddělit od veřejných sítí, abyste se ujistili, že pakety, které si servery vyměňují, neovlivňují pakety vyměňované po zbytku sítě.
-
Vyzkoušejte cluster. Poslední věcí, kterou musíte udělat, než uvolníte veškerou sílu svého superpočítače, je otestovat jeho výkon. Test výkonu High Performance Lynpack (HPL) je oblíbenou volbou pro měření výpočetní rychlosti počítačového clusteru. Budete jej muset zkompilovat ze svého zdroje se všemi optimalizacemi, které váš kompilátor nabízí podle architektury, kterou jste si vybrali.- Je zřejmé, že musíte kompilovat ze zdroje, který vám dává nejvíce možností pro optimalizaci vaší platformy. Například pokud používáte procesory AMD, zkompilujte jej s Open64 výběrem -0rychlé úrovně optimalizace.
- Porovnejte výsledky na webu TOP500.org a zjistěte, zda váš superpočítač může konkurovat 500 nejvýkonnějším superpočítačům na světě!
- Chcete-li dosáhnout opravdu vysokých rychlostí v síti, přečtěte si informace o rozhraních InfiniBand. Připravte se však na rozbití prasátka.
- IPMI může usnadnit správu ve velkém měřítku tím, že vám přinese KVM-over-IP, samostatný energetický cyklus a další.
- Použijte Ganglia ke sledování výpočetní zátěže v uzlech.
- Ujistěte se, že vaše infrastruktura podporuje zatížení.