Trebate li mašinu koja može isporučiti stotine triliona proračuna s pomičnim zarezom u sekundi? Ili vam je potrebna priča o tome kako je superračunalo u vašem podrumu okrenulo prekidač? Izgradnja vlastitog kompjuterskog klastera visokih performansi, zvanog superračunalo, izazov je za svakog stručnjaka sa škrinjom sa slobodnim vikendom i nešto novca za spaljivanje. Tehnički gledano, moderno višeprocesorsko superračunalo je mreža računara koji paralelno rade zajedno kako bi riješili problem. Ovaj članak će ukratko opisati svaki korak u procesu, fokusirajući se na hardver i softver.
Koraci
Korak 1. Prvo odredite hardverske komponente i potrebne resurse
Trebat će vam jedan glavni čvor, najmanje desetak identičnih računskih čvorova, Ethernet prekidač, jedinica za distribuciju energije i stalak. Odredite potrebnu električnu energiju, potrebno hlađenje i prostor. Odlučite i koju IP adresu želite za svoje privatne mreže, kako nazvati čvorove, koje softverske pakete želite instalirati i koju tehnologiju želite omogućiti paralelnim računarima (više o tome kasnije).
- Iako je hardver skup, sav softver naveden u ovom uputstvu je besplatan, a većina je otvorenog koda.
- Ako želite vidjeti koliko bi super super računalo teoretski bilo brzo, upotrijebite ovaj alat:
Korak 2. Napravite računske čvorove
Morat ćete sastaviti računske čvorove ili nabaviti poslužitelje prije izgradnje.
- Odaberite kućište računarskog servera koje maksimizira prostor, hlađenje i energetsku efikasnost.
- Ili možete upotrijebiti desetak rabljenih, zastarjelih servera - čija će cjelina nadmašiti zbroj njihovih dijelova, ali će vam uštedjeti priličnu količinu novca. Svi procesori, mrežni adapteri i matične ploče trebaju biti identični kako bi cijeli sistem mogao lijepo igrati zajedno. Naravno, ne zaboravite na RAM i memoriju za svaki čvor i barem jedan optički pogon za glavni čvor.
Korak 3. Instalirajte servere u stalak
Počnite od dna, tako da stalak nije težak odozgo. Trebat će vam prijatelj koji će vam pomoći u tome - gusti poslužitelji mogu biti vrlo teški i teško ih je uvesti u šine koje ih drže u stalku.
Korak 4. Instalirajte Ethernet prekidač iznad šasije servera
Iskoristite ovaj trenutak za konfiguriranje prekidača: dopustite velike veličine okvira od 9000 bajtova, postavite IP adresu na statičku adresu koju ste odlučili u koraku 1 i isključite nepotrebne protokole usmjeravanja, poput SMTP Snoopinga.
Korak 5. Instalirajte PDU (jedinicu za distribuciju energije)
Ovisno o tome koliko struje će vašim čvorovima možda trebati pri maksimalnom opterećenju, možda će vam trebati 220 volti za računanje visokih performansi.
Korak 6. Nakon što je sve instalirano, možete započeti proces konfiguracije
Linux je de facto OS za HPC klastere - ne samo da je idealno okruženje za naučno računarstvo, već i ne košta instalacija na stotine ili čak hiljade čvorova. Zamislite koliko bi koštalo instaliranje Windowsa na sve te čvorove!
- Počnite s instaliranjem najnovije verzije BIOS -a matične ploče i firmvera, koji bi trebali biti isti na svim čvorovima.
- Instalirajte željeni linux distro na svaki čvor, s grafičkim korisničkim sučeljem za čvor head. Popularni izbori uključuju CentOS, OpenSuse, Scientific Linux, RedHat i SLES.
- Ovaj autor toplo preporučuje korištenje distribucije klastera Rocks. Uz instaliranje svih alata potrebnih za funkcioniranje računskog klastera, Rocks koristi odličnu metodu za 'distribuciju' mnogih svojih instanci na čvorove vrlo brzo pomoću PXE pokretanja i Red Hat 'Kick Start' procedure.
Korak 7. Instalirajte sučelje za prenošenje poruka, upravitelja resursa i druge potrebne biblioteke
Ako niste instalirali Rocks u prethodnom koraku, morat ćete ručno postaviti potreban softver za omogućavanje paralelnih računalnih mehanizama.
- Prvo će vam trebati prenosivi bash sistem za upravljanje, poput Torque Resource Managera, koji vam omogućava da razbijete i distribuirate zadatke na više mašina.
- Uparite okretni moment s Maui Cluster Schedulerom kako biste dovršili postavljanje.
- Zatim ćete morati instalirati sučelje za prenošenje poruka, potrebno za pojedinačne procese na odvojenim računskim čvorovima za dijeljenje istih podataka. OpenMP je jednostavno.
- Ne zaboravite višenamjenske matematičke biblioteke i kompajlere za izradu vaših programa za paralelno računanje. Jesam li spomenuo da trebate samo instalirati Rocks?
Korak 8. Umrežite računske čvorove zajedno
Glavni čvor šalje računske zadatke računskim čvorovima, koji zauzvrat moraju poslati rezultat natrag, kao i međusobno slanje poruka. Što brže to bolje.
- Koristite privatnu ethernet mrežu za povezivanje svih čvorova u klasteru.
- Glavni čvor može djelovati i kao NFS, PXE, DHCP, TFTP i NTP poslužitelj preko Ethernet mreže.
- Morate odvojiti ovu mrežu od javnih mreža, što osigurava da paketi za emitiranje ne ometaju druge mreže u vašem LAN -u.
Korak 9. Testirajte klaster
Posljednja stvar koju biste mogli htjeti učiniti prije nego što svom računaru prepustite svu ovu računalnu snagu je testiranje njenih performansi. HPL (Lynpack visokih performansi) reper je popularan izbor za mjerenje računske brzine klastera. Morat ćete ga kompajlirati iz izvora sa svim mogućim optimizacijama koje vaš kompajler nudi za arhitekturu koju ste odabrali.
- Morate, naravno, kompajlirati iz izvora sa svim mogućim opcijama optimizacije za vašu platformu. Na primjer, ako koristite AMD procesore, kompajlirajte s Open64 s -0brzom razinom optimizacije.
- Uporedite svoje rezultate na TOP500.org da uporedite svoj klaster sa najbržih 500 superračunara na svetu!
Video - Korištenjem ove usluge neke se informacije mogu podijeliti s YouTubeom
Savjeti
- Za zaista velike brzine mreže, pogledajte InfiniBand mrežna sučelja. Budite spremni platiti premijske cijene.
- IPMI može učiniti upravljanje velikim klasterom lakim pružanjem KVM-over-IP-a, daljinskog uključivanja napajanja i još mnogo toga.
- Koristite Ganglia za praćenje računskih opterećenja na čvorovima.
