Clustererfahrung?

[Tschokko]

Moin...

sagt mal, wer von euch hat Clustererfahrungen? Wer hat denn sowas schon mal aufgebaut, allerdings wenn's geht mit mehr als 2 Rechnern und mehr als 2 CPUs. Mich fesselt dieses Thema ja dauernd. Ein großes SGI System mit ccNUMA ist leider unbezahlbar, aber so nen Clusterteil wäre doch mal ne nette Spielerei... Drei oder vier 1 HE Buden mit je 2 Prozessoren und ner GBit Karte, das sollte doch mal ne lustige Sache sein? Noch mangelt es mir an passenden Aufgaben. Im Moment bild ich mir eigentlich nur so ein Teil ein...  Aber was ja nicht ist, kann ja noch werden. 

Grüße Tschokko

[madze]

Hallo,

ich habe mal ein bißchen mit "clusterix" eine Linux Live-CD basierend auf Knoppix und OpenMosix an zwei identischen Dual-CPU Maschinen gespielt. Bin dann von der Live CD auf ein RedHat 9 und dem OpenMosix Kernel übergegangen. So die Clustergeschichte an sich ging, aber ich konnte irgendwie keine Anwendungen in das Cluster migrieren.

Da es zum Download nur einen 2.4er Kernel gab, war ich nicht weiter gewillt, weiter zu wuseln, den 2.6er Kernel gabs damals nur via CVS, und das hab nicht kapiert.

Resume: Eine Nette Sache, die ich mir, wenn wieder entsprechende Hardware da ist, nochmal ansehe und dann vielleicht auch noch mal produktiv einsetzen werde (Seti oder so :-) ).

Gruß Matze

[Tschokko]

Moin Madze,

also zu OpenMosix hab ich mich schon reichlich belesen. Problematisch sind halt Anwendungen die PThreads (Posix Threads) und/oder Shared Memory nutzen. Die werden von OpenMosix nicht migriert... Hab dann lediglich eine Erweiterung namens migShm (Shared Memory für OpenMosix) entdeckt. Wie es aber scheint ist das aber schon lange nicht mehr weiter gepflegt worden.

Auf der Suche nach Infos eben zu Shared Memory und co. bin ich auf OpenSSI gestoßen. Das macht bisher den Besten und aktuellsten Eindruck. Hat das mal jemand von euch gesehen?

Dennoch weiß ich noch immer nicht so genau ob diese Clustersoftware aus einem Haufen Rechner einen großen machen kann? Ich denke das Problem mit dem gemeinsamen Hauptspeicher wird auch in OpenSSI nicht gelöst sein, oder? Ich hatte mal was zu "Network RAM" aufgeschnappt, wohl ein Ziel in einer zukünftigen OpenMosix Version, und genau das geht in die Richtung, ein gemeinsamer Arbeitsspeicher. Eine Art ccNUMA für so einen Linux Cluster wäre halt schon der Wahnsinn.

Na ja, mal schauen evtl. werd ich mal mit ein paar Rechnern auf Arbeit einen Versuch starten.

Grüße Tschokko

[linuxdomination]

tja ebay ist doch voll mit billig origins, auf diversen großunis gehen die sogar "for free" weg, wenn man bereit ist sie selbst zu demontieren und abzutransportieren, was natürlich der absolute horror ist. ein bekannter von mir hat zum beispiel vor kurzen irgendwo in holland eine 32 proc/2Rack origin eingesackt.
 

[Tschokko]

Also von massenweise Origin Angebote in eBlöd kann meiner Meinung nach nicht die Rede sein. Ich sehe selten so eine Maschine in eBlöd. Meistens ist es dann auch ein Angebot eines Resellers und dieser meint dann, weil SGI drauf steht und der Kasten 2 Meter hoch ist, kann er den Preis verzehnfachen. Nein Danke...

Ich würde sofort auf so ein Angebot einer Uni anspringen, wenn ich im Stande wäre so ein Gerät zu demontieren. Transport ist da das geringere Übel.

Na ja, das Problem Shared Memory, bzw. Speicher der linear von 0 ab an adressierbar ist, bleibt weiterhin bei reinen Clusterlösungen bestehen. Darum haben so riesige und teure SMP Geräte a la SGI Altix, usw. ihre Dahseinsberechtigung.

Grüße Tschokko

[Tschokko]

Juhuuuu.... die Woche wird ein OpenSSI Cluster gebaut. Ich hab inner Firma paar identische Siemens Büchsen (6 an der Zahl) entdeckt, die ich dafür mal kurzfristig mißbrauchen werden... Selbstverständlich halt ich euch ein klein wenig auf dem Laufenenden. Dummerweise wirds ein Debian Linux System werden... *unk* *unk* Aber ich denk die echten Freaks hier erfreuen sich trotzdem drann.

Grüße Tschokko

[ZameZ]

Moin!
Dann abba bitte mit Fotos  und womit wolltest Du die dann auslasten, oder erst mal "just for fun"?
Gruß, ZameZ

[Tschokko]

Moin!
Dann abba bitte mit Fotos  und womit wolltest Du die dann auslasten, oder erst mal "just for fun"?
Gruß, ZameZ

Erstmal just for fun, sind auch keine besonderrs schnellen Büchsen... get mir im Moment darum einfach so ein System am Laufen zu haben. Vermutlich lass ich mal Mandelbrot laufen oder irgendne Rendering Aufgabe.

Fotos gibts natürlich !

Grüße Tschokko

[Tschokko]

So, Zeit für die ersten Vorher Fotos... weitere Bilder folgen...

www.tschokko.de/home/gladovdj/wkc/vorher1.jpg (Das WIRD der Ort des Geschehens)
www.tschokko.de/home/gladovdj/wkc/vorher_node1.jpg (Node 1)
www.tschokko.de/home/gladovdj/wkc/vorher_node2.jpg (Node 2)
www.tschokko.de/home/gladovdj/wkc/vorher_node3.jpg (Node 3)
www.tschokko.de/home/gladovdj/wkc/vorher_node4.jpg (Node 4)

Meine Kollege der Torben, hier im Bild
www.tschokko.de/home/gladovdj/wkc/torben.jpg
wird mich tatkräftig unterstützen.

Ach ja, das Teil hat auch inzwischen einen Namen:

WKC

Steht für WK-EDV Cluster ... Muhahahaha...


Stay tuned!
Tschokko

[Ebbi]

Bevor du lange ruminstallierst, kannst du mal sehen wie weit du mit Quantian kommst.
Das ist nämlich schon fertig und bootet von CD/DVD:
http://dirk.eddelbuettel.com/quantian.html

[Tschokko]

Sooooo... neue Bilder. Nicht besonders wertvoll aber sie dokumentieren den "langsamen" Fortschritt... Wenn halt ne freie Minute auf Arbeit ist, wurschtelt man halt drann rum.

www.tschokko.de/home/gladovdj/wkc/install1.jpg (Sieht schon aufgeräumter aus!!!)
www.tschokko.de/home/gladovdj/wkc/install2.jpg (Ob ich den wohl voll krieg???)

www.tschokko.de/home/gladovdj/wkc/ich1.jpg (Ich !!! )

Grüße Tschokko

[Tschokko]

Bevor du lange ruminstallierst, kannst du mal sehen wie weit du mit Quantian kommst.
Das ist nämlich schon fertig und bootet von CD/DVD:
http://dirk.eddelbuettel.com/quantian.html

Ahoi Ebbi...

erstmal danke für den Tipp!!! Sieht garnicht mal schlecht aus... aber ich will halt einen selbst installierten OpenSSI Cluster. Keine Ahnung warum... ich glaub einfach nur, weil ich basteln mag. Ich hab ja nicht mal ne ernsthafte Anwendung dafür. Soviel dazu ! Muhahahahaha...

Grüße Tschokko

[alix]

Hi,

Was ich auch empfehlen kann:
2x RS/6000 bei eGay geholt + SSA-Array 7133, dann kann man mit IBM HACMP seinen (Cluster-)Spaß haben, wenn man die Software besitzt  ...


Greetz, alix

[truerasp]

tja .. immer so die frage wofuer so ein cluster gedacht ist.

im hochverfuegbarkeitsbereich mach ich eigentlich ganz gern MC serviceguard ... wie bei meiner kaum verholenen naehe zu HP kein wunder ist. davon duempeln hier ein paarzig rum. hier und da taucht immernochmal watchdog / heartbeat auf um auch was weniger lizenzverhaftetes zu bauen.

aber hier gehts ja eher um "performance"- cluster mit nem shared memory und solchen spaessen. mein highlight hierfuer war mal ein SCA cluster den wir mit hp gebaut haben. da gabs die option die hier gerne geliebaeugelten v-klassen auf crossbar ebene miteinander zu verbinden. im grunde genommen wurde auf vier v-klassen der corssbar in 2 richtungen verlaengert so dass man irgedwie auf 128 CPUs kam.

stromhungrig. und die verkabelung der crossbar- connects war diffizil und ziemlich empfindlich.
das macht dann sowas wie single system image und laeuft quasi als ein betriebssystem. die v-klassen haben sich dann auch eine managemet station geteilt und die hat versucht das zu koordinieren.

letztenendes haben dann aber eher modulare systeme wie die superdomes oder das hier angestrebte "1U Massen Konzept" mit MPI- bibliotheken das rennen gemacht. sowas hab ich dann auch nochmal gebaut aber damit rumschlagen musste sich jemand anders. die software die ich seinerzeit genommen habe ist auch sicher nimmer aktuell (


ich seh das immer von der hardware seite und der memory latenz. nehm ich infiniband oder reicht gigabit ethernet. wenn dann die MPI bibliothek fuer die basistechnologie installiert ist, muss sich der anwendungsoperator um den rest kuemmern ;o)