Cluster mit HP-UX ?

[Stefan307]

Hallo
Da ich ja hofffentlich bald einen "Stapel" C3700 habe frag ich mich wie es mit Clustern unter HP-UX so steht?
Ich weis das es von HP einen "Cluster Pack" gibt aber warscheinlich wieder nicht für mich ohne company Account ... Auserdem ist HP-UX kompatibele Hardware(Infiniband) wieder nich zu bekommen also wohl eher Linux ? Man warum kann das nicht so einfach wie bei SUN sein ....

MFG S

[Tschokko]

Und wer soll den Infiniband Switch bezahlen?
Besorg lieber 1GBit Karten die HP-UX kompatibel sind, das wird schon teuer genug.

Gruß Tschokko

[truerasp]

bei hp gibts zum beispiel hyperplex als technologie zur engen hauptspeicherkopplung. infiniband gibts imho nicht fuer parisc basierende systeme sondern dann fuer integrity / itanium.

grundsaetzlich muesste man vorher klaeren ob du einen hochverfuegbarkeitscluster bauen willst oder einen high performance cluster. fuer hochverfuegbarkeit fallen die ganzen infiniband, hyperplex usw themen eh weg weil die systeme die per mpi + uebertragungstechnologie eng hauptspeicher koppeln mehr (hyperplex) oder weniger (infiniband) kritisch fuer die stabilitaet der clusterpartner sind.

ha cluster baust du mit redundanten netzwerkkarten ... die zum beispiel fuer heratbeat nicht schneller als 10 mbit sein muessen .... und im fall von hpux eben mc service guard. das ist dann eine hochverfuegbarkeits software die deine dienste / anwendungen paketiert und dafuer sorgt dass die packete immmer laufen. das macht kein loadbalancing und loadsharing auch nur in dem sinne dass du packete im cluster verschieben kannst und so systeme frei schaufeln kannst. nix anderes macht der cluster auch beim failover, er merkt gestoppte packete und startet die auf nem anderen system neu. die dinger leben von virtuellen ip adressen auf den packeten und koennen nicht paralell laufen. das ist uebrigens das was die von dir angesprochene hp software mitbringt.

damit im ha fall auch alles gut laeuft bedeutet das auf jedem system entsprechend viele freie (ungenutzte ressourcen)

um es mit den worten von mister malden in B5 zu sagen "was willst du?"

 

[Stefan307]

Spielen !!!
Naja ha find ich nicht so spannend fehlt mir Zuhause auch jegliche sinnvolle Anwendung...
Aber Leistung ist ja bekanntlich durch nix zu ersätzen auser durch noch mehr Leistung! Am liebsten wäre mir ja Crylink, weil es für die Software weitgehend transparend ist,  aber SGI is ja noch exotischer als HP, alles was auf TCP/IP aufbaut ist halt wider meilenweit weg von CPU und Speicher (Latenzzeiten). Ich war auch überracht das es Infiniband Karten für 150 Euro gibt und binn mal davon ausgeganegn das man die auch ohne ein Switch(evtl. mit einem speziellen Kabel), was auch wieder teuer wird ich weiß, verbinden kann? Dann hätt ich schon mal 3 zusammen (2 Anschlüsse pro Karte) aber ich gehe mal davon aus das das alles für normale Software (also ohne MPI oder so) wieder nichts wird... bliebe noch Linux mit Open Mosix oder so was aber das ist ja auch "nur" Load Balancing da kommt es halt drauf an das die Software mehere Threads auf macht... OK ich merk schon da stellt sich nur die Frage warum ich nicht einfach 3 PC mit Linux oder Solaris nehm und selbst dann komm ich nicht wirklich dahin wo ich will ....

PS: nach dieser Liste gibt es Infiniband karten Für HP-PA:
http://docs.hp.com/en/9551/IOcards_PA_IPF.htm

[truerasp]

jo ... mit 11.iv1 ... oki.

spielen kannst du mit hpc wie mit ha ... aber das klingt eher danach dass du hpc machen willst ... das geht selten ohne switch. auch myrinet und so brauchen das. das einzige was meiner meinung nach in frage kaeme waere SCI/dauphin  mit denen man knoten zu knoten verbinden kann , auf 4 wegen die letztendens eine torusstruktur aufbauen koennen wie die gaaaanz fetten alphas damit bist du wieder bei linux und intel pcs.

[Stefan307]

OK zu den Akten ...

[Tschokko]

MPICH und ein optimiertes 1GBit Netzwerk, da geht auf jeden Fall was. Denn man kann ja das Netz a) auf Jumbo Frames umstellen und b) die Latzenzeiten ebenfalls deutlich verkürzen. Im Internet gibts reichlich Infos dazu, gerade auch in Verbindung mit iSCSI. Zusätzlich brauchst halt einen guten GBit Switch mit Dampf und gute Kabel. Das sollte dann genügen um über 100 MByte/sec über das GBit Kabel pumpen zu können. Für deine HPC Experimente sollte diese Leistung mehr als nur reichen.

Myrinet und Infiniband kann man einfach nicht bezahlen. Und die Hersteller Eigenentwicklungen sowieso nicht.

Gruß Tschokko

[truerasp]

MPICH und ein optimiertes 1GBit Netzwerk, da geht auf jeden Fall was. Denn man kann ja das Netz a) auf Jumbo Frames umstellen und b) die Latzenzeiten ebenfalls deutlich verkürzen. Im Internet gibts reichlich Infos dazu, gerade auch in Verbindung mit iSCSI. Zusätzlich brauchst halt einen guten GBit Switch mit Dampf und gute Kabel. Das sollte dann genügen um über 100 MByte/sec über das GBit Kabel pumpen zu können. Für deine HPC Experimente sollte diese Leistung mehr als nur reichen.

Myrinet und Infiniband kann man einfach nicht bezahlen. Und die Hersteller Eigenentwicklungen sowieso nicht.

naja ... nen guten managebaren gibt switch der die jumboframes richtig macht brauchst du auch da. der kostet dann halt nicht 20.000,- EUR sondern 2.000,-EUR vielleicht bissl guenstiger.

[Tschokko]

naja ... nen guten managebaren gibt switch der die jumboframes richtig macht brauchst du auch da. der kostet dann halt nicht 20.000,- EUR sondern 2.000,-EUR vielleicht bissl guenstiger.

Stimmt auch wieder... Mist...

Gruß Tschokko

[Tschokko]

Geht ein bißchen billiger mit dem Netgear GS716T, managebarer Switch der auf jeden 9kb Jumbo Frames sauber switched, mit Kostenpunk 420 Euro.
Bei den Karten muss man wohl auch aufpassen. Was immer gut gehen soll sind Intel Pro 1000 Adapter. Aber die Dinger sind net HP-UX Kompatibel. Da muss man wohl in den saueren Apfel beißen und darauf hoffen das die HP-UX tauglichen GBit Karten ne MTU von ca 9000 unterstützen.

Aber danke für den Tipp Frank ! Das hätte ich bei den iSCSI Vorhaben völlig vergessen das ich auf die Hardware achten muss. Jetzt weiß ich zumindestens worauf ich noch schauen muss.

Gruß Tschokko

[Stefan307]

Also ich meinte auch nur das es Softwaremäsig mich nicht dahin brinngt wo ich hin wollte! Verstehe ich das jetzt richtig das es keine Infiniband Crosskabel gibt ? Man also immer ein Switch braucht ? Weil sonnst rechne ich mal vor
3 Infinband Karten von SUN 3x 150 von GEKKO
3 mal Kabel sagen wir mal 100 
=700 EURO dann hast du aber Werte die du mit Gbit Netz höchstens über Kanalbündlung holst und dann hast du auch schnell 200 für Netzwerkkarten pro Rechner gut die Kabel sind dann billiger...
Aber um mal auf das optimieren von Ethernet zurück zu kommen da müst ich dann wohl noch was machen weil ich hab ja ein Gigabit Netz und meine Filer Zugriffe(NFS) sind nicht grad die  wucht wobei ich die auch noch nicht systematisch gemessen habe....

[truerasp]

Aber um mal auf das optimieren von Ethernet zurück zu kommen da müst ich dann wohl noch was machen weil ich hab ja ein Gigabit Netz und meine Filer Zugriffe(NFS) sind nicht grad die  wucht wobei ich die auch noch nicht systematisch gemessen habe....

hmm ... filer zugriffe sind n thema. wenn du auf iscsi schwenken kannst und dafuer extra netzwerkkarten vorsehen kannst die du in ein eigenes vlan packst und auf dessen ports du jumboframes einstellen kannst, dann sollte das signifikante verbesserungen bringen. geht theoretisch auch fuer ein filesystem- zugriffs netz ... das ist aber eher flexibel in den packetgroessen so dass sich das gut mit dem restlichen netzwerktraffic mischt.

bei nem eigenen iscsi netz mit ner mtu=size exact gleich den iscsi bloecken + protokoll overhead rennt das wie bloed. hab ich zufaelligerweise heute dran rumgebastelt. irre.

[Tschokko]

bei nem eigenen iscsi netz mit ner mtu=size exact gleich den iscsi bloecken + protokoll overhead rennt das wie bloed.

Kann man das beim iSCSI Target explizit einstellen? Wo liegen denn in etwa die Default Werte der Block Größen? Die meißten Geräte verkraften leider kaum größer Jumbo Frame Paket als ca. 9000...

@Stefan307
Einfache GBit Switche (SoHo Zeug halt für < 200 Euro) mit entsprechend günstigen Kabeln und verschiedensten GBit NICs pumpen in der Regel zwischen 10 und max 30 MByte/sec. Da geht einfach nix. Wenns etwas bessere Komponenten sind kann man den Datendurchsatz auch bis zu 50 MByte/sec. steigern, aber alles darüber hinaus geht wohl wirklich nur noch mit Jumbo Frames. Eine Theorie die ich aufgeschnappt habe, besagt das es am Kufperkabel liegt... mit LWL soll GBit mit hohen Transferraten kein Problem sein.... das kann ich allerdings nicht bestätigen.

Gruß Tschokko

[Stefan307]

Um mal konkret zu werden: Ich habe INTEL 82540EM NIC und ein Belkin Switch für 60 EUR vom Media Markt Ok ich bräuchte mal neue Kabel ...
Wenn man mal von  theoretischen 100 mb/sec ausgeht sollte ich doch wenigstens 50 schaffen oder?
Ich könnte ja mal folgenden versuch machen: ich verbinde die 2 direkt mit einem Croskabel, so was soll ich einstellen und wie soll ich die Geschwindigkeit messen damit auch die Rahmenbedingungen vergleichbar sind ?

Mal zu Vertändniss Jumbo Frames sollen den Overhead im vergleich zun den Daten reduzieren, müssen aber  weil sie "zu" groß sind von der Hardware expezieht unterstützt werden ?

[truerasp]

Mal zu Vertändniss Jumbo Frames sollen den Overhead im vergleich zun den Daten reduzieren, müssen aber  weil sie "zu" groß sind von der Hardware expezieht unterstützt werden ?

die must du explizit auf dem switch zulassen, deswegen brauchst du einen managebaren der das auch unterstuetzt. die bringen dir zum einen eine reduktion des ethernet overhead gegenueber regulaeren packeten aber sie verringern auch die latenzen und bringen damit eben mehr als nur als die einspaarung des "ueberfluessigen" traffic. der overhead ist das was in switches und netzwerkkarten (und treibern) ja auch interpretiert und abgearbeitet werden muss.