ZFS und ein M5214 von HP Direkt am Rechner?!

[Octane_Suicide]

Hi miteinander!

Nachdem gestern Abend vier HP 147GB 10k FC Platten im passenden Sled eingetroffen sind, hab ich sie gleich mal in eines der
M5214'er eingebaut. Strom dran uns siehe da, Platten laufen an, blinken und die Fehler-LEDs gehen aus.....bis auf eine, die Erste... Also Platten mal in anderer Reihenfolge eingebaut und das Ergebnis: wieder die am ersten Einschub.
Dann dachte ich mir, ok, lassen wir's mal gut sein fuer Heute, und lies die Maschinen im Keller alleine.

Als ich dann oben war dachte ich mir das es doch sein koennte das sich die jeweils erste Platte darueber aufregt, das keine FC-Connection vorliegt. Also wieder runter. Zwei Glasfaserkabel (A und B) zwischen Shelf und Rechner und beides angeworfen. Siehe da, sobald der FC-HBA initialisiert ist, geht die Fehler LED aus. Das bestaerkte in mir die Hoffnung, das der Rechner die Platten am Controller sieht. Mal fix das lsiutil angeworfen. Vier Platten a 147GB wurden beim Scan nach Devices gefunden.

Als naechstes dachte ich an format. Es findet die Platten auch doch beschwert es sich das kein Label drauf ist.
Das hatte ich auch erwartet. Also mal ein Label draufschreiben, doch das geht nicht: wrong irgendwas....
Gut als ich schon fast wieder aufgeben wollte kam mir die Idee, dass ZFS doch nur die Geraetepfade haben will um einen Pool zu bauen.

Also zfs create testpool raidz blablabla . Siehe da, geht anstandslos. Pool in Ordnung, beschreibbar und alles soweit so gut. Nun wollte ich wissen was da drueber geht.

Spaetestens nachdem ich die manpage zu mkfile gelesen hatte war mir klar warum ich bei den ersten versuchen mit der Stopuhr 300-400MB/s ermittelt hatte, es aber mit iostat nur einige KB/s waren.

Als naechstes versuchte ich dd von dev/random auf ein file im pool. Die 10-30MB/s die mir iostat mitteilte liesen mich nicht gerade in Gejubel ausbrechen, angesichts der 4 Platten die ueber 2x2GBit/s angebunden waren.
Als ich die CPU-Auslastung waehrend eines Schreibversuchs im Auge behielt, war mir klar, wer der Uebeltaeter war.

Nachdem ich mich ueber das Random-Device informiert hatte, machte ich den naechsten Versuch mit dev/urandom. Es trat eine Verbesserung ein, doch auch hier war die CPU am Limit.

Mein naechster Ansatz war dev/zero. Das war schon um Einiges besser, aber immer noch nicht so das was ich mir so erwartete. Zwischen 50 und 70MB/s wurden auf die Platten geschaufelt. Manchmal auch 80.

Als ich weiter experimentierte, traf ich auf folgendes wundersames Verhalten:
Ich machte zuerst aus dem raidz einen normale Pool ohne Spiegel, oder Paritaet oder sonstiges....
Die Datenraten blieben die selben, wobei jede Platte im Mittel so 15MB/s schrieb. Also dachte ich mir Probier ichs mal mit zwei Platten. Komischerweise blieben die Datenraten bei 50-70MB/s nur das jetzt jede Platte im Mittel 30MB/s schrieb.
Seltsam dachte ich. Ich war im Glauben das ZFS das eigentlich anders regeln sollte und sich mit jeder weiteren Spindel die Geschwindigkeit erhoehen sollte....hmm. Der letzte Versuch mit einer Platte brachte, was zu erwarten war: 50-70MB/s. Jetzt eben auf nur einer Platte.

Ich hab keine Idee was ich falsch mache, oder was falsch ist...
Kann mir da jemand Tips geben?
Irgendwie hatte ich mir das anders vorgestellt.

Greetings,
Michael

[Octane_Suicide]

Hallo und frohe Feiertage!!

Hat keiner eine Idee wie ich das Bottleneck identifizieren kann?
Waere ueber Tips sehr dankbar!!
Wenn sich wer selbst ein Bild machen will, ich kann ssh-Zugriff ermoeglichen.

Gruesse,
Michael

[Tschokko]

Moin,

also die erste Platte im M5214 Disk Enclosure leuchtet immer Rot wenn keine EVA dran steckt. Wenn ich meine EVA boote, dann leuchten alle Platten bis auf die erste Platte sofort grün. Sobald meine EVA dann aber vollständig hochgefahren ist, geht die Fehler-LED der ersten Platte je Disk Enclosure aus und das System ist betriebsbereit.

Wenn du ein JBOD für FC Platten suchst bist du weit aus mit einem NetApp DS14 Mk2 Disk Enclosure bedient. Sofern es über ein ESH2 Controller Modul verfügt ist auch die Anbindung vergleichsweise einfach.

Gruß
Tschokko

[Octane_Suicide]

Hy!

Das mit der LED hab ich mir so gedacht....wenn die Host Maschine gebootet ist und der HBA initialisiert wird, wird die LED gruen. Ich wollte waehrend ich noch nicht alles fuer eine komplette EVA500 beisammen habe nur mal ein bischen herumspielen und hab halt gedacht ich probier einfach mal das Shelf direkt an den Rechner zu haengen.

Das funktioniert ja auch soweit ich seh, wenn ich zwei Glasfaserkabel vom A und B Controller auf nen HBA haenge, auch jeweils vier Platten an den Controllern. Also in etwa:

c3t.....
c3t.....
c3t.....
c3t.....
c2t.....
c2t.....
c2t.....
c2t.....

Wenn ich nun jeweils zwei Platten von jedem HBA nehme, dann kann ich auch einen schoenen zpool bauen.
Funktioniert soweit ganz gut.....nur mit den Datenraten bin ich ein bischen unzufrieden, deshalb die Frage.
Mir kommen die Raten etwas niedrieg vor.....

Naja, werde halt noch ein wenig herumbasteln.

Jedenfalls danke fuer den Tip mit dem DS14.

Greetings,
Michael

[Tschokko]

Vorsicht mit den Ports am M5214 Disk Enclosure ! Die EVA ist konsequent redundant ausgelegt. Hinzu kommt das FC Platten Dual Pathing unterstützen. Was heißt das unterm Strich. In einem M5x14 Diskshelve stecken zwei FC IO Module mit je zwei FC Anschlüssen. Jeder EVA Controller ist mit je zwei Pfaden an so ein Disk Enclosure angebunden. Das macht bei zwei Controllern vier (!!!) mögliche Pfade, darum auch vier Host Ports ! Ergo, wenn ich mit zwei HBAs auf das M5214 Diskshelve los gehe, baue ich eine Redundanz. Wenn MPxIO nicht aktiv ist, dürfte das durchaus zu Problemen führen. Für einen simplen Test würde ich lediglich Port 1 von Modul A an einen Host Bus Adapter klemmen. Nach Adam Riese sollten dann lediglich vier Platten in deinem Fall pro Enclosure auftauchen.

Zum Thema Performance kann ich nur sagen, das meine EVA mit 28 Platten ohne weiteres die 2Gbit Grenze pro FC Host Port ausreizt. Nur durch eine vernünftige Active-Active Lösung mit 2 Fabrics und aggregierten 8 GBits am SAN kann ich die Leistung des Systems ordentlich ausnutzen.

Gruß
Tschokko

[Octane_Suicide]

Ok, den ersten Absatz habe ich denke ich mal soweit verstanden. Das war mir auch ungefaehr klar. Ich dachte nur wenn ich (nur mal zum testen) jeweils einen HBA auf z.B. den Port 2A und den anderen HBA auf Port 2B des Shelfs klemme, dann sehe ich natuerlich 4 Platten ueber jeweils zwei HBA's also insgesamt 8 (ich nenns mal logische) Platten. Wenn ich nun beim zpool create zwei Platten vom 1. HBA nehme und die anderen zwei vom 2. HBA, dann faehrt er, sagen wir mal die ersten zwei platten ueber die eine Faser/HBA und die letzten zwei Platten ueber die/den andere/n Faser/HBA. Somit muesste ich fuer jeweils zwei Platten, 2GBit/s zur Verfuegung haben.

Wenn ich nun sehe, das ich wie im ersten Posting beschrieben, schon mit einem Pool aus einer einzigen Platte 60-80MB/s schreiben kann, dann sollte doch nun, bei dieser Konfiguration mit 4 Platten ueber zwei Fasern/HBA's doch mehr moeglich sein, oder?

Oder kann man das so nicht sagen/rechnen?
Wie gesagt es teilen sich die 60-80MB/s immer auf die entsprechenden Platten auf. Wenn ich eine Platte habe liefert die eben die ~70MB/s. Wenn's zwei Platten im Pool sind, dann liefert jede ~ 35MB/s. Wenn's drei Platten sind, jede ~24MB/s und wenn's alle vier Platten sind, dann liefert jede nur mehr ~ 18MB/s.

Ich kann weder sehen das die CPU's am Anschlag laufen, noch dass sich das nicht ueber die Fasern bringen lassen sollte.
Auch wenn ich mit iostat -xM 1 kucke, dann sind die %b Werte bei vier Platten eher gelangweilt bei 30-40.
Bei einer Platte geht's sehr oft an die 100% "business". Und warten auf die Platten muss ich auch nie (%w).

Naja, ich weiss nicht wie ich das zu verstehen habe.

Jedenfalls danke fuer deine Hilfe.

Regards,
Michael

P.S.: Wenn du selbst was Probieren willst, solltest du per SSH auf die Maschine koennen....

[Tschokko]

Zwei Fasern helfen dir herzlich wenig ! Die insgesamt vier Pfade pro Enclosure sind lediglich für die Redundanz und Ausfallsicherheit vorhanden. Mit aktivierten MPxIO ist dein Target System lediglich im Stande den Ausfall eines kompletten Pfades zu überstehen. An der Performance ändert das herzlich wenig. Vier 146 GB 10k Platten in einem ZFS RAIDZ Pool reißen zu dem eh nix. Mach dir da mal keine Illusionen... vier moderne SATA Platten sind - insbesondere im Sequential IO - weit aus leistungsfähiger... Demnach sind deine Leistungswerte garnicht soooo unrealistisch. Meine EVA hatte damals mit 8 Platten in der Disk Group auch keine Wurscht vom Teller gezogen. Erst seit ich 28 Platten mit je 15k im Einsatz habe macht die Büchse ordentlich Druck.

Gruß
Tschokko

[Octane_Suicide]

Okydo,

Dann mal herzlichen Dank inzwischen. Ich seh schon ich muss da noch einiges lernen.
Ich werd sowieso drauf hinarbeiten das ich die EVA fertig aufbaue. Ich weiss, ist vielleicht ein bischen Gross fuer mich als Anfaenger, aber interessieren tuts mich, mal sehen wie weit ich komme, bevor ich das ganze Rack in einem Wutanfall vor einen LKW schiebe .
Irgendwie ist mir die Aufteilung der Bandbreite und die extremen Schwankungen derselben nicht wirklich klar.
Ich dachte das sich die Bandbreite zumindest mit Overhead ungefaehr addieren wuerde, so kann man sich taeuschen...
Aber naja, das M5214 war ja auch nie fuer so einen Betrieb ausgelegt. Ich dachte nur mal ich versuche es...

Danke nochmals und noch einen schoenen Abend,
Michael

P.S.: das mit den SATA-Platten ist mir natuerlich klar, wie gesagt ich dachte das sich die Performance der FC-Platten zumindest mit jeder Platte erhoeht. Um wieviel sei dahingestellt......

[Tschokko]

Ich werd sowieso drauf hinarbeiten das ich die EVA fertig aufbaue.

Viiiiiiiiiiiel Erfolg ! Mich hat das Projekt EVA nicht unerheblich wenig Geld, Zeit und Nerven gekostet. Erst heute hat mich die Büchse wie von Sinnen mal wieder angepiepst, weil ich beim Umbau natürlich promt die Verkabelung ein wenig durcheinander gebracht habe. Die Kiste kann da richtig penetrant werden! Natürlich im positiven Sinne - sonst wäre es ja auch keine hoch redundante EVA geworden - wenn se nicht raffen würde, das irgendwas mit ihren Pfaden zu den Platten nicht stimmt.

Gruß
Tschokko

[Octane_Suicide]

Das klang irgendwie sarkastisch....

Naja, vielleicht werd ich's nicht schaffen. Aber versuchen werd ich's.

LG,
Michael

[Tschokko]

Das klang irgendwie sarkastisch....

Naja, vielleicht werd ich's nicht schaffen. Aber versuchen werd ich's.

Papperlap ! Wenn man ein wenig das Konzept von Storage Systemen verstanden hat, dann ist die EVA leicht zu bewerkstelligen. Für den Rest steh ich dir doch eh mit Rat und Tat zur Seite.

Gruß
Tschokko

[Octane_Suicide]

Ok, jedenfalls wirklich nochmal einen herzlichen Dank fuer deine Hilfe!!

Greets, Michael

[MichaGf]

Sag mal Michael bist Du mitlerweile ne bissel schlauer mit deinen Platten geworden?

Gruß Micha

[Octane_Suicide]

Hy Micha,

bin noch nicht zu weiteren Tests gekommen, denke aber das ich da keine Chance habe auf hoehere Transferraten zu kommen. Ich verstehe auch das Verhalten nicht. Eine Platte ~70MB/s.....vier Platten liefern dasselbe?

Naja, werd schaun das ich noch ein bischen herumspiele, aber mein Hauptaugenmerk liegt auf der Komplettierung meiner EVA5000.

Hab gestern einen HP SAN Switch 2/8V bekommen und der ist schon wieder boese zu mir.
Es ist ein Admin-Passwort gesetzt und HP hat keine Moeglichkeit vorgesehen das PW mit einem Resetknopf oder Aehnlichem zurueckzusetzen.
Man muss einen String, den der Switch generiert, an den HP Support schicken und die schicken einem dann ein "Recovery Passwort". Naja, der Switch ist nur leider EOL.

Mal sehen was da noch passiert....

LG,
Michael