Meine EVA Konkurrenz !!!

[Tschokko]

Tja, wie es scheint hat sich da doch tatsächlich eine Konkurrenz zu meiner EVA hier zuhause bei mir breit gemacht. Und das vor allem zum Null-Tarif !! Wie fiiiiiiiiiiies

Code:

bash-3.2# ioscan -fnC disk
Class     I  H/W Path       Driver S/W State   H/W Type     Description
=======================================================================
disk      1  0/0/2/0.0.0.0  sdisk   CLAIMED     DEVICE       TEAC    DV-28E-B
                           /dev/dsk/c0t0d0   /dev/rdsk/c0t0d0
disk      0  0/1/1/0.0.0    sdisk   CLAIMED     DEVICE       HP 146 GMAT3147NC
                           /dev/dsk/c2t0d0     /dev/dsk/c2t0d0s2   /dev/rdsk/c2t0d0    /dev/rdsk/c2t0d0s2
                           /dev/dsk/c2t0d0s1   /dev/dsk/c2t0d0s3   /dev/rdsk/c2t0d0s1  /dev/rdsk/c2t0d0s3
disk      9  0/2/1/0.1.7.255.0.0.0  sdisk   CLAIMED     DEVICE       SUN     COMSTAR
                           /dev/dsk/c8t0d0   /dev/rdsk/c8t0d0

Hier das böse böse Target.

Code:

ulocadm@ipw001:~$ uname -a
SunOS ipw001 5.11 snv_101b i86pc i386 i86pc Solaris


locadm@ipw001:~# stmfadm list-target -v
Target: wwn.10000000C92BD0EB
    Operational Status: Online
    Provider Name     : emlxs0
    Alias             : emlxs0
    Sessions          : 1
        Initiator: wwn.50060B00001046DA
            Alias: -
            Logged in since: Mon Dec 22 15:28:25 2008
locadm@ipw001:~# stmfadm list-lu -v
LU Name: 600144F0F457CF000000494FA33D0001
    Operational Status: Online
    Provider Name     : sbd
    Alias             : /dev/zvol/rdsk/rpool/vol1_iuaw011
    View Entry Count  : 1
locadm@ipw001:~# fcinfo hba-port
HBA Port WWN: 10000000c92bd0eb
Port Mode: Target
Port ID: 10700
OS Device Name: Not Applicable
Manufacturer: Emulex
Model: LP9002L
Firmware Version: 3.90x3 (C2D3.90X3)
FCode/BIOS Version: none
Serial Number: 1C21008893
Driver Name: emlxs
Driver Version: 2.31m (2008.10.17.01.52)
Type: F-port
State: online
Supported Speeds: 1Gb 2Gb
Current Speed: 2Gb
Node WWN: 20000000c92bd0eb
locadm@ipw001:~# zfs list
NAME                       USED  AVAIL  REFER  MOUNTPOINT
rpool                     30.5G   198G    72K  /rpool
rpool/ROOT                2.43G   198G    18K  legacy
rpool/ROOT/opensolaris    2.43G   198G  2.31G  /
rpool/dump                4.00G   198G  4.00G  -
rpool/export              39.1M   198G    19K  /export
rpool/export/home         39.1M   198G    19K  /export/home
rpool/export/home/locadm  39.1M   198G  39.1M  /export/home/locadm
rpool/swap                4.00G   202G    16K  -
rpool/vol1_iuaw011          20G   214G  3.93G  -

Spannendes Thema und geht verflixt gut ab. Laut Bonnie++ 47 MB/sec. schreibend und 28 MB/sec. lesend. Dem ZFS Pool steht gerade mal eine lumpige und alte 250er Samsung Platte zu Verfügung. Wie das wohl mit mehr Spindeln und Cache Devices (L2ARC + ZIL) abgeht... 


Gruß
Tschokko

P.S.: Ne Integrity VM wird grad auf einer COMSTAR LUN klargemacht.

[Tschokko]

Kein Wunder das die Integrity VM Installation von HP-UX 11i V3 wahrhaftig geflogen ist und auch sonst die VM abgeht wie Hupe!

Code:

Version 1.03d       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
ivaw012       3000M 17720  63 55654  58 20645  38 18021  87 53629  56  3570  67
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  1367  45 +++++ +++  2466  24  1535  48 +++++ +++  1793  39

55 MB/Sek. Schreibend und 53 MB/Sek. lesend ! Woooooow ! Und das für eine lumpige SATA Platte.

Gruß
Tschokko

[madze]

Ich hab mal voll keinen Plan von was Du da schreibst!

[Tschokko]

Ich hab mal voll keinen Plan von was Du da schreibst!

Dafür aber von schweren Eisen, wovon ich keinen Plan hab. Also hab so schlimm.

Na gut, dann will ich es mal erklären.
Im OpenSolairs Entwicklungszweig hat sich ein Projekt namens COMSTAR gebildet. COMSTAR steht für "Common Multiprotocol SCSI Target", d.h. mit Hilfe dieser Software ist man in der Lage eine sog. Target Device zu bilden. Bei allen Block Orientierten Protokollen, sprich Fibre Channel, SCSI, iSCSI, usw. gibt es immer einen sog. Initiator und den dazugehörigen Target. Initiator ist immer der Client, d.h. das Gerät das ein Block Device anfordert, beschreibt und beliest. Der Target dagegen ist das System das ein Block Device ZUM beschreiben, belesen, usw. bereitstellt. Einfach erklärt im Falle meiner EVA. Ich klemme meine ZX6000 mit nem FC HBA an die Fabric, wie auch meine EVA. Die EVA ist das FC Target und die  ZX6000 der Initiator. Meine EVA sieht das Block Device und behandelt das Gerät wie eine lokal installierte Festplatte. Mit OpenSolaris und COMSTAR hab ich nix anderes gemacht als eine Art EVA nachzubilden, d.h. ich hab eine LUN präsentiert und meine ZX6000 hat diese freundlich entgegen genommen. Witzigerweise ist dieser EVA Nachbau nix anderes als ein handelsüblicher 08/15 PC mit einer 250 GB Samsung SATA Platte und OpenSolaris als Betriebssystem.

Wenn du Fragen hast, wende dich gerne an mich. Hab soeben meine rp5470 angeworfen, mal schauen ob die meinen EVA Nachbau frisst.

Gruß
Tschokko

[landy]

Mit OpenSolaris und COMSTAR hab ich nix anderes gemacht als eine Art EVA nachzubilden, d.h. ich hab eine LUN präsentiert und meine ZX6000 hat diese freundlich entgegen genommen. Witzigerweise ist dieser EVA Nachbau nix anderes als ein handelsüblicher 08/15 PC mit einer 250 GB Samsung SATA Platte und OpenSolaris als Betriebssystem.

Moooment! Wie klemmt denn dieser 08/15 PC an der ZX6000? Den anderen Teil hab ich (glaube ich ) verstanden.
Hääää??

Grüße,
Michael

[Ebbi]

Moooment! Wie klemmt denn dieser 08/15 PC an der ZX6000? Den anderen Teil hab ich (glaube ich ) verstanden.
Hääää??

Naja, vermutlich haben beide Geräte einen FC-Controller und hängen zusammen an einem FC-Switch.

[Tschokko]

Moooment! Wie klemmt denn dieser 08/15 PC an der ZX6000? Den anderen Teil hab ich (glaube ich ) verstanden.
Hääää??

Naja, vermutlich haben beide Geräte einen FC-Controller und hängen zusammen an einem FC-Switch.

He he he... so schauts aus.

Gruß
Tschokko

[Tschokko]

Um nochmal genauer zu werden. In meinem 08/15 PC steckt nen Emulex LP9002 FC HBA, in der ZX6000 ein HP Taychon FC HBA. Beide Adapter sind an meinem Brocade 3850 FC Switch angeklemmt. Der Emulex FC HBA arbeitet dank entsprechender OpenSolaris Treiber im Target Modus, der Rest natürlich wie gehabt als Initiator!

Gruß
Tschokko

[landy]

Um nochmal genauer zu werden. In meinem 08/15 PC steckt nen Emulex LP9002 FC HBA, in der ZX6000 ein HP Taychon FC HBA. Beide Adapter sind an meinem Brocade 3850 FC Switch angeklemmt. Der Emulex FC HBA arbeitet dank entsprechender OpenSolaris Treiber im Target Modus, der Rest natürlich wie gehabt als Initiator!

Gruß
Tschokko

Jetzt hab ichs auch verstanden
Das hört sich auf jeden Fall super-interessant an. Das heißt ich könnte dann mein ganzes Server-Geraffel an diese Büchse hängen? Cool.
Ich erwarte auf jeden Fall Berichte

Grüße,
Michael

[landy]

Überhaupt: geht denn wirklich ein 08/15 PC?
Sollte doch bestimmt ein Server mit ein Paar Haaren auf der Brust sein? RAM?
Läuf den Solaris X86 auf den gängigen PC-Büchsen?
Oh Mann, da hast mir jetzt noch vor Weihnachten einen Floh ins Ohr gesetzt!

[Garm]

Läuf den Solaris X86 auf den gängigen PC-Büchsen?

Ja, relativ schmerzfrei. Wenn Du wirklich keine Experimente eingehen willst was die Hardware angeht, dann schaust Du in der HCL nach.

[Tschokko]

Also OpenSolaris läuft eigentlich schon auf viel Hardware... das muss wahrhaftig nix besonderes sein, geschweige denn ein vollwertiger Server ! Ein bißchen Aufschluß gibt die HCL: http://www.sun.com/bigadmin/hcl/data/os/

Ansonsten muss man natürlich beim FC HBA etwas aufpassen. QLogic HBA werden treibermäßig im Target Mode nur in Form der 4GBit Generation unterstützt. Im Klartext die QLA24xx Serie. Seeeeeehr teuer und selten in der Bucht. Aber dafür hat Emulex hat Gutes getan und die Quellen im Netz freigegeben. Ein Emulex LP9xxx Adapter wird von OpenSolaris (nach Installation des Treibers emlxs) unterstützt und kann dann in den Target Mode gesetzt werden (emlxs.conf  ==> target=1). Der Rest ist dem COMSTAR Admin Guide zu entnehmen. Es sind nur wenige Befehle nötig und schon steht die LUN bereit.

Aprops Arbeitsspeicher: ZFS macht wirklich Gebrauch von Arbeitsspeicher ! D.h. umso mehr umso besser. Darum darf es auch ein 64 Bit System sein. Ich hab 8 GB Speicher am Laufen, wobei ich mir sicher bin selbst mit 4 GB tut ZFS einen erstklassigen Dienst! Aber viel weniger würde ich nicht empfehlen, vor allem wo Arbeitsspeicher nix mehr kostet.

Meine aktuelle Ausstattung ist ziemlich simpel:

Asus P5MT/MX-C Mainboard (die integrierte Broadcom NIC wird leider nicht supported. )
Intel Pentium-D 820
8 GB RAM
Intel EtherExpress 10/100 PCI Karte
Emulex LP9002L 2GBit FC HBA PCI Karte
1x Samsung 250GB SATA Platte


Natürlich benötigt man natürlich auch einen entsprechenden Fibre Channel Switch und die passenden Clients mit FC HBAs on Board. Ich bin mir auch sehr sicher das man das ganze Konstrukt auch mit den etwas älteren 1 GBit Switchen (Brocade 2400/2800) und Emulex LP8xxx Karten umsetzen kann. Muss nicht gleich 2Gbit mit recht aktuellen Brocades 3850 sein.

Ich erwarte auf jeden Fall Berichte

Was willst denn hören? Selbst meine olle rp5470 hat die COMSTAR LUNs erkannt. FibreChannel ist nun mal FibreChannel.


Gruß
Tschokko

[stiefkind]

Natürlich benötigt man auch einen entsprechenden Fibre Channel Switch und die passenden Clients mit FC HBAs on Board.

Ich bin mir relativ sicher, dass das auch ohne Switch geht, wenn man die beiden HBAs back to back verkabelt. Ähnlich wie bei (alten) Netzwerkkarten muss dann auch auf einer Seite receive und transmit vertauscht werden. Man braucht also Kabel, wo man die beiden Steckerhälften lose hat, zumindest auf einer Seite.

Natürlich ist man dann etwas beschränkt in der Anzahl der anschließbaren Initiators :-)

wolfgang

[Tschokko]

Ich bin mir relativ sicher, dass das auch ohne Switch geht, wenn man die beiden HBAs back to back verkabelt. Ähnlich wie bei (alten) Netzwerkkarten muss dann auch auf einer Seite receive und transmit vertauscht werden. Man braucht also Kabel, wo man die beiden Steckerhälften lose hat, zumindest auf einer Seite.

Getestet hab ich das zwar auch noch nicht, aber ich bin mir wie auch Wolfgang sehr sicher dass das geht ! Nur bei den alten SC Steckern kann das etwas schwierig werden mit dem Vertauschen. Bei den neueren LC-LC Kabeln dagegen ist das in der Regel ohne Weiteres möglich. Hab hier an die 20 LWL Strippen liegen und bei allen kann ich die Steckerhälften verdrehen.

Gruß
Tschokko

[stiefkind]

Nur bei den alten SC Steckern kann das etwas schwierig werden mit dem Vertauschen.

Ein scharfes Teppichmesser hilft.
Die Anpassung ist dann natürlich irreversibel 

wolfgang