files als datenbank ?

[tassilo]

moin moin

hab heute einen komischen vorgang auf den tisch bekommen und wollte mal eure meinung dazu hören.

problem : rechner (gut ausgestattet) antwortet nur sehr langsam nach einspielen von "livedaten". ich gucks mir an. sehe ich doch 3 verzeichnisse min insgesammt 18,8 millionen dateien da drin. das kann doch nicht performant sein.
der entwickler hält dagegen er habe das so gelernt und das sei das "nonplusultra"... hmm ein rm auf eine datei braucht schon -je nach verzeichnis- zwischen 40 sek und 3 minuten... lange wartezeiten auf io usw..
da ich ja nur n popeliger system engineer bin und der entwickler "master developer mit doktortitel" hab ich nun den schwarzen peter und muss die maschiene schnell machen damit sein system läuft. aber irgendwie glaub ich immer noch nicht das millionen von kleinen dateien in einem verzeichnis performant sein sollen...

grüße

tassilo

[Toktar]

Hast Du noch weitere Daten? Filesystem/OS, Single IDE-Platte/Raid10 aus 15kSAS, Blockgröße usw.

PS: das Entwickler mal irgendwas irgendwo so gelernt haben und danach lernresistent werden ist allgemein bekannt....

[Fleedwood]

das ist nicht performant mit Standard Directory Zugriff. Es gibt da btree/hashes zur Directory Verwaltung, die
könnten das abfangen (keine persönliche Erfahrung damit), aber Datenbank schreibt man anders. Das dumme
bei sowas ist einfach, daß man hier mit Metadaten rumdaddelt für die oftmals anderes Caching betrieben wird
um eben im Fall eines Crashes nicht das ganze Filesystem zu verlieren. Das drückt alles auf die Performance.

BTW. je nach Filesystem ist mit dem Wahnsinn bei ~2^32 Dateine Schluß, weil dann die Max Inode Grenze erreicht ist.

Thomas.

[tassilo]

Hast Du noch weitere Daten? Filesystem/OS, Single IDE-Platte/Raid10 aus 15kSAS, Blockgröße usw.

"normaler" server , 4 core, 16gb ram, 6 sata platten (raid5 mit raidcontroller) -imho- 10k platten, 4k blockgröße, sles11 (ich kann morgen mal nach den eckdaten gucken, habe es für heute erst mal verdrängt)

grüße

tassilo

[Fleedwood]

"normaler" server , 4 core, 16gb ram, 6 sata platten (raid5 mit raidcontroller) -imho- 10k platten, 4k blockgröße, sles11 (ich kann morgen mal nach den eckdaten gucken, habe es für heute erst mal verdrängt)

welches Filesystem ? Wenns ext3 ist, kann man mit  "tune2fs -O dir_index" b-tree hashes einschalten.

Thomas.

[oreissig]

dass es quatsch ist seine daten in millionen von files abzulegen sollte auf der hand liegen. schon allein das ablegen ist mega ineffizient und wie er darauf effektiv sucht ist sicher auch spannend

ganz primär würd mich aber mal interessieren, wo er das denn gelernt haben will.
nur mal so vorsorglich, falls ich mal wieder was von dort höre, dass ich das nur mit nem guten schuss sarkasmus genieße.

[Marcus]

Hallo!

Also, das letzte Mal, dass ich von so einer Konstruktion gehört habe, war das unter COMET (das war auf NIXDORF Quattro das, was heute SAP R/3 ist). Da wurden die Daten tatsächlich in Textdateien gespeichert. Aber das ist 25 Jahre her...

Das Ganze kann allerdings halbwegs sinnvoll sein, wenn eine Datei praktisch einen Datensatz darstellt. Dann kann man die nämlich ganz ohne Datenbank (Kosten, Einfachheit,...) anlegen, löschen, ändern und vorallem suchen! Die Arbeit nimmt einem nämlich das Dateisystem ab. Nur eine Volltextsuche ist vielleicht etwas zeitraubender. Man sollte aber darauf achten, dass sich die Satzgröße nicht verändert, sonst fragmentiert das Ganze und dann wird es echt ärgerlich. Man sollte auch die Blockgröße halbwegs anpassen, sonst wird das Ganze zur Geldverschwendung. Aber das ist ja heute nicht mehr so wild.

Also, machen kann man das. Ob es im Einzelfall sinnvoll ist, ist was anderes. Ich denke, um die Kiste schneller zu bekommen wäre ein schnelles Platten-Subsystem das vernünftigste. Kein RAID5, lieber 10, und Platten, die niedrige Zugriffszeiten haben. Ob "viel Cache" sinnvoll ist, hängt davon ab, in welcher Reihenfolge voraussichtlich auf die Dateien zugegriffen wird.

Alles in Allem ist das aber trotzdem eher eine Bastellösung als professionelles Datenmanagement.

Gruß!

[Toktar]

Wenn Du das mit Technik erschlagen musst, dann würde ich auch RAID10 machen, möglicherweise auch noch Btrfs. Ich weiß nur aus dem Hut nicht, ob SLES 11 das schon supportet. SSD wären auch noch eine Option, alles eine Frage der finanziellen Möglichkeiten.

<Ironie> Als ich noch 8bit Assembler programmierte und jedes Register kannte, ja da war das schon so........</Ironie>

[tassilo]

moin

da wir noch eine ramdisk herumliegen haben (steckkarte mit 4gb und akkupack) werd ich das mal versuchen da das erst mal nix kostet. daten sind nicht viel, nur viele dateien. dann ein sync alle 15 min auf platte was sich geändert hat. sollte -imho- doch schon was bringen.

grüße

tassilo

[tassilo]

kurzes update... die ramdisk bringt eine menge. nur das "syncen auf platte" macht probleme. ein rsync braucht gut 1,5h für das "hole fileliste" was gegen die idee spricht das alles 15 min laufen zu lassen. wäre zu schön gewesen. also doch ssd

grüße

tassilo