Minimale processor Software RAID5 in FreeBSD

op mn Windows XP haal ik een write performance van amper 6MB /sec over 4 disken :/
( en dan heb ik een X2 4400 met nvidia nforce 4 satehraid )

op mn server heb ik geen flauw idee ding heeft zelfde chipset, draait wel FreeBSD maar heeft een 3000+ single core.. :p

TVP dus

quote:

Op zondag 17 juni 2007 20:22 schreef Keiichi het volgende:
Windows XP, daar noem je me wat

Het schijnt zo te zijn dat de software implementatie van RAID onder FreeBSD stukken beter is als onder Linux.

Ik ben wel bezig met een test in een vmware, wat ik daar benchmark weet ik in ieder geval dat het echt werkelijk niet langzamer zou kunnen (Met 8 schijven die enkel images op 1 schijf zijn )

zou ik kunnen testen.. want ik heb weer 4x 250gb in raid 0

dat zou weer hogere performance kunnen leveren.. maar VMware is zowiezo al traag

mjah video editting

maar goed doorgaans ruimte zat... alleen ik heb geen zin om een VMWARE machine te maken met FreeBSD (32bit) en softraid uit te hengelen

volgens mij klopt de load niet echt

quote:

Op zondag 17 juni 2007 21:41 schreef Keiichi het volgende:
Mijn mini testopstelling.

FreeBSD 6.2 draaiende onder vmware met 1 core 1024mb mem. 8 schijven van 512mb in Raid5
Hostsysteem: E4300, 4196mb mem

Resultaat:

Version 1.93c ------Sequential Output------ --Sequential Input- --Random-
Concurrency 4 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
freebsdvmware.se 1G 51 85 6640 9 9018 20 59 99 36539 57 2147 371
Latency 818ms 1392ms 1464ms 279ms 39588us 244ms
Version 1.93c ------Sequential Create------ --------Random Create--------
freebsdvmware.searc -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 295 43 26169 99 1942 85 1072 78 25178 99 1902 82
Latency 2683ms 750us 72507us 157ms 910us 1960us


Niet heel erg onaardig.
Schrijven met 6.6Mbytes/sec met 9% CPU load
Lezen met 36.5Mbytes/sec met 57% CPU load


Maar goed, ik denk dat je op geen enkele manier zou kunnen zeggen hoe dit in een echte scenario, zonder para virtualisatie en virtuale harde schijfjes, zal uitpakken.

Kun je niet beter iets meer betalen voor een mobo met hardware raid en dan een goedkoop sempron processorretje erop gooien? lijkt me dat je met die combo meer dan voldoende hebt. (evt denk ik dat je met de goedkoopste sempron sowieso (ook met software raid) al voldoende processorkracht hebt.

_{...of wou je 2e hands spul gaan kopen?...}

Ik weet niet wat voor software-RAID oplossing je wil gaan gebruiken. Als het gaat over Gmirror kan ik melden dat ik dit op al mijn servers gebruik zonder merkbaar performanceverlies (de simpelste server is een Sempron "2500+" als ik me goed herinner). De throughput ligt zowel met als zonder Gmirror op vergelijkbare waarden (rond de 30MB/s op die trage server met ATA100-disks, rond de 50MB/s op nieuwe SATA disks).

quote:

Op zondag 17 juni 2007 21:45 schreef cygnusx het volgende:

[..]

Kun je niet beter iets meer betalen voor een mobo met hardware raid en dan een goedkoop sempron processorretje erop gooien? lijkt me dat je met die combo meer dan voldoende hebt. (evt denk ik dat je met de goedkoopste sempron sowieso (ook met software raid) al voldoende processorkracht hebt.

_{...of wou je 2e hands spul gaan kopen?...}

Tsja, hardware RAID is een ramp in mijn ervaring. Supporttools die op bijna geen enkel OS worden ondersteund; uren wachten in het RAID BIOS met je server plat terwijl hij aan het rebuilden is; disks die kapotgaan zonder dat je het merkt (ja, de server gaat piepen, daar heb je veel aan); vage array corrupties zonder enkele reden...

Ik ben al een paar jaar helemaal over op software RAID in de vorm van gmirror, en dat heeft niets te maken met knaken. Ik heb een paar keer die extra honderdjes neergelegd voor hardware RAID controllers (bekende merken, niet van die cheapo onboard shit) en ik ben er elke keer door geburned.

Ik weet niet hoe stabiel en hoe gemakkelijk software RAID is onder Linux of Windows, maar op FreeBSD kan een kind de was doen. Zelfs het toevoegen en configgen kan op een draaiend systeem (alleen een reboot nodig, geen verdere downtime), hij synchroniseert terwijl je verder werkt, ideale managementtools en goede reporting.

ik heb atm een Freebsd 6.2 (of 6.1) bak draaien op een A8N-SLI-Premium bord,

wel slechts 2x 4 sata aansluitingen ( 2 controllers :/ maar dat mag de pret niet drukken )

heb je leuk PCI-E 2x gigabit onboard enzo

quote:

Op zondag 17 juni 2007 22:16 schreef Keiichi het volgende:

[..]

Jammer dat ik niet zo veel van AMD moet hebben

Een beetje jammer dat ik net 2 extra connectie nog nodig zou hebben. (Er gaat geen root filesysteem op een raid 5 weggezet worden hier Durf ik niet dus daar komen 2 losse schijven voor waarvan de ene ge-rsync-t met de andere word)

2 ide channels zijn dr goed voor :-)

mijn server loopt nu op een 7 jaar oud 20 GB diskje

quote:

Op zondag 17 juni 2007 22:44 schreef Keiichi het volgende:

[..]

Ik ben een zeikerd, maar ik wil ook voor in geval van nood ook wel CD of DVD drive eraan hebben (Kan er ook gewoon een extra sata of ide kaartje bijprikken )

ach 2 ide poortjes.. 4 ide devices.. wat wil je nou nog meer?

binnenkort ga ik dr dus ff een 500GB sata disk in ketsen, kan de usb hdd tower er af, die is toch best traag blijkt..

quote:

Op zondag 17 juni 2007 23:32 schreef Keiichi het volgende:

[..]

Oh zo, ik ging uit van 1IDE poort waar 2 devices op konden

Ik heb trouwens foutje bij het testen gemaakt, ik had een hele mooi RAID0 gemaakt en geen raid 5 hoe dom

kan me voor stellen.. 2 channels. kan je ook als master / slave opvatten

ik zal VMWARE eens ophengelen

mjah..

zou het verschil maken tussen 4 losse disks welke door t OS geraid 5ed worden?
of uit de controller bios al raid 5 maken?

quote:

Op maandag 18 juni 2007 14:19 schreef Keiichi het volgende:

[..]

Praktisch gezien komt het op het zelfde neer.

Een hardware controller draait zijn eigen stukje software om raid5 voor elkaar te brengen ondersteund door een eigen processor die niets anders doet dan parity berekenen.
Dat stukje software is zeg maar gewoon een OS als het ware.

ja dat leek mij ook.. zolang er geen eigen cpu voor is zal de CPU t zelf moeten doen

ja ik was al even aan het denken.. mischien dat ik op school wel een test setupje kan regelen?

dan heb je max een P4 (oid) op 1,7ghz

nope
morgen op school eens overleggen als er het eea mogelijk is evt

alleen met meer dan 4 disks wordt lastig

quote:

Op maandag 18 juni 2007 18:39 schreef Keiichi het volgende:

[..]

4 schijven is een mooi begin

Ik heb in mijn vmware nog niet voor elkaar gekregen op een juiste manier een diskfailure te simuleren, laat staan een hotspare toevoegen

vmware kan je idd geen disk realtime down gooien

wel bij een reboot :-)

en als je hem keihard downgooit in een reboot? werkt je array dan nog?

quote:

Op zondag 17 juni 2007 21:48 schreef soylent het volgende:

[..]

Tsja, hardware RAID is een ramp in mijn ervaring. Supporttools die op bijna geen enkel OS worden ondersteund; uren wachten in het RAID BIOS met je server plat terwijl hij aan het rebuilden is; disks die kapotgaan zonder dat je het merkt (ja, de server gaat piepen, daar heb je veel aan); vage array corrupties zonder enkele reden...

Op ons werk hebben we net een nieuwe server ingericht met een 3ware 9550SX RAID kaart in RAID-5 modus (S-ATA schijven) en:
- Rebuilden/initialiseren/verifyen van de array gebeurt in de BIOS setup, of terwijl het systeem gewoon weer online komt.
- Alle gebeurtenissen wat betreft de kaart/array (zoals het falen van een schijf of het aangeven dat een rebuild voltooid is, etc.) hebben een bericht in de kernel log tot gevolg, met een standaardnotatie met unieke foutcodes zodat je ze kan afvangen en verwerken zoals gewenst.
- Alle acties die je in de BIOS kan doen (zoals maintenance/configuratie of het activeren/rebuilden van een nieuwe schijf), kunnen ook via een officiële commandline tool in FreeBSD zonder dat er downtime is. Zit in de ports tree.
- Eeen zesde schijf is aangewezen als hotspare die automatisch gerebuild wordt als een schijf uitvalt.

We hebben het ding misschien te kort om vage array corrupties zonder reden mee te maken Er werd wel groot alarm aangegeven toen we de write cache wilden inschakelen op de array terwijl er geen BBU (battery backup unit) op de kaart zat om de cache bij stroomuitval of crashes e.d. te bewaren... daar kan een array ook flink de mist door in gaan. Die batterij komt als het goed is deze week binnen zodat het ding tegen de 300 MB/sec lees en 150 MB/sec schrijfsnelheid heeft in RAID-5.

De kaart was wel ruim 500 euro, en ik zou verwachten dat alle kaarten met een dergelijke prijs niet voor downtime zorgen tijdens managament e.d... anders is het wel schandalig inderdaad.

Overigens gebruik ik voor mijn thuisservertje gewoon lekker gmirror in RAID-1, dat is een heerlijke RAID vorm om in software te doen omdat je gewoon van je array kan booten (1 schijf werkt namelijk nog steeds prima om je kernel van te lezen ) en het heel goedkoop en toch lekker snel is. Vorig jaar had ik nogal pech met gare Maxtor schijven... gmirror heeft me vier keer gered en geen bit verloren.

Software RAID-5 in FreeBSD (geom_raid5) heb ik weleens mee getest, nog niet serieus gebruikt. Het werkte prima, al kon ik natuurlijk niet booten van de array. Is het inmiddels stabiel genoeg? Laatste keer dat ik ermee bezig was zat alleen geom_raid3 nog in de officiële FreeBSD code.

quote:

Op maandag 18 juni 2007 22:44 schreef Keiichi het volgende:

[..]

Er hoeft ook niet van de RAID array zelf geboot worden.
Of het stabiel is? Ik ben nog aan het testen, maar momenteel krijgt een 3ware of areca controller een voorkeur al kosten deze manier enkele honderden euro's meer.

Wat ik begrepen heb is dat een de 6-release van FreeBSD vinum met geom gecombineerd is.

mja booten van de Array lijkt me zowiezo niet handig?
iets wat ik ook evt niet ga doen.. ben benieuwd naar de performance namelijk

dan zet ik wel 3xof 4x 250gB er voor in ipv 1x 500G single disk :-)

wordt um niet meer.. tijd gebrek @ school