De fileserver gaat werkelijk niets anders doen dan bestanden serveren.
Welke processorsnelheid zou ik minimale moeten hebben zodat de bottleneck van het systeem niet de processor maar de harde schijven gaat zijn?
Nuttige benchmarks over het RAID gebeuren van FreeBSD kan ik nergens vinden
( en dan heb ik een X2 4400 met nvidia nforce 4 satehraid )
op mn server heb ik geen flauw idee
ding heeft zelfde chipset, draait wel FreeBSD maar heeft een 3000+ single core.. :pTVP dus
Het schijnt zo te zijn dat de software implementatie van RAID onder FreeBSD stukken beter is als onder Linux.
Ik ben wel bezig met een test in een vmware, wat ik daar benchmark weet ik in ieder geval dat het echt werkelijk niet langzamer zou kunnen
(Met 8 schijven die enkel images op 1 schijf zijn 
)quote:zou ik kunnen testen.. want ik heb weer 4x 250gb in raid 0Op zondag 17 juni 2007 20:22 schreef Keiichi het volgende:
Windows XP, daar noem je me wat
Het schijnt zo te zijn dat de software implementatie van RAID onder FreeBSD stukken beter is als onder Linux.
Ik ben wel bezig met een test in een vmware, wat ik daar benchmark weet ik in ieder geval dat het echt werkelijk niet langzamer zou kunnen
dat zou weer hogere performance kunnen leveren.. maar VMware is zowiezo al traag
quote:Als die schijven toch niets te doen hebben kun je dat wel testenOp zondag 17 juni 2007 20:23 schreef Ou-Tannu het volgende:
[..]
zou ik kunnen testen.. want ik heb weer 4x 250gb in raid 0
dat zou weer hogere performance kunnen leveren.. maar VMware is zowiezo al traag
maar ik ga er niet vanuit dat je voor je lol 4 schijven hebt zonder er iets mee te doen Wellicht als ik een processor met VT heb, dat het een beetje gestroomlijnd word.
maar goed doorgaans ruimte zat... alleen ik heb geen zin om een VMWARE machine te maken met FreeBSD (32bit) en softraid uit te hengelen
FreeBSD 6.2 draaiende onder vmware met 1 core 1024mb mem. 8 schijven van 512mb in Raid5
Hostsysteem: E4300, 4196mb mem
Resultaat:
Version 1.93c ------Sequential Output------ --Sequential Input- --Random-
Concurrency 4 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
freebsdvmware.se 1G 51 85 6640 9 9018 20 59 99 36539 57 2147 371
Latency 818ms 1392ms 1464ms 279ms 39588us 244ms
Version 1.93c ------Sequential Create------ --------Random Create--------
freebsdvmware.searc -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 295 43 26169 99 1942 85 1072 78 25178 99 1902 82
Latency 2683ms 750us 72507us 157ms 910us 1960us
Niet heel erg onaardig.
Schrijven met 6.6Mbytes/sec met 9% CPU load
Lezen met 36.5Mbytes/sec met 57% CPU load
Maar goed, ik denk dat je op geen enkele manier zou kunnen zeggen hoe dit in een echte scenario, zonder para virtualisatie en virtuale harde schijfjes, zal uitpakken.
quote:Kun je niet beter iets meer betalen voor een mobo met hardware raid en dan een goedkoop sempron processorretje erop gooien? lijkt me dat je met die combo meer dan voldoende hebt. (evt denk ik dat je met de goedkoopste sempron sowieso (ook met software raid) al voldoende processorkracht hebt.Op zondag 17 juni 2007 21:41 schreef Keiichi het volgende:
Mijn mini testopstelling.
FreeBSD 6.2 draaiende onder vmware met 1 core 1024mb mem. 8 schijven van 512mb in Raid5
Hostsysteem: E4300, 4196mb mem
Resultaat:
Version 1.93c ------Sequential Output------ --Sequential Input- --Random-
Concurrency 4 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
freebsdvmware.se 1G 51 85 6640 9 9018 20 59 99 36539 57 2147 371
Latency 818ms 1392ms 1464ms 279ms 39588us 244ms
Version 1.93c ------Sequential Create------ --------Random Create--------
freebsdvmware.searc -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 295 43 26169 99 1942 85 1072 78 25178 99 1902 82
Latency 2683ms 750us 72507us 157ms 910us 1960us
Niet heel erg onaardig.
Schrijven met 6.6Mbytes/sec met 9% CPU load
Lezen met 36.5Mbytes/sec met 57% CPU load
Maar goed, ik denk dat je op geen enkele manier zou kunnen zeggen hoe dit in een echte scenario, zonder para virtualisatie en virtuale harde schijfjes, zal uitpakken.
...of wou je 2e hands spul gaan kopen?...
quote:Tsja, hardware RAID is een ramp in mijn ervaring. Supporttools die op bijna geen enkel OS worden ondersteund; uren wachten in het RAID BIOS met je server plat terwijl hij aan het rebuilden is; disks die kapotgaan zonder dat je het merkt (ja, de server gaat piepen, daar heb je veel aan); vage array corrupties zonder enkele reden...Op zondag 17 juni 2007 21:45 schreef cygnusx het volgende:
[..]
Kun je niet beter iets meer betalen voor een mobo met hardware raid en dan een goedkoop sempron processorretje erop gooien? lijkt me dat je met die combo meer dan voldoende hebt. (evt denk ik dat je met de goedkoopste sempron sowieso (ook met software raid) al voldoende processorkracht hebt.
...of wou je 2e hands spul gaan kopen?...
Ik ben al een paar jaar helemaal over op software RAID in de vorm van gmirror, en dat heeft niets te maken met knaken. Ik heb een paar keer die extra honderdjes neergelegd voor hardware RAID controllers (bekende merken, niet van die cheapo onboard shit) en ik ben er elke keer door geburned.
Ik weet niet hoe stabiel en hoe gemakkelijk software RAID is onder Linux of Windows, maar op FreeBSD kan een kind de was doen. Zelfs het toevoegen en configgen kan op een draaiend systeem (alleen een reboot nodig, geen verdere downtime), hij synchroniseert terwijl je verder werkt, ideale managementtools en goede reporting.
Ik ben van plan op enkele onderdelen misschien 2de hands te kopen. De harde schijven en JBOD controller worden nieuwe in ieder geval.
Voor moeder/proc probeer ik nu uit te vinden wat het beste uitkomt. Ik zit zelf te denken aan 2de hands. (Serverbord met PCIx) of anders nieuw iets met Core2Duo. Maar dat is nog een te maken afwegen (Een 2de hands serverbord lijkt me een IO wat ruimer te zitten)
Ook ergens een SCSI Raid controller en daarbij heb ik goede ervaring. In de management software onder linux kon ik zo een harde schijf ontkoppelen, uit de server halen, later weer terug erin zetten en rebuilden. Zonder enige downtime of wat dan ook.
Alleen beetje performance verlies op het moment van rebuilden
wel slechts 2x 4 sata aansluitingen ( 2 controllers :/ maar dat mag de pret niet drukken )
heb je leuk PCI-E
2x gigabit onboard enzo quote:Jammer dat ik niet zo veel van AMD moet hebbenOp zondag 17 juni 2007 22:09 schreef Ou-Tannu het volgende:
ik heb atm een Freebsd 6.2 (of 6.1) bak draaien op een A8N-SLI-Premium bord,
wel slechts 2x 4 sata aansluitingen ( 2 controllers :/ maar dat mag de pret niet drukken )
heb je leuk PCI-E
Een beetje jammer dat ik net 2 extra connectie nog nodig zou hebben. (Er gaat geen root filesysteem op een raid 5 weggezet worden hier
Durf ik niet 
dus daar komen 2 losse schijven voor waarvan de ene ge-rsync-t met de andere word)quote:2 ide channels zijn dr goed voor :-)Op zondag 17 juni 2007 22:16 schreef Keiichi het volgende:
[..]
Jammer dat ik niet zo veel van AMD moet hebben
Een beetje jammer dat ik net 2 extra connectie nog nodig zou hebben. (Er gaat geen root filesysteem op een raid 5 weggezet worden hier
mijn server loopt nu op een 7 jaar oud 20 GB diskje
quote:Ik ben een zeikerd, maar ik wil ook voor in geval van nood ook wel CD of DVD drive eraan hebbenOp zondag 17 juni 2007 22:21 schreef Ou-Tannu het volgende:
[..]
2 ide channels zijn dr goed voor :-)
mijn server loopt nu op een 7 jaar oud 20 GB diskje
(Kan er ook gewoon een extra sata of ide kaartje bijprikken )quote:ach 2 ide poortjes.. 4 ide devices.. wat wil je nou nog meer?Op zondag 17 juni 2007 22:44 schreef Keiichi het volgende:
[..]
Ik ben een zeikerd, maar ik wil ook voor in geval van nood ook wel CD of DVD drive eraan hebben
binnenkort ga ik dr dus ff een 500GB sata disk in ketsen, kan de usb hdd tower er af, die is toch best traag blijkt..
quote:Oh zo, ik ging uit van 1IDE poort waar 2 devices op kondenOp zondag 17 juni 2007 23:08 schreef Ou-Tannu het volgende:
[..]
ach 2 ide poortjes.. 4 ide devices.. wat wil je nou nog meer?
binnenkort ga ik dr dus ff een 500GB sata disk in ketsen, kan de usb hdd tower er af, die is toch best traag blijkt..
Ik heb trouwens foutje bij het testen gemaakt, ik had een hele mooi RAID0 gemaakt en geen raid 5
hoe dom quote:kan me voor stellen.. 2 channels. kan je ook als master / slave opvattenOp zondag 17 juni 2007 23:32 schreef Keiichi het volgende:
[..]
Oh zo, ik ging uit van 1IDE poort waar 2 devices op konden
Ik heb trouwens foutje bij het testen gemaakt, ik had een hele mooi RAID0 gemaakt en geen raid 5
ik zal VMWARE eens ophengelen
quote:Ik heb inmiddels al diverse arrays onderuit geheeld in vmware.Op maandag 18 juni 2007 13:17 schreef Ou-Tannu het volgende:
[..]
kan me voor stellen.. 2 channels. kan je ook als master / slave opvatten
ik zal VMWARE eens ophengelen
Benchmarks zijn vooralsnog niet veelzeggend. Ik heb veel last van filesystem caching. heb leessnelheden van 300Mbytes/sec gehaald
zou het verschil maken tussen 4 losse disks welke door t OS geraid 5ed worden?
of uit de controller bios al raid 5 maken?
quote:Praktisch gezien komt het op het zelfde neer.Op maandag 18 juni 2007 14:10 schreef Ou-Tannu het volgende:
mjah..
zou het verschil maken tussen 4 losse disks welke door t OS geraid 5ed worden?
of uit de controller bios al raid 5 maken?
Een hardware controller draait zijn eigen stukje software om raid5 voor elkaar te brengen ondersteund door een eigen processor die niets anders doet dan parity berekenen.
Dat stukje software is zeg maar gewoon een OS als het ware.
quote:ja dat leek mij ook..Op maandag 18 juni 2007 14:19 schreef Keiichi het volgende:
[..]
Praktisch gezien komt het op het zelfde neer.
Een hardware controller draait zijn eigen stukje software om raid5 voor elkaar te brengen ondersteund door een eigen processor die niets anders doet dan parity berekenen.
Dat stukje software is zeg maar gewoon een OS als het ware.
zolang er geen eigen cpu voor is zal de CPU t zelf moeten doen quote:Maar goed, daarvoor was ik het topic begonnen om hiervan een beeld te krijgen welke processor minimaal goed genoeg zal zijnOp maandag 18 juni 2007 14:22 schreef Ou-Tannu het volgende:
[..]
ja dat leek mij ook..
dan heb je max een P4 (oid) op 1,7ghz
Als er hiermee een goede benchmark komt, dan hebben we iets
morgen op school eens overleggen als er het eea mogelijk is evt
alleen met meer dan 4 disks wordt lastig
quote:4 schijven is een mooi beginOp maandag 18 juni 2007 17:55 schreef Ou-Tannu het volgende:
nope
morgen op school eens overleggen als er het eea mogelijk is evt
alleen met meer dan 4 disks wordt lastig
Ik heb in mijn vmware nog niet voor elkaar gekregen op een juiste manier een diskfailure te simuleren, laat staan een hotspare toevoegen
quote:vmware kan je idd geen disk realtime down gooienOp maandag 18 juni 2007 18:39 schreef Keiichi het volgende:
[..]
4 schijven is een mooi begin
Ik heb in mijn vmware nog niet voor elkaar gekregen op een juiste manier een diskfailure te simuleren, laat staan een hotspare toevoegen
wel bij een reboot :-)
quote:Ik probeer het met "gvinum setstate -f down disk_3" bijvoorbeeld. De bijhorend subdisk gaat ook doen. Daarna "gvinum setstate up disk_3". bijhorende subdisk blijft in status 'stale' en ik krijg verder niets voor elkaar. De plex blijft hoe dan ook degraded.Op maandag 18 juni 2007 18:48 schreef Ou-Tannu het volgende:
[..]
vmware kan je idd geen disk realtime down gooien
wel bij een reboot :-)
quote:Op ons werk hebben we net een nieuwe server ingericht met een 3ware 9550SX RAID kaart in RAID-5 modus (S-ATA schijven) en:Op zondag 17 juni 2007 21:48 schreef soylent het volgende:
[..]
Tsja, hardware RAID is een ramp in mijn ervaring. Supporttools die op bijna geen enkel OS worden ondersteund; uren wachten in het RAID BIOS met je server plat terwijl hij aan het rebuilden is; disks die kapotgaan zonder dat je het merkt (ja, de server gaat piepen, daar heb je veel aan); vage array corrupties zonder enkele reden...
- Rebuilden/initialiseren/verifyen van de array gebeurt in de BIOS setup, of terwijl het systeem gewoon weer online komt.
- Alle gebeurtenissen wat betreft de kaart/array (zoals het falen van een schijf of het aangeven dat een rebuild voltooid is, etc.) hebben een bericht in de kernel log tot gevolg, met een standaardnotatie met unieke foutcodes zodat je ze kan afvangen en verwerken zoals gewenst.
- Alle acties die je in de BIOS kan doen (zoals maintenance/configuratie of het activeren/rebuilden van een nieuwe schijf), kunnen ook via een officiële commandline tool in FreeBSD zonder dat er downtime is. Zit in de ports tree.
- Eeen zesde schijf is aangewezen als hotspare die automatisch gerebuild wordt als een schijf uitvalt.
We hebben het ding misschien te kort om vage array corrupties zonder reden mee te maken
Er werd wel groot alarm aangegeven toen we de write cache wilden inschakelen op de array terwijl er geen BBU (battery backup unit) op de kaart zat om de cache bij stroomuitval of crashes e.d. te bewaren... daar kan een array ook flink de mist door in gaan. Die batterij komt als het goed is deze week binnen zodat het ding tegen de 300 MB/sec lees en 150 MB/sec schrijfsnelheid heeft in RAID-5.De kaart was wel ruim 500 euro, en ik zou verwachten dat alle kaarten met een dergelijke prijs niet voor downtime zorgen tijdens managament e.d... anders is het wel schandalig inderdaad.
Overigens gebruik ik voor mijn thuisservertje gewoon lekker gmirror in RAID-1, dat is een heerlijke RAID vorm om in software te doen omdat je gewoon van je array kan booten (1 schijf werkt namelijk nog steeds prima om je kernel van te lezen
) en het heel goedkoop en toch lekker snel is. Vorig jaar had ik nogal pech met gare Maxtor schijven... gmirror heeft me vier keer gered en geen bit verloren.Software RAID-5 in FreeBSD (geom_raid5) heb ik weleens mee getest, nog niet serieus gebruikt. Het werkte prima, al kon ik natuurlijk niet booten van de array. Is het inmiddels stabiel genoeg? Laatste keer dat ik ermee bezig was zat alleen geom_raid3 nog in de officiële FreeBSD code.
quote:Er hoeft ook niet van de RAID array zelf geboot worden.Op maandag 18 juni 2007 22:22 schreef Henno het volgende:
Software RAID-5 in FreeBSD (geom_raid5) heb ik weleens mee getest, nog niet serieus gebruikt. Het werkte prima, al kon ik natuurlijk niet booten van de array. Is het inmiddels stabiel genoeg? Laatste keer dat ik ermee bezig was zat alleen geom_raid3 nog in de officiële FreeBSD code.
Of het stabiel is? Ik ben nog aan het testen, maar momenteel krijgt een 3ware of areca controller een voorkeur al kosten deze manier enkele honderden euro's meer.
Wat ik begrepen heb is dat een de 6-release van FreeBSD vinum met geom gecombineerd is.
quote:mja booten van de Array lijkt me zowiezo niet handig?Op maandag 18 juni 2007 22:44 schreef Keiichi het volgende:
[..]
Er hoeft ook niet van de RAID array zelf geboot worden.
Of het stabiel is? Ik ben nog aan het testen, maar momenteel krijgt een 3ware of areca controller een voorkeur al kosten deze manier enkele honderden euro's meer.
Wat ik begrepen heb is dat een de 6-release van FreeBSD vinum met geom gecombineerd is.
iets wat ik ook evt niet ga doen.. ben benieuwd naar de performance namelijk
dan zet ik wel 3xof 4x 250gB er voor in ipv 1x 500G single disk :-)