[Linux/Unix] [/Gurus/helpen/newbies]$ ./deel 35

quote:

Op woensdag 9 november 2011 15:06 schreef Joooo-pi het volgende:

[..]

Mwoa... 1 punt per core, toch? Dan is 11 wel hoog.

Alleen de laatste minuut. Het is wel een stuk hoger dan optimaal is, maar het is niet heel indrukkend. Als je even flink wat aan het copieren bent of een database wat enkele GB inladen dan zijn zulke pieken vrij normaal. Als het laatste getal, dus het gemiddelde over 15 minuten, constant boven je aantal cores zit zou ik er wel wat aan doen.

quote:

Op woensdag 9 november 2011 14:57 schreef Boze_Appel het volgende:

[..]

Echte mannen gebruiken dd. Ik maak gewoon 1x per week via een cronjob een dd van mijn complete ssd naar een hdd. Ik hoef alleen in de bios de boot veranderen als mijn SSD er mee ophoudt. Werkt perfect, maar ik heb dan ook niet zoveel data voor OS ed. staan.

Backuppen met dd? Dat is nog van vroeger, toen mannen nog mannen waren en iedereen werkte met van die groene ASCII terminals!

quote:

Op woensdag 9 november 2011 14:54 schreef Boze_Appel het volgende:

[..]

Zonder te weten wat voor processor(en) er in de bak zit zegt dit helemaal niets. Voor een quadcore is dit gewoon een kleine piek.

single core machientje

quote:

Op woensdag 9 november 2011 18:41 schreef PiRANiA het volgende:

[..]

Doe ik nog vrijwel dagelijks. Ik gebruik lynx zelfs nog vrij regelmatig .

Tsja, ik heb het ook geinstalleerd, maar alleen bij noodzaak. 't is verder niet heel handig.

Ik werk weleens met grote datasets. Op mijn laptopje met 4GB en 2 gebruikers ingelogd wil dat weleens leiden tot een lockup omdat hij als een malle loopt te swappen, en door die i/o kun je niks anders doen. Via ctrl+alt+f1 kom ik na een aantal pogingen toch in een terminal, en kan ik het badass programma killen. Ik zoek een manier om een soort ionice mee te geven aan het swap systeem, zodat mijn systeem responsive (kan niet op het Nederlandse woord komen) blijft en ik vrij ben om een terminal window te starten. Of systeem monitor, voor mijn part.

Nu is er de swappiness parameter, maar daarmee geef je aan hoe snel het systeem mag overgaan tot wegswappen van data die je even niet nodig hebt. Dat mag van mij gewoon gebeuren, zolang de prioriteit gewoon op de grafische interface blijft.

Ik kan misschien wel iets in elkaar hacken zodat ionice het swap proces zich wat liever laat gedragen, maar als er een betere manier is hoor ik dat graag

quote:

Op maandag 7 november 2011 18:02 schreef gebrokenglas het volgende:
Om op die profile terug te komen: ik heb 1 .bash_profile die werkt voor alle soorten systemen.
Heb thuis 3 soorten systemen staan: een iMac, een macbook, en ubuntu linux. Ja en Windows, maar die telt niet mee.
Overal heb ik exact dezelfde shell scripts staan in een scripts directory. Elk shell script werkt op elk systeem hetzelfde, in elk script zit de benodigde intelligentie om te bepalen welk commando voor welk systeem nodig is.
Het grote voordeel is dat ik nooit hoef na te denken op welk systeem ik op dat moment zit te werken, overal zijn de commando's hetzelfde en de uitkomst natuurlijk ook.
Toegegeven, het is even wat meer werk om zo'n ding te maken, maar het betaalt zich later echt terug. Dit als tip aan de newbie's

Een voorbeeldje: ik heb een script datesync die de klok van het systeem synct met een ntp server.
En de code is ongeveer:
[ code verwijderd ]

Waarom doe je het op basis van hostname? uname -s is volgens mij een stuk makkelijker om dat soort ongein mee uit te halen..

OSX: Darwin
Linux: Linux

etc etc.

En je zou op basis daarvan kunnen doen:


En dan in je bashrc:

source functions.$(uname -s)

En klaar.

En waarom installeer je geen openntpd op je machines, heb je dit script helemaal niet nodig. En ntpdate werkt toch overal hetzelfde?

Da's wel een goed idee, dat zo met die functions. 'k zal eens kijken. Goeie tip. Bedankt

[ Bericht 15% gewijzigd door gebrokenglas op 11-11-2011 08:19:20 ]

quote:

Op vrijdag 11 november 2011 00:07 schreef Visitor.Q het volgende:
Ik werk weleens met grote datasets. Op mijn laptopje met 4GB en 2 gebruikers ingelogd wil dat weleens leiden tot een lockup omdat hij als een malle loopt te swappen, en door die i/o kun je niks anders doen. Via ctrl+alt+f1 kom ik na een aantal pogingen toch in een terminal, en kan ik het badass programma killen. Ik zoek een manier om een soort ionice mee te geven aan het swap systeem, zodat mijn systeem responsive (kan niet op het Nederlandse woord komen) blijft en ik vrij ben om een terminal window te starten. Of systeem monitor, voor mijn part.

Nu is er de swappiness parameter, maar daarmee geef je aan hoe snel het systeem mag overgaan tot wegswappen van data die je even niet nodig hebt. Dat mag van mij gewoon gebeuren, zolang de prioriteit gewoon op de grafische interface blijft.

Ik kan misschien wel iets in elkaar hacken zodat ionice het swap proces zich wat liever laat gedragen, maar als er een betere manier is hoor ik dat graag

Is het niet gewoon handiger om je badass programma een nice van 19 mee te geven?

Er bestaat een script dat verynice heet. Daarmee kun je processen automatisch renicen.

Volgens mij wil je dat swap proces juist zo optimaal mogelijk door laten gaan, dus met de prioriteit daarvan verlagen raak je alleen maar verder van huis.

Maar dit is dus echt een memory probleem. Kun je niet wat experimenteren met de memory settings van mysql (aannemende dat het hier om mysql gaat)?

Informatie te over, bijvoorbeeld:
http://www.debianhelp.co.uk/mysqlperformance.htm

in de support-files directory (als je de source code downloadt in elk geval) zijn voorbeeld .cnf bestanden meegeleverd die je als basis kunt gebruiken:
my-huge.cnf
my-innodb-heavy-4G.cnf
my-large.cnf
my-medium.cnf
my-small.cnf

Bedankt voor de input. Het is niet altijd hetzelfde programma. Soms is het ParaView (visualisatie van grote datasets), soms is het Matlab, soms gewoon een eigen geschreven simulatie. Er is ook niet altijd op voorhand te zeggen dat het de spuigaten gaat uitlopen.

Misschien begrijp ik het swap systeem verkeerd, maar het programma ziet volgens mij gewoon dat een bepaalde geheugenallocatie gelukt is, terwijl de kernel/swap zich druk maakt of dat deel van het geheugen in het RAM komt of op de swap partitie.

Ik heb het even geprobeerd met ionice, en paraview de waarde 'idle' meegegeven en wat data ingeladen, dan nog wordt het systeem vrij traag maar het lijkt wel beter te gaan. De muis hapert, alt-tab naar een terminal moet ik op wachten. Een typische iotop staat hieronder, er vinden geen expliciete disk read/writes plaats. Dat klopt ook, want het programma schrijft niks naar het filesystem (ik vraag me daarom wel af of ionice echt helpt). Je ziet wel dat kswapd0 alle cycles opeet om paraview te laten swappen.


Ik geef er niks om dat paraview (in dit geval) sloom wordt, zolang ik maar de gelegenheid heb om het te killen zonder allerlei capriolen uit te halen (via ssh inloggen, andere TTY starten etc).

quote:

Op vrijdag 11 november 2011 12:53 schreef Visitor.Q het volgende:
Bedankt voor de input. Het is niet altijd hetzelfde programma. Soms is het ParaView (visualisatie van grote datasets), soms is het Matlab, soms gewoon een eigen geschreven simulatie. Er is ook niet altijd op voorhand te zeggen dat het de spuigaten gaat uitlopen.

Misschien begrijp ik het swap systeem verkeerd, maar het programma ziet volgens mij gewoon dat een bepaalde geheugenallocatie gelukt is, terwijl de kernel/swap zich druk maakt of dat deel van het geheugen in het RAM komt of op de swap partitie.

Ik heb het even geprobeerd met ionice, en paraview de waarde 'idle' meegegeven en wat data ingeladen, dan nog wordt het systeem vrij traag maar het lijkt wel beter te gaan. De muis hapert, alt-tab naar een terminal moet ik op wachten. Een typische iotop staat hieronder, er vinden geen expliciete disk read/writes plaats. Dat klopt ook, want het programma schrijft niks naar het filesystem (ik vraag me daarom wel af of ionice echt helpt). Je ziet wel dat kswapd0 alle cycles opeet om paraview te laten swappen.

Wow, dit is ernstig. Wat zijn de specs van je bak? Hoeveel mem zit er in?

Ik heb hier eerder ook veel problemen mee gehad; unresponsiveness van het systeem bij veel disk i/o.

Zie ook: https://bugs.launchpad.net/ubuntu/+source/linux/+bug/131094

Je kunt wel zoveel nice settings zetten, het is niet het programma wat io doet, maar de kernel (tenslotte is die aan het swappen). overcommit_ratio zou misschien wel kunnen helpen, maar zal memory thrashing niet voorkomen.

quote:

Op vrijdag 11 november 2011 12:53 schreef Visitor.Q het volgende:
Misschien begrijp ik het swap systeem verkeerd, maar het programma ziet volgens mij gewoon dat een bepaalde geheugenallocatie gelukt is, terwijl de kernel/swap zich druk maakt of dat deel van het geheugen in het RAM komt of op de swap partitie.

Correct.

quote:

Ik geef er niks om dat paraview (in dit geval) sloom wordt, zolang ik maar de gelegenheid heb om het te killen zonder allerlei capriolen uit te halen (via ssh inloggen, andere TTY starten etc).

Maar als linux gaat swappen, dan heb je niks meer aan paraview. Bijna iedere memory access van paraview zal een swap opleveren en je laptop zal al niet de snelste drive hebben (waar je dan ook nog eens de levensduur een beetje van verkort). Kun je niet gewoon een limiet zetten op max. memory size zodat het programma abort wordt als je teveel geheugen gebruik (bv "hard as " in /etc/security/limits.conf als je pam gebruikt).

quote:

Op vrijdag 11 november 2011 23:15 schreef gebrokenglas het volgende:

[..]

Wow, dit is ernstig. Wat zijn de specs van je bak? Hoeveel mem zit er in?

Laptop: Intel core2duo 2.4GHz, 4GB RAM
PC: Intel i7 930 2.8 GHz, 6GB RAM

quote:

Op zaterdag 12 november 2011 03:48 schreef devzero het volgende:
[..]
Maar als linux gaat swappen, dan heb je niks meer aan paraview. Bijna iedere memory access van paraview zal een swap opleveren en je laptop zal al niet de snelste drive hebben (waar je dan ook nog eens de levensduur een beetje van verkort). Kun je niet gewoon een limiet zetten op max. memory size zodat het programma abort wordt als je teveel geheugen gebruik (bv "hard as " in /etc/security/limits.conf als je pam gebruikt).

Super, bedankt! Ga ik eens proberen. Ik zal een extra user aanmaken waarmee ik potentieel gevaarlijke processen kan starten, die user kan ik dan limiteren op memsize-1GB (ongeveer).

Ik begrijp dat het een vrij exotische case is, maar ben volgens de link van erikll niet de enige. Ik ben benieuwd hoe andere OS'sen hiermee om gaan. Vroeger, toen ik nog op WinXP werkte, kreeg je bij een swap file size van 1.5GB wel een waarschuwing, meen ik te herinneren.

met het commando free kun je zien hoe het met je memory staat, en of je echt absurd veel van je swap gebruikt. Een paar mb is natuurlijk prima, dat zie je altijd wel; maar als het er echter honderden mb's zijn, da's ongewenst.

quote:

Op zaterdag 12 november 2011 14:54 schreef gebrokenglas het volgende:
met het commando free kun je zien hoe het met je memory staat, en of je echt absurd veel van je swap gebruikt. Een paar mb is natuurlijk prima, dat zie je altijd wel; maar als het er echter honderden mb's zijn, da's ongewenst.

Ik weet er het fijne niet van, maar als het honderen mb's zijn die op natuurlijke wijze worden weggeswapt, gewoon omdat het een tijdje niet nodig is geweest, dan hoeft dat volgens mij geen probleem te zijn. Maar dat kun je instellen met de 'swappiness' parameter, hoe hoger hoe sneller ongebruikt RAM richting swap gaat. Checken doe je zo
en instellen doe je zo ^[bron]

Het gebruik van swap is niet zo zeer het probleem, waar je naar moet kijken zijn de swap-in en swap-out acties.

Hoeveel swap in gebruik is heeft geen direct effect op je performance, de in/outs wel.

-edit- laat maar

[ Bericht 97% gewijzigd door Dragonetti op 13-11-2011 21:59:12 ]

quote:

Op zondag 13 november 2011 21:08 schreef PiRANiA het volgende:
* PiRANiA is vanaf vandaag THUIS helemaal over op Fedora 15 (op alle laptops en de desktop) .

Server blijft voorlopig ubuntu .

Eindelijk (bijna) verstandig

quote:

Op woensdag 9 november 2011 14:57 schreef Boze_Appel het volgende:

[..]

Echte mannen gebruiken dd. Ik maak gewoon 1x per week via een cronjob een dd van mijn complete ssd naar een hdd. Ik hoef alleen in de bios de boot veranderen als mijn SSD er mee ophoudt. Werkt perfect, maar ik heb dan ook niet zoveel data voor OS ed. staan.

En als die server een keer doorfikt, kan je alles kwijt zijn. En dd weet niet welke sectoren in gebruik zijn, dus moet je iedere keer de complete schijf backuppen. Worden alle blokken gechecksumd en later weer gecontroleerd?

Bij ZFS kan je zo vaak als je wilt een point-in-time snapshot maken van een file system met zfs snapshot, waarna je de verschillen tussen twee snapshots kan verzenden met zfs send, waarna je deze stream met zfs receive ergens anders weer kan importeren in een ander ZFS file system. Bijvoorbeeld over internet via een SSH tunnel. Deze stream wordt ook gechecksumd.

Als de server op ons werk affikt, kan ik gewoon een nieuwe server regelen, en een gigantische zfs send/receive operatie uitvoeren in omgekeerde richting vanaf de backup server, en elke bit aan informatie staat er weer.

Het is ook leuk dat, omdat RAID en filesystem geïntegreerd zijn, een schijf niet compleet opnieuw gerebuild hoeft te worden als deze er tijdelijk heeft uitgelegen. ZFS weet welke delen 'achter lopen', je ziet het HDD ledje even oplichten en we zijn weer actueel. Meer ruimte nodig? Gooi er een zooi schijven bij en voeg ze toe aan de pool, en daar is de extra ruimte. Partities resizen is niet nodig, want er zijn geen partities

Deduplicatie zit in de binnenkort uit te brengen FreeBSD 9.0, dit gaat voor ons wel goed gebruikt kunnen worden, want veel virtual machine images die bijna hetzelfde zijn en veel kopiëen van websites die in ontwikkeling zijn.


"Nadeeltje" is alleen dat je wel wat RAM nodig hebt om het allemaal optimaal te laten lopen, zeker met deduplicatie.... al kan je ook een snelle SSD inzetten als cache device om de random read operaties te versnellen