DIG Digital Corner
Alles wat je altijd al over computers, hardware, software, internet en elektronische gadgets had willen weten, maar niet op Tweakers.net durft te vragen.
Het valt mij op dat mensen heel graag ook mooie plaatjes willen maken maar vaak niet de nodige know-how hebben
om het op hen eigen PC te doen en zonder restricties die de meeste online AI services toepassen.
bovendien is het gratis want het leven is al duur genoeg.
Ook denken mensen vaak dat je een super pc nodig hebt, wat helemaal niet zo is.
Ik draai al mijn renders op een NIVIDA 1050ti met 4GB (200 euro kaartje) en zoals je gezien hebt misschien,
zijn de iteraties net zo mooi als een iteratie van een kaart die 4x duurder is. Enige verschil is eigenlijk snelheid.
Maar wat zijn nou CUDA cores?
Je kaart heeft wel zogenaamde CUDA cores nodig en wat zijn die cuda cores nou eigenlijk, komt op neer dat deze cores (Compute Unified Device Architecture) speciaal gemaakt zijn om repetitie code
uit te voeren net zoals je CPU met meerde cores in parallel of sequential werkt met programma's vanuit het geheugen met het verschil dat deze cores speciaal zijn ontwikkelt voor grafische doeleindes (denk aan algorithms en shaders).
Hier is een (compleet weet ik niet zeker) lijst van alle kaartjes die CUDA's heeft:
https://svi.nl/GPUCards
Je zou de SD (Stable Diffusion) kunnen zien als een wrapper om deze cuda cores aan te sturen, want AI
is namelijk een en al algorithms, er bestaan ook CPU-only wrappers maar eerlijk een CPU is niet gemaakt
voor dit, het mist bepaalde instructies die veelal met grote nummers en decimalen hebben.
Daarbij heeft de SD wrapper een reeks functies en features die het mogelijk maken om de AI te binden
aan een model wat getraind is met plaatjes en omschrijvingen, zoiets als een bibliotheek voor ons als ware.
Er bestaan heel wat soorten models.
- Standaard model (1.4) van Dream Studio
- Manga
- Waifu (NSFW!!!)
- Robotics
- ga zo maar door...
Handige referentie/download site voor models:
https://cyberes.github.io/stable-diffusion-models/
Hoe meer zo'n AI weet van de wereld (omschrijvingen) des te beter en meer precies het resultaat.
Het geheugen is natuurlijk ook essentieel voor dit proces, hoe meer en sneller ..nou ja dit is logisch.
Enfin, het leek mij handig als d'r dan iemand is die dit even in jip en janneke (niet beledigt bedoeld)
taal uitlegt voor die mensen die gewoon geen interesse hebben in de nerd data maar gewoon plaatjes willen maken.
Optioneel: Alles via een webbrowser
SD heeft ook een feature die het mogelijk maakt het via je browser te doen, het start dan een instantie op
van de AI en bind deze aan een klein web servertje dus dan hoef je niet te kloten met een terminal maar
wel zeg ik erbij, hoe meer resource er nodig is, des meer moeite je PC moet doen om dit allemaal van een
kant naar de andere kant te schrijven, dus ik persoonlijk ben meer van de Command Line Interface omdat
dit nou eenmaal amper resource nodig heeft.
Het moeilijke gedeelte
Het lastige stukje is eigenlijk alleen maar de installatie, en dit is maar 1x nodig, daarna is het Start & Play
Hierin wil ik mensen helpen die daar dus niet zoveel van weten.
SD draait op python in een zogenoemde "omgeving" (environment) dat is een geïsoleerd foldertje
wat alle benodigdheden heeft om SD draaiend te maken.
Ik ben bereid om via Discord (Voice of Tekst) je te helpen, deze stappen zijn inderdaad moeilijk
te begrijpen omdat men allerlei lastige termen gebruikt die je wellicht nooit van je leven gehoord hebt.
Wees bereid om dus een Python installatie uit te voeren en dan vervolgens gaan we een "omgeving"
maken (folder) die alle benodigdheden bevat, deze staan al voor gemaakt op Github die door hele vriendelijk mensen in mekaar gezet is en getest zijn 100% te werken.
De SD pagina is te vinden op: https://github.com/invoke-ai/InvokeAI
(Uiteraard is er ook gedacht aan Linux en Mac gebruikers)
Windows: https://github.com/invoke(...)n/INSTALL_WINDOWS.md
Mac: https://github.com/invoke(...)ation/INSTALL_MAC.md
Linux: https://github.com/invoke(...)ion/INSTALL_LINUX.md
Ook moeten even een model downloaden van Dream Studio's (1.4 is de huidige versie) en binnenkort
gaan ze ook de 1.5 publiceren, dit model is nog groter en breder getraind.
Waar staat dat model?
Nou hier zo: https://huggingface.co/CompVis/stable-diffusion-v-1-4-original
(Die website verwacht wel dat je even registreert, maar das alles)
Model 1.4 heeft in totaal 859.52 miljoen parameters, dat wil dus zeggen dat de AI kennis heeft van
van bijna 860 miljoen plaatjes met daarbij horende omschrijvingen.
Je kan er dus op rekenen dat de 1.5 het dubbele zal hebben maar houdt er rekening mee,
een groter model kan ook groter uitvallen in geheugen gebruik.
Gelukkig hebben ze bij Dream Studio's daar over nagedacht en men heeft de SD zo gemaakt
dat ze in gesplitste subs werken, dat houdt in, SD verdeeld de uitvoering in stappen zodat
het niet gelijk enorm grootte geheugen blocks aanroept. Maar dit gaat ten koste van de snelheid.
Ik heb daar niet zoveel moeite mee, ik denk jullie ook niet, je wil immers mee doen, niet waar?
Mijn plaatjes hebben rare ogen of gezichten!
Ook daar hebben ze iets voor gevonden, zogenaamde GFPGAN
dit is een post-processor die gezichten hersteld en ook kleur correctie toepast.
Voorbeeld:
(soms is de sterkte van de processor iets te veel (zie haar lijnen) maar dan schroef je het getal lager)
Github: https://github.com/TencentARC/GFPGAN
Moeten we dat dan ook zelf doen? nee, SD doe dit al van zichzelf maar dan moet je dat wel
aangeven bij de CLI met een argument -G0.5
Dus even in het kort samengevat, wat heb je nodig
- Grafische kaart met CUDA cores en minimaal 4gb aan geheugen
- Beetje schrijf ruimte van zeker 10 a 20gb
- Python installatie
- Paar Github repo's (wees niet bang das letterlijk 1 opdracht regel)
- Het Model bestand van 4Gb (als ik me niet vergis)
- En een cmd -prompt (of Powershell) waar we SD starten
- Klaar is kees.
Als je hulp nodig hebt, spreken we even af op Discord en dan gaan es kijken wat we voor je kunnen doen.
ps:
Er zullen geheid spellings fouten in staan, maar ik ben maar een autistisch mbo'ertje die al bijna 10 jaar
bezig met Ai ontwikkeling en PoC's schrijft. mijn kennis is breed maar ben geen expert.
[ Bericht 0% gewijzigd door TheBarret op 04-10-2022 18:03:32 ]
om het op hen eigen PC te doen en zonder restricties die de meeste online AI services toepassen.
bovendien is het gratis want het leven is al duur genoeg.
Ook denken mensen vaak dat je een super pc nodig hebt, wat helemaal niet zo is.
Ik draai al mijn renders op een NIVIDA 1050ti met 4GB (200 euro kaartje) en zoals je gezien hebt misschien,
zijn de iteraties net zo mooi als een iteratie van een kaart die 4x duurder is. Enige verschil is eigenlijk snelheid.
Maar wat zijn nou CUDA cores?
Je kaart heeft wel zogenaamde CUDA cores nodig en wat zijn die cuda cores nou eigenlijk, komt op neer dat deze cores (Compute Unified Device Architecture) speciaal gemaakt zijn om repetitie code
uit te voeren net zoals je CPU met meerde cores in parallel of sequential werkt met programma's vanuit het geheugen met het verschil dat deze cores speciaal zijn ontwikkelt voor grafische doeleindes (denk aan algorithms en shaders).
Hier is een (compleet weet ik niet zeker) lijst van alle kaartjes die CUDA's heeft:
https://svi.nl/GPUCards
Je zou de SD (Stable Diffusion) kunnen zien als een wrapper om deze cuda cores aan te sturen, want AI
is namelijk een en al algorithms, er bestaan ook CPU-only wrappers maar eerlijk een CPU is niet gemaakt
voor dit, het mist bepaalde instructies die veelal met grote nummers en decimalen hebben.
Daarbij heeft de SD wrapper een reeks functies en features die het mogelijk maken om de AI te binden
aan een model wat getraind is met plaatjes en omschrijvingen, zoiets als een bibliotheek voor ons als ware.
Er bestaan heel wat soorten models.
- Standaard model (1.4) van Dream Studio
- Manga
- Waifu (NSFW!!!)
- Robotics
- ga zo maar door...
Handige referentie/download site voor models:
https://cyberes.github.io/stable-diffusion-models/
Hoe meer zo'n AI weet van de wereld (omschrijvingen) des te beter en meer precies het resultaat.
Het geheugen is natuurlijk ook essentieel voor dit proces, hoe meer en sneller ..nou ja dit is logisch.
Enfin, het leek mij handig als d'r dan iemand is die dit even in jip en janneke (niet beledigt bedoeld)
taal uitlegt voor die mensen die gewoon geen interesse hebben in de nerd data maar gewoon plaatjes willen maken.
Optioneel: Alles via een webbrowser
SD heeft ook een feature die het mogelijk maakt het via je browser te doen, het start dan een instantie op
van de AI en bind deze aan een klein web servertje dus dan hoef je niet te kloten met een terminal maar
wel zeg ik erbij, hoe meer resource er nodig is, des meer moeite je PC moet doen om dit allemaal van een
kant naar de andere kant te schrijven, dus ik persoonlijk ben meer van de Command Line Interface omdat
dit nou eenmaal amper resource nodig heeft.
Het moeilijke gedeelte
Het lastige stukje is eigenlijk alleen maar de installatie, en dit is maar 1x nodig, daarna is het Start & Play
Hierin wil ik mensen helpen die daar dus niet zoveel van weten.
SD draait op python in een zogenoemde "omgeving" (environment) dat is een geïsoleerd foldertje
wat alle benodigdheden heeft om SD draaiend te maken.
Ik ben bereid om via Discord (Voice of Tekst) je te helpen, deze stappen zijn inderdaad moeilijk
te begrijpen omdat men allerlei lastige termen gebruikt die je wellicht nooit van je leven gehoord hebt.
Wees bereid om dus een Python installatie uit te voeren en dan vervolgens gaan we een "omgeving"
maken (folder) die alle benodigdheden bevat, deze staan al voor gemaakt op Github die door hele vriendelijk mensen in mekaar gezet is en getest zijn 100% te werken.
De SD pagina is te vinden op: https://github.com/invoke-ai/InvokeAI
(Uiteraard is er ook gedacht aan Linux en Mac gebruikers)
Windows: https://github.com/invoke(...)n/INSTALL_WINDOWS.md
Mac: https://github.com/invoke(...)ation/INSTALL_MAC.md
Linux: https://github.com/invoke(...)ion/INSTALL_LINUX.md
Ook moeten even een model downloaden van Dream Studio's (1.4 is de huidige versie) en binnenkort
gaan ze ook de 1.5 publiceren, dit model is nog groter en breder getraind.
Waar staat dat model?
Nou hier zo: https://huggingface.co/CompVis/stable-diffusion-v-1-4-original
(Die website verwacht wel dat je even registreert, maar das alles)
Model 1.4 heeft in totaal 859.52 miljoen parameters, dat wil dus zeggen dat de AI kennis heeft van
van bijna 860 miljoen plaatjes met daarbij horende omschrijvingen.
Je kan er dus op rekenen dat de 1.5 het dubbele zal hebben maar houdt er rekening mee,
een groter model kan ook groter uitvallen in geheugen gebruik.
Gelukkig hebben ze bij Dream Studio's daar over nagedacht en men heeft de SD zo gemaakt
dat ze in gesplitste subs werken, dat houdt in, SD verdeeld de uitvoering in stappen zodat
het niet gelijk enorm grootte geheugen blocks aanroept. Maar dit gaat ten koste van de snelheid.
Ik heb daar niet zoveel moeite mee, ik denk jullie ook niet, je wil immers mee doen, niet waar?
Mijn plaatjes hebben rare ogen of gezichten!
Ook daar hebben ze iets voor gevonden, zogenaamde GFPGAN
dit is een post-processor die gezichten hersteld en ook kleur correctie toepast.
Voorbeeld:
(soms is de sterkte van de processor iets te veel (zie haar lijnen) maar dan schroef je het getal lager)
Github: https://github.com/TencentARC/GFPGAN
Moeten we dat dan ook zelf doen? nee, SD doe dit al van zichzelf maar dan moet je dat wel
aangeven bij de CLI met een argument -G0.5
Dus even in het kort samengevat, wat heb je nodig
- Grafische kaart met CUDA cores en minimaal 4gb aan geheugen
- Beetje schrijf ruimte van zeker 10 a 20gb
- Python installatie
| 1 | https://github.com/invoke-ai/InvokeAI/blob/main/docs/installation/INSTALL_WINDOWS.md |
- Het Model bestand van 4Gb (als ik me niet vergis)
- En een cmd -prompt (of Powershell) waar we SD starten
- Klaar is kees.
Als je hulp nodig hebt, spreken we even af op Discord en dan gaan es kijken wat we voor je kunnen doen.
ps:
Er zullen geheid spellings fouten in staan, maar ik ben maar een autistisch mbo'ertje die al bijna 10 jaar
bezig met Ai ontwikkeling en PoC's schrijft. mijn kennis is breed maar ben geen expert.
[ Bericht 0% gewijzigd door TheBarret op 04-10-2022 18:03:32 ]
|
|
