AI video upscaling

Ben al een paar jaar met o.a. Topaz Video AI bezig en voorheen was dat best bruikbaar op redelijke kwaliteit video's maar als het echt slecht werd, kreeg je vreemde gezichten of voorwerpen die niet meer te identificeren waren.

Nu is er eindelijk "diffusion upscaling" die ze "Starlight (mini)" noemen en dat is een flinke stap vooruit.

Om te testen heb ik een 320 x 200 pixel video van YouTube geplukt die er al 18 jaar op staat.
Deze video eerst in DaVinci Resolve geopend om de belichting en witbalans iets aan te passen.

De export daarvan in Topaz ingelezen, met "Starlight Mini" gerenderd naar 1280x960 pixels.
Die render duurde ongeveer 2u55m op een RTX4090 dus je moet wel geduld hebben.

Het is dan ook wat "dood" omdat alle ruis en leven eruit is.

Dus in een laatste stap nog een upscale naar 1920x1440 pixels met hun "Proteus" AI model en daarbij ook wat grain toegevoegd om weer wat "leven" te krijgen in de beelden, anders wordt het zo glad en typisch AI.
Die laatste upscale duurt maar zo'n 18 minuten, dus dat is goed te doen.
Hoger gaan in resolutie heeft op dit moment weinig nut, je creëert geen nieuwe informatie meer, alleen maar meer pixels.

Het origineel:
Bekijk deze YouTube-video

De opgeschaalde versie:
Bekijk deze YouTube-video

Een grote stap vooruit.

Wat nog wel een zwakke plek van de AI is, is de weergave van haar mond in de uitgezoomde delen van de video, zodra haar mond deze deels achter de microfoon verdwijnt. Ook de tekst op het keyboard is dan soms met wat fantasie ingevuld. Het is wel al een stuk beter dan een jaar geleden maar daar zit nog wel een verbeterpuntje.

quote:

Op donderdag 17 juli 2025 17:27 schreef Jan_Onderwater het volgende:
De verbeteringen zijn indrukwekkend, maar het is wel een dingetje van minder is meer. Vraag me af wat je krijgt als je goede 4K opnames er doorheen jaagt, en de resolutie niet verhoogd, maar de kleurbalans, scherpte, contrast en contrastomvang, gamma, belichting, helderheid, verzadiging, levendigheid, kleurtemperatuur en ruisonderdrukking optimaliseert.

Daar zijn ook wel modellen voor, is een andere tak van sport. Het graden van video zou op zich prima te doen moeten zijn voor AI als je vooraf je wensen instelt. Ruisonderdrukking is altijd gevaarlijk, video wordt er al snel "dood en mat" van. Foto's ook, je moet het niet overdoen.

Voor dit soort lage videokwaliteit heb je nu de "diffusion" modellen, die kunnen op "ervaring" details terughalen omdat ze daar op getraind zijn.
Het betekent niet dat je krijgt wat er origineel ook was maar wel een video die plezieriger aan de ogen is.
Voor een homevideo is het wel riskant, omdat je familieleden er toch wat anders uit kunnen gaan zien (en soms is dat een verbetering ).

quote:

Op zondag 20 juli 2025 09:20 schreef raptorix het volgende:
Tanden zijn ook vaak een probleem.

Klopt, handen gaan wel steeds beter, in het begin hadden mensen wel eens 7 vingers ofzo.