mega-compressie - deel 2 -

Deel 2 alweer? Zit bijna in een mega-depressie

Ik wil nog steeds de uitzending zien of t boek lezen. Wat ik er tot nu toe van begreep is dat ie is geliquedeerd door Phillips omdat hun mediadragers dan in 1 klap overbodig zouden worden

quote:

Op donderdag 21 juli 2005 00:29 schreef SunChaser het volgende:
Ik wil nog steeds de uitzending zien of t boek lezen. Wat ik er tot nu toe van begreep is dat ie is geliquedeerd door Phillips omdat hun mediadragers dan in 1 klap overbodig zouden worden

In het vorige topic had iemand erover dat ie door de makers van WinZip is vermoord!

Stel dat t waar zou zijn. Dan zouden de miljarden voor UMTS, ADSL, HD's, DVD, etc in een klap achterhaald zijn. Dus er spelen wel belangen mee. Mensen worden al vermoord voor 100 euro, laat staan honderden miljarden euro's.

Is de challenge nog on? (wat mij betreft wel! )

Volgens het pigeonhole-principe is het niet mogelijk om alle permutaties van X bytes te comprimeren tot een representatie die kleiner dan X bytes is. Als je dit wel doet loopt je tijdens het decomprimeren tegen het probleem aan dat er 1 gecomprimeerd bestand zich laat terugvertalen in meer dan 1 ongecomprimeerde mogelijkheden. Effectief heb je dus informatie weggegooid waardoor je niet het originele bestand terug kan halen.

Vandaar ook dat compressie (uberhaupt, alle vormen van datareductie, of Sloot het nu wel of geen compressie noemt is irrelevant) gebaseerd is op het principe: we reduceren sommige bestanden van X bytes tot een grootte die kleiner is dan X bytes, ten koste van de minder waarschijnlijke bestanden, die meer dan X bytes zullen moeten innemen.
Deze reductie staat of valt met de hoeveelheid informatie die in zo'n bestand is opgeslagen, de zgn. Entropie (bedacht door Shannon). En de entropie hangt af van de mate van voorspelbaarheid van deze gegevens. Hoge voorspelbaarheid -> lage entropie -> grote compressie. Lage voorspelbaarheid of onwaarschijnlijke combinatie gegevens -> hoge entropie -> expansie.
Gegeven de kansverdeling op het aantal mogelijke bestanden, kan men de bijbehorende entropie uitrekenen en, voor een bepaald bestand een zekere compressie bereiken.

Het feit dat deze maat van informatie, entropie, ook echt een absolute ondergrens bepaalt volgt uit inductie: stel dat elk bestand van X bytes teruggebracht kan worden tot een bestand van X-1 bytes. Wat let je om hetzelde algoritme nog een keer toe te passen op dat bestand van X-1 bytes om het te comprimeren tot X-2 bytes? Niks. En dan kan je dat nog een keer doen tot X-3 bytes, etc.
Net zolang totdat de bestandsgrootte 0 nadert. Iets wat pertinent onmogelijk is, omdat er zeker meer dan 256 films / bestanden bestaan.

Ergo: er moet wel een harde ondergrens bestaan aan de mate waarin je bestanden kunt comprimeren.

Vreselijk veel vat ik er niet van hoor, maar dat priemgetallen idee is best slim eigenlijk. Je zou dus als de dictionary de priemgetallen moeten gebruiken? Te kleine stukjes code zou je dan kunnen weergeven door het priemgetal en het aantal binaire cijfers dat er gelezen moet worden.
Misschien interessant: http://nl.wikipedia.org/wiki/Illegaal_priemgetal

quote:

Dat idee had ik jaren geleden al in een andere vorm. Dataopslag op videobanden, en dan niet het magnetische spoor uitlezen, maar de pixels op het beeldscherm. 256 kleuren * bepaalde intensiteit * resolutie van opname. Dat is nogal wat data per frame.

Sterker nog, daar is ooit een product van op de markt geweest. Als alternatief voor de computer tape recorder voor backups. Van wat ik met herinner van de test in de computer!totaal werkte het niet helemaal denderend.

quote:

Op donderdag 21 juli 2005 00:51 schreef Lynx666 het volgende:
*hamer* coderen *hamer*

What's the fucking difference, hebben we het nu over een film die in 4Kb past ja of nee!

Ik snap er echt geen reet van, maar intrigerend vind ik het wel

quote:

Op donderdag 21 juli 2005 00:47 schreef HenryHill het volgende:
Ergo: er moet wel een harde ondergrens bestaan aan de mate waarin je bestanden kunt comprimeren.

Inderdaad. Al sluit dit de mogelijkheid van het comprimeren van films tot 4 Kb nog niet direct uit: het aantal mogelijke sleutels van 32768 bits is veel groter dan alle films die ooit gemaakt zijn of de komende paar honderd jaar gemaakt zullen worden.

Dus wat betreft kun je in de praktijk iedere film wel coderen als (of liever gezegd identificeren met) een unieke sleutel van 4 Kb. Ten koste van 10^biljarden theoretische "films" met random noise of wat voor niet bestaande content dan ook, die je hiermee niet zou kunnen coderen of alleen groter kunt maken.

Maar leg eens uit in N00b-taal. Een complete film wordt compleet uit elkaar gehaald en door een sleutel weer in elkaar gezet? Net zoals Star Trek? Dat je een lichaam upbeamt, dus molecuul voor molecuul afbreekt en door een unieke steutel elders weer in elkaar zet?

Dus de complete ge-gzipte DeCSS code kun je samenvatten met
k*256211+99

da's toch geen onaardige compressiefactor lijkt me

Misschien komt er een overzichtelijk boekje van Dick Bruna: Nijntje en de Megacompressie

quote:

Op donderdag 21 juli 2005 01:01 schreef SunChaser het volgende:
Maar leg eens uit in N00b-taal. Een complete film wordt compleet uit elkaar gehaald en door een sleutel weer in elkaar gezet? Net zoals Star Trek? Dat je een lichaam upbeamt, dus molecuul voor molecuul afbreekt en door een unieke steutel elders weer in elkaar zet?

Zoiets denk ik ja.
Volgens mij moet je het zo zien:

A = B * C

Als je A (de uiteindelijke) wilt berekenen, en * C is een vaste waarde (het algoritme ofzo) dan moet je B invullen (de 'gezipte' film). Andersom kan dat dus ook als je B wilt berekenen door A in te vullen. Het algoritme C blijft natuurlijk hetzelfde.

Ik hoop dat dat simpel genoeg was, en dat ikzelf geen foute dingen verkondig

[ Bericht 4% gewijzigd door Boes-Poes op 21-07-2005 01:10:58 ]

quote:

Op donderdag 21 juli 2005 01:02 schreef Danny het volgende:
Dus de complete ge-gzipte DeCSS code kun je samenvatten met
k*256211+99

da's toch geen onaardige compressiefactor lijkt me

In dat geval zou je dus eigenlijk vrij simpel (met ENORM veel rekenkracht) ELK ge-gzipt bestand kunnen omrekenen naar een priemgetal en deze weergeven in slechts een paar bytes.
Met een de-priem programma zou je het priemgetal weer kunnen omzetten in de nullen en enen waarna je datzelfde bestand in g-zip formaat hebt. Uitpakken en je film, filmcollectie, complete harddisk etc is weer compleet.

quote:

Op donderdag 21 juli 2005 00:59 schreef Lynx666 het volgende:

[..]

Wil je een beetje in de buurt komen van wat ie gefabriceerd heeft, zul je toch op zijn manier moeten denken. Van het volgen van bekende denkwijzen is nog nooit iemand uitvinder geworden. .

Natuurwetten zijn nog nooit gebroken. Hooguit is het model van de natuurwetten aangepast aan de nieuwste bevindingen (zoals tegenwoordig bekend is dat atomen ook weer zijn samengesteld uit iets van 6 sub-atomaire deeltjes. Geloof ik).

Echter, compressie is een wiskundig gedefinieerd probleem. En de wetten van wiskunde zijn ook nog nooit gebroken, maar er bestaat geen enkele uitbreiding die de basisprincipes van de wiskunde ongedaan kunnen maken of er op een andere manier langsheen kunnen glippen. Dat komt omdat wiskunde, in tegenstelling tot natuurkunde, niet berust op een model maar op pure logica.

quote:

Op donderdag 21 juli 2005 01:05 schreef Danny het volgende:

[..]

In dat geval zou je dus eigenlijk vrij simpel (met ENORM veel rekenkracht) ELK ge-gzipt bestand kunnen omrekenen naar een priemgetal en deze weergeven in slechts een paar bytes.
Met een de-priem programma zou je het priemgetal weer kunnen omzetten in de nullen en enen waarna je datzelfde bestand in g-zip formaat hebt. Uitpakken en je film, filmcollectie, complete harddisk etc is weer compleet.

Dat zou moeten inhouden dat elk priemgetal die er tot nu toe gevonden is vastzit aan een vaststaande reeks enen en nullen om steeds hetzelfde bestand er weer uit te krijgen. Dit klinkt erg tegenstrijdig.

quote:

Op donderdag 21 juli 2005 01:02 schreef Danny het volgende:
Dus de complete ge-gzipte DeCSS code kun je samenvatten met
k*256211+99

da's toch geen onaardige compressiefactor lijkt me

Breng eens een bugfix uit voor het programma, waarvoor 1 instructie (1 a 2 bytes) veranderd moeten worden. En weg is je wiskundige expressie voor dat programma - en dus ook de bijbehorende compressie.

Dat is het hele idee achter compressie: sommige bestanden kunnen belachelijk klein worden gemaakt, ten koste van een hele hoop andere bestanden die onvermijdelijk groter zullen moeten worden.

Gaan ze algoritmes ook niet gebruiken om aan de hand van foto's en afbeeldingen op het internet te kunnen zoeken?

quote:

Op donderdag 21 juli 2005 01:11 schreef SunChaser het volgende:
Gaan ze algoritmes ook niet gebruiken om aan de hand van foto's en afbeeldingen op het internet te kunnen zoeken?

Algoritmes zijn methodes. Bepaalde regeltjes en volgorde hiervan voor bijvoorbeeld het berekenen van dingen. Dus ik denk wel dat ze algoritmes gaan gebruiken ja.

Algoritmes ken ik uit dat boek van Dan Brown trouwens, waarbij ze een onbreekbare code hadden bedacht dat alleen met een sleutel geopend kon worden, het was niet te kraken omdat de algoritmes verschoven, ofzoiets

quote:

Op donderdag 21 juli 2005 01:05 schreef Danny het volgende:

[..]

In dat geval zou je dus eigenlijk vrij simpel (met ENORM veel rekenkracht) ELK ge-gzipt bestand kunnen omrekenen naar een priemgetal en deze weergeven in slechts een paar bytes.
Met een de-priem programma zou je het priemgetal weer kunnen omzetten in de nullen en enen waarna je datzelfde bestand in g-zip formaat hebt. Uitpakken en je film, filmcollectie, complete harddisk etc is weer compleet.

Zoals ik al eerder zei:
Niet ieder priemgetal is samen te vatten in een simpele formule als 2^n-1.. De theorie is inderdaad dat elk natuurlijk getal opgebouwd kan worden uit vermenigvuldigingen van priemgetallen, maar als die priemgetallen niet kort 'samen te vatten' zijn levert dat geen compressie op.

En nu is t tijd om te

quote:

Op donderdag 21 juli 2005 01:32 schreef Ravage het volgende:

[..]
... maar als die priemgetallen niet kort 'samen te vatten' zijn levert dat geen compressie op...

Maar als je dan aangeeft dat er van een bepaald priemgetal een samenvatting moet zijn tot een bepaald aantal cijfers. Dus er komt 101010 uit, en je geeft aan dat hij maximaal 4 cijfers mag geven. Dus word het 1010.
Dan behaal je over het algemeen nog steeds compressie volgens mij. Tenzij je dingen probeert te comprimeren die kleiner zijn dan de notatie voor het aangeven van het gewenste priemgetal met de hoeveelheid cijfers.

quote:

Op donderdag 21 juli 2005 00:51 schreef Lynx666 het volgende:
*hamer* coderen *hamer*

Comprimeren betekend gewoon samenpersen of compact maken. Jan sloot kan wel vinden dat zijn techniek geen compressie is, maar zijn methode voldoet aan de betekenis van het woord en we kunnen hier dus gewoon spreken van compressie.

Het meest verbaast het me nog dat mensen maar blijven denken dat het mogelijk is dat het systeem van sloot werkt zonder in te gaan op een simpel wiskundig tegenargument (hier al meerdere keren genoemd overigens). Sloot heeft het zelf over sleutelgroottes uitgedrukt in bits. Een bit is per definitie de kleinst mogelijke informatieeenheid. Als je gelooft dat het systeem werkt dan zul je moeten geloven dat je met n bits meer dan 2^n verschillende bitstrings kunt representeren. Misschien kunnen de aanhangers van Sloot hier iets over zeggen.

De enige andere optie is dat hij een revolutionaire manier van opslag heeft uitgevonden. Maar aangezien hij ook opmerkingen maakte over transmissie lijkt me dit niet overeenkomen met zijn beweringen. Ook groeit de opslagcapaciteit sowieso al jarenlang explosief.

Een andere optie is dat Sloot simpelweg een ordinaire oplichter was. Of hij heeft een compressie uitgevonden met kwaliteits verlies voor films. Een compressie systeem met kwaliteits verlies voor alle formaten lijkt me tenminste niet mogelijk aangezien je moet weten wat weggegooid kan worden.

quote:

Op donderdag 21 juli 2005 00:29 schreef SunChaser het volgende:
Ik wil nog steeds de uitzending zien of t boek lezen. Wat ik er tot nu toe van begreep is dat ie is geliquedeerd door Phillips omdat hun mediadragers dan in 1 klap overbodig zouden worden

Ik had de uitzending gezie op internet, weet alleen niet meer waar.

Ik blijf het een mooi verhaal vinden, ben alleen benieuwd waar dat kastje en de broncode is gebleven.

quote:

Op donderdag 21 juli 2005 11:09 schreef whosvegas het volgende:

[..]

Ik had de uitzending gezie op internet, weet alleen niet meer waar.

Ik blijf het een mooi verhaal vinden, ben alleen benieuwd waar dat kastje en de broncode is gebleven.

http://www.debroncode.nl/?section=audiovideo&lang=NL

Geloven jullie dat ie is geliquideerd?

Dit vind ik ook wel een interesant verhaal:
http://www.debroncode.nl/(...)0geen%20broncode.doc

quote:

Op donderdag 21 juli 2005 11:13 schreef -Dominator- het volgende:

[..]

http://www.debroncode.nl/?section=audiovideo&lang=NL

Die bedoel ik, mischien ga ik ze van het weekend nog eens bekijken.

quote:

Op donderdag 21 juli 2005 10:48 schreef Lynx666 het volgende:

[..]

Ik weet niet of je mij daaronder rekent, maar ik kan je zeggen dat ik de laatste zal zijn die zegt dat via compressie een winst van 99,999% gehaald kan worden. Ik denk dat we voor compressie van beeld en geluid niet veel winst meer zullen boeken dat met de huidige divx/xvid formaten (en dat is nog lossy ook).

Maar zoals ik al eerder zei; ik kan dit niet als 100% hoax afdoen, simpelweg omdat het kastje wèrkte. Hij liet dingen zien die toen zeker nog niet haalbaar waren. En hij is nooit ontmaskerd.

Wat Sloot liet zien is inderdaad verbazingwekkend. Maar hetgeen hij beweerde strookt niet met simpele wiskundige logica.
Sloot had ook hetzelfde kasje kunnen laten zien met de bewering dat een film in 1 bit gecodeerd zou kunnen worden. Zou je hem dan geloven?
De waarheid kan overigens ook nog in het midden liggen: Sloot was misschien geen oplichter maar hij vergiste zich en met zijn uitvinding kon hij comprimeren, maar niet in de verhouding die hij claimde . Voor een beter inzicht in zijn claims kun je kijken wat de consequenties ervan zijn. B.v. Alle data ter wereld is te comprimeren tot 1 sleutel.

quote:

Op donderdag 21 juli 2005 11:29 schreef Barati het volgende:

[..]

Wat Sloot liet zien is inderdaad verbazingwekkend. Maar hetgeen hij beweerde strookt niet met simpele wiskundige logica.
Sloot had ook hetzelfde kasje kunnen laten zien met de bewering dat een film in 1 bit gecodeerd zou kunnen worden. Zou je hem dan geloven?
De waarheid kan overigens ook nog in het midden liggen: Sloot was misschien geen oplichter maar hij vergiste zich en met zijn uitvinding kon hij comprimeren, maar niet in de verhouding die hij claimde . Voor een beter inzicht in zijn claims kun je kijken wat de consequenties ervan zijn. B.v. Alle data ter wereld is te comprimeren tot 1 sleutel.

Inderdaad. Zien is niet altijd geloven. En als het klopt dat niemand behalve Sloot zelf het kastje van binnen heeft gezien tijdens de presentatie, kan hij van alles beweren.

Kan niet bestaat niet.

quote:

Op donderdag 21 juli 2005 12:27 schreef Pinobot het volgende:
Kan niet bestaat niet.

Inderdaad.

Het kan niet en het bestaat niet.

quote:

Op donderdag 21 juli 2005 12:27 schreef Pinobot het volgende:
Kan niet bestaat niet.

"kan niet" kan niet?

gelly: veel succes. Een interessante oefening.
Maar het zal geen efficient compressiemechanisme worden. Je kunt nooit álle getallen kleiner weergeven, de getallen die kleiner worden, zullen gecompenseerd worden door getallen die veel groter worden.

quote:

Op donderdag 21 juli 2005 15:45 schreef Pie.er het volgende:
gelly: veel succes. Een interessante oefening.
Maar het zal geen efficient compressiemechanisme worden. Je kunt nooit álle getallen kleiner weergeven, de getallen die kleiner worden, zullen gecompenseerd worden door getallen die veel groter worden.

Veel getallen die je niet in 1 notatie samen kunt vatten kun je wellicht wel in meerdere wiskundige notaties samenvatten waar je dan na bewerking (optellen bv) WEL het juiste getal uitkrijgt.
Zelfs al zou je een getal van 20 miljoen cijfers dan moeten opdelen is 10.000 van die korte notaties heb je alsnog van 20Mb 100Kb gemaakt.

quote:

Op donderdag 21 juli 2005 01:05 schreef Danny het volgende:

[..]

In dat geval zou je dus eigenlijk vrij simpel (met ENORM veel rekenkracht) ELK ge-gzipt bestand kunnen omrekenen naar een priemgetal en deze weergeven in slechts een paar bytes.
Met een de-priem programma zou je het priemgetal weer kunnen omzetten in de nullen en enen waarna je datzelfde bestand in g-zip formaat hebt. Uitpakken en je film, filmcollectie, complete harddisk etc is weer compleet.

Waarom toch telkens die priemgetallen? Hoe kan je een code omrekenen naar een priemgetal? De code 10111000111001111000101001011100011 is waarschijnlijk geen priemgetal en dus onmogleijk om te zetten naar een priemgetal.

quote:

Op donderdag 21 juli 2005 15:55 schreef yootje het volgende:

[..]

Waarom toch telkens die priemgetallen? Hoe kan je een code omrekenen naar een priemgetal? De code 10111000111001111000101001011100011 is waarschijnlijk geen priemgetal en dus onmogleijk om te zetten naar een priemgetal.

O wacht, je zoekt gewoon het dichtsbijzijnde priemgetal, doet dat -n et voila. En priemgetallen zijn heel makkelijk kleiner te maken?

quote:

Op donderdag 21 juli 2005 15:55 schreef yootje het volgende:

Waarom toch telkens die priemgetallen? Hoe kan je een code omrekenen naar een priemgetal? De code 10111000111001111000101001011100011 is waarschijnlijk geen priemgetal en dus onmogleijk om te zetten naar een priemgetal.

Elk getal is te schrijven als een vermenigvuldiging van priemgetallen.