[ Bericht 6% gewijzigd door #ANONIEM op 18-09-2020 21:50:51 ]
quote:Op vrijdag 18 september 2020 21:46 schreef phoenyx het volgende:
Een tijd geleden las ik er iets over dat de data over een tijdje zo groot is en zo ongeordend dat het tot een crisis kan leiden. Een data-crisis, te weinig opslagruimte of wat dan ook. Had het vluchtig wat gelezen en ging ook niet zover erop in. Kan alleen niet echt zo gemakkelijk er iets over terugvinden met de zoektermen die ik gebruik... Iemand die wat linkjes heeft wat dit betreft? Vind het eigenlijk wel interessant en is ook in mijn achterhoofd blijven steken maar kan nu even niet echt wat uitgebreide informatie erover vinden. Toevoeging: ging ook over vrij korte termijn dat met de huidige groei het al vrij vlot een probleem gaat vormen. Als in over 5 - 10 jaar ofzo.
ik weet wat je bedoeld, als ik tijd over hou ga ik van de week ff zoeken.ik zou zoeken op zoekwoordjes als 'Big data' en 'Storage capacity crisis'....quote:
Een data-crisis, te weinig opslagruimte of wat dan ook.
Big Data is best wel intensief data verbruik, de aantallen verzamelde data verdubbeld meeermaals per jaar.
qua bestaande datacenters is de behoefte aan opslagcapaciterit sinds 2016 verviervoudigt:
van rond de 800 exabytes naar een verwachtte benodigde capaciteit an 2500 exabytes in 2021
Dus is er bijna continue een voorspelling dat 'met de huidige capaciteit we binnen X maanden al in de problemen komen (maar tegelijkertijd blijken de commerciele belangen gewoon groot genoeg om continue ook capaciteitsvergroting mogelijk te maken en ook bestaande opslagsystemen al dan niet cloud-solutions te vergroten ... gesteld kan worden dat juist de behoefte de capacitreitsvergroting zelf financiert en dus ook aandrijft)
Je hebt gelijk, dat artikeltje wat ik las stelde echter dat het gewoon niet houdbaar is vanwege het volume. Het had ook met de ongeordendheid van de data te maken.quote:
[..]
ik zou zoeken op zoekwoordjes als 'Big data' en 'Storage capacity crisis'....
Big Data is best wel intensief data verbruik, de aantallen verzamelde data verdubbeld meeermaals per jaar.
qua bestaande datacenters is de behoefte aan opslagcapaciterit sinds 2016 verviervoudigt:
van rond de 800 exabytes naar een verwachtte benodigde capaciteit an 2500 exabytes in 2021
Dus is er bijna continue een voorspelling dat 'met de huidige capaciteit we binnen X maanden al in de problemen komen (maar tegelijkertijd blijken de commerciele belangen gewoon groot genoeg om continue ook capaciteitsvergroting mogelijk te maken en ook bestaande opslagsystemen al dan niet cloud-solutions te vergroten ... gesteld kan worden dat juist de behoefte de capacitreitsvergroting zelf financiert en dus ook aandrijft)
[ Bericht 2% gewijzigd door #ANONIEM op 19-09-2020 00:33:35 ]
ah, het aloude 'hoeveel engelen passen op de punt van een naald'... dat is al een eeuwenoude nutteloze discussie die claimt dat er bepaalde 'grenzen' zouden zijn aan groei... een leuke traditionele bewering die best leuk klinkt, maar voortdurend weer als onjuist bewezen wordt, maar helaas nooit 'Endgultich' in de kast verwezen kan worden zodat er altijd personen zijn dat de vermeende 'fysieke grenzen aan de groei' binnen korte tijd bereikt zal wordenquote:
[..]
Je hebt gelijk, dat artikeltje wat ik las stelde echter dat het gewoon niet houdbaar is vanwege het volume.
Ik vraag gewoon naar wat informatie over dat artikel wat ik had gelezen.quote:
[..]
ah, het aloude 'hoeveel engelen passen op de punt van een naald'... dat is al een eeuwenoude nutteloze discussie die claimt dat er bepaalde 'grenzen' zouden zijn aan groei... een leuke traditionele bewering die best leuk klinkt, maar voortdurend weer als onjuist bewezen wordt, maar helaas nooit 'Endgultich' in de kast verwezen kan worden zodat er altijd personen zijn dat de vermeende 'fysieke grenzen aan de groei' binnen korte tijd bereikt zal worden
Maar van wat mij bijstaat gaat het ook niet zozeer om de grenzen van de groei maar om die groei nog enigszins nuttig te maken. Te kunnen categoriseren, terug te vinden etc.
aangezien jij dat gelezen hebt en wij niet is het al een beetje vreemd om te gaan vragen: "ik heb ooit een artikel gelezen maar kan er weinig over zeggen, kan iemand me meer erover vertellen"...quote:
[..]
Ik vraag gewoon naar wat informatie over dat artikel wat ik had gelezen.
maar als je wil weten, het is altijd mogelijk om zelfs de grootste datastructuren nog inzichtelijk te maken... Big Data is hét gebied dat volledig daarom draait.
bepaalde gevaren van de controle door de 'omvang' van deze gegevens bestaan natuurlijk, maar zijn nooit te koppelen aan een 'harde' grens. Er is geen 'limiet' op Big data.
Eerder aan het gegeven dat des te groter dataverzamelingen worden, ook bv toegang tot specifieke posities daarbinnen meer tijd kan kostenof andere problemen kan opleveren (Schaalbaarheid).
juist bepaalde zoekacties veel meer resultaten kunnen opleveren en je dus ook in de zoek-vragen véél specifieker moet worden, alswel dat zaken als intelligentie caching, verwerkingssnelheid/Cue-ing, scheiden van het opvragen en updaten en bv omgang met concepten als exactheid, foutmarges of precisiteiten.
Het is ook geen 'toekomstige crisis' maar gewoon een huidig bestaand taakgebied waar continue aan gewerkt wordt en bedrijven met oplossingen komen of specifieke toepassingen ontwikkelen.
quote:
heb je het over jezelf?
ik weet verder niet welk artikel je gelezen heb, maar probeer je te helpen met gebieden waar datgene wat jij opnoemt op lijkt te duiden: 'Big data' komt, alhoewel je het zelf niet noemt exact overeen met datgene wat jij beschrijft..
maar als jij kennelijk niet tevreden bent met iemand die moeite doet je informatie aan te reiken die je _misschien wel verder kan helpen is dat prima voor mij.
zoek het dan verder zelf maar uit.
Op een gegeven moment gaat dat dus wringen. De wereld wil veel data, met goede en snelle toegang, maar dat gaat tot een limiet. Daar zitten we op sommige plekken in de wereld niet ver van af, die limiet. En dan gaan de prijzen voor een sneller toegankelijk DC dus omhoog.
Er wordt in data lakes ook nu zoveel bewaard.....Tja, de marktwerking zal hier zijn werk gaan doen. Prijzen op huidige locaties zullen omhoog gaan, en andere locaties zullen dus aantrekkelijker worden etc etc.
Wordt het een crisis? Ik denk van niet.
[ Bericht 0% gewijzigd door HMS op 21-09-2020 16:11:56 ]
Alles netjes gerangschikt op verschillende HD's tot je hier en daar ruimte tekort komt en van armoede maar een en ander op een andere schijf gaat wegschrijven, zodat het een zooitje wordt. Uiteindelijk opgelost met een externe van 10 TB.
