FOK!forum / Digital Corner / Computer kan grote hoeveelheid Exceldata niet handlen
einzeinzdonderdag 25 mei 2023 @ 22:48
Als je heel veel data hebt in Excel, ik spreek dan om 30.000 à 50.000 records, en je Excel loopt hier geregeld bij vast Daarmee bedoel ik dat je niets kunt doen en je de melding krijgt: 'Not responding'.

Kan dat dan opgelost worden door enkel naar een zwaardere processor te kijken?
Intel Core I7 of zelfs I9 i.p.v. I5.

Of moet ik ook rekening houden met bv. ram geheugen? Ik heb bv. maar 16GB ram, misschien volstaat 32GB wel?
Of spelen er ook nog andere zaken mee?
TheFreshPrincedonderdag 25 mei 2023 @ 22:50
quote:
0s.gif Op donderdag 25 mei 2023 22:48 schreef einzeinz het volgende:
Als je heel veel data hebt in Excel, ik spreek dan om 30.000 à 50.000 records, en je Excel loopt hier geregeld bij vast Daarmee bedoel ik dat je niets kunt doen en je de melding krijgt: 'Not responding'.

Kan dat dan opgelost worden door enkel naar een zwaardere processor te kijken?
Intel Core I7 of zelfs I9 i.p.v. I5.

Of moet ik ook rekening houden met bv. ram geheugen? Ik heb bv. maar 16GB ram, misschien volstaat 32GB wel?
Of spelen er ook nog andere zaken mee?
Je kan sowieso in het taakbeheer kijken hoeveel RAM er in gebruik is door Excel op het moment dat je die "not responding" melding krijgt.
Janneke141donderdag 25 mei 2023 @ 22:56
Op data loopt ie niet zo snel vast, zeker niet op een beperkt aantal van 50k rijen. Ik zou eens kijken of je je formules niet wat 'goedkoper' kan opbouwen'. In grote bestanden willen zoek-en-verwijsfuncties nog wel eens gaan hikken, maar die zijn ook vaak te omzeilen door iets wat minder rekenkracht kost.
einzeinzdonderdag 25 mei 2023 @ 23:54
Dus een zwaardere processor zal 0,00 invloed hebben?
#ANONIEMdonderdag 25 mei 2023 @ 23:58
@-Sigaartje is excel database expert!
Dusthor92vrijdag 26 mei 2023 @ 00:26
quote:
0s.gif Op donderdag 25 mei 2023 23:54 schreef einzeinz het volgende:
Dus een zwaardere processor zal 0,00 invloed hebben?
Een snellere processor gaat zeker op een positieve manier van invloed zijn.
Mr_Belvederevrijdag 26 mei 2023 @ 08:16
quote:
0s.gif Op donderdag 25 mei 2023 22:48 schreef einzeinz het volgende:
Als je heel veel data hebt in Excel, ik spreek dan om 30.000 à 50.000 records, en je Excel loopt hier geregeld bij vast Daarmee bedoel ik dat je niets kunt doen en je de melding krijgt: 'Not responding'.
Dat kan er ook aan liggen dat de data even niet bereikbaar is geweest.

Alle Office pakketten hebben een hard-coded timeout van ongeveer 8 seconden. Als na die tijd de informatie (via internet, netwerk, falende harddisk, etc) niet bereikbaar is, zal het een 'not responding' melding geven.
mvdejongvrijdag 26 mei 2023 @ 09:14
quote:
0s.gif Op donderdag 25 mei 2023 23:54 schreef einzeinz het volgende:
Dus een zwaardere processor zal 0,00 invloed hebben?
Een snellere processor zal de verwerking versnellen, maar niet verhinderen dat hij vastloopt; je loopt alleen sneller vast.

Maar 50k records zou ook niet erg spannend moeten zijn op het gebied van geheugen, 16 GByte zou wel voldoende moeten zijn tenzij je formules gebruikt waarbij elke rij gerelateerd wordt aan alle andere rijen. Taskmanager laat wel zien of je uit je geheugen dreigt te lopen.
Feolavrijdag 26 mei 2023 @ 09:16
9tb38870txk71.png?auto=webp&s=0d3bf6ccd350f190fce1098bd2d9ea0f5f6ad6d3
einzeinzvrijdag 26 mei 2023 @ 11:09
Processor: Intel(R) Core(TM) i5-8265U CPU @ 1.60GHz
RAM: 16GB

Ik denk dat het vertragen/vastlopen van Excel hem hier zit.

Processor zou een I7 moeten zijn, of toch op z'n minst een I5 met een kloksnelheid dat boven de 2,50GHz ligt.
En het RAM geheugen zou beter uitbreiden naar 32GB.
Saekerhettvrijdag 26 mei 2023 @ 11:17
quote:
0s.gif Op vrijdag 26 mei 2023 11:09 schreef einzeinz het volgende:
Processor: Intel(R) Core(TM) i5-8265U CPU @ 1.60GHz
RAM: 16GB

Ik denk dat het vertragen/vastlopen van Excel hem hier zit.

Processor zou een I7 moeten zijn, of toch op z'n minst een I5 met een kloksnelheid dat boven de 2,50GHz ligt.
En het RAM geheugen zou beter uitbreiden naar 32GB.
Dude, dat is een midrange laptop cpu uit 2018. Nee, die gaat niet als de brandweer :')

Verder zegt een i5, i7 of i9 zonder verdere specificaties helemaal niks en gigahertzen zeggen tegenwoordig nog veel minder.

Kijk even wat Excel aan RAM verbruikt in de task manager, want als je nu < 16 GB verbruikt, heeft upgraden naar 32 GB helemaal geen zin, ook al is RAM spotgoedkoop op het moment.
Mr_Belvederevrijdag 26 mei 2023 @ 11:26
De meeste relatief grote excel sheets lopen vast vanwege externe (database) koppelingen die op dat moment even niet bereikbaar zijn of door nooit bijgehouden macro's die naar allerlei netwerkverbindingen willen.

Zitten er draaitabellen, odbc koppelingen en dat soort connectivity in deze excel sheet?
einzeinzvrijdag 26 mei 2023 @ 11:39
quote:
0s.gif Op vrijdag 26 mei 2023 11:17 schreef Saekerhett het volgende:

[..]
Dude, dat is een midrange laptop cpu uit 2018. Nee, die gaat niet als de brandweer :')

Verder zegt een i5, i7 of i9 zonder verdere specificaties helemaal niks en gigahertzen zeggen tegenwoordig nog veel minder.

Kijk even wat Excel aan RAM verbruikt in de task manager, want als je nu < 16 GB verbruikt, heeft upgraden naar 32 GB helemaal geen zin, ook al is RAM spotgoedkoop op het moment.
Dit is een laptop van het werk. Mijn eigen laptop is recenter en heeft die problemen veel minder.

quote:
0s.gif Op vrijdag 26 mei 2023 11:26 schreef Mr_Belvedere het volgende:
De meeste relatief grote excel sheets lopen vast vanwege externe (database) koppelingen die op dat moment even niet bereikbaar zijn of door nooit bijgehouden macro's die naar allerlei netwerkverbindingen willen.

Zitten er draaitabellen, odbc koppelingen en dat soort connectivity in deze excel sheet?
Er zitten draaitabellen in. Geen macro's.
Mr_Belvederevrijdag 26 mei 2023 @ 14:46
quote:
0s.gif Op vrijdag 26 mei 2023 11:39 schreef einzeinz het volgende:

Er zitten draaitabellen in. Geen macro's.
En worden die tabellen gemaakt met interne info uit de sheet zelf of gevoed met externe info via database/netwerkkoppeling?
einzeinzvrijdag 26 mei 2023 @ 16:51
quote:
0s.gif Op vrijdag 26 mei 2023 14:46 schreef Mr_Belvedere het volgende:

[..]
En worden die tabellen gemaakt met interne info uit de sheet zelf of gevoed met externe info via database/netwerkkoppeling?
Nee, is allemaal intern met een tabblad voor een draaitabel
einzeinzvrijdag 26 mei 2023 @ 16:54
Excel verbruikt trouwens nougatbollen volgens de task manager.
Wel voor 64% aan Ram in totaal in gebruik.
Maar luister daarna ook wel nog naar een podcast, die zal ook wel een flink aandeel hebben in het RAM geheugen.
mvdejongvrijdag 26 mei 2023 @ 16:55
quote:
0s.gif Op vrijdag 26 mei 2023 11:09 schreef einzeinz het volgende:
Processor: Intel(R) Core(TM) i5-8265U CPU @ 1.60GHz
RAM: 16GB

Ik denk dat het vertragen/vastlopen van Excel hem hier zit.

Processor zou een I7 moeten zijn, of toch op z'n minst een I5 met een kloksnelheid dat boven de 2,50GHz ligt.
En het RAM geheugen zou beter uitbreiden naar 32GB.
Vastlopen is vastlopen, dat doet die net zozeer op een 1 GHz als een 4 GHz CPU, alleen is hij eerder aan het punt van vastlopen toe als hij sneller is.

Als je wat wil proberen en de kosten geen bezwaar vindt, dan zou een upgrade naar 32 GByte wel iets zijn om te proberen, maar dan zou je ook in de tools van Windows terug moeten vinden dat hij uit zijn geheugen loopt.
suijkerbuijkvrijdag 26 mei 2023 @ 20:55
Gebruik je een ssd of een ouwe harddisk.

Als je een ouwe harddisk gebruikt kan die de data niet op tijd leveren.


https://gathering.tweakers.net/forum/list_messages/1923140
Ericrvrijdag 26 mei 2023 @ 21:12
Gebruik Power Pivot. De Vertipaq engine van Power Pivot is vele malen beter in compressie en calculaties.

30 tot 50k records is niet veel. Heb met sets gewerkt van meer dan 100 miljoen regels op dezelfde engine maar dan in Power BI.

Excel kan zelf maar iets meer dan een miljoen regels weergeven op een tabblad maar de onderliggende ruwe data in een Power Pivot model kan vele malen meer regels bevatten.
einzeinzvrijdag 26 mei 2023 @ 22:49
quote:
0s.gif Op vrijdag 26 mei 2023 14:46 schreef Mr_Belvedere het volgende:

[..]
En worden die tabellen gemaakt met interne info uit de sheet zelf of gevoed met externe info via database/netwerkkoppeling?
Interne data
einzeinzvrijdag 26 mei 2023 @ 23:32
S
quote:
1s.gif Op vrijdag 26 mei 2023 20:55 schreef suijkerbuijk het volgende:
Gebruik je een ssd of een ouwe harddisk.

Als je een ouwe harddisk gebruikt kan die de data niet op tijd leveren.


https://gathering.tweakers.net/forum/list_messages/1923140
SSD met 512GB aan opslag
#ANONIEMzaterdag 27 mei 2023 @ 11:15
quote:
0s.gif Op vrijdag 26 mei 2023 23:32 schreef einzeinz het volgende:
S
[..]
SSD met 512GB aan opslag
In SSDs zit ook heel veel verschil je hebt tergend langzame SSDs en bloed snelle
Glazenmakerzaterdag 27 mei 2023 @ 15:09
quote:
0s.gif Op zaterdag 27 mei 2023 11:15 schreef Geitenkamp het volgende:

[..]
In SSDs zit ook heel veel verschil je hebt tergend langzame SSDs en bloed snelle
512gb zal geen mmc geheugen zijn en afgezien van die troep is geen enkele ssd tergend traag.
quote:
0s.gif Op donderdag 25 mei 2023 23:58 schreef Geitenkamp het volgende:
@:-sigaartje is excel database expert!
Dit doet de ogen van een database expert bloeden.
Telefoonvorkzondag 28 mei 2023 @ 08:57
Voor zulke hoeveelheden data is er een andere catagorie software: DATABASE.

Misschien dat je vervolgens de database aan een spreadsheet kan koppelen om contextuele data tevoorschijn te toveren indien nodig.
Ericrzondag 28 mei 2023 @ 10:00
Nogmaals, Power Pivot. Meer geheugen, betere cpu of andere oplossingen hebben weinig zin in een applicatie met brak resource beheer.

Platte tabel binnen Power Pivot kan maar beste blijft om die data dimensioneel te modelleren naar een ster schema. Maar gelet op het lage aantal rijen is dat geen noodzaak.

Excel werkt het beste met oplossingen binnen Excel zelf. Power Pivot bestaat al meer dan 10 jaar om grotere hoeveelheden data of complexere modellen snel weer te geven.

Ook al werkt Excel ook prima met tabular models maar dat is net zoals gebruik van een database echt een stap te ver. Onnodige complexiteit altijd proberen te vermijden. Zeker als het geen enterprise oplossing betreft.
einzeinzdinsdag 30 mei 2023 @ 14:18
Net een 'Not responding' gehad in Excel. Verbruik is 172MB en had nog 54% vrije ruimte op mijn RAM.
Mr_Belvederedinsdag 30 mei 2023 @ 17:03
quote:
0s.gif Op dinsdag 30 mei 2023 14:18 schreef einzeinz het volgende:
Net een 'Not responding' gehad in Excel. Verbruik is 172MB en had nog 54% vrije ruimte op mijn RAM.
Toch is het meestal dat ie niet bij de data kan die hij nodig heeft.

Kun je de gehele sheet eens in een totaal nieuwe excel sheet duwen? Ben benieuwd of ie dan aangeeft dat er opeens externe bronnen niet beschikbaar zijn of zo.