Het datavertragingstopic #1

quote:

Op donderdag 5 november 2020 10:42 schreef DireStraits7 het volgende:

[..]

Is het nou een gemiddelde of een mediaan?

Ik weet verder niet hoe uitgebreid jouw onderzoek is, maar heb je toevallig ook uitgebreide data? Dus bv. 'zoveel procent heeft 1 dag vertraging, zoveel procent 2 dagen etc.'. Het oogt in ieder geval alsof de mediaan/gemiddelde vrij constant is.

In principe is de berekening zelf een gewogen gemiddelde.
Maar je kan het - volgens mij - ook zien als een mediaan wanneer je alle mutaties op een rij zou zetten van oud naar jong en daar dan de positie (in dagen) van de middelste zou nemen.

Hij is inderdaad behoorlijk constant maar zegt alsnog vrij weinig over onderlinge verdeling. Wat jij noemt heb ik over nagedacht maar is nog wel een uitdaging om overzichtelijk te visualiseren. Overigens heb ik grafieken in die trant - dan wel in niet-geaggregeerde vorm - wel eens voorbij zien komen, bijvoorbeeld 2e figuur hier:

quote:

Op dinsdag 3 november 2020 16:23 schreef simonblue het volgende:

(Crosspost) Update van 5 November (Donderdag) van het (zeker niet perfecte) grafiekje uit de dagelijkse update van open data van RIVM



Totaal : DOO+DPL+DON = aantal besmettingen, hier zit echter een onzekerheid in omdat bij DOO niet altijd zeker is of er al sprake is van Corona
DOO : Eerste ziektedag zoals gemeld door GGD. Let op: het is niet altijd bekend of deze eerste ziektedag ook echt al Covid-19 betrof.
DPL : Datum positieve labtest
DON : Datum waarop de melding bij de GGD is binnengekomen

En daarbij nog de DON/DPL/DOO correcties t.o.v. het bestand van gisteren.
Mutations : Totaal aantal mutaties t.o.v. gisteren
RIVM : Aantal besmettingen gemeld door RIVM

Piekdag staat nu op 19-10 met 9690 besmettingen. (mutaties : 29) om op de voet gevolgd te worden door 20-10 (9556, mutaties 57) gezien de mutaties die nog plaatsvinden lijkt 19-10 voorlopig de echte piekdag te worden.
De mutaties op deze dagen lijken ook bijna klaar te zijn, inmiddels is wel duidelijk dat hierna echt de daling ingezet is.

Er vinden nu nog mutaties plaats tot in begin/midden september (95 stuks)
Dag met grootste mutatie : 4-11, 1512
Oudste mutatie : 25-3

Van de vandaag gemelde besmettingen zijn er 4449 van de afgelopen 5 dagen, 1702 van de 5 dagen daarvoor, en de overige 552 nog ouder.

Er is in elk geval nog steeds geen dag geweest dat we 10K besmettingen hebben gehad.

quote:

Op donderdag 5 november 2020 13:48 schreef DireStraits7 het volgende:

[..]

Die grafiek heb inderdaad ook gezien. Alleen daar is het nog lastig aflezen wat nou de vertraging is.

Je zou bv. het % van het totaal aantal gemelde besmettingen (y-as) dat gemeld is na X dagen (en voor iedere X kun je een lijn maken) kunnen afzetten tegen de tijd (x-as).

Dan zou je kunnen achterhalen of:
- bv. het percentage dat na 3 dagen gemeld is constant blijft.
- Als dit daadwerkelijk constant blijft zou je na 3 dagen allicht al kunnen extrapoleren naar een gerede inschatting van het totaal over 14 dagen

Het voordeel van meerdere lijnen is dat je enigszins kunt inschatten na hoeveel dagen het gemelde pecentage relatief constant blijven en vanaf welk punt je met enige zekerheid kunt gaan extrapoleren, als er überhaupt zo'n punt bestaat.

Ik hoop dat ik je vraag goed heb begrepen en goed heb geplot:

Wat ik hier laat zien is de ratio tussen wat op de dag op de x-as is geplot voor een bepaalde datum terug (bijvoorbeeld 14 dagen) en de waarde die op 5 november is gegeven voor die dag.

Dit vraagt om wat verduidelijking:
- Neem de meest linker data in de grafiek: Dit betreft de data zoals op 15 september beschikbaar was.
- Neem dan het bovenste blauwe data punt (dit is 14 dagen terug) --> dit gaat dan om het aantal gevallen dat op 15 september bekend was voor 1 september. Dit getal is 883
- Dit getal wordt dan vergelijk met het aantal gevallen dat op 5 november bekend was voor 1 september --> 1001
- De ratio is dan 0.88

Hetzelfde kan gedaan worden voor het aantal gevallen dat op 15 bekend was voor 8 september (7 dagen terug, lichtgroene curve). Op 15 september was toen ongeveer 60% van de gevallen bekend in vergelijking met het aantal gevallen die op 5 november bekend zijn voor de datum van 8 september.

Veel curves gaan omhoog rond 27 oktober. Als nog niet alle gevallen na 28 oktober bekend zijn in de dataset van 5 november, wordt er vergelijken met een onderschatting van het uiteindelijk aantal gevallen en zal het relatieve percentage daarom hoger zijn.

Verder zijn er wat trends omhoog te zien. Neem bijvoorbeeld de lichtgroene curve (7 dagen terug). Begin september ligt deze rond de 0.6. Halverwege oktober zit deze rond de 0.7.
Dus in de loop van de tijd is de relatieve achterstand in gevallen minder geworden naar mijn mening

(crosspost) Update van 6 November (Vrijdag) van het (zeker niet perfecte) grafiekje uit de dagelijkse update van open data van RIVM



Totaal : DOO+DPL+DON = aantal besmettingen, hier zit echter een onzekerheid in omdat bij DOO niet altijd zeker is of er al sprake is van Corona
DOO : Eerste ziektedag zoals gemeld door GGD. Let op: het is niet altijd bekend of deze eerste ziektedag ook echt al Covid-19 betrof.
DPL : Datum positieve labtest
DON : Datum waarop de melding bij de GGD is binnengekomen

En daarbij nog de DON/DPL/DOO correcties t.o.v. het bestand van gisteren.
Mutations : Totaal aantal mutaties t.o.v. gisteren
RIVM : Aantal besmettingen gemeld door RIVM

Piekdag staat nu op 19-10 met 9705 besmettingen. (mutaties : 15) om op de voet gevolgd te worden door 20-10 (9573, mutaties 17) gezien de mutaties die nog plaatsvinden lijkt 19-10 echt de piekdag te worden.
Hierna wordt de daling overduidelijk ingezet.

Er vinden nu nog mutaties plaats tot in begin/midden september (104 stuks over heel september)
Dag met grootste mutatie : 5-11, 1482
Oudste mutatie : 23-8

Van de vandaag gemelde besmettingen zijn er 4987 van de afgelopen 5 dagen, 1618 van de 5 dagen daarvoor, en de overige 518 nog ouder. De datavertraging lijkt minder te worden, wat inherent is aan minder besmettingen.

Er is in elk geval nog steeds geen dag geweest dat we 10K besmettingen hebben gehad.

(Crosspost) Update van 7 November (Zaterdag) van het (zeker niet perfecte) grafiekje uit de dagelijkse update van open data van RIVM



Totaal : DOO+DPL+DON = aantal besmettingen, hier zit echter een onzekerheid in omdat bij DOO niet altijd zeker is of er al sprake is van Corona
DOO : Eerste ziektedag zoals gemeld door GGD. Let op: het is niet altijd bekend of deze eerste ziektedag ook echt al Covid-19 betrof.
DPL : Datum positieve labtest
DON : Datum waarop de melding bij de GGD is binnengekomen

En daarbij nog de DON/DPL/DOO correcties t.o.v. het bestand van gisteren.
Mutations : Totaal aantal mutaties t.o.v. gisteren
RIVM : Aantal besmettingen gemeld door RIVM

Piekdag staat nu op 19-10 met 9718 besmettingen. (mutaties : 13) om op de voet gevolgd te worden door 20-10 (9591, mutaties 18) gezien de mutaties die nog plaatsvinden lijkt 19-10 echt de piekdag te worden.
Hierna wordt de daling echt overduidelijk ingezet.

Er vinden nu nog mutaties plaats tot in begin/midden september (46 stuks over heel september)
Dag met grootste mutatie : 6-11, 1539 - hier zit ook een duidelijke daling in
Oudste mutatie : 23-3!!

Van de vandaag gemelde besmettingen zijn er 4645 van de afgelopen 5 dagen, 1319 van de 5 dagen daarvoor, en de overige 465 nog ouder. De datavertraging lijkt iets minder te worden, wat inherent is aan minder besmettingen, maar is duurt nog altijd z'n 10 dagen voor de meeste mutaties zijn verwerkt.

Er is in elk geval nog steeds geen dag geweest dat we 10K besmettingen hebben gehad.

quote:

Op zaterdag 7 november 2020 14:33 schreef _serial_ het volgende:
(Crosspost) Update van 7 November (Zaterdag) van het (zeker niet perfecte) grafiekje uit de dagelijkse update van open data van RIVM

[ afbeelding ]

Totaal : DOO+DPL+DON = aantal besmettingen, hier zit echter een onzekerheid in omdat bij DOO niet altijd zeker is of er al sprake is van Corona
DOO : Eerste ziektedag zoals gemeld door GGD. Let op: het is niet altijd bekend of deze eerste ziektedag ook echt al Covid-19 betrof.
DPL : Datum positieve labtest
DON : Datum waarop de melding bij de GGD is binnengekomen

En daarbij nog de DON/DPL/DOO correcties t.o.v. het bestand van gisteren.
Mutations : Totaal aantal mutaties t.o.v. gisteren
RIVM : Aantal besmettingen gemeld door RIVM

Piekdag staat nu op 19-10 met 9718 besmettingen. (mutaties : 13) om op de voet gevolgd te worden door 20-10 (9591, mutaties 18) gezien de mutaties die nog plaatsvinden lijkt 19-10 echt de piekdag te worden.
Hierna wordt de daling echt overduidelijk ingezet.

Er vinden nu nog mutaties plaats tot in begin/midden september (46 stuks over heel september)
Dag met grootste mutatie : 6-11, 1539 - hier zit ook een duidelijke daling in
Oudste mutatie : 23-3!!

Van de vandaag gemelde besmettingen zijn er 4645 van de afgelopen 5 dagen, 1319 van de 5 dagen daarvoor, en de overige 465 nog ouder. De datavertraging lijkt iets minder te worden, wat inherent is aan minder besmettingen, maar is duurt nog altijd z'n 10 dagen voor de meeste mutaties zijn verwerkt.

Er is in elk geval nog steeds geen dag geweest dat we 10K besmettingen hebben gehad.

Thx voor het werk. Zou je een lijn van rond de 11 dagen geleden kunnen neerzetten door het plaatje, zodat je direct kunt zien vanaf waar de data 90% (?) compleet is? Dat geeft vast een goed gevoel met de daling die we dan zien

quote:

Op zaterdag 7 november 2020 14:36 schreef VoMy het volgende:

[..]

Thx voor het werk. Zou je een lijn van rond de 11 dagen geleden kunnen neerzetten door het plaatje, zodat je direct kunt zien vanaf waar de data 90% (?) compleet is? Dat geeft vast een goed gevoel met de daling die we dan zien

Ik zal daar morgen even naar kijken maar je kan de lijn ongeveer bij legenda 27-10 trekken.

quote:

Op maandag 9 november 2020 14:46 schreef DireStraits7 het volgende:
Dit is de trend als je het afzet tegen de daadwerkelijke datum:
[ afbeelding ]

Als je nu kijkt van dag tot dag zie je dat dit de daling is van 26-10 t/m 2-11:
0,883666925
0,961206357
0,919411535
0,976352308
0,909789703
0,937509963
0,97143343
0,926308419

Gemiddeld daalt het met zo'n 0,94. Niet overdreven hard dus. Zeker als je je bedenkt dat door rapportagevertraging dit getal eerder hoger dan lager wordt.

0,94 per dag? Dat is juist wel overdreven hard, dat geeft een R van onder de 0,8...

quote:

Op maandag 9 november 2020 14:49 schreef DireStraits7 het volgende:

[..]

Dat is waar, maar de vraag is hoeveel vertraging er nog is. Als het 0,96 of 0,97 wordt gaat het al richting 0,8 - 0,9. 2-11 is nog pas 7 dagen geleden. En van 26 naar 27 zit nog een flinke daling, dat is een outlier die heel veel invloed heeft op die 0,94.

Ja, dat is waar. Een dagafname van 0,96 zou wel prima in de lijn der verwachtingen liggen. Wat zou week-op-week doen, dus (deze maandag/vorige maandag), (zondag/vorige zondag), etc?

(crosspost) Update van 9 November (Maandag) van het (zeker niet perfecte) grafiekje uit de dagelijkse update van open data van RIVM



Totaal : DOO+DPL+DON = aantal besmettingen, hier zit echter een onzekerheid in omdat bij DOO niet altijd zeker is of er al sprake is van Corona
DOO : Eerste ziektedag zoals gemeld door GGD. Let op: het is niet altijd bekend of deze eerste ziektedag ook echt al Covid-19 betrof.
DPL : Datum positieve labtest
DON : Datum waarop de melding bij de GGD is binnengekomen

En daarbij nog de DON/DPL/DOO correcties t.o.v. het bestand van gisteren.
Mutations : Totaal aantal mutaties t.o.v. gisteren
RIVM : Aantal besmettingen gemeld door RIVM

Piekdag staat nu op 19-10 met 9692 besmettingen. (mutaties : -24) om op de voet gevolgd te worden door 20-10 (9601, mutaties -8) gezien de negatieve mutaties is het vrijwel zeker dat 19-10 piekdag was

Er vinden nu nog mutaties plaats tot in begin/midden september (30 stuks over heel september)
Dag met grootste mutatie : 8-11, 798 - hier zit ook een zeer duidelijke daling in
Oudste mutatie : 17-5

Van de vandaag gemelde besmettingen zijn er 3134 van de afgelopen 5 dagen, 973 van de 5 dagen daarvoor, en de overige 519 nog ouder. De datavertraging lijkt iets minder te worden, wat inherent is aan minder besmettingen, maar is duurt nog altijd z'n 10 dagen voor de meeste mutaties zijn verwerkt.

15-10 lijkt de dag dat de meeste mutaties zijn verwerkt, dit is wat eerder dan vorige update gemeld is

Er is in elk geval nog steeds geen dag geweest dat we 10K besmettingen hebben gehad.

[ Bericht 0% gewijzigd door _serial_ op 09-11-2020 15:32:13 ]

quote:

Op maandag 9 november 2020 15:34 schreef DireStraits7 het volgende:

[..]

In onderstaande grafiek heb ik even een basale R0 berekend (of een R-proxy zoals jij het noemt):

- Het gaat om de grijze lijn (en het gestreepte gedeelte is nog zeer onzeker)
- Hij is berekend door iedere keer het aantal DOO-meldingen (gecorrigeerd voor het DOO-percentage van het totale aantal meldingen) te vergelijken met het aantal van exact zeven dagen daarvoor. Vervolgens heb ik daarvan het lopende gemiddelde over zes dagen genomen (bv. de R* van 30-10 is het gemiddelde van de R van 26-10 t/m 30-10).

Leuk!

quote:

Met hiermee direct de kanttekening dat deze lijn veel hoger uitkomt dan zoals door het RIVM berekend! Ik vermoed dat dit iets te maken heeft met covariaten, zoals de testcapaciteit

Ja, de besmettingsperiode is zo tussen de 3 en 4 dagen (wordt geschat), dus als je week-op-week bekijkt, vergelijk je 2 cycli's en meet je iets dat dichter zit bij R*R ipv R. Voor een waarde dichter bij de R zou je in dit geval dan bijvoorbeeld de wortel kunnen nemen van de 'te hoge R' zoals je die nu hebt.

quote:

[ afbeelding ]

quote:

Op maandag 9 november 2020 15:53 schreef DireStraits7 het volgende:

[..]

Om dat te illustreren. Dit zijn de lijnen onder elkaar:

[ afbeelding ]
[ afbeelding ]

Gunstig, nu hoeven we de dinsdagrapportage van het RIVM ook niet meer af te wachten
Nee, maar serieus, dit lijkt elw dusdanig veel op elkaar dat we lichtjes aan kunnen aannemen dat als de R bij jou een kant opgaat, hij dat ook bij het RIVM-model gaat doen. Zelfs de orde van grootte komt overeen. Ik zeg, elke dag plaatsen dit ding.

quote:

Op maandag 9 november 2020 16:00 schreef DireStraits7 het volgende:

[..]

Dat gaat wel een beetje in tegen het 'niet varen op dagkoersen'-advies.

Maar hiermee kijken we toch 14 dagen terug in de tijd ofzo, dus dan is het niet echt 'varen op dagkoersen' toch? Het is gewoon net als met die andere overzichtsgrafieken, die worden ook elke dag gepost hier.