DIG Digital Corner
Alles wat je altijd al over computers, hardware, software, internet en elektronische gadgets had willen weten, maar niet op Tweakers.net durft te vragen.
Als dit beter in het AI-subforum kan hoor ik het graag 
Ik wil graag een webscraper of tool instellen danwel gebruiken om van deze website bepaalde locaties te filteren en daar de evenementen van een bepaalde periode terug kunnen vinden. De website van Uitagenda Rotterdam is goed opgezet maar ook een beetje zoeken naar een speld in een hooiberg.
Dus zeg dat ik van een tiental venues de agenda uit wil lezen adhv deze website voor een week of een maand, wat is dan een makkelijke webscraper? Of kan ik beter de websites van die venues gebruiken als bron?
Of optie drie: ik laat een chatGPT zo'n tool bouwen. Ik ben best aardig onderlegd qua ICT maar bijvoorbeeld Parsehub gaat me ondanks tutorial de pet te boven.
Ik wil graag een webscraper of tool instellen danwel gebruiken om van deze website bepaalde locaties te filteren en daar de evenementen van een bepaalde periode terug kunnen vinden. De website van Uitagenda Rotterdam is goed opgezet maar ook een beetje zoeken naar een speld in een hooiberg.
Dus zeg dat ik van een tiental venues de agenda uit wil lezen adhv deze website voor een week of een maand, wat is dan een makkelijke webscraper? Of kan ik beter de websites van die venues gebruiken als bron?
Of optie drie: ik laat een chatGPT zo'n tool bouwen. Ik ben best aardig onderlegd qua ICT maar bijvoorbeeld Parsehub gaat me ondanks tutorial de pet te boven.
What Would Goku Do
als ik niet weet hoe iets moet vraag altijd, make me a .bat file that automates all this shit
Ik boek je met mijn neon je weet.
en ik heb ook een auto.
en ik heb ook een auto.
Het is nog veel makkelijker, ik keek ff snel in devtools en ik zie dat je gewoon een GET endpoint kunt aanroepen en je krijgt een json response met alle events.
Of dit mag is een tweede, maar makkelijker dan dit ga je het niet krijgen.
Edit: je kunt ook de datum erin stoppen, en genres.
Of dit mag is een tweede, maar makkelijker dan dit ga je het niet krijgen.
Edit: je kunt ook de datum erin stoppen, en genres.
Dit is het beste antwoord.quote:Op dinsdag 15 april 2025 09:29 schreef Feola het volgende:
Het is nog veel makkelijker, ik keek ff snel in devtools en ik zie dat je gewoon een GET endpoint kunt aanroepen en je krijgt een json response met alle events.
Of dit mag is een tweede, maar makkelijker dan dit ga je het niet krijgen.
Edit: je kunt ook de datum erin stoppen, en genres.
https://www.uitagendarott(...)ementen=0&datum=&p=1
Ik heb geen idee waar ik naar kijk hier.quote:Op dinsdag 15 april 2025 10:57 schreef Farenji het volgende:
[..]
Dit is het beste antwoord.
https://www.uitagendarott(...)ementen=0&datum=&p=1
What Would Goku Do
Een json feed waar de data in staat die je zoekt.quote:Op dinsdag 15 april 2025 12:03 schreef viagraap het volgende:
[..]
Ik heb geen idee waar ik naar kijk hier.
Dit gaat mij echt compleet de pet te boven, geen idee wat ik ermee moet of kan.quote:Op dinsdag 15 april 2025 12:46 schreef viagraap het volgende:
Zodra ik tijd heb om te googlen hoe dat werkt zal ik je daarna bedanken.
What Would Goku Do
Hier kan chatgpt je vast wel bij helpen.quote:
[..]
Dit gaat mij echt compleet de pet te boven, geen idee wat ik ermee moet of kan.
Ik weet niet eens wat ik die moet vragen zo weinig begrijp van waar ik naar kijk op die json.quote:
[..]
Hier kan chatgpt je vast wel bij helpen.
What Would Goku Do
En je was nog wel aardig onderlegd zei je. Dit lijkt me nou niet een enorm lastige prompt die je moet bedenken.
Wat begrijp er er niet van? In pagedList.items staat toch gewoon een lijst van events? Lijkt me allemaal vrij zelfbeschrijvend.quote:
[..]
Ik weet niet eens wat ik die moet vragen zo weinig begrijp van waar ik naar kijk op die json.
Vergeleken met mijn omgeving, die blijkbaar extreem digibeet is.quote:
En je was nog wel aardig onderlegd zei je. Dit lijkt me nou niet een enorm lastige prompt die je moet bedenken.
What Would Goku Do
Als je die items 0 t/m 21 bedoelt staat daar idd een lijst maar niet wat ik zoek en ik heb geen idee hoe je de totstandkoming van die lijst kunt aanpassen.quote:
[..]
Wat begrijp er er niet van? In pagedList.items staat toch gewoon een lijst van events? Lijkt me allemaal vrij zelfbeschrijvend.
What Would Goku Do
Spijt mij donders, maar als je dit niet begrijpt is je noemer ICT je onwaardig...quote:
[..]
Ik heb geen idee waar ik naar kijk hier.
Maar dat gezegd is dit de juiste methode om data te filteren, de hoster is blijkbaar zo aardig om een json stream beschikbaar te hebben!
Dat kun je waarschijnlijk ook niet, wel kun je zelf met een klein beetje programmeren middels chatGPT zelf de data filteren.quote:
[..]
Als je die items 0 t/m 21 bedoelt staat daar idd een lijst maar niet wat ik zoek en ik heb geen idee hoe je de totstandkoming van die lijst kunt aanpassen.
The people who lost my respect will never get a capital letter for their name again.
Like trump...
Like trump...
Ik weet in ieder geval beter wat ik moet vragen nu, dat is iets. Bedankt! Ook aan de anderen hier die hebben meegedachtquote:
[..]
Spijt mij donders, maar als je dit niet begrijpt is je noemer ICT je onwaardig...
Maar dat gezegd is dit de juiste methode om data te filteren, de hoster is blijkbaar zo aardig om een json stream beschikbaar te hebben!
[..]
Dat kun je waarschijnlijk ook niet, wel kun je zelf met een klein beetje programmeren middels chatGPT zelf de data filteren.
Is een IT'er iets anders dan een ICT'er trouwens? Want IT'er ben ik hoe dan ook geweest niet heel lang geleden.
What Would Goku Do
Ik schrijf best veel spiders, dus was voor mij redelijk eitje, de velden mag je zelf aanvullen, het is even snel geschreven in Powershell
Of in Python (via Chatgtp), location moet je even zelf uitvogelen:
i
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | $continue = $true $counter = 1 $output = "sep=,`n""lokatie"",""title"",""date""`n" while ($continue) { $result = Invoke-RestMethod "https://www.uitagendarotterdam.nl/umbraco/api/Entity/GetProductions?id=1083&isMobile=false&culture=nl-NL&toonmeerdaagseevenementen=0&datum=&p=$($counter)" foreach($item in $result.pagedList.items){ $output += """$($item.location.title)"",""$($item.title)"",""$($item.date)""`n" } if($result.pagedList.items.Count -eq 0){ $continue = $false; } $counter++ } $output | Out-File -FilePath .\result.csv |
Of in Python (via Chatgtp), location moet je even zelf uitvogelen:
i
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | mport requests import csv continue_fetching = True counter = 1 filename = "resultp.csv" with open(filename, mode="w", newline="", encoding="utf-8") as file: writer = csv.writer(file, quoting=csv.QUOTE_ALL) writer.writerow(["lokatie", "title", "date"]) while continue_fetching: url = f"https://www.uitagendarotterdam.nl/umbraco/api/Entity/GetProductions?id=1083&isMobile=false&culture=nl-NL&toonmeerdaagseevenementen=0&datum=&p={counter}" response = requests.get(url) data = response.json() items = data.get("pagedList", {}).get("items", []) if not items: continue_fetching = False break for item in items: title = item.get("title", "") date = item.get("date", "") writer.writerow([title, date]) counter += 1 |
🕰️₿🕰️₿🕰️₿🕰️₿🕰️₿🕰️ TikTok next Block
|
|
