DIG Digital Corner
Alles wat je altijd al over computers, hardware, software, internet en elektronische gadgets had willen weten, maar niet op Tweakers.net durft te vragen.
Waarom zou je alle users willen scrapen, terwijl alleen de crewleden nodig zijn? Van de ~430.000 is nog niet eens 1% crew geweest.
Is wat voor te zeggen natuurlijk.quote:Op dinsdag 17 juni 2014 17:08 schreef esv7 het volgende:
Er is toch een klein probleem, die scraper moet heel veel pagina's bekijken resulterend in een ip ban.
.Eerst alleen de users op http://fok.zevkiselim.nl/crew/?type=user scrapen? Kan ze in een tabel zetten als je wil.
SPOILEROm spoilers te kunnen lezen moet je zijn ingelogd. Je moet je daarvoor eerst gratis Registreren. Ook kun je spoilers niet lezen als je een ban hebt.Profielpagina: "http://forum.fok.nl/user/profile/" voor de usernames plaatsen.
[ Bericht 0% gewijzigd door #ANONIEM op 17-06-2014 17:31:19 ]
De tutorial die ik heb gebruikt werkt met een dropdownlijst en toont vervolgens de gegevens van de geselecteerde item (user).
Wat ik graag zou willen is dat in plaats van een dropdownlijst de selectie (users) in een tabel of in een (HTML-)lijst wordt getoond. En dat elke user een aparte pagina heeft, zodat deze ook direct op te vragen is. Nu is dat niet mogelijk; na het selecteren van een user in de dropdownlijst blijft de pagina op index.php.
Zoiets:
Tabel kan later natuurlijk opgeleukt worden met UI's en dergelijke. ;P.
Even hiermee aan de slag gaan dan maar...
Wat ik graag zou willen is dat in plaats van een dropdownlijst de selectie (users) in een tabel of in een (HTML-)lijst wordt getoond. En dat elke user een aparte pagina heeft, zodat deze ook direct op te vragen is. Nu is dat niet mogelijk; na het selecteren van een user in de dropdownlijst blijft de pagina op index.php.
Zoiets:
Tabel kan later natuurlijk opgeleukt worden met UI's en dergelijke. ;P.
Even hiermee aan de slag gaan dan maar...
Dat lukt me wel, maar het gedeelte erna.quote:
Niet zo heel lastig toch? Een tabel maken en die vullen met hyperlinks.
. De pagina die de geselecteerde user ontvangt en de gegevens toont. Zou me moeten lukken. Denk ik.
Ik was net even lokaal bezig en ik zag inderdaad een "Parse error: syntax error, unexpected end of file" verschijnen. Ik heb een "<?" gewijzigd naar "<?php", en nu verschijnt de melding niet meer.quote:Op zondag 15 juni 2014 23:56 schreef Robuustheid het volgende:
[..]
Weet je zeker dat de code van 0.2 werkt? Als ik de index.php lokaal open, krijg ik een syntax error. Ergens zou-ie niet goed afgesloten worden.
Thanks voor je post nog.
Btw, ik zou de php sluittag weglaten aan het eind van de bestanden. Spaties/tabs aan het eind kunnen namelijk wel eens vervelend doen.
Even mierenneuken: waarom wordt er standaard overal al 1x ingesproken? Zonde van de ruimte/leesbaarheid
Even mierenneuken: waarom wordt er standaard overal al 1x ingesproken? Zonde van de ruimte/leesbaarheid
Op welke doel je precies? Hoe moet het werken als de php-tag niet gesloten wordt?quote:
Btw, ik zou de php sluittag weglaten aan het eind van de bestanden. Spaties/tabs aan het eind kunnen namelijk wel eens vervelend doen.
Oh, dat komt door mij.quote:Even mierenneuken: waarom wordt er standaard overal al 1x ingesproken? Zonde van de ruimte/leesbaarheid
. Ik spring bij elke tag in. Standaard 1 keer komt doordat ik <html> als basis neem, dus er wordt ingesprongen bij <head> en <body>.
Hoe zou jij het doen?
[ Bericht 0% gewijzigd door #ANONIEM op 17-06-2014 22:23:08 ]
Zie GitHub.quote:
Interessant idee, zeker iets waar ik eventueel mee zou willen helpen
.
esv7 is/was ermee bezig (zie hierboven); ik weet niet wat de status ervan is.quote:
Wellicht kunnen jullie er samen naar kijken? Ik heb geen idee hoe het scrapen werkt, dus kan er weinig nuttigs over zeggen.
Als dat het enige is wat nodig is lijkt het mij dat hij het alleen wel aankan. Ik kan eventueel ook de site een beetje in elkaar zetten.quote:
[..]
esv7 is/was ermee bezig (zie hierboven); ik weet niet wat de status ervan is.
Wellicht kunnen jullie er samen naar kijken? Ik heb geen idee hoe het scrapen werkt, dus kan er weinig nuttigs over zeggen.
Er zijn andere openstaande punten, zie de To-do: https://github.com/zarGonnn/FOK-crewgeschiedenis/wiki#to-do.quote:
[..]
Als dat het enige is wat nodig is lijkt het mij dat hij het alleen wel aankan. Ik kan eventueel ook de site een beetje in elkaar zetten.
Alle hulp is welkom! Kun je aangeven waar je mee beziggaat na het zien van die punten?
Ik probeer even een beeld te vormen bij die punten en kijk wat er mogelijk is. Laat het straks weten.quote:
[..]
Er zijn andere openstaande punten, zie de To-do: https://github.com/zarGonnn/FOK-crewgeschiedenis/wiki#to-do.
Alle hulp is welkom! Kun je aangeven waar je mee beziggaat na het zien van die punten?
Neem vooral de huidige (handmatige) versie door: http://fok.zevkiselim.nl/crew. Die richting moet het opgaan.quote:
[..]
Ik probeer even een beeld te vormen bij die punten en kijk wat er mogelijk is. Laat het straks weten.
Zou je ook een eventuele toelichting kunnen geven bij die punten? Want bij de middelste drie is het onduidelijk wat de bedoeling is. Die taartgrafieken zijn er ook al.quote:
[..]
Neem vooral de huidige (handmatige) versie door: http://fok.zevkiselim.nl/crew. Die richting moet het opgaan.
De scraper is in principe af ik heb alleen nog een lijstje van de userids nodig.
No citizen has a right to be an amateur in the matter of physical training...what a disgrace it is for a man to grow old without ever seeing the beauty and strength of which his body is capable.
Bijvoorbeeld deze php file: https://github.com/zarGon(...)s/blob/master/db.phpquote:
Op welke doel je precies? Hoe moet het werken als de php-tag niet gesloten wordt?
Op het eind staat ?>, welke in principe weggelaten kan worden. Zie oa http://stackoverflow.com/(...)e-omit-the-close-tag
Ik bedoel niet de html maar de php, zoals in een file als deze. Het eerste statement begint al gelijk ingesprongen. Alle andere php files ook. Het is verder mierenneuken, maar viel me op.quote:Oh, dat komt door mij.
Ik spring bij elke tag in. Standaard 1 keer komt doordat ik <html> als basis neem, dus er wordt ingesprongen bij <head> en <body>.
Hoe zou jij het doen?
Natuurlijk.quote:
[..]
Zou je ook een eventuele toelichting kunnen geven bij die punten? Want bij de middelste drie is het onduidelijk wat de bedoeling is. Die taartgrafieken zijn er ook al.
Een pagina waar je door middel van een formulier een user kan toevoegen. Ik had zelf een beginnetje gemaakt: DIG / Crewgeschiedenis, van handmatig naar dynamisch (PHP/MySQL).quote:Invoerformulieren waarmee gegevens kunnen worden toegevoegd aan de database.
Voorbeeld:
- Nieuwe user toevoegen:
- Bestaande user wijzigen:
De huidige versie is kaal, het heeft alleen de grafieken. Geen template dus. Een template zou fijn zijn, zie de handmatige versie.quote:Template; bizStrap is een optie.
Momenteel heb ik als testdata 4 users in de database. Het is echter de bedoeling om naast user, ook overzichten voor fora te hebben. Zie dit: http://fok.zevkiselim.nl/crew/?type=forum.quote:Overzichten (tabel/pie chart/timeline) voor users én fora.
Opzet is hetzelfde eigenlijk.
Een user kan op verschillende delen (subsites) van FOK! een functie hebben. Op de Frontpage, op het forum, op de weblog enzovoorts. Ik zou deze gegevens niet op één hoop willen hebben, maar een verdeling per subsite willen. Functies op het forum bij elkaar, functies op de Frontpage bij elkaar en zo. Zie dit voor zo'n overzicht: http://fok.zevkiselim.nl/crew/?user=static. Gegevens verdeeld over 2 tabellen.quote:Overzichten bij de users per subsite.
Ik zou deze gegevens zo willen weergeven:
Die tabs gelden dus ook voor de tabellen en de pie charts.
Ideeën zijn welkom natuurlijk!
---
Duidelijk zo?
[ Bericht 1% gewijzigd door #ANONIEM op 17-06-2014 23:19:30 ]
Oh.quote:
[..]
Bijvoorbeeld deze php file: https://github.com/zarGon(...)s/blob/master/db.php
Op het eind staat ?>, welke in principe weggelaten kan worden. Zie oa http://stackoverflow.com/(...)e-omit-the-close-tag
.Ik had geen idee dat-ie in dit geval weggelaten kon worden.
. Gevoelsmatig sloot ik de tag dan goed af, zeg maar. Maakt dit verder uit? Bedoel qua snelheid of iets dergelijks.Ik weet alleen niet wanneer ik het afsluiten van de tag wel en niet moet doen.
Hm, ik zal dat aanpassen! Thanks!quote:Ik bedoel niet de html maar de php, zoals in een file als deze. Het eerste statement begint al gelijk ingesprongen. Alle andere php files ook. Het is verder mierenneuken, maar viel me op.
Als ik het goed begrijp werkt de scraper nu op basis van UserID's? Is het niet handiger om 'm op basis van usernames te bouwen? Een username is net even gemakkelijker in gebruik dan een paar nummertjes, zeg maar.quote:
De scraper is in principe af ik heb alleen nog een lijstje van de userids nodig.
Even kijken of ik zo'n lijstje bij elkaar kan sprokkelen.
In principe zou dat ook moeten werken, tenzij FOK! moeilijk doet. Maar volgens mij zijn beiden gewoon geldig.quote:
[..]
Als ik het goed begrijp werkt de scraper nu op basis van UserID's? Is het niet handiger om 'm op basis van usernames te bouwen? Een username is net even gemakkelijker in gebruik dan een paar nummertjes, zeg maar.
Even kijken of ik zo'n lijstje bij elkaar kan sprokkelen.
Nee hoor daar merk je niets van. Dan sluit php sluit het uit zichzelf.quote:
[..]
Oh.
Ik had geen idee dat-ie in dit geval weggelaten kon worden.
| Forum Opties | |
|---|---|
| Forumhop: | |
| Hop naar: | |