abonnement bol.com Unibet Coolblue
pi_141178315
quote:
0s.gif Op maandag 16 juni 2014 10:13 schreef zarGon het volgende:
Ik ga vanavond maar eens een wiki aanmaken op GitHub. Maakt het uitleggen makkelijker.
https://github.com/zarGonnn/FOK-crewgeschiedenis/wiki.
pi_141178696
quote:
Wat voor gegevens zou je willen scrapen?
No citizen has a right to be an amateur in the matter of physical training...what a disgrace it is for a man to grow old without ever seeing the beauty and strength of which his body is capable.
pi_141179146
quote:
0s.gif Op maandag 16 juni 2014 22:38 schreef esv7 het volgende:

[..]

Wat voor gegevens zou je willen scrapen?
Gegevens die je op een profiel ziet. esv7.


In jouw geval:
- UserID (384959)
- Registratiedatum (20 september 2012)
- UI (http://i.fokzine.net/usericons/384959/dilla_small.jpg / alleen link opslaan of ook het plaatje)

Natuurlijk de hierbij behorende username. :P.

Om te gebruiken op de user-pagina straks; zie voorbeeld: http://fok.zevkiselim.nl/crew/?user=zarGon (bovenaan).

[ Bericht 3% gewijzigd door #ANONIEM op 16-06-2014 22:50:16 ]
pi_141194448
quote:
0s.gif Op maandag 16 juni 2014 22:45 schreef zarGon het volgende:

[..]

Gegevens die je op een profiel ziet. esv7.

In jouw geval:
- UserID (384959)
- Registratiedatum (20 september 2012)
- UI (http://i.fokzine.net/usericons/384959/dilla_small.jpg / alleen link opslaan of ook het plaatje)

Natuurlijk de hierbij behorende username. :P.

Om te gebruiken op de user-pagina straks; zie voorbeeld: http://fok.zevkiselim.nl/crew/?user=zarGon (bovenaan).
En is er ergens ook een lijst met moderators te vinden of zou die alle geregistreerde users af moeten gaan?
No citizen has a right to be an amateur in the matter of physical training...what a disgrace it is for a man to grow old without ever seeing the beauty and strength of which his body is capable.
pi_141194585
quote:
0s.gif Op dinsdag 17 juni 2014 11:50 schreef esv7 het volgende:

[..]

En is er ergens ook een lijst met moderators te vinden of zou die alle geregistreerde users af moeten gaan?
Zo'n lijst is helaas nooit bijgehouden. Eventueel zou ik een tabel met usernames kunnen aanmaken die ooit crew zijn geweest. Anders is het alle geregistreerde users afgaan...

Wat is handiger (voor jou)?
pi_141194850
quote:
0s.gif Op dinsdag 17 juni 2014 11:53 schreef zarGon het volgende:

[..]

Zo'n lijst is helaas nooit bijgehouden. Eventueel zou ik een tabel met usernames kunnen aanmaken die ooit crew zijn geweest. Anders is het alle geregistreerde users afgaan...

Wat is handiger (voor jou)?
Alle users afgaan is flink wat denk ik:P maar dan zal het alleen wat langer aan staan, voor mij zelf zal het weinig schelen denk ik. Ik ga wel even wat proberen.
No citizen has a right to be an amateur in the matter of physical training...what a disgrace it is for a man to grow old without ever seeing the beauty and strength of which his body is capable.
pi_141194952
quote:
0s.gif Op dinsdag 17 juni 2014 12:01 schreef esv7 het volgende:

[..]

Alle users afgaan is flink wat denk ik:P maar dan zal het alleen wat langer aan staan, voor mij zelf zal het weinig schelen denk ik. Ik ga wel even wat proberen.
O+.

Je gaat nu eenmalig al die data ophalen/opslaan?
pi_141196171
quote:
0s.gif Op dinsdag 17 juni 2014 12:04 schreef zarGon het volgende:

[..]

O+.

Je gaat nu eenmalig al die data ophalen/opslaan?
Ik ga even wat proberen om wat gegevens te verzamelen. :)
No citizen has a right to be an amateur in the matter of physical training...what a disgrace it is for a man to grow old without ever seeing the beauty and strength of which his body is capable.
pi_141196247
quote:
0s.gif Op dinsdag 17 juni 2014 12:43 schreef esv7 het volgende:

[..]

Ik ga even wat proberen om wat gegevens te verzamelen. :)
Cool cool cool!
pi_141199874
quote:
11s.gif Op zaterdag 14 juni 2014 20:36 schreef bondage het volgende:
.. lokpost ...
Hai!

esv7 (twee posts omhoog) is bezig met een scrapen, die gegevens uit een FOK!profiel zou moeten halen. Het lukt 'm echt niet helemaal, en ik vroeg me af of jij mee kon helpen/kijken... Gezien je eerdere werk en zo. :P.
  FOK!mycroftheld dinsdag 17 juni 2014 @ 14:40:07 #111
128465 verified  bondage
pi_141200101
quote:
0s.gif Op dinsdag 17 juni 2014 14:33 schreef zarGon het volgende:

[..]

Hai!

esv7 (twee posts omhoog) is bezig met een scrapen, die gegevens uit een FOK!profiel zou moeten halen. Het lukt 'm echt niet helemaal, en ik vroeg me af of jij mee kon helpen/kijken... Gezien je eerdere werk en zo. :P.
Ik haal voor de stats geen data uit de profielen op maar importeer alle losse posts per topic. Arcee doet het volgens mij wel op basis van profielen.

Edit: mocht het probleem ergens in het inloggen zitten kan ik uiteraard wel helpen.
pi_141200328
quote:
11s.gif Op dinsdag 17 juni 2014 14:40 schreef bondage het volgende:

[..]

Ik haal voor de stats geen data uit de profielen op maar importeer alle losse posts per topic. Arcee doet het volgens mij wel op basis van profielen.

Edit: mocht het probleem ergens in het inloggen zitten kan ik uiteraard wel helpen.
Het probleem is dat ik de profielpagina niet kan includen, ik krijg dan:
No citizen has a right to be an amateur in the matter of physical training...what a disgrace it is for a man to grow old without ever seeing the beauty and strength of which his body is capable.
  FOK!mycroftheld dinsdag 17 juni 2014 @ 14:51:06 #113
128465 verified  bondage
pi_141200414
quote:
0s.gif Op dinsdag 17 juni 2014 14:48 schreef esv7 het volgende:

[..]

Het probleem is dat ik de profielpagina niet kan includen, ik krijg dan:
[ afbeelding ]
Volgens mij moet je voor het inzien van profielen ingelogd zijn. Heb je een actieve sessie? Ik gebruik overigens de text-only layout onder een ander account (monitor), ik vind dat wat makkelijker te parsen.
  dinsdag 17 juni 2014 @ 14:51:28 #114
25889 Sitethief
Fulltime Flapdrol
pi_141200425
quote:
0s.gif Op dinsdag 17 juni 2014 14:48 schreef esv7 het volgende:

[..]

Het probleem is dat ik de profielpagina niet kan includen, ik krijg dan:
[ afbeelding ]
Includen? Waarom geen curl gebruiken?
Stroek: Sitethief, die is heel groot en sterk :Y.
Faat: *zucht* zoals gewoonlijk hoor Sitethief weer in de bocht >:)
  FOK!mycroftheld dinsdag 17 juni 2014 @ 14:52:22 #115
128465 verified  bondage
pi_141200455
quote:
0s.gif Op dinsdag 17 juni 2014 14:51 schreef Sitethief het volgende:

[..]

Includen? Waarom geen curl gebruiken?
Die kun je sowieso beter gebruiken als je, zoals in dit geval, met cookies moet werken.
pi_141200524
quote:
0s.gif Op dinsdag 17 juni 2014 14:51 schreef Sitethief het volgende:

[..]

Includen? Waarom geen curl gebruiken?
quote:
14s.gif Op dinsdag 17 juni 2014 14:52 schreef bondage het volgende:

[..]

Die kun je sowieso beter gebruiken als je, zoals in dit geval, met cookies moet werken.
Ja die had ik ook geprobeerd maar dat werkte ook niet.

Het ligt inderdaad aan het uitgelogd zijn, dat ik dat over het hoofd heb gezien :{ .
No citizen has a right to be an amateur in the matter of physical training...what a disgrace it is for a man to grow old without ever seeing the beauty and strength of which his body is capable.
  FOK!mycroftheld dinsdag 17 juni 2014 @ 14:58:04 #117
128465 verified  bondage
pi_141200651
quote:
0s.gif Op dinsdag 17 juni 2014 14:54 schreef esv7 het volgende:

[..]

[..]

Ja die had ik ook geprobeerd maar dat werkte ook niet.

Het ligt inderdaad aan het uitgelogd zijn, dat ik dat over het hoofd heb gezien :{ .
Ik heb voor het inloggen en maken van het koekje een script. Ben echter op kantoor dus kan je nu geen voorbeeld sturen.
pi_141201792
quote:
11s.gif Op dinsdag 17 juni 2014 14:58 schreef bondage het volgende:

[..]

Ik heb voor het inloggen en maken van het koekje een script. Ben echter op kantoor dus kan je nu geen voorbeeld sturen.
Oké dan kijk ik uit naar het voorbeeld:).
No citizen has a right to be an amateur in the matter of physical training...what a disgrace it is for a man to grow old without ever seeing the beauty and strength of which his body is capable.
  FOK!mycroftheld dinsdag 17 juni 2014 @ 15:32:40 #119
128465 verified  bondage
pi_141201966
quote:
0s.gif Op dinsdag 17 juni 2014 15:28 schreef esv7 het volgende:

[..]

Oké dan kijk ik uit naar het voorbeeld:).
Ben tegen 19:00 thuis, zal dan ff voor je kijken. Kunnen anders wel ff wat per DM regelen denk ik.
pi_141203826
O+.

Eventueel een issue erin schieten? https://github.com/zarGonnn/FOK-crewgeschiedenis/issues. Kan de rest meekijken en zo. Weet niet of het gemakkelijker is though.

[ Bericht 57% gewijzigd door #ANONIEM op 17-06-2014 16:26:20 ]
pi_141203942
quote:
0s.gif Op dinsdag 17 juni 2014 16:25 schreef zarGon het volgende:
O+.

Eventueel een issue erin schieten? https://github.com/zarGonnn/FOK-crewgeschiedenis/issues. Kan de rest meekijken en zo. Weet niet of het gemakkelijker is though.
Met de hulp van bondage moet ik nu alleen nog uitgraven wat ik wil scrapen en dan is die klaar :) .
No citizen has a right to be an amateur in the matter of physical training...what a disgrace it is for a man to grow old without ever seeing the beauty and strength of which his body is capable.
pi_141204437
quote:
0s.gif Op dinsdag 17 juni 2014 16:28 schreef esv7 het volgende:

[..]

Met de hulp van bondage moet ik nu alleen nog uitgraven wat ik wil scrapen en dan is die klaar :) .
:9. Ben benieuwd!
pi_141204765
Ik wil een distinct count van aantal dagen hebben uit meerdere datumreeks/-range.

Concreet: het rode getal '1042' op http://fok.zevkiselim.nl/crew/?user=zarGon.

Range:
1
2
2014-01-01 - 2014-01-05
2014-01-03 - 2014-01-07

Levert een distinct count op van 7:
1
2
3
4
5
6
7
2014-01-01
2014-01-02
2014-01-03
2014-01-04
2014-01-05
2014-01-06
2014-01-07

Hoe kan ik dit het beste aanpakken? Ik heb gezocht maar geen voorbeeldcode kunnen vinden...

In het ergste geval wilde ik een tabel hebben met datums (alle dagen tussen 1999 en 2015), en dan joinen en distinct/group by gebruiken om het unieke aantal dagen te tellen. Dat kan vast efficiënter.
pi_141204881
quote:
0s.gif Op dinsdag 17 juni 2014 16:28 schreef esv7 het volgende:

[..]

Met de hulp van bondage moet ik nu alleen nog uitgraven wat ik wil scrapen en dan is die klaar :) .
Hoe pak je de UI's aan eigenlijk? Op welke manier ga je die opslaan?

[ Bericht 3% gewijzigd door #ANONIEM op 17-06-2014 16:54:16 ]
pi_141205401
Er is toch een klein probleem, die scraper moet heel veel pagina's bekijken resulterend in een ip ban. :o
No citizen has a right to be an amateur in the matter of physical training...what a disgrace it is for a man to grow old without ever seeing the beauty and strength of which his body is capable.
abonnement bol.com Unibet Coolblue
Forum Opties
Forumhop:
Hop naar:
(afkorting, bv 'KLB')