[PHP/(My)SQL] voor dummies - Deel 43

Hoi,

ik zoek een script om clientdata te registreren. Zaken als OS, browser, versie etc.
Uiteindelijk ook een script/functie om schermresolutie etc. te analyseren.

Weet iemand waar ik zulke scripts kan vinden? Google geeft resultaat, maar ik ben niet geheel tevreden. Weet iemand een goede oplossing?

Wat wil je onder andere weten van je bezoekers?

getallheaders() is verder een hele simpele oplossing: http://nl2.php.net/manual/nl/function.getallheaders.php . Daarmee kun je vrijwel alle nuttige informatie van je bezoekers ophalen.

quote:

Op zondag 27 mei 2007 22:40 schreef Tuvai.net het volgende:
Wat wil je onder andere weten van je bezoekers?

getallheaders() is verder een hele simpele oplossing: http://nl2.php.net/manual/nl/function.getallheaders.php . Daarmee kun je vrijwel alle nuttige informatie van je bezoekers ophalen.

Hiermee kan ik de gegevens opvragen. Dank daarvoor, wist niet dat zoiets bestond.

Nu wil ik ook nog een script dat de gegevens transformeert naar "begrijpelijke" waarden
brows = firefox
version = 2.0.3
Country = The Netherlands
Language = dutch
OS = Linux
OS-version = suse

Op dit niveau. De headers opvragen is niet moeilijk, maar deze interpreteren is een tweede. Niet moeilijk, maar veel werk. En er zijn scripts die dit kunnen, die vind ik via Google. Maar wat is goed en wat niet?

quote:

Op zondag 27 mei 2007 23:04 schreef beerten het volgende:

[..]

Hiermee kan ik de gegevens opvragen. Dank daarvoor, wist niet dat zoiets bestond.

Nu wil ik ook nog een script dat de gegevens transformeert naar "begrijpelijke" waarden
brows = firefox
version = 2.0.3
Country = The Netherlands
Language = dutch
OS = Linux
OS-version = suse

Op dit niveau. De headers opvragen is niet moeilijk, maar deze interpreteren is een tweede. Niet moeilijk, maar veel werk. En er zijn scripts die dit kunnen, die vind ik via Google. Maar wat is goed en wat niet?

OS, OS-versie, browser, browser-versie en met wat geluk taal zijn uit je headers te halen. Country kan je met een ip2location database vinden en word met wat geluk ook in je $_SERVER gezet in dat geval hoef je geen ip2location database te gebruiken. Resoluties, kleuren, java, flash en javascript word wat lastiger maar dat kan je met javascript laten doen en dan een plaatje laten laden of een AJAX call in de achtergrond laten doen om de gegevens naar de server terug te sturen.

Voor het header parsen staan op deze sites wel wat scripts er voor: http://www.phpclasses.org/

Of je kijkt eens naar http://nl2.php.net/get_browser

quote:

Op zondag 27 mei 2007 23:04 schreef beerten het volgende:

[..]

Hiermee kan ik de gegevens opvragen. Dank daarvoor, wist niet dat zoiets bestond.

Nu wil ik ook nog een script dat de gegevens transformeert naar "begrijpelijke" waarden
brows = firefox
version = 2.0.3
Country = The Netherlands
Language = dutch
OS = Linux
OS-version = suse

Op dit niveau. De headers opvragen is niet moeilijk, maar deze interpreteren is een tweede. Niet moeilijk, maar veel werk. En er zijn scripts die dit kunnen, die vind ik via Google. Maar wat is goed en wat niet?

Die komen in feite allemaal op hetzelfde (getallheaders) neer. Zoals WyrilHaximus al zei kun je desnoods nog een Javascriptje runnen die ook nog dingen als resolutie-instellingen opzoekt, die staan immers niet tussen de getallheader() informatie-stukjes. Ik zou er geen groot script voor gaan downloaden, zelf iets dergelijks in elkaar zetten is écht niet veel werk; voornamelijk met foreach() door getallheaders() loopen.

In navolging van bovenstaande vragen:

wat is de beste manier om bezoekers-data op te slaan? Een record per hit is best leuk, maar je zit binnen no-time met 100.000+ records in je tabel, en dan begint stats genereren zolang te duren heb ik gemerkt

Oplossing: data samenvoegen tot iets nuttings en uit je tabel gooien. Maar hoe?
Wat is slim / handig? Hoe hou je meeste / nuttigste informatie over?

De data per sessie opslaan?

X: Zelf loop ik nu ook tegen dat probleem aan. (Alleen dan met 1.2M+ hits.) Wat je het beste kunt doen per dag of per week stats opslaan, en deze dan gegevens dan gebruiken om je overall stats te genereren. It's will be smart to save it as day, week, month, quarter year and year so you don't have to much load to make your overall stats. Something else that is smart to do it saving each bit of information that can be reused in a seperate table so you don't have the problem of huge amount of data in your index table. The reason for this is with growing tables they become slower to search and save data into.

quote:

Op maandag 28 mei 2007 14:28 schreef WyriHaximus het volgende:
...

Normalisatie van je database dus.

Op het moment dat een gebruiker de site bezoekt, begint deze een sessie. --> tabel sessie
- sessie -id
- ip-adres
- profiel_id

Die gebruiker bezoekt pagina's, die behoren tot een sessie --> tabel
- visit-id
- sessie-id
- pagina-id
- timestamp

Pagina's worden door verschillende gebruikers opgevraagd ---> tabel
- pagina-id
- pagina-naam


Iedere gebruiker heeft een eigen profiel met zaken als OS, browser etc. Dit alles komt meerdere keren voor, dus een tabel 'profiel' met de data in subtabellen

-profiel-i
- browser-id
- os-id
- version-id
- screebres-id

- browser-id
- browser-name

- os-id
- os-name

Zoiets. Nu heb je nergens dubbele data staan en heb je je informatie zo kompact mogelijk = snel opgeslagen.

Deze opzet gebruik ik voor een script dat het gedrag van de gebruiker gaat analyseren. Wie bezoekt welke pagina, hoe browsen gebruikers door de sie, welke links/paden.
Daarnaast houdt het ook algemene stats bij.
Overigens staat de database layout versimpelt weergegeven.

version-id
- version-name

quote:

Op maandag 28 mei 2007 17:16 schreef beerten het volgende:
...

Dat dus

quote:

Op maandag 28 mei 2007 14:28 schreef WyriHaximus het volgende:
It's will be smart to save it as day, week, month, quarter year and year so you don't have to much load to make your overall stats.

Dit had ik ook al bedacht idd... data per dag optellen, en per 7 dagen weer als week optellen etc.

De data splitsen over meer tabellen vind ik dat weer niet handig, maar dat is meer vanuit de gedachte dat je de stats als iets 'extra' bijhoudt bij een site. Daar 6 tabellen ofzo voor gebruiken vind ik dan weer vrij veel, in verhouding ... als je een dedicated statistieken rapportage ding bouwt is dat een ander verhaal natuurlijk

Overigens gebruik ik meestal gewoon een OneStat account, scheelt mij weer een hoop gedoe

quote:

Op maandag 28 mei 2007 18:53 schreef Xcalibur het volgende:

[..]

Dit had ik ook al bedacht idd... data per dag optellen, en per 7 dagen weer als week optellen etc.

De data splitsen over meer tabellen vind ik dat weer niet handig, maar dat is meer vanuit de gedachte dat je de stats als iets 'extra' bijhoudt bij een site. Daar 6 tabellen ofzo voor gebruiken vind ik dan weer vrij veel, in verhouding ... als je een dedicated statistieken rapportage ding bouwt is dat een ander verhaal natuurlijk

Overigens gebruik ik meestal gewoon een OneStat account, scheelt mij weer een hoop gedoe

Ik gebruik 10 tabellen voor me stats . Komt vooral om de snelheid te verhogen . Queries kosten op een gegeven moment een secconde en dat alleen maar om wat stats en dat ging me toch echt iets te ver . En dat waren nog niet eens de stats dat was puur het reccorden . Voor een kleine site boeit het niet echt aangezien je toch niet bar veel hits zou hebben. Maar na me actie met een zooitje PvP Item kosten screenshots op de wow forums was ik in een weekje 500k hits rijker en dan ga je toch echt wel kijken naar hoe je dingen sneller kan laten gaan .

Ik begin me nu in eens af te vragen waarom ik zomaar engels ging praten daar .

* JortK gebruikt gewoon Google analytics... veel voor weinig

Foute post sorry.

quote:

Op maandag 28 mei 2007 19:08 schreef WyriHaximus het volgende:
Ik gebruik 10 tabellen voor me stats .

Ja, dat vind ik dus teveel van het goede.... waarom doe je het eigenlijk zelf, en niet met een OneStat oid?

quote:

Op maandag 28 mei 2007 19:08 schreef WyriHaximus het volgende:Ik begin me nu in eens af te vragen waarom ik zomaar engels ging praten daar .

Ik dacht dat je een quote ergens vandaan had gehaald

quote:

Op maandag 28 mei 2007 19:36 schreef JortK het volgende:
Foute post sorry.

geeft niet joh, gebruik ik er ook gewoon nog steeds naast

quote:

Op maandag 28 mei 2007 19:44 schreef Xcalibur het volgende:

[..]

Ja, dat vind ik dus teveel van het goede.... waarom doe je het eigenlijk zelf, en niet met een OneStat oid?

Zie opmerking hierboven . De reden dat ik het zelf doe is eingelijk gewoon voor de fun en omdat ik wil kijken of ik zoiets netjes kan bouwen .

quote:

Op maandag 28 mei 2007 19:44 schreef Xcalibur het volgende:
[..]

Ik dacht dat je een quote ergens vandaan had gehaald

Nee zat ook wow te spelen en dat daar ook in gesprek maar dan in het engels

quote:

Op maandag 28 mei 2007 17:19 schreef WyriHaximus het volgende:

[..]

Dat dus

Het heeft nog veel meer voordelen. Je kan precies zien wat een user uitvreet. Je kan zelfs post en get variabelen afvangen (alle formfields, zoektermen, errormessages etc.)
Je kan het integreren in een beveiligingssysteem.
Je hebt namelijk een duidelijk profiel van de gebruiker (ip, sessie-id, browser, os etc) Als er gedurende de sessie ook maar iets veranderd is de sessie gestolen, dus een hack-attempt.

Wat de grootte van de tabellen betreft: Je zou inderdaad een onderhoudsscript kunnen schrijven dat op gezette tijden de dagstatistieken wegschrijft naar weken/maanden/dagen/uren. Zoiets.

quote:

Op maandag 28 mei 2007 20:22 schreef beerten het volgende:
Wat de grootte van de tabellen betreft: Je zou inderdaad een onderhoudsscript kunnen schrijven dat op gezette tijden de dagstatistieken wegschrijft naar weken/maanden/dagen/uren. Zoiets.

Ja, duidelijk... maar wat is dan de 'best practise' zeg maar?

quote:

Op maandag 28 mei 2007 20:27 schreef Xcalibur het volgende:

[..]

Ja, duidelijk... maar wat is dan de 'best practise' zeg maar?

Die is afhankelijk van je eisen als je bijvoorbeeld na 3 maanden genoegen neemt met een samenvatting per dag/maand, dan moet je de statistieken dus 'compileren' en opslaan. Je kunt er ook voor kiezen om bijvoorbeeld na 365 dagen statistieken te verwijderen, dan moet je dus per statistiek een timestamp gaan bijhouden. Het ligt er dus aan wat jij wil

quote:

Op maandag 28 mei 2007 20:22 schreef beerten het volgende:

[..]

Het heeft nog veel meer voordelen. Je kan precies zien wat een user uitvreet. Je kan zelfs post en get variabelen afvangen (alle formfields, zoektermen, errormessages etc.)
Je kan het integreren in een beveiligingssysteem.
Je hebt namelijk een duidelijk profiel van de gebruiker (ip, sessie-id, browser, os etc) Als er gedurende de sessie ook maar iets veranderd is de sessie gestolen, dus een hack-attempt.

Dus basicly $_SESSION, $_SERVER, $_POST en $_GET bij elke opgevraagde pagina wegschrijven?

Qua performance lijkt het mij sneller als je Apache dergelijke data naar de HDD laat schrijven.

quote:

Op maandag 28 mei 2007 20:47 schreef Geqxon het volgende:

[..]

Dus basicly $_SESSION, $_SERVER, $_POST en $_GET bij elke opgevraagde pagina wegschrijven?

Qua performance lijkt het mij sneller als je Apache dergelijke data naar de HDD laat schrijven.

Nee, dat is nu ook weer niet de bedoeling Dat vreet inderdaad te veel. Je zou het wel kunnen gebruiken op bepaalde pagina's om errormessages te loggen. Denk aan formulieren. Hiermee kan je zien welke fouten de gebruiker maakt en zo je website optimaliseren.

Ik had me alleen nog maar bedacht hoe. Niet naar de gevolgen en de uitvoering gekeken. Zover was ik nog niet....

quote:

Op maandag 28 mei 2007 21:20 schreef beerten het volgende:
Je zou het wel kunnen gebruiken op bepaalde pagina's om errormessages te loggen. Denk aan formulieren. Hiermee kan je zien welke fouten de gebruiker maakt en zo je website optimaliseren.

Dit vind ik wel een interessante insteek
Denk dat ik maar eens iets ga bedenken om zulk soort dingen standaard bij te houden...

quote:

Op maandag 28 mei 2007 20:43 schreef JeRa het volgende:

[..]

Die is afhankelijk van je eisen als je bijvoorbeeld na 3 maanden genoegen neemt met een samenvatting per dag/maand, dan moet je de statistieken dus 'compileren' en opslaan. Je kunt er ook voor kiezen om bijvoorbeeld na 365 dagen statistieken te verwijderen, dan moet je dus per statistiek een timestamp gaan bijhouden. Het ligt er dus aan wat jij wil

Wat ik persoonlijk zou doen is perdag gegevens die ik nodig heb om statestieken te genereren op te slaan. En dan eens per week de gegevens voor die week uit die van de 7 dagen in die week halen. En dan op die fiets verder . Zo kan je van alle dagen stats laten zien maar ook van alles over de gehelen reccord tijd. Dit is handig als je ook reports wilt hebben over een bepaalde tijd waarin je een bepaalde actie heb gehad.

Anyway zolang je je URL opslaat heb je automatish ook je $_GET . Zelf sla ik ook referers op en een waarschuwing, wat tegenwoordig ook vaak word gedaan is referer spamming, komt er op neer dat ze een random hit op je site doen met de referer van de site die aandacht moet hebben volgens hun. Deze referer zie je dan vaak verschijnen in stats. Het is iets om op te latten als je je stats ook andere laat zien .