[PHP/(My)SQL] voor dummies - Deel 75

Index

» digital corner

» development

actieve topics nieuwe topics
abonnement Unibet Coolblue Bitvavo
pi_71386545
quote:
Op dinsdag 28 juli 2009 07:21 schreef Roönaän het volgende:

Voor de tijd:
[ code verwijderd ]
Die is nog netter inderdaad
fokstok.nl
pi_71398976
Ook ik heb weer een vraagje; ik zal eerst de opzet van mijn database even laten zien.

1
2
3
4
5
6
7		user_id - top_id - nummer - getal
0         -      55    -     15    - 1
0         -      55    -     25    - 2
0         -      55    -     35    - 3
0         -      55    -     45    - 4
0         -      55    -     55    - 5
1         -      55    -     35    - 7


Nu ben ik bezig om een query te maken die het volgende kan uitlezen.

Alles van gebruiker 1 en 0 alleen als gegevens van gebruiker 1 bestaat moet dat van gebruiker 0 niet zichtbaar zijn. (verduidelijking in voorbeeld).

Uitkomst van de query moet dus zijn
1
2
3
4
5
6		0         -      55    -     15    - 1
0         -      55    -     25    - 2

0         -      55    -     45    - 4
0         -      55    -     55    - 5
1         -      55    -     35    - 7


Daar waar je een witte enter ziet zie je het verschil.

Ik gebruik nu deze query
1
2
3
4
5
6
7
8		SELECT *
FROM testtabel
WHERE confectie_id = '" . substr($_POST['test'], 1, strlen($_POST['maat']) -1) . "'
AND  (user_id      = '" . $_POST['user'] . "'
OR    user_id      = '0')
AND nummer IN ('" . implode("','", array_keys($noemers)) . "')
GROUP BY user_id, nummer
ORDER BY user_id


Anyone?
The people who lost my respect will never get a capital letter for their name again.
Like trump...
  dinsdag 28 juli 2009 @ 16:10:14 #33
75592 GlowMouse
l'état, c'est moi
pi_71399349
n/m
eee7a201261dfdad9fdfe74277d27e68890cf0a220f41425870f2ca26e0521b0
pi_71400286
Ik snap niet wat je bedoelt Chandler
pi_71407077
Kan je niet gewoon sorteren en dan een limit 1 toevoegen?
pi_71417819
Omg, wat ben ik toch slecht in uitleggen

@Roonaan; helaas dat werkt niet, wel als ik zou limieten op het aantal stuks. Wat ik wel kan doen is gewoon alles uitlezen van gebruiker 0 en eventueel de geselecteerde gebruiker en dan alles wat er wel bestaat voor de geselecteerde gebruiker gebruiken ipv wat er staat voor gebruiker 0.

Ik zal deze ochtend even beter nadenken over hoe ik het beter kan uitleggen!
The people who lost my respect will never get a capital letter for their name again.
Like trump...
pi_71435915
Wat is "gebruiker 0", zijn dat je default setting oid?
  woensdag 29 juli 2009 @ 19:07:54 #38
110933 F4T4L_3RR0R
R.I.P. webicon ;(
pi_71436586
quote:
Op dinsdag 28 juli 2009 07:21 schreef Roönaän het volgende:
Bizar die newline code.
[ code verwijderd ]

Kan toch gewoon als
[ code verwijderd ]

Raar ook dat een striphtml geen tags weghaald of iets anders html gerelateerds doet.

Voor de tijd:
[ code verwijderd ]
Die voor de tijd werkt voortreffelijk! Wat gebeurd er trouwens als er 2 keer een tijdvermelding in staat? Net getest, dan geeft hij de eerst gevonden tijd door. Maar dit kan geen fouten veroorzaken?

Is er ook iets waardoor hij 123:45 of 12:345 niet als tijd mag herkennen? Een : achter de tijd moet juist wel weer kunnen: 12:34:56, waarbij hij 12:34 moet weergeven.

Die newline code is onderdeel van een soort HTML parser. Het script krijgt een e-mail te verwerken, en moet daar de plain text gedeelte uithalen.

Wat overblijft is:
quote:
charset="iso-8859-1"
Content-Transfer-Encoding: 8bit

Inhoud mailtje

----NextPart_048F8BC8A2197DE2036A
Daar moet hij de eerste twee regels en de laatste regel verwijderen.

Dat doe ik nu dus met het volgende:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28		<?php
    if (stripos($headers, "boundary=") !== false) {

        $splitplain = explode("Content-Type: text/plain;", $message);
        $splithtml = explode("Content-Type: text/html;", $splitplain[1]);
        $trimmed = trim($splithtml[0]);

        function striphtml($trimmed)
        {
        $arrhtml = explode("\n", $trimmed);
        $resulthtml = array();

        for ($ihtml = 2, $sizehtml = count($arrhtml); $ihtml < ($sizehtml - 1); $ihtml++) {
            $resulthtml[] = $arrhtml[$ihtml];
            }

        return $resulthtml;
        }

        $clean = implode("\n", striphtml($trimmed));

    } else {

        $clean = $message;
    }

        $body = trim(str_replace(array("=\n", "=20", "=3D"), array("", "", "="), $clean));
?>


Als er "boundary=" in de headers staat, is het mailtje in HTML opgemaakt en moet deze schoongemaakt worden.

Eerst split hij 'm op "Content-Type: text/plain;". Alles wat daaronder zit moet ik hebben.
Vervolgens split hij 'm op "Content-Type: text/html;". Alles wat doorboven zit moet ik hebben.
Vervolgens trim ik het resultaat.

Daarna ga ik met het for-loopje de inhoud splitten op newlines. De array geeft de inhoud, met uitzondering van de eerste 2 regels en de laatste regel terug.

Dan implode ik de array met de inhoud die ik over wil houden.

Als er geen "boundary=" in de headers staan, dan is het mailtje in plain text opgesteld en hoeft er niets te worden schoongemaakt.

[ Bericht 2% gewijzigd door F4T4L_3RR0R op 29-07-2009 22:02:16 ]
Een ballonvaarder die door de mand valt is nooit grappig...
  woensdag 29 juli 2009 @ 22:23:28 #39
110933 F4T4L_3RR0R
R.I.P. webicon ;(
pi_71442759
Toevoeging:

Dat array_slice werkt ook voortreffelijk.

Moest wel een kleine aanpassing doen:
quote:
function striphtml($trimmed) {
return array_slice(explode("\n", $trimmed), 2, -1);
}

$clean = implode("\n", striphtml($trimmed));
(-1 toegevoegd)
Een ballonvaarder die door de mand valt is nooit grappig...
  woensdag 29 juli 2009 @ 22:52:08 #40
110933 F4T4L_3RR0R
R.I.P. webicon ;(
pi_71443869
Heb de "html parser" nu zo:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16		<?php
    if (stripos($headers, "boundary=") !== false) {

        $splitplain = explode("Content-Type: text/plain;", $message);
        $splithtml = explode("Content-Type: text/html;", $splitplain[1]);
        $trimmed = trim($splithtml[0]);
        $slicedmail = array_slice(explode("\n", $trimmed), 2, -1);
        $clean = implode("\n", $slicedmail);

    } else {

        $clean = $message;
    }

        $body = trim(str_replace(array("=\n", "=20", "=3D"), array("", "", "="), $clean));
?>


Een ballonvaarder die door de mand valt is nooit grappig...
pi_71444957
Is het niet handiger om met een van de mime classes te werken uit de PEAR repository, of zit daar geen multipart mime parser tussen?
  woensdag 29 juli 2009 @ 23:43:15 #42
110933 F4T4L_3RR0R
R.I.P. webicon ;(
pi_71445581
Geen idee, vind het zo prima werken.

Zojuist weer een regel code minder, door $trimmed weg te laten en de trim elders toe te passen:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15		<?php
    if (stripos($headers, "boundary=") !== false) {

        $splitplain = explode("Content-Type: text/plain;", $message);
        $splithtml = explode("Content-Type: text/html;", $splitplain[1]);
        $slicedmail = array_slice(explode("\n", trim($splithtml[0])), 2, -1);
        $clean = implode("\n", $slicedmail);

    } else {

        $clean = $message;
    }

        $body = trim(str_replace(array("=\n", "=20", "=3D"), array("", "", "="), $clean));
?>
Een ballonvaarder die door de mand valt is nooit grappig...
pi_71448868
quote:
Op woensdag 29 juli 2009 18:42 schreef Roönaän het volgende:
Wat is "gebruiker 0", zijn dat je default setting oid?
Je moet het zien als dat er allemaal vaste gegevens zijn per top_id/nummer, als een gebruiker een van deze gegevens aanpast wil ik alle 'vaste' gegevens die niet veranderd zijn maar ook de gegevens die wel veranderd zijn. En na dit alles wil ik de veranderde gegevens met het zelfde nummer (top_id/nummer) overschrijven over de top_id/nummer van gebruiker 0, zodat deze wegvalt.

vb:
1
2
3
4
5
6		0 - 10 - 1 - 100
1 - 10 - 1 - 101
0 - 10 - 2 - 100
0 - 10 - 3 - 100
0 - 10 - 4 - 100
1 - 10 - 4 - 99


nu moet ik dus een query maken die het volgende uitleest. (ALLES VAN gebruiker 0 OF 1 maar 1 overschrijft data van gebruiker 0)

1
2
3
4		1 - 10 - 1 - 101
0 - 10 - 2 - 100
0 - 10 - 3 - 100
1 - 10 - 4 - 99


hopelijk is het iets duidelijker! :D
The people who lost my respect will never get a capital letter for their name again.
Like trump...
pi_71472726
Ik moet voor mijn website een text (ingevuld in een form) vergelijken met woorden in een database. De database heeft best een aardige lijst met woorden en een text kan eventueel best aardig van formaat worden. Het opbreken van de tekst in losse woorden en deze 1 voor 1 afzetten tegen de database is even de enige methode die ik kan bedenken om dit te doen. Het lijkt me echter niet echt een efficiente methode. Iemand een idee hoe dit sneller/efficienter kan?
ウプピエ 八十三 &lt;&lt; u-pu-pi-e hachi-ju-san, ik denk ik zeg het er maar ff bij :P
  donderdag 30 juli 2009 @ 22:09:07 #45
75592 GlowMouse
l'état, c'est moi
pi_71472948
SELECT count(*) FROM tbl WHERE woord IN( 'woord in tekst', 'ander woord in tekst', ..)

Index op woord en kijken of de snelheid acceptabel is.
eee7a201261dfdad9fdfe74277d27e68890cf0a220f41425870f2ca26e0521b0
  vrijdag 31 juli 2009 @ 01:01:50 #46
110933 F4T4L_3RR0R
R.I.P. webicon ;(
pi_71478292
Is het mogelijk om de volgende code aan meer eisen te laten voldoen?

1
2
3		<?php
preg_match('/([01]?[0-9]|2[0-4]):[0-5][0-9]/', $string, $m)
?>


Wat ik graag wil, is dat er een spatie voor de tijd moet staan, en een spatie of : achter de tijd moet staan. De spaties of : mogen echter niet in $m gezet worden.
Een ballonvaarder die door de mand valt is nooit grappig...
  vrijdag 31 juli 2009 @ 01:06:31 #47
75592 GlowMouse
l'état, c'est moi
pi_71478372
Ja hoor, dat is mogelijk. Zie http://nl3.php.net/manual/en/reference.pcre.pattern.syntax.php
eee7a201261dfdad9fdfe74277d27e68890cf0a220f41425870f2ca26e0521b0
  vrijdag 31 juli 2009 @ 01:24:15 #48
110933 F4T4L_3RR0R
R.I.P. webicon ;(
pi_71478604
quote:
Op vrijdag 31 juli 2009 01:06 schreef GlowMouse het volgende:
Ja hoor, dat is mogelijk. Zie http://nl3.php.net/manual/en/reference.pcre.pattern.syntax.php
Dat is helemaal nieuw voor mij, wel even slikken.

De verplichte spatie heb ik nu zo gedaan:

1
2
3		<?php
preg_match('/\s([01]?[0-9]|2[0-4]):[0-5][0-9]\s/', $body, $m);
?>


Edit: maar dan neemt hij de spaties wel mee in $m.

Nu nog even uitzoeken hoe ik de : toe kan voegen als verplichting (als er geen spatie staat) aan het einde van de tijd.
Een ballonvaarder die door de mand valt is nooit grappig...
  vrijdag 31 juli 2009 @ 01:37:13 #49
75592 GlowMouse
l'état, c'est moi
pi_71478761
Gebruik haakjes en kijk wat het effect is op print_r($m).
En het is óf een spatie óf een :, en voor de of is er ook een regex meta-character.
eee7a201261dfdad9fdfe74277d27e68890cf0a220f41425870f2ca26e0521b0
pi_71480154
quote:
Op vrijdag 31 juli 2009 01:24 schreef F4T4L_3RR0R het volgende:

[..]

Dat is helemaal nieuw voor mij, wel even slikken.

De verplichte spatie heb ik nu zo gedaan:
[ code verwijderd ]

Edit: maar dan neemt hij de spaties wel mee in $m.

Nu nog even uitzoeken hoe ik de : toe kan voegen als verplichting (als er geen spatie staat) aan het einde van de tijd.
Moet je even $m[1] gebruiken ipv $m[0].
  vrijdag 31 juli 2009 @ 22:02:03 #51
74523 BaggerUser
ModderFokker!
pi_71502199
Database vraagje..

Ik heb een database met simpel gezegd

medewerkers (500+/-)
afdelingen (60 +/-)
melding (stuk of 10 +/-)

een meldingen kan voor 1 of meerdere afdeling gelden en dus ook bekeken worden via verschillende afdelingen.

een buitenstaander kan via elke afdeling een melding zien via een medewerker (een melding is verder niet gekoppeld aan een gebruiker, alleen op het moment van bekijken wordt er een getal opgehoogd bij de medewerker.)

Nu wil ik per dag gaan bijhouden hoe vaak een melding is bekeken door een buitenstaander gekoppeld aan de gebruiker en via welke afdeling (dus dat ik van de afgelopen 7 dagen, en als het haalbaar is van de afgelopen maand hoevaak dat is)

nu komt de grap, zo'n melding kan soms wel 50.000 keer op een dag bekeken worden per gebruiker. Hoe krijg ik dat een beetje normaal in de database?
De enige echte BaggerUser!
Riemen
fiets kopen
  vrijdag 31 juli 2009 @ 22:10:04 #52
75592 GlowMouse
l'état, c'est moi
pi_71502429
500*50.000/dag is niks, kun je mooi een tabel mee vullen. Beetje letten op je datatypes (medewerkerID unsigned smallint/2 bytes, afdelingID unsigned tinyint/1 byte, meldingID unsigned mediumint 2 bytes, dag date 3 bytes), zit je op 200 MB aan data per dag. Plus indices die erbij komen. Kan je prima een maand bijhouden.

Of als je de tijdstippen niet interesseer, tabel aanmaken met medewerker|afdeling|melding|views, UNIQUE op de eerste drie kolommen en dan views ophogen via INSERT ... IF EXISTS UPDATE ofzo.
eee7a201261dfdad9fdfe74277d27e68890cf0a220f41425870f2ca26e0521b0
  vrijdag 31 juli 2009 @ 22:16:07 #53
74523 BaggerUser
ModderFokker!
pi_71502579
quote:
Op vrijdag 31 juli 2009 22:10 schreef GlowMouse het volgende:
500*50.000/dag is niks, kun je mooi een tabel mee vullen. Beetje letten op je datatypes (medewerkerID unsigned smallint/2 bytes, afdelingID unsigned tinyint/1 byte, meldingID unsigned mediumint 2 bytes, dag date 3 bytes), zit je op 200 MB aan data per dag. Plus indices die erbij komen. Kan je prima een maand bijhouden.
500*50.000 zou inderdaad kunnen, maar is het niet slimmer om per medewerkers (500+/-) per afdelingen (60 +/-) per melding (stuk of 10 +/-) (=maximaal 300.000 entries per dag) een teller bij te houden?

of is het opvragen en vervolgens ophogen van deze gegevens zwaarder voor de database?
De enige echte BaggerUser!
Riemen
fiets kopen
  vrijdag 31 juli 2009 @ 22:18:42 #54
74523 BaggerUser
ModderFokker!
pi_71502658
quote:
Op vrijdag 31 juli 2009 22:10 schreef GlowMouse het volgende:
Of als je de tijdstippen niet interesseer, tabel aanmaken met medewerker|afdeling|melding|views, UNIQUE op de eerste drie kolommen en dan views ophogen via INSERT ... IF EXISTS UPDATE ofzo.
Dat + datum erbij dus, lijkt me het minst zwaarst voor de database
De enige echte BaggerUser!
Riemen
fiets kopen
  vrijdag 31 juli 2009 @ 22:25:52 #55
75592 GlowMouse
l'état, c'est moi
pi_71502872
Oh, die 500 is per afdeling. Dan medewerker|afdeling|melding|datum|views inderdaad. Views zal wel niet meer passen in 2 bytes, 50.000 zit al dicht bij de limiet. Kom je op 11 bytes/rij.

30.000 rijen per dag, 330 kB/dag, goed te doen om jaren bij te houden. Maar 50.000 updates voor elke 30.000 gebruikers is wel een ouch, dat zou me een grotere zorg zijn


http://dev.mysql.com/doc/refman/5.0/en/insert-on-duplicate.html
eee7a201261dfdad9fdfe74277d27e68890cf0a220f41425870f2ca26e0521b0
  vrijdag 31 juli 2009 @ 22:38:37 #56
74523 BaggerUser
ModderFokker!
pi_71503214
quote:
Op vrijdag 31 juli 2009 22:25 schreef GlowMouse het volgende:
Oh, die 500 is per afdeling. Dan medewerker|afdeling|melding|datum|views inderdaad. Views zal wel niet meer passen in 2 bytes, 50.000 zit al dicht bij de limiet. Kom je op 11 bytes/rij.

30.000 rijen per dag, 330 kB/dag, goed te doen om jaren bij te houden. Maar 50.000 updates voor elke 30.000 gebruikers is wel een ouch, dat zou me een grotere zorg zijn


http://dev.mysql.com/doc/refman/5.0/en/insert-on-duplicate.html
300.000 per dag, maar nog acceptabel inderdaad. Opzich wel jammer dat het tijdstip dan niet opgeslagen wordt.. maar ik vrees dat dat een beetje teveel vreet.
De enige echte BaggerUser!
Riemen
fiets kopen
  vrijdag 31 juli 2009 @ 23:46:40 #57
74523 BaggerUser
ModderFokker!
pi_71505160
Oke laatste vraag voorlopig hoop ik...

Ik heb nu die tabel:
1medewerker|afdeling|melding|views|datum


nu wil ik de gegevens opvragen zodat ik een mooie grafiek kan maken.

Nu wil ik natuurlijk bij een grafiek van een gebruiker opvragen bijvoorbeeld alle views per dag per afdeling opvragen ongeacht de melding

het komt er dus op neer dat alle views per dag per gebruiker per afdeling per dag moet optellen... ik denk dat dit met groupby en sum() moet maar echt ver kom ik niet (op veel foutmeldingen na ) iemand die me een eindje op weg kan helpen?
De enige echte BaggerUser!
Riemen
fiets kopen
  vrijdag 31 juli 2009 @ 23:50:53 #58
75592 GlowMouse
l'état, c'est moi
pi_71505281
Wat had je met GROUP BY en sum?
eee7a201261dfdad9fdfe74277d27e68890cf0a220f41425870f2ca26e0521b0
pi_71505954
1
2
3
4
5		SELECT melding_id, datum, SUM(views)
FROM log 
WHERE medewerker_id = '1'
GROUP BY `datum`,`melding_id`
ORDER BY melding_id,datum


Krijg nu trouwens geen foutmelding meer en volgens mij klopt het nog ook (sta versteld van mezelf )

enige jammere is dat ik nu nog alle meldingen in 1 array krijg en het niet per melding een aparte array terug krijg..
De enige echte BaggerUser!
Riemen
fiets kopen
  zaterdag 1 augustus 2009 @ 00:27:46 #60
75592 GlowMouse
l'état, c'est moi
pi_71506146
Dan moet je GROUP BY en ORDER BY in dezelfde volgorde zetten, is sneller icm een index op (melding_id, datum, views) (één multicolumn index in deze volgorde dus).
eee7a201261dfdad9fdfe74277d27e68890cf0a220f41425870f2ca26e0521b0
actieve topics nieuwe topics
abonnement Unibet Coolblue Bitvavo
[PHP/(My)SQL] voor dummies - Deel 75
Index

» digital corner

» development

Forum Opties
Forumhop:
Hop naar:
(afkorting, bv 'KLB')