DIG Digital Corner
Alles wat je altijd al over computers, hardware, software, internet en elektronische gadgets had willen weten, maar niet op Tweakers.net durft te vragen.
Wat voor indexes gebruik je precies, en van wat voor type zijn die? En hoe match je op de woorden, doe je dat letterlijk (where field = "blaat"), met een LIKE of met een fulltext search?quote:Op maandag 25 februari 2008 22:26 schreef The_Terminator het volgende:
[..]
Opzich is het niet traag, meestal doet het script er 0,1 sec of nog minder over om iets te vinden. Het gaat mij erom dat ik merk dat het steeds trager begint te worden, en ik ben bang dat het na verloop van tijd alleen maar achteruitgaat met de snelheid.
Ik heb gewoon topics aan woorden gekoppeld via een losse tabel. Als iemand naar een woord zoekt dan wordt dat woord in de database opgezocht, dat woord bevat weer een ID dat weer in een andere tabel wordt opgezocht en in die tabel staan de topics waar het woord voorkomt en hoe vaak het voorkomt (om de relevantie te bepalen). Vervolgens haal ik de titel, TS, topicid en datum van het topic uit een losse tabel en dat wordt op de pagina geprint.
Kan me eigenlijk niets beter bedenken dan bovenstaande.
Ja of wel, afaik kan PHP niet maar geheugen assignen dan de hoeveelheid RAM die je hebt. Tenminste daar liep ik tegen aan toen ik aan het kutten was met een bitmap in een array stoppen (NIET DOEN!!!)quote:
.
phluphy for president!
Ik heb de woorden tabel geindexeerd en de verwijzing ernaar in de andere tabel ook. Het is gewoon het standaard type, ik doe dat op de volgende manier:quote:Op maandag 25 februari 2008 22:47 schreef Farenji het volgende:
[..]
Wat voor indexes gebruik je precies, en van wat voor type zijn die? En hoe match je op de woorden, doe je dat letterlijk (where field = "blaat"), met een LIKE of met een fulltext search?
| 1 |
Verder gebruik ik idd gewoon where, en de search kan naar meerdere woorde zoeken, dat kan zowel met een OR of AND operator.
Het script zoekt eerst naar het woord in de database en voert dat voor elk woord uit en daar komen dan topicnummers voor terug. Vervolgens worden de gevonden topics in een array gezet en krijgen ze een bepaalde score. Als een woord vaker voorkomt in een bepaald topic dan wordt die score verhoogd. Vervolgens sorteer ik die array en komen de meest relevante topics bovenaan te staan, als datum als sorteervolgorde is gekozen dan worden gewoon de topics met het grootste of kleinste topicnr. bovenaan gezet. Vervolgens kijkt het script of alle opgegeven woorden (als AND is gebruikt) voorkomen in een bepaald topic en worden de resultaten die doorkomen op de pagina geprint. Bij OR worden gewoon alle resultaten geprint.
Je kunt een script toch na xxx records 3 seconden laten wachten het script middels header weer aanroepen en verder gaan waar je gebleven bent? zo draai ik cronjobs voor databases met meer dan 1 milj records!quote:Op maandag 25 februari 2008 22:34 schreef ErikN het volgende:
+ ik weet dat het kan. Heb er ook al wel wat over gelezen. Alleen begrijp er niet veel van nog...
The people who lost my respect will never get a capital letter for their name again.
Like trump...
Like trump...
Je hebt natuurlijk altijd geheugenbeperkingen maar dat ligt ook aan de implementatie. Met 1 image die je wil verwerken heb je weinig keus maar als je bijv een db import draait dan moet je natuurlijk niet die hele import eerst in je geheugen lezen en daarna pas wegschrijven. Als je dit netjes per record itereert dan kost het nauwelijks geheugen. Ik maak zelf regelmatig scripts voor tabellen met miljoenen rows, geen enkel probleem.quote:Op maandag 25 februari 2008 23:02 schreef WyriHaximus het volgende:
[..]
Ja of wel, afaik kan PHP niet maar geheugen assignen dan de hoeveelheid RAM die je hebt. Tenminste daar liep ik tegen aan toen ik aan het kutten was met een bitmap in een array stoppen (NIET DOEN!!!)
Je moet natuurlijk wel je script fatsoenlijk bouwen idd. Maar me punt was meer dat het aan ze bak kon liggen (niet waarschijnlijk). Aan de andere kant heb ik hier een oude P3 met 196MB RAM staan als thuis servertje die scripts draait waar rustig 90.000 reccords door heen worden geschoten dus het moet een aardige brakke dev bak zijn danquote:Op dinsdag 26 februari 2008 09:53 schreef Farenji het volgende:
[..]
Je hebt natuurlijk altijd geheugenbeperkingen maar dat ligt ook aan de implementatie. Met 1 image die je wil verwerken heb je weinig keus maar als je bijv een db import draait dan moet je natuurlijk niet die hele import eerst in je geheugen lezen en daarna pas wegschrijven. Als je dit netjes per record itereert dan kost het nauwelijks geheugen. Ik maak zelf regelmatig scripts voor tabellen met miljoenen rows, geen enkel probleem.
.
phluphy for president!
In stappen.quote:Op dinsdag 26 februari 2008 09:08 schreef Xcalibur het volgende:
Ik denk dat een FULLTEXT search wel sneller is dan een WHERE / LIKE?
Chandler: codevoorbeeldje?
session_start
select * from tabel LIMIET $_SESSION['start'], 250
$_SESSION['start'] = $_SESSION['start'] + 250;
sleep(300);
header("location: zelfde script");
voorbeeld genoeg?
The people who lost my respect will never get a capital letter for their name again.
Like trump...
Like trump...
Dit klinkt als heel veel losse stappen. Wat ik zou doen is mysql het zware werk laten doen: een dergelijke zoekmethode kun je volgens mij prima vangen in 1 of 2 queries die je opbouwt aan de hand van de argumenten (zoekwoorden, sorteervolgorde, AND/OR). Mysql is oha veel efficienter in sorteren van resultaten dan je zelf ooit kan doen in php. Er zijn ook vele verschillende sorteeralgoritmes, de een efficienter dan de ander, en de een is ook geschikter voor een bepaalde taak dan de ander, je moet maar net de juiste kiezen. Mysql zal meestal de best (beschikbare) methode gebruiken. Het zou goed kunnen dat daar je bottleneck ligt.quote:Op maandag 25 februari 2008 23:55 schreef The_Terminator het volgende:
[..]
Ik heb de woorden tabel geindexeerd en de verwijzing ernaar in de andere tabel ook. Het is gewoon het standaard type, ik doe dat op de volgende manier:
[ code verwijderd ]
Verder gebruik ik idd gewoon where, en de search kan naar meerdere woorde zoeken, dat kan zowel met een OR of AND operator.
Het script zoekt eerst naar het woord in de database en voert dat voor elk woord uit en daar komen dan topicnummers voor terug. Vervolgens worden de gevonden topics in een array gezet en krijgen ze een bepaalde score. Als een woord vaker voorkomt in een bepaald topic dan wordt die score verhoogd. Vervolgens sorteer ik die array en komen de meest relevante topics bovenaan te staan, als datum als sorteervolgorde is gekozen dan worden gewoon de topics met het grootste of kleinste topicnr. bovenaan gezet. Vervolgens kijkt het script of alle opgegeven woorden (als AND is gebruikt) voorkomen in een bepaald topic en worden de resultaten die doorkomen op de pagina geprint. Bij OR worden gewoon alle resultaten geprint.
Als je dan die ene query ook nog zo efficient mogelijk maakt (EXPLAIN is je vriend - hiermee zie je of je indexes ook optimaal gebruikt worden) dan kom je volgens mij aardig in de buurt van optimaal zoeken.
om je script te pauzeren, echter kun je dan daarvoor beter als je een mysql connectie hebt gemaakt deze sluiten met mysql_close of je doet een refresh middels javascript!
The people who lost my respect will never get a capital letter for their name again.
Like trump...
Like trump...
Waarom wil je er een pauze in ? Je pakt toch max 250 tegelijk, waarom de pauze?quote:Op dinsdag 26 februari 2008 18:22 schreef Chandler het volgende:
om je script te pauzeren, echter kun je dan daarvoor beter als je een mysql connectie hebt gemaakt deze sluiten met mysql_close of je doet een refresh middels javascript!
ne okuyon, bokmu var?
Ik snap dat die sleep erin zit om het ding te pauzeren, maar (zoals Saban terecht vraagt) waarom de pauze?
waarom niet saban, je gunt de server zo even wat meer ademruimte, zekers handig als je op een shared server zit 
The people who lost my respect will never get a capital letter for their name again.
Like trump...
Like trump...
Je gunt die server helemaal niets, aangezien iedere actie pas wordt gestart als de vorige is afgerond. Het kan een server echt niets schelen of 'ie continu door moet of 3 seconden rust krijgt.quote:Op dinsdag 26 februari 2008 20:37 schreef Chandler het volgende:
waarom niet saban, je gunt de server zo even wat meer ademruimte, zekers handig als je op een shared server zit
Ik heb een vraagje.
Ik wil van een tabel `data` de laatste 30 rijen halen. Ik heb er een timestamp bij.
Dit meot dus met LIMIT. Maar hoe moet het als ik de laatste 30 wil EN de volgorde wil behouden?
Ik wil van een tabel `data` de laatste 30 rijen halen. Ik heb er een timestamp bij.
Dit meot dus met LIMIT. Maar hoe moet het als ik de laatste 30 wil EN de volgorde wil behouden?
Of je je script nou nu aanroept of over 3 seconde, wat maakt dat uit?quote:Op dinsdag 26 februari 2008 20:37 schreef Chandler het volgende:
waarom niet saban, je gunt de server zo even wat meer ademruimte, zekers handig als je op een shared server zit
Ik weet wat de sleep command doet, maar ik zie er geen voordeel in.
ne okuyon, bokmu var?
Servers regelen hun eigen ademruimte wel door middel van kernel scheduling. En dat kan ie beter als de belasting van processen een beetje constant is, niet als het proces om de zoveel tijd opeens stilvalt en opeens weer vol doorgaat. Het werkt alleen averechts, zo'n sleep.
Die sleep mag je idd vergeten, maar het script stoppen en dan na bv 3-5 seconden weer aanroepen lijkt mij beter voor de server, zelfde als 10000 emails in 1x versturen, dat vind een server ook niet leuk maar als je 250 per batch verstuurd is er niets aan de hand
maar als je 250 per batch verstuurd is er niets aan de hand
The people who lost my respect will never get a capital letter for their name again.
Like trump...
Like trump...
Waarom zou een server dat iets kunnen schelen? Hij hoeft echt niet even af te koelen tussendoor hoor
SELECT * FROM `scores` WHERE `naam`='$speler' ORDER BY `tijd` ASCquote:Op woensdag 27 februari 2008 13:36 schreef CraZaay het volgende:
ORDER BY timestamp DESC, LIMIT 30
Geeft de 30 rows met de hoogste timestamps, van hoog naar laag.
limit 30 er achter en hij neemt de laatste 30?
Dat ligt aan een maximum aantal mails per keer dat in de mailserverconfig ingesteld. Dat heeft niks met belasting te maken. Een server gaat niet kapot van belasting, volgens mij dicht je die dingen iets te veel menselijke eigenschappen toequote:Op woensdag 27 februari 2008 16:18 schreef Chandler het volgende:
Die sleep mag je idd vergeten, maar het script stoppen en dan na bv 3-5 seconden weer aanroepen lijkt mij beter voor de server, zelfde als 10000 emails in 1x versturen, dat vind een server ook niet leuk
Voor de duidelijkheid, dit is er wat er in mijn tabel staat (fictief):
1
2
3
4
5
6
7
8
9
het vetgedrukte is wat ik wil hebben...
1
2
3
4
5
6
7
8
9
het vetgedrukte is wat ik wil hebben...
lama, ik heb het al gefikst:quote:Op woensdag 27 februari 2008 16:42 schreef PiRANiA het volgende:
Voor de duidelijkheid, dit is er wat er in mijn tabel staat (fictief):
1
2
3
4
5
6
7
8
9
het vetgedrukte is wat ik wil hebben...
quote:$speler=mysql_real_escape_string($_GET['speler']);
$res=mysql_fetch_array(mysql_query("SELECT COUNT(*) AS limiet FROM `scores` WHERE `naam`='$speler'"));
$wer=$res['limiet'];
if($wer>$maxopvragingen){
$wer=$wer-$maxopvragingen;
}ELSE{
$wer='0';
}
$q="SELECT * FROM `scores` WHERE `naam`='$speler' ORDER BY `tijd` ASC LIMIT $wer,$maxopvragingen";
Nee, de eerste 30. Je wilt DESC ipv ASC gebruiken om van hoog naar laag te sorteren.quote:Op woensdag 27 februari 2008 16:38 schreef PiRANiA het volgende:
[..]
SELECT * FROM `scores` WHERE `naam`='$speler' ORDER BY `tijd` ASC
limit 30 er achter en hij neemt de laatste 30?
Volgens mij is de truuk dat je het met een subquery doet ofzo...?
Dit is al vaak gevraagd trouwens, Google moet het antwoord wel weten
Dit is al vaak gevraagd trouwens, Google moet het antwoord wel weten
Gewoon in DESC opvragen en de volgorde van de resultaten in je php code omdraaien, dat is het makkelijkste.
maar lukt dat ook met het result direct van de query?quote:Op woensdag 27 februari 2008 18:37 schreef CraZaay het volgende:
Precies, bovenstaande code geeft al een array terug. Even array_reverse() erover en klaar.
Maar een subquery hiervoor is vast niet efficienter als het over 30 records gaat, maar dat zou je kunnen benchmarkenquote:Op woensdag 27 februari 2008 19:04 schreef Xcalibur het volgende:
ja, maar het in je query doen is mooier
Nee, want dat is een resource waar je zo niets mee kan (het directe resultaat van mysql_query()). PHP moet er nog wel een array van maken.quote:Op woensdag 27 februari 2008 20:02 schreef PiRANiA het volgende:
maar lukt dat ook met het result direct van de query?
ja idd, maar dat wordt lastig denk ik. Of je moet er eenquote:Op woensdag 27 februari 2008 20:08 schreef CraZaay het volgende:
[..]
Nee, want dat is een resource waar je zo niets mee kan (het directe resultaat van mysql_query()). PHP moet er nog wel een array van maken.
in gooien maar dat lijkt me niet echt efficientquote:while($row=mysql_fetch_array($result)){
array_push($array,$row);
}
array_revert($array);
leest mijn 1e postquote:Op woensdag 27 februari 2008 17:29 schreef CraZaay het volgende:
[..]
Nee, de eerste 30. Je wilt DESC ipv ASC gebruiken om van hoog naar laag te sorteren.
ik wil de volgorde behouden...
Je wilt de tijd dus niet op chronologische volgorde van laag naar hoog, en dan de 30 records met de hoogste waarde? Dat is namelijk wat mijn code doetquote:Op woensdag 27 februari 2008 20:21 schreef PiRANiA het volgende:
[..]
leest mijn 1e post
Mits je er een array van maakt uiteraard, maar dat moet je gewoon oplossen in je database layer of voor een ActiveRecord-achtige implementatie kiezen. Je wilt sowieso niet overal die hard queries typen, maar een database wrapper maken.
k...maar ik had het inmiddels al gefikst hoorquote:Op woensdag 27 februari 2008 20:23 schreef CraZaay het volgende:
[..]
Je wilt de tijd dus niet op chronologische volgorde van laag naar hoog, en dan de 30 records met de hoogste waarde? Dat is namelijk wat mijn code doet
Zou een array_revert op een array met 30 elementen langzamer zijn dan een hele extra query?quote:Op woensdag 27 februari 2008 20:20 schreef PiRANiA het volgende:
[..]
ja idd, maar dat wordt lastig denk ik. Of je moet er een
[..]
in gooien maar dat lijkt me niet echt efficient
het gaat vooral om dat hele fetchen er voor...quote:Op woensdag 27 februari 2008 20:39 schreef Igen het volgende:
[..]
Zou een array_revert op een array met 30 elementen langzamer zijn dan een hele extra query?
maar ik cache de pagina binnenkort toch, dus dan maakt het niet zo veel meer uit
Ik was me een beetje aan het verdiepen in template engines. Sommige groot, sommige klein, maar vond ze over het algemeen omslachtig. Bovendien moet alles geparsed worden. Tijdens mijn zoektocht kwam ik dit artikel tegen. Wat vinden jullie van zijn stelling en class? Dus een template-class of een template-engine?
Het artikel is 5 jaar oud he, voor de duidelijkheid. Template engines zijn uit, MVC is in.quote:Op woensdag 27 februari 2008 21:29 schreef Tarabass het volgende:
Ik was me een beetje aan het verdiepen in template engines. Sommige groot, sommige klein, maar vond ze over het algemeen omslachtig. Bovendien moet alles geparsed worden. Tijdens mijn zoektocht kwam ik dit artikel tegen. Wat vinden jullie van zijn stelling en class? Dus een template-class of een template-engine?
Is dat niet te combineren dan, templates en MVC?quote:Op woensdag 27 februari 2008 22:16 schreef CraZaay het volgende:
[..]
Het artikel is 5 jaar oud he, voor de duidelijkheid. Template engines zijn uit, MVC is in.
De "V" in MVC staat voor view, templates dusquote:Op woensdag 27 februari 2008 22:25 schreef Light het volgende:
[..]
Is dat niet te combineren dan, templates en MVC?
Maar een totaal ander concept dan Smarty.
Call me crazy, maar kan het zijn dat in de recente versies van MySQL je niet meer rekensommen kan toepassen in een UPDATE statement? Dus zo van " `Sort` = `Sort` + 1 " ?
Het lijkt me heeeeeel sterkquote:Op donderdag 28 februari 2008 01:05 schreef Geqxon het volgende:
Call me crazy, maar kan het zijn dat in de recente versies van MySQL je niet meer rekensommen kan toepassen in een UPDATE statement? Dus zo van " `Sort` = `Sort` + 1 " ?
Krijg je een mysql foutmelding dan?quote:Op donderdag 28 februari 2008 01:05 schreef Geqxon het volgende:
Call me crazy, maar kan het zijn dat in de recente versies van MySQL je niet meer rekensommen kan toepassen in een UPDATE statement? Dus zo van " `Sort` = `Sort` + 1 " ?
En over welke recente versie heb je het? Zo'n update werkt iig wel in MySQL 5.0.45.
