DIG Digital Corner
Alles wat je altijd al over computers, hardware, software, internet en elektronische gadgets had willen weten, maar niet op Tweakers.net durft te vragen.
Wat voor indexes gebruik je precies, en van wat voor type zijn die? En hoe match je op de woorden, doe je dat letterlijk (where field = "blaat"), met een LIKE of met een fulltext search?quote:Op maandag 25 februari 2008 22:26 schreef The_Terminator het volgende:
[..]
Opzich is het niet traag, meestal doet het script er 0,1 sec of nog minder over om iets te vinden. Het gaat mij erom dat ik merk dat het steeds trager begint te worden, en ik ben bang dat het na verloop van tijd alleen maar achteruitgaat met de snelheid.
Ik heb gewoon topics aan woorden gekoppeld via een losse tabel. Als iemand naar een woord zoekt dan wordt dat woord in de database opgezocht, dat woord bevat weer een ID dat weer in een andere tabel wordt opgezocht en in die tabel staan de topics waar het woord voorkomt en hoe vaak het voorkomt (om de relevantie te bepalen). Vervolgens haal ik de titel, TS, topicid en datum van het topic uit een losse tabel en dat wordt op de pagina geprint.
Kan me eigenlijk niets beter bedenken dan bovenstaande.
Ja of wel, afaik kan PHP niet maar geheugen assignen dan de hoeveelheid RAM die je hebt. Tenminste daar liep ik tegen aan toen ik aan het kutten was met een bitmap in een array stoppen (NIET DOEN!!!)quote:
.
phluphy for president!
Ik heb de woorden tabel geindexeerd en de verwijzing ernaar in de andere tabel ook. Het is gewoon het standaard type, ik doe dat op de volgende manier:quote:Op maandag 25 februari 2008 22:47 schreef Farenji het volgende:
[..]
Wat voor indexes gebruik je precies, en van wat voor type zijn die? En hoe match je op de woorden, doe je dat letterlijk (where field = "blaat"), met een LIKE of met een fulltext search?
| 1 |
Verder gebruik ik idd gewoon where, en de search kan naar meerdere woorde zoeken, dat kan zowel met een OR of AND operator.
Het script zoekt eerst naar het woord in de database en voert dat voor elk woord uit en daar komen dan topicnummers voor terug. Vervolgens worden de gevonden topics in een array gezet en krijgen ze een bepaalde score. Als een woord vaker voorkomt in een bepaald topic dan wordt die score verhoogd. Vervolgens sorteer ik die array en komen de meest relevante topics bovenaan te staan, als datum als sorteervolgorde is gekozen dan worden gewoon de topics met het grootste of kleinste topicnr. bovenaan gezet. Vervolgens kijkt het script of alle opgegeven woorden (als AND is gebruikt) voorkomen in een bepaald topic en worden de resultaten die doorkomen op de pagina geprint. Bij OR worden gewoon alle resultaten geprint.
Je kunt een script toch na xxx records 3 seconden laten wachten het script middels header weer aanroepen en verder gaan waar je gebleven bent? zo draai ik cronjobs voor databases met meer dan 1 milj records!quote:Op maandag 25 februari 2008 22:34 schreef ErikN het volgende:
+ ik weet dat het kan. Heb er ook al wel wat over gelezen. Alleen begrijp er niet veel van nog...
The people who lost my respect will never get a capital letter for their name again.
Like trump...
Like trump...
Je hebt natuurlijk altijd geheugenbeperkingen maar dat ligt ook aan de implementatie. Met 1 image die je wil verwerken heb je weinig keus maar als je bijv een db import draait dan moet je natuurlijk niet die hele import eerst in je geheugen lezen en daarna pas wegschrijven. Als je dit netjes per record itereert dan kost het nauwelijks geheugen. Ik maak zelf regelmatig scripts voor tabellen met miljoenen rows, geen enkel probleem.quote:Op maandag 25 februari 2008 23:02 schreef WyriHaximus het volgende:
[..]
Ja of wel, afaik kan PHP niet maar geheugen assignen dan de hoeveelheid RAM die je hebt. Tenminste daar liep ik tegen aan toen ik aan het kutten was met een bitmap in een array stoppen (NIET DOEN!!!)
Je moet natuurlijk wel je script fatsoenlijk bouwen idd. Maar me punt was meer dat het aan ze bak kon liggen (niet waarschijnlijk). Aan de andere kant heb ik hier een oude P3 met 196MB RAM staan als thuis servertje die scripts draait waar rustig 90.000 reccords door heen worden geschoten dus het moet een aardige brakke dev bak zijn danquote:Op dinsdag 26 februari 2008 09:53 schreef Farenji het volgende:
[..]
Je hebt natuurlijk altijd geheugenbeperkingen maar dat ligt ook aan de implementatie. Met 1 image die je wil verwerken heb je weinig keus maar als je bijv een db import draait dan moet je natuurlijk niet die hele import eerst in je geheugen lezen en daarna pas wegschrijven. Als je dit netjes per record itereert dan kost het nauwelijks geheugen. Ik maak zelf regelmatig scripts voor tabellen met miljoenen rows, geen enkel probleem.
.
phluphy for president!
In stappen.quote:Op dinsdag 26 februari 2008 09:08 schreef Xcalibur het volgende:
Ik denk dat een FULLTEXT search wel sneller is dan een WHERE / LIKE?
Chandler: codevoorbeeldje?
session_start
select * from tabel LIMIET $_SESSION['start'], 250
$_SESSION['start'] = $_SESSION['start'] + 250;
sleep(300);
header("location: zelfde script");
voorbeeld genoeg?
The people who lost my respect will never get a capital letter for their name again.
Like trump...
Like trump...
Dit klinkt als heel veel losse stappen. Wat ik zou doen is mysql het zware werk laten doen: een dergelijke zoekmethode kun je volgens mij prima vangen in 1 of 2 queries die je opbouwt aan de hand van de argumenten (zoekwoorden, sorteervolgorde, AND/OR). Mysql is oha veel efficienter in sorteren van resultaten dan je zelf ooit kan doen in php. Er zijn ook vele verschillende sorteeralgoritmes, de een efficienter dan de ander, en de een is ook geschikter voor een bepaalde taak dan de ander, je moet maar net de juiste kiezen. Mysql zal meestal de best (beschikbare) methode gebruiken. Het zou goed kunnen dat daar je bottleneck ligt.quote:Op maandag 25 februari 2008 23:55 schreef The_Terminator het volgende:
[..]
Ik heb de woorden tabel geindexeerd en de verwijzing ernaar in de andere tabel ook. Het is gewoon het standaard type, ik doe dat op de volgende manier:
[ code verwijderd ]
Verder gebruik ik idd gewoon where, en de search kan naar meerdere woorde zoeken, dat kan zowel met een OR of AND operator.
Het script zoekt eerst naar het woord in de database en voert dat voor elk woord uit en daar komen dan topicnummers voor terug. Vervolgens worden de gevonden topics in een array gezet en krijgen ze een bepaalde score. Als een woord vaker voorkomt in een bepaald topic dan wordt die score verhoogd. Vervolgens sorteer ik die array en komen de meest relevante topics bovenaan te staan, als datum als sorteervolgorde is gekozen dan worden gewoon de topics met het grootste of kleinste topicnr. bovenaan gezet. Vervolgens kijkt het script of alle opgegeven woorden (als AND is gebruikt) voorkomen in een bepaald topic en worden de resultaten die doorkomen op de pagina geprint. Bij OR worden gewoon alle resultaten geprint.
Als je dan die ene query ook nog zo efficient mogelijk maakt (EXPLAIN is je vriend - hiermee zie je of je indexes ook optimaal gebruikt worden) dan kom je volgens mij aardig in de buurt van optimaal zoeken.
om je script te pauzeren, echter kun je dan daarvoor beter als je een mysql connectie hebt gemaakt deze sluiten met mysql_close of je doet een refresh middels javascript!
The people who lost my respect will never get a capital letter for their name again.
Like trump...
Like trump...
Waarom wil je er een pauze in ? Je pakt toch max 250 tegelijk, waarom de pauze?quote:Op dinsdag 26 februari 2008 18:22 schreef Chandler het volgende:
om je script te pauzeren, echter kun je dan daarvoor beter als je een mysql connectie hebt gemaakt deze sluiten met mysql_close of je doet een refresh middels javascript!
ne okuyon, bokmu var?
Ik snap dat die sleep erin zit om het ding te pauzeren, maar (zoals Saban terecht vraagt) waarom de pauze?
waarom niet saban, je gunt de server zo even wat meer ademruimte, zekers handig als je op een shared server zit 
The people who lost my respect will never get a capital letter for their name again.
Like trump...
Like trump...
Je gunt die server helemaal niets, aangezien iedere actie pas wordt gestart als de vorige is afgerond. Het kan een server echt niets schelen of 'ie continu door moet of 3 seconden rust krijgt.quote:Op dinsdag 26 februari 2008 20:37 schreef Chandler het volgende:
waarom niet saban, je gunt de server zo even wat meer ademruimte, zekers handig als je op een shared server zit
Ik heb een vraagje.
Ik wil van een tabel `data` de laatste 30 rijen halen. Ik heb er een timestamp bij.
Dit meot dus met LIMIT. Maar hoe moet het als ik de laatste 30 wil EN de volgorde wil behouden?
Ik wil van een tabel `data` de laatste 30 rijen halen. Ik heb er een timestamp bij.
Dit meot dus met LIMIT. Maar hoe moet het als ik de laatste 30 wil EN de volgorde wil behouden?
Of je je script nou nu aanroept of over 3 seconde, wat maakt dat uit?quote:Op dinsdag 26 februari 2008 20:37 schreef Chandler het volgende:
waarom niet saban, je gunt de server zo even wat meer ademruimte, zekers handig als je op een shared server zit
Ik weet wat de sleep command doet, maar ik zie er geen voordeel in.
ne okuyon, bokmu var?
Servers regelen hun eigen ademruimte wel door middel van kernel scheduling. En dat kan ie beter als de belasting van processen een beetje constant is, niet als het proces om de zoveel tijd opeens stilvalt en opeens weer vol doorgaat. Het werkt alleen averechts, zo'n sleep.
Die sleep mag je idd vergeten, maar het script stoppen en dan na bv 3-5 seconden weer aanroepen lijkt mij beter voor de server, zelfde als 10000 emails in 1x versturen, dat vind een server ook niet leuk maar als je 250 per batch verstuurd is er niets aan de hand
maar als je 250 per batch verstuurd is er niets aan de hand
The people who lost my respect will never get a capital letter for their name again.
Like trump...
Like trump...
Waarom zou een server dat iets kunnen schelen? Hij hoeft echt niet even af te koelen tussendoor hoor
SELECT * FROM `scores` WHERE `naam`='$speler' ORDER BY `tijd` ASCquote:Op woensdag 27 februari 2008 13:36 schreef CraZaay het volgende:
ORDER BY timestamp DESC, LIMIT 30
Geeft de 30 rows met de hoogste timestamps, van hoog naar laag.
limit 30 er achter en hij neemt de laatste 30?
Dat ligt aan een maximum aantal mails per keer dat in de mailserverconfig ingesteld. Dat heeft niks met belasting te maken. Een server gaat niet kapot van belasting, volgens mij dicht je die dingen iets te veel menselijke eigenschappen toequote:Op woensdag 27 februari 2008 16:18 schreef Chandler het volgende:
Die sleep mag je idd vergeten, maar het script stoppen en dan na bv 3-5 seconden weer aanroepen lijkt mij beter voor de server, zelfde als 10000 emails in 1x versturen, dat vind een server ook niet leuk
