GC General Chat
Hier kun je praten over van alles en nog wat. Eigenlijk alles wat niet in een van de andere rubrieken thuishoort.
Bedankt voor het melden, er mist inderdaad een resultaat en dat was me nog niet eens opgevallen. Ik heb even gekeken maar kan niet zo snel vinden waar het probleem zit, vanavond maar even verder kijken aangezien ik nu aan het werk moet...quote:Op woensdag 26 maart 2008 03:54 schreef Jegorex het volgende:
Als ik als zoekopdracht jegorex invul en verder alles open laat dan krijg ik 2 resultaten die allebei van mij zijn.
Maar als ik ook als topicstarter jegorex invul dan krijg ik maar 1 resultaat. Dat zou ook 2 moeten zijn dan.
edit:
Hij zegt trouwens wel dat hij 2 topics gevonden heeft:
[..]
Even een kleine update:
+Het is nu mogelijk om op datum te zoeken.
+Er kunnen meerdere subfora tegelijk geselecteerd worden, dit was door een aanpassing in de query niet meer mogelijk.
Overigens heb ik nog niet kunnen vinden waarom er steeds een resultaat te weinig is, morgen maar even weer verder zoeken.
+Het is nu mogelijk om op datum te zoeken.
+Er kunnen meerdere subfora tegelijk geselecteerd worden, dit was door een aanpassing in de query niet meer mogelijk.
Overigens heb ik nog niet kunnen vinden waarom er steeds een resultaat te weinig is, morgen maar even weer verder zoeken.
Dit probleem is nu verholpen.quote:Op woensdag 26 maart 2008 03:54 schreef Jegorex het volgende:
Als ik als zoekopdracht jegorex invul en verder alles open laat dan krijg ik 2 resultaten die allebei van mij zijn.
Maar als ik ook als topicstarter jegorex invul dan krijg ik maar 1 resultaat. Dat zou ook 2 moeten zijn dan.
edit:
Hij zegt trouwens wel dat hij 2 topics gevonden heeft:
[..]
Beginnen bij 0 of 1 kan een heel verschil maken
En we zijn bij v0.9 beta beland.
+Nieuwe layout.
+Datum zoeken geoptimaliseerd (word nog verder uitgebreid met een extra veld, zodat er van bijv. januari tot februari gezocht kan worden, dus ook wat er tussenzit).
+Een aantal wildcard zoek characters uitgesloten, dit kon de zoektijd negatief beinvloeden.
+Max 500 pagina's weergeven, het standaard aantal is 200. 500 pagina's is ruim voldoende om te vinden wat je zoekt.
+Nieuwe layout.
+Datum zoeken geoptimaliseerd (word nog verder uitgebreid met een extra veld, zodat er van bijv. januari tot februari gezocht kan worden, dus ook wat er tussenzit).
+Een aantal wildcard zoek characters uitgesloten, dit kon de zoektijd negatief beinvloeden.
+Max 500 pagina's weergeven, het standaard aantal is 200. 500 pagina's is ruim voldoende om te vinden wat je zoekt.
Zo, maar even de TT veranderd. Op de een of andere manier bloed het topic een beetje dood, en dat terwijl er imo toch best veel mensen op zoek zijn naar een search.
Alle suggesties zijn welkom, zonder feedback kan ik helaas niet zoveel
Alle suggesties zijn welkom, zonder feedback kan ik helaas niet zoveel
Als ik zoek op [BeF] krijg ik geen enkel resultaat. hoe kan dat 
Ohja en de fora staan nog steeds niet op alfabet.
Ohja en de fora staan nog steeds niet op alfabet.
Op BeF zoeken zonder de haken levert wel resultaten op. Dit probleem ga ik nog wel even verhelpen door dat soort tekens automatisch weg te filteren.quote:Op vrijdag 28 maart 2008 12:44 schreef mcDavid het volgende:
Als ik zoek op [BeF] krijg ik geen enkel resultaat. hoe kan dat
Ohja en de fora staan nog steeds niet op alfabet.
De fora ga ik zo snel mogelijk op alfabet zetten, dat moet namelijk even handmatig goedgezet worden.
Edit: dat eerste probleem is al verholpen
Ah tof.
Ik bekeek je code eens en ik denk dat je ergens in de PHP een > vergeten bent. De output staan heel veel van dit soort span's in:
hij doet het verder wel, maar toch, schoonheidsfoutje ;)
Hoe ver ben je inmiddels met indexeren btw?
Ik bekeek je code eens en ik denk dat je ergens in de PHP een > vergeten bent. De output staan heel veel van dit soort span's in:
| 1 |
hij doet het verder wel, maar toch, schoonheidsfoutje ;)
Hoe ver ben je inmiddels met indexeren btw?
Dank voor het melden, dit soort dingen vallen namelijk niet zo snel op, vind het dan ook goed dat je het gezien hebtquote:Op vrijdag 28 maart 2008 12:58 schreef mcDavid het volgende:
Ah tof.
Ik bekeek je code eens en ik denk dat je ergens in de PHP een > vergeten bent. De output staan heel veel van dit soort span's in:
[ code verwijderd ]
hij doet het verder wel, maar toch, schoonheidsfoutje
Hoe ver ben je inmiddels met indexeren btw?
Heb het nu verholpen, de span sluit-tag stond ook helemaal op de verkeerde plek.En wat het indexeren betreft; ik heb nu ongeveer 300000 geindexeerd. Nog even een paar dagen en alles is binnen
Moet nu overigens aan het werk, vanavond gaan we weer verder
Ah iets meer dan een kwart dus!
Gaat deze zoekfunctie nou de officiële zoekfunctie van FOK! vervangen als je klaar bent met indexen?
Gaat deze zoekfunctie nou de officiële zoekfunctie van FOK! vervangen als je klaar bent met indexen?
Tja, ik weet niet wat Danny en Breuls ermee willen. Het draait op een servertje hier thuis, en is opzich best wel ingewikkeld opgebouwd (binnenkort post ik hier nog even meer over, denk dat mensen het wel leuk vinden om te weten hoe het precies werkt).quote:Op vrijdag 28 maart 2008 13:52 schreef mcDavid het volgende:
Gaat deze zoekfunctie nou de officiële zoekfunctie van FOK! vervangen als je klaar bent met indexen?
Ik denk niet dat dit ooit een officiele zoekfunctie gaat worden, en naar mijn weten wordt er ook al aan een nieuwe zoekfunctie gewerkt.
Als ik je goed begrijp houd je dus een externe database bij met de topictitels.
Hoe zit het dan met topics, zoals in NWS wel gebeurt, waar de topictitel wordt aangepast op de actualiteit van de dag? Kan ik die alleen maar vinden als ik toevallig woorden uit de titel gebruik die op het moment van indexeren aanwezig waren?
Hoe zit het dan met topics, zoals in NWS wel gebeurt, waar de topictitel wordt aangepast op de actualiteit van de dag? Kan ik die alleen maar vinden als ik toevallig woorden uit de titel gebruik die op het moment van indexeren aanwezig waren?
Jup, eenmaal geïndexeerd is geïndexeerd. Ook indexeer ik de OP, dus als die veranderd dan is ook die niet meer actueel. Dit is ook de reden dat ik de status van een topic niet meeneem, dat is namelijk erg aan verandering onderheven. Realtime zou alleen mogelijk zijn als ik directe toegang zou hebben tot de FOK! database, en dat heb ik niet. Overigens is het geen externe database, die staat namelijk wel op dezelfde server.quote:Op vrijdag 28 maart 2008 23:39 schreef Wokkel het volgende:
Als ik je goed begrijp houd je dus een externe database bij met de topictitels.
Hoe zit het dan met topics, zoals in NWS wel gebeurt, waar de topictitel wordt aangepast op de actualiteit van de dag? Kan ik die alleen maar vinden als ik toevallig woorden uit de titel gebruik die op het moment van indexeren aanwezig waren?
Lijkt mij sterk dat ze na zoveel jaar met iets beters kunnen komen dan wat jij nu gepresteerd hebt.quote:Op vrijdag 28 maart 2008 23:34 schreef The_Terminator het volgende:
[..]
Tja, ik weet niet wat Danny en Breuls ermee willen. Het draait op een servertje hier thuis, en is opzich best wel ingewikkeld opgebouwd (binnenkort post ik hier nog even meer over, denk dat mensen het wel leuk vinden om te weten hoe het precies werkt).
Ik denk niet dat dit ooit een officiele zoekfunctie gaat worden, en naar mijn weten wordt er ook al aan een nieuwe zoekfunctie gewerkt.
Met externe database bedoel ik dat het niet dezelfde database als de FOK database is.quote:Op vrijdag 28 maart 2008 23:46 schreef The_Terminator het volgende:
[..]
Realtime zou alleen mogelijk zijn als ik directe toegang zou hebben tot de FOK! database, en dat heb ik niet. Overigens is het geen externe database, die staat namelijk wel op dezelfde server.
Maar als ze allebei op dezelfde server staan moet het toch een koud kunstje zijn om, dmv een select statement gefilterd op datum laatste aanpassing, aanpassingen ook mee te nemen? Of moet je alle info ophalen door http requests naar de gewone pagina's????
Overigens een super alternatief van je, ben er nu al erg blij mee.
Realtime zoeken op dezelfde database, dus zonder een gegenereerde index, is met een forum met de grootte en bezoekersaantallen als fok volkomen en compleet onmogelijk, tenminste niet als je je zoekresultaten binnen een half uur wil hebben en je het hele databasecluster niet volkomen op zijn plaat wil trekken. Als je met een gegenereerde index werkt en van elk stukje data moet gaan controleren of dat misschien gewijzigd is dan verlies je elk voordeel van het hebben van een index en kun je netzogoed rechtstreeks in de database gaan zoeken. Wat dus geen optie is.quote:Op zaterdag 29 maart 2008 00:03 schreef Wokkel het volgende:
[..]
Met externe database bedoel ik dat het niet dezelfde database als de FOK database is.
Maar als ze allebei op dezelfde server staan moet het toch een koud kunstje zijn om, dmv een select statement gefilterd op datum laatste aanpassing, aanpassingen ook mee te nemen? Of moet je alle info ophalen door http requests naar de gewone pagina's????
Inderdaad, ze hebben er eeuwen erover gedaan voor ze met dat wangedrocht van roonaan kwamen. Die nu nog steeds in de beta fase zit, en gewoon knudde is. Daar hoef je je hoop niet op te vestigen.quote:Op vrijdag 28 maart 2008 23:54 schreef Juup© het volgende:
[..]
Lijkt mij sterk dat ze na zoveel jaar met iets beters kunnen komen dan wat jij nu gepresteerd hebt.
Het is hopen dat ze bij fok dit intiatief van TT omarmen en ze een beetje flinke server met sloot geheugen beschikbaar stellen zodat dit mooi uitgebouwd kan gaan worden.
Ik pleit ook niet voor realtime zoeken, maar wel voor directe query toegang tot de database om zo de Lucent db te vullen.quote:Op zaterdag 29 maart 2008 00:10 schreef Farenji het volgende:
[..]
Realtime zoeken op dezelfde database, dus zonder een gegenereerde index, is met een forum met de grootte en bezoekersaantallen als fok volkomen en compleet onmogelijk, tenminste niet als je je zoekresultaten binnen een half uur wil hebben en je het hele databasecluster niet volkomen op zijn plaat wil trekken. Als je met een gegenereerde index werkt en van elk stukje data moet gaan controleren of dat misschien gewijzigd is dan verlies je elk voordeel van het hebben van een index en kun je netzogoed rechtstreeks in de database gaan zoeken. Wat dus geen optie is.
Een periodieke (elke 30 minuten ofzo) select query op datum op/titel gewijzigd lijkt mij qua load niet heel anders dan een reguliere Active topics query. Daarnaast is een gewijzigde topic titel gewoon een insert op de index, dat doet hij nu ook constant met indexeren.
Jup, ik moet het allemaal downloadenquote:Op zaterdag 29 maart 2008 00:03 schreef Wokkel het volgende:
[..]
Of moet je alle info ophalen door http requests naar de gewone pagina's????
Overigens heb ik de indeerscripts wel geautomatiseerd gemaakt Altijd goed om te lezenquote:Overigens een super alternatief van je, ben er nu al erg blij mee.
Wat ik doe is alles binnenhalen via http requests, de woorden worden vervolgens gefilterd op lengte en vreemde tekens. Na het filteren van de woorden worden deze aan een MySQL database toegevoegd. Vervolgens ga ik handmatig een script draaien dat de hele database doorleest en dat wordt vervolgens aan de Lucene index toegevoegd. Diezelfde index wordt vervolgens weer uitgelezen door het zoekscript als iemand een woord zoekt en dat wordt geparsed tot de uiteindelijke pagina.quote:Op zaterdag 29 maart 2008 00:27 schreef Wokkel het volgende:
[..]
Ik pleit ook niet voor realtime zoeken, maar wel voor directe query toegang tot de database om zo de Lucent db te vullen.
Een periodieke (elke 30 minuten ofzo) select query op datum op/titel gewijzigd lijkt mij qua load niet heel anders dan een reguliere Active topics query. Daarnaast is een gewijzigde topic titel gewoon een insert op de index, dat doet hij nu ook constant met indexeren.
Hmmm, kan wel handig zijn..
How do you get precisely 4 Gallons of water with a 3 Gallon and 5 Gallon Can...
Ik zou zeggen, als de boel af is moet Breuls maar eens met zijn usb-stick bij je langskomen!quote:Op zaterdag 29 maart 200800:57 schreef The_Terminator het volgende:
[..]
Wat ik doe is alles binnenhalen via http requests, de woorden worden vervolgens gefilterd op lengte en vreemde tekens. Na het filteren van de woorden worden deze aan een MySQL database toegevoegd. Vervolgens ga ik handmatig een script draaien dat de hele database doorleest en dat wordt vervolgens aan de Lucene index toegevoegd. Diezelfde index wordt vervolgens weer uitgelezen door het zoekscript als iemand een woord zoekt en dat wordt geparsed tot de uiteindelijke pagina.
Even een schopje, ik heb namelijk weer wat probleempjes verholpen.
1: Het zoeken op alleen een TS leverde vaak erg weinig resultaten op, terwijl er bij een gewone zoekopdracht wel heel veel topics van een een bepaalde TS verschenen. Dit probleem werd veroorzaakt doordat er ook in de OP zelf naar de TS werd gezocht, en dat werkt natuurlijk niet zo best als de naam niet vermeld is in de OP. Nu wordt er echt alleen in het TS veld gezocht naar de opgegeven TS, en dit werkt zoals het moet.
2: Er kan nu ook op korte woorden gezocht worden, dit geldt echter alleen voor de titel aangezien daar de korte woorden ook daadwerkelijk geïndexeerd zijn. De OP is alleen 4 letters of meer, dit om de grootte van de index te beperken.
3: Meer topics geïndexeerd, bijna de helft van het forum staat nu in de index.
En dit zijn mijn toekomstplannen:
1: Ook posts in een topic indexeren, en de gebruiker de keuze laten maken of daar ook in gezocht moet worden. Vervolgens wordt dan een link naar de post gegeven (of meerdere als het vaker voorkomt).
2: Topicstatus indexeren, echter dan wel alleen de status open of gesloten. Het kan echter wel voorkomen dat een topic in de tussentijd is gesloten en alszijnde open wordt weergegeven door het script, hier is echter weinig aan te doen aangeizen ik dan elke avond het hele forum zou moeten indexeren. Ik denk niet dat Danny daar heel blij mee is
1: Het zoeken op alleen een TS leverde vaak erg weinig resultaten op, terwijl er bij een gewone zoekopdracht wel heel veel topics van een een bepaalde TS verschenen. Dit probleem werd veroorzaakt doordat er ook in de OP zelf naar de TS werd gezocht, en dat werkt natuurlijk niet zo best als de naam niet vermeld is in de OP. Nu wordt er echt alleen in het TS veld gezocht naar de opgegeven TS, en dit werkt zoals het moet.
2: Er kan nu ook op korte woorden gezocht worden, dit geldt echter alleen voor de titel aangezien daar de korte woorden ook daadwerkelijk geïndexeerd zijn. De OP is alleen 4 letters of meer, dit om de grootte van de index te beperken.
3: Meer topics geïndexeerd, bijna de helft van het forum staat nu in de index.
En dit zijn mijn toekomstplannen:
1: Ook posts in een topic indexeren, en de gebruiker de keuze laten maken of daar ook in gezocht moet worden. Vervolgens wordt dan een link naar de post gegeven (of meerdere als het vaker voorkomt).
2: Topicstatus indexeren, echter dan wel alleen de status open of gesloten. Het kan echter wel voorkomen dat een topic in de tussentijd is gesloten en alszijnde open wordt weergegeven door het script, hier is echter weinig aan te doen aangeizen ik dan elke avond het hele forum zou moeten indexeren. Ik denk niet dat Danny daar heel blij mee is
@ zoeken op TS!
