Jawel, een zoekfunctie!

Ja, je leest de TT goed, ik ben namelijk al een tijdje bezig om een werkende search voor FOK! te maken. Dit is een geheel eigen project, ik heb alleen wat hulp gehad van Breuls om het inloggen op FOK! goed te laten verlopen, ik had nogal wat problemen met het wegschrijven van de benodigde cookies en het beheren van de sessies voor mijn indexeer script.

Deze search zoekt in meer dan een miljoen topics, om de 2 dagen zorg ik ervoor dat de index weer up-to-date wordt gemaakt. Om de snelheid op orde te houden indexeer ik alleen de OP van een topic, reacties veroorzaken alleen maar ruis en dat komt de zoekresultaten niet ten goede, ook zou ik als ik de reacties meeindexeer gigantisch veel data in mijn database weg moeten schrijven. Ook belast dit FOK! minder aangezien ik het topic inlaad met alleen de OP zichtbaar, 1 post per pagina.

Op het moment heb ik het forum volledig geindexeerd (met uitzondering van besloten fora natuurlijk). Verder maakt deze zoekfunctie gebruik van Lucene, een zoekengine geschreven in Java die zonder enig probleem miljoenen topics zou moeten kunnen doorzoeken in een zeer korte tijd.

Nu moet de search natuurlijk wel getest worden, dit is de URL: http://www.thuisserver.net/foksearch/

Mocht je rare dingen tegenkomen of als de search uitzonderlijk traag gaat kun je dat hier vermelden, ben benieuwd wat jullie er van vinden. Mochten er problemen zijn met betrekking tot beveiligingfouten dan ontvang ik dat het liefst per PM.

[ Bericht 14% gewijzigd door The_Terminator op 22-04-2008 19:30:42 ]

quote:

Op woensdag 19 maart 2008 23:55 schreef NED het volgende:
Ow, het zal wel de bedoeling zijn neem ik aan, maar ik kan niet op alleen een topicstarter zoeken?

Jawel, 'met topicstarter' aangeven. De topicstarter is namelijk ook bij de data van het topic meegeindexeerd.

quote:

Op donderdag 20 maart 2008 00:00 schreef WebForce het volgende:

[..]

Als ik alleen daar 'WebForce' invul vind hij niets...

Zowel bij het zoeken naar veld en bij 'met topicstarter'. Dit is een beetje omslachtig maar dat ga ik nog aanpassen

quote:

Op donderdag 20 maart 2008 00:09 schreef Farenji het volgende:
Mooi werk! werkt verdomde snel en hij lijkt best veel te vinden! Ik vind hem nu al bruikbaarder dan dat prutswerk van roonaan.

Het werkt idd niet om alleen op topicstarter te zoeken zonder dat je een zoekterm invult.

Ook vind ik toch nog niet alles terug - om een voorbeeld te geven, als ik op "gnostiek" zoek dan vind ik maar 1 topic - met google vind ik er veel meer, bijv deze: De gnostiek.

Klopt, maar 200.000 topics is minder dan 20% van FOK!. Dit wordt uiteraard wel meer, maar ik moet dit eerst werkende zien te krijgen onder Zend Lucene, dat is veel sneller dan FULLTEXT wat bij MySQL ingebouwd zit.

quote:

Op donderdag 20 maart 2008 00:15 schreef NED het volgende:
Heb je tussen 2002 en 2006 alles geindexeerd?
Hij vind tussen eind januari ofzo 2006 en eind januari 2002 niets als TS

Nou heb ik dat accoutn ook een poos in de koelkast gehad, maar volgens mij toch echt geen 4 jaar ::?

Nee, het zijn alleen gedeelten van die jaren. Ik heb meerdere indexers openstaan (werkt vannuit een browser) en ze doen elk een jaar met elk 1 topic per 2 seconden.