Jawel, een volledige zoekfunctie! [Deel 2]

quote:

Op woensdag 19 maart 2008 23:46 schreef The_Terminator het volgende:
Ja, je leest de TT goed, ik ben namelijk al een tijdje bezig om een werkende search voor FOK! te maken. Dit is een geheel eigen project, ik heb alleen wat hulp gehad van Breuls om het inloggen op FOK! goed te laten verlopen, ik had nogal wat problemen met het wegschrijven van de benodigde cookies en het beheren van de sessies voor mijn indexeer script.

Deze search zoekt in meer dan een miljoen topics, om de 2 dagen zorg ik ervoor dat de index weer up-to-date wordt gemaakt. Om de snelheid op orde te houden indexeer ik alleen de OP van een topic, reacties veroorzaken alleen maar ruis en dat komt de zoekresultaten niet ten goede, ook zou ik als ik de reacties meeindexeer gigantisch veel data in mijn database weg moeten schrijven. Ook belast dit FOK! minder aangezien ik het topic inlaad met alleen de OP zichtbaar, 1 post per pagina.

Op het moment heb ik het forum volledig geindexeerd (met uitzondering van besloten fora natuurlijk). Verder maakt deze zoekfunctie gebruik van Lucene, een zoekengine geschreven in Java die zonder enig probleem miljoenen topics zou moeten kunnen doorzoeken in een zeer korte tijd.

Nu moet de search natuurlijk wel getest worden, dit is de URL: http://www.thuisserver.net/foksearch/

Mocht je rare dingen tegenkomen of als de search uitzonderlijk traag gaat kun je dat hier vermelden, ben benieuwd wat jullie er van vinden. Mochten er problemen zijn met betrekking tot beveiligingfouten dan ontvang ik dat het liefst per PM.

quote:

Op vrijdag 2 mei 2008 08:32 schreef neo2000 het volgende:

[..]

Tsjah, ik denk dat dat ook juist het probleem is. Een zoekfunctie gebruik je niet dagelijks - tenminste, mijn standaard Fok! bezoek ziet er uit: MyAT checken, hierna AT checken.. Pas als ik heel specifiek naar iets op zoek ben, tsjah, dan ga ik zoeken.
Het is inderdaad jammer dat er een goede zoekfunctie is, en Fok! deze niet gewoon adopteert. Ik KAN me voorstellen dat men geen extra server in hun datacenter wil hebben draaien, maar goed, zet ergens VMware op, virtualiseer die bak, zeker gezien de load op de server zoals TT zegt, en Fok! heeft gewoon een goede search i.p.v. die abomidable Google. Zucht. Was alles maar zo makkelijk..

quote:

Op zondag 4 mei 2008 21:48 schreef The_Terminator het volgende:
Zoals jullie waarschijnlijk wel zien heb ik een extra tagje, dit houd in dat ik mijn huidige zoekfunctie niet verder uit ga breiden en mij volledig ga richten op een nieuwe search, die ook op de FOK! servers gaat draaien, en veel meer functies gaat krijgen. Ik ga dit samen met Roonaan doen, die al erg veel kennis heeft op dit gebied. Gecombineerd met mijn kennis moet dit helemaal goed gaan komen, we hebben er in iedergeval alle vertrouwen in.

Het is nog even geduld hebben, maar die nieuwe zoekfunctie gaat er zeker komen

quote:

Op maandag 26 mei 2008 18:46 schreef The_Terminator het volgende:
Ik heb toch stiekem nog even een update doorgevoerd

FOK! Search v1.2 beta is hierbij vrijgegeven, in deze nieuwe versie zitten geen nieuwe mogelijkheden qua zoeken, echter gaat het nu nog sneller dan het voorheen ging. Ik heb namelijk een nieuwe manier voor het berkenen van het aantal pagina's ingebouwd, hiervoor werden in de vorige versie 2 zoekopdrachten uitgevoerd, dat gebeurd nu maar 1x dus is de snelheid heermee verdubbeld. Ook in de index geupdate en bevat nu de meest recente topics, in totaal staan er nu 1105993 topics in de index.

Ook heb ik de volledige parser herschreven (het script dat de resultaten verwerkt dat wordt teruggegeven door Lucene), ook dit werkt nu sneller en stabieler.

Happy searching!