Deze search zoekt in meer dan een miljoen topics, om de 2 dagen zorg ik ervoor dat de index weer up-to-date wordt gemaakt. Om de snelheid op orde te houden indexeer ik alleen de OP van een topic, reacties veroorzaken alleen maar ruis en dat komt de zoekresultaten niet ten goede, ook zou ik als ik de reacties meeindexeer gigantisch veel data in mijn database weg moeten schrijven. Ook belast dit FOK! minder aangezien ik het topic inlaad met alleen de OP zichtbaar, 1 post per pagina.
Op het moment heb ik het forum volledig geindexeerd (met uitzondering van besloten fora natuurlijk). Verder maakt deze zoekfunctie gebruik van Lucene, een zoekengine geschreven in Java die zonder enig probleem miljoenen topics zou moeten kunnen doorzoeken in een zeer korte tijd.
Nu moet de search natuurlijk wel getest worden, dit is de URL: http://www.thuisserver.net/foksearch/
Mocht je rare dingen tegenkomen of als de search uitzonderlijk traag gaat kun je dat hier vermelden, ben benieuwd wat jullie er van vinden. Mochten er problemen zijn met betrekking tot beveiligingfouten dan ontvang ik dat het liefst per PM.
[ Bericht 14% gewijzigd door The_Terminator op 22-04-2008 19:30:42 ]
Kan eindelijk topics van mezelf uit 2000 terugvinden
Ik zeg "Danny, geef deze man een biertje!!"
quote:Jawel, 'met topicstarter' aangeven. De topicstarter is namelijk ook bij de data van het topic meegeindexeerd.Op woensdag 19 maart 2008 23:55 schreef NED het volgende:
Ow, het zal wel de bedoeling zijn neem ik aan, maar ik kan niet op alleen een topicstarter zoeken?
quote:Als ik alleen daar 'WebForce' invul vind hij niets...Op woensdag 19 maart 2008 23:59 schreef The_Terminator het volgende:
[..]
Jawel, 'met topicstarter' aangeven. De topicstarter is namelijk ook bij de data van het topic meegeindexeerd.
quote:Zowel bij het zoeken naar veld en bij 'met topicstarter'. Dit is een beetje omslachtig maar dat ga ik nog aanpassenOp donderdag 20 maart 2008 00:00 schreef WebForce het volgende:
[..]
Als ik alleen daar 'WebForce' invul vind hij niets...
Schneller dan Fok!
Nothing but taart voor jou!
Het werkt idd niet om alleen op topicstarter te zoeken zonder dat je een zoekterm invult.
Ook vind ik toch nog niet alles terug - om een voorbeeld te geven, als ik op "gnostiek" zoek dan vind ik maar 1 topic - met google vind ik er veel meer, bijv deze: De gnostiek.
ik zit een beetje in shock eigenlijk Maar T_T een dikke veer up your ass
van A_Aquote:Klopt, maar 200.000 topics is minder dan 20% van FOK!. Dit wordt uiteraard wel meer, maar ik moet dit eerst werkende zien te krijgen onder Zend Lucene, dat is veel sneller dan FULLTEXT wat bij MySQL ingebouwd zit.Op donderdag 20 maart 2008 00:09 schreef Farenji het volgende:
Mooi werk! werkt verdomde snel en hij lijkt best veel te vinden! Ik vind hem nu al bruikbaarder dan dat prutswerk van roonaan.
Het werkt idd niet om alleen op topicstarter te zoeken zonder dat je een zoekterm invult.
Ook vind ik toch nog niet alles terug - om een voorbeeld te geven, als ik op "gnostiek" zoek dan vind ik maar 1 topic - met google vind ik er veel meer, bijv deze: De gnostiek.
Hij vind tussen eind januari ofzo 2006 en eind januari 2002 niets als TS
Nou heb ik dat accoutn ook een poos in de koelkast gehad, maar volgens mij toch echt geen 4 jaar ::?
quote:Tof!Op donderdag 20 maart 2008 00:01 schreef The_Terminator het volgende:
[..]
Zowel bij het zoeken naar veld en bij 'met topicstarter'. Dit is een beetje omslachtig maar dat ga ik nog aanpassen
. Hij is écht snel! 
.Ik zeg: Danny linkje aanpassen op forum.fok.nl!
Niet dat die andere zoek dinges zo slecht was maar toch
HOAX ALERT 
quote:Nee, het zijn alleen gedeelten van die jaren. Ik heb meerdere indexers openstaan (werkt vannuit een browser) en ze doen elk een jaar met elk 1 topic per 2 seconden.Op donderdag 20 maart 2008 00:15 schreef NED het volgende:
Heb je tussen 2002 en 2006 alles geindexeerd?
Hij vind tussen eind januari ofzo 2006 en eind januari 2002 niets als TS
Nou heb ik dat accoutn ook een poos in de koelkast gehad, maar volgens mij toch echt geen 4 jaar ::?
quote:
quote:Oh ja, wel goed werk enzo.
Maar voor Danny natuurlijk een
In uren dan?
Tot die tijd: goed werk!
quote:Niet zo heel lang, aangezien dit gebruikmaakt van een simpele MySQL query is er niet veel code vereist, het meeste werk zat dan ook in het schrijven van het indexeer script en het indexeren zelf. Ik denk dat ik ongeveer een dag in totaal kwijt ben geweest (in uren) aan het schrijven en testen van het script, echter ben ik er lang niet elke dag mee bezig geweest vanwege werk en andere verplichtingen, dit is hoogstens een paar uur per week geweest.Op donderdag 20 maart 2008 01:47 schreef NED het volgende:
Hoelang ben je hier nou in totaal mee bezig geweest?
In uren dan?
Goed werk
na initieel wat gejuich eindigt het altijd met een half-af ding waar mensen beginnen te klagen over alles wat ze er vooral niet kunnen vinden en bugs die gbeginnen op te treden en nooit gefixed worden....
tenminste dat was _vroeger_ altijd zo, deze keer zal het heel anders gaan en het vast wél een groot succes worden
ondertussen zal google.fok.nl wel online blijven
Als het goed werkt, wordt dit dan straks gewoon geintegreerd in de huidige Fok! sites?
quote:Een dag in totaal.Op donderdag 20 maart 2008 06:28 schreef The_Terminator het volgende:
[..]
Niet zo heel lang, aangezien dit gebruikmaakt van een simpele MySQL query is er niet veel code vereist, het meeste werk zat dan ook in het schrijven van het indexeer script en het indexeren zelf. Ik denk dat ik ongeveer een dag in totaal kwijt ben geweest (in uren) aan het schrijven en testen van het script, echter ben ik er lang niet elke dag mee bezig geweest vanwege werk en andere verplichtingen, dit is hoogstens een paar uur per week geweest.
Godsklere zeg! En dan heeft Danny ons zo in de kou laten staan al die jaren voor iets wat slechts een dagje werk is
!Mooi dat er eindelijk iets fatsoenlijks gemaakt is
Als je woorden van 3 letters of minder wegfiltert raak je allerlei zooi als afkortingen kwijt, waar je juist eventueel op wilt zoeken omdat dat het onderwerp is. Ik noem KLM, PHP etc.
Ten tweede, hoe meer data erin zit, hoe trager 1 search ook wordt, dus als je nu nog lang niet alles geindexeerd hebt is het misschien een beetje voorbarig om al benchmarks te plaatsen
quote:Just get a lifeOp donderdag 20 maart 2008 06:28 schreef The_Terminator het volgende:
[..]
Niet zo heel lang, aangezien dit gebruikmaakt van een simpele MySQL query is er niet veel code vereist, het meeste werk zat dan ook in het schrijven van het indexeer script en het indexeren zelf. Ik denk dat ik ongeveer een dag in totaal kwijt ben geweest (in uren) aan het schrijven en testen van het script, echter ben ik er lang niet elke dag mee bezig geweest vanwege werk en andere verplichtingen, dit is hoogstens een paar uur per week geweest.
quote:Het is natuurlijk wel zo dat een complete search ook daadwerkelijk in berichten zelf zoekt en dat die optie door de gebruiker in of uitgeschakeld kan worden. Het probleem is echter dat als ik alle data wil indexeren dat een database van een aantal gig opleverd, en dat bevorderd de snelheid niet echt. Misschien dat ik dat nog aan ga passen als ik het werkende heb onder Lucene, dat is een stuk sneller namelijk.Op donderdag 20 maart 2008 09:53 schreef NED het volgende:
[..]
Een dag in totaal.
Godsklere zeg! En dan heeft Danny ons zo in de kou laten staan al die jaren voor iets wat slechts een dagje werk is
Mooi dat er eindelijk iets fatsoenlijks gemaakt is
Nu is hij volgens mij random.
[ Bericht 4% gewijzigd door gebrokenglas op 20-03-2008 20:57:29 ]
quote:Jup, dat kanOp donderdag 20 maart 2008 20:50 schreef gebrokenglas het volgende:
Zou de lijst met alle fora gealfabetiseerd kunnen worden? Dat zou het selecteren erg vergemakkelijken.
Nu is hij volgens mij random.
Ga het zo snel mogelijk even aanpassen. Overigens kun je ook gewoon een item selecteren en de eerste letter intikken op je toetsenbord, dan springt hij ernaartoe.quote:Het probleem is (maar dat had je zelf ook vast al bedacht) dat met het meenemen van andere posts het ranking algoritme ingewikkelder wordt - je wil de topictitel en de startpost zwaarder laten wegen dan de overige posts en dan voldoet de fulltext search van mysql al niet meer. Geen idee of Lucene daar wel in voorziet, ik weet daar niks vanaf. Maar het lijkt me wel een flinke stap van de search zoals je hem nu hebt en bijv de search zoals die in de oude fok zat van een aantal jaar geleden, toen de db nog te behappen was, nog ver voor replique.Op donderdag 20 maart 2008 19:07 schreef The_Terminator het volgende:
[..]
Het is natuurlijk wel zo dat een complete search ook daadwerkelijk in berichten zelf zoekt en dat die optie door de gebruiker in of uitgeschakeld kan worden. Het probleem is echter dat als ik alle data wil indexeren dat een database van een aantal gig opleverd, en dat bevorderd de snelheid niet echt. Misschien dat ik dat nog aan ga passen als ik het werkende heb onder Lucene, dat is een stuk sneller namelijk.
Kun je ook op meerdere woorden zoeken dmv. AND? Ik heb het idee dat je alleen OR kunt doen. Als je bijv. zoekt op "nokia n73" (zonder aanh.tekens) of "nokia AND n73" of "+nokia +n73" of "+nokia + n73" dan krijg ik allemaal topics waar alleen "nokia" in de startpost staat.[edit] misschien beetje ongelukkige zoekterm gebruikt, want "n73" komt in zn geheel nog niet voor in de database zie ik. Met andere zoektermen lijkt het beter te werken, met plusjes ervoor om AND te zoeken.
[ Bericht 8% gewijzigd door Palomar op 21-03-2008 02:02:53 ]
. Maar die lay-out is een beetje gedateerd. Misschien dat het helemaal tip-top gemaakt kan worden door alle posts ook mee te nemen en dan te integreren in FOK! zelf.quote:Idd, woorden korter dan 4 letters staan er niet in. Hier kun je de mogelijke operatoren vinden: http://www.thuisserver.net/foksearch/zoektips.phpOp vrijdag 21 maart 2008 01:57 schreef Palomar het volgende:
Ziet er goed uit
[edit] misschien beetje ongelukkige zoekterm gebruikt, want "n73" komt in zn geheel nog niet voor in de database zie ik. Met andere zoektermen lijkt het beter te werken, met plusjes ervoor om AND te zoeken.
quote:Je weet hoeveel posts FOK! heeft he?Op vrijdag 21 maart 2008 02:18 schreef hello_moto1992 het volgende:
Misschien dat het helemaal tip-top gemaakt kan worden door alle posts ook mee te nemen en dan te integreren in FOK! zelf.
Dit is opzich wel mogelijk en Lucene zou er geen probleem mee mogen hebben, echter heeft dit een gigantische database tot gevolg, en 32-bit systemen kunnen maar een index van rond de 2 gig aan.
quote:Achja help nog meer fabels in de wereldOp vrijdag 21 maart 2008 02:47 schreef The_Terminator het volgende:
[..]
Je weet hoeveel posts FOK! heeft he?
Dit is opzich wel mogelijk en Lucene zou er geen probleem mee mogen hebben, echter heeft dit een gigantische database tot gevolg, en 32-bit systemen kunnen maar een index van rond de 2 gig aan.
Ok wellicht ben ik betere kwaliteit software gewend. Leuk initiatief van een 'crew' member. Maar helaas vind ik het weer zo sneu dat er een perfecte index was, zelfs met Nederlandse stemming algoritmes, en lekkere interface en dat er nu weer iets anders is...quote:Tja, natuurlijk is er ook nog Xapian, dat heb ik ook op mijn server geinstalleerd maar ik kan nergens goede voorbeelden vinden.Op vrijdag 21 maart 2008 02:50 schreef Skinkie het volgende:
[..]
Achja help nog meer fabels in de wereld
Nog geen fouten ontdekt De baggerlayout erom doen, en klaar is ie gewoon. 14.gifquote:Gaat dan ook via google.Op zaterdag 22 maart 2008 18:50 schreef gebrokenglas het volgende:
Ja ik stond ook echt versteld van de snelheid. Met het klikken stond het er ook al.
quote:Dat denk ik niet
quote:Op zondag 23 maart 2008 00:40 schreef F04 het volgende:
Naah, een vlotte snelle search is dat. Alleen die van Got is sneller en beter.
quote:Echnie.Op zondag 23 maart 2008 00:40 schreef F04 het volgende:
Alleen die van Got is sneller en beter.
quote:Bij de zoekfunctie rechtsboven in beeld wel hoor
http://forum.fok.nl/rde/search_lite
Hier niet.
quote:Wel
quote:ThanksOp zondag 23 maart 2008 14:01 schreef roediej het volgende:
netjes gemaakt!, mijn complimenten
Ik heb overigens de search nu werkende onder Lucene, en nu is het nog veel sneller. Zelfs zoeken op korte woorden is geen probleem. Ook worden de zoekresultaten verdeeld over meerdere pagina's en zijn dus alle resultaten te bekijken. Op het moment ben ik nog een aantal dingen aan het toevoegen, ik denk het tegen de avond online te hebben.
!Nieuw:
-Paginaweergave (je bent niet meer gebonden aan een beperkt aantal resultaten)
-Verbeterde snelheid (het was al snel, echter is het dankzij Lucene nu nog veel sneller)
-Mogelijkheid om alleen TS in te vullen
-Betere relevantie (ook dit dankzij Lucene)
*veel bier en dikke joints geeft*
quote:Heb er net één gerookt
Ik heb de volgende aanpassingen verricht:
-Wildcard search verbeterd, ook worden wildcarts aan het begin van een woord verwijderd aangezien dit de server dermate zwaar belast dat het zoeken voor anderen onmogelijk wordt.
-De weergegeven resultaten pagina's worden automatisch ingekort als er meer dan 500 pagina's met zoekresultaten zijn. Uiteraard kan alles weergegeven worden door op de beschikbare link te klikken.
-Een aantal Lucene queries aangepast, dit verbeterd de relevantie tussen de verschillende invoervelden 'AND TS', 'NOT TS' en de zoekopdracht zelf.
-Een nieuwe hoofdtekst, dit aangezien de search helemaal verbouwd is en geen gebruik meer maakt van MySQL Fulltext.
Uiteraard zijn er in de tussentijd ook weer diverse topics geindexeerd, het aantal zit nu over de 250000.
Kijk mij nou!!!!
Heb ik lang niet kunnen vinden. Mijn dank is groot.
Een topic uit 1999 kun je nauwelijks relevant noemen, ook al voldoet het hardstikke netjes aan je zoekopdracht...
quote:Tof topic.Op woensdag 26 maart 2008 02:04 schreef Juup© het volgende:
Met dank aan Asta la vista meneer
Kijk mij nou!!!!
Heb ik lang niet kunnen vinden. Mijn dank is groot.
.quote:
Het eerste contact met mijn vrouw
quote:Misschien de mogelijkheid om twee tijdsperiodes in te vullen waar tussen gezocht moet worden?Op woensdag 26 maart 2008 02:08 schreef mcDavid het volgende:
Vraagje heh, zou de search op relevantie iets meer naar de datum kunnen kijken?
Een topic uit 1999 kun je nauwelijks relevant noemen, ook al voldoet het hardstikke netjes aan je zoekopdracht...
quote:Dat waren nog eens mooie tijden hé babe? Bijna net zo mooi als nu
quote:Dat is wel een goed idee inderdaad. Ik kan er inderdaad voor zorgen dat topics met dat soort data minder relevant worden. Ik ga er echter wel een checkbox zij zetten zodat die optie ook uitgeschakeld kan worden.Op woensdag 26 maart 2008 02:08 schreef mcDavid het volgende:
Vraagje heh, zou de search op relevantie iets meer naar de datum kunnen kijken?
Een topic uit 1999 kun je nauwelijks relevant noemen, ook al voldoet het hardstikke netjes aan je zoekopdracht...
quote:Dat zou ook kunnen, aangezien ik de datum ook bijhou alszijde fulltext.Op woensdag 26 maart 2008 02:13 schreef Juup© het volgende:
[..]
Misschien de mogelijkheid om twee tijdsperiodes in te vullen waar tussen gezocht moet worden?
quote:Das ook wel een goeie.Op woensdag 26 maart 200802:20 schreef The_Terminator het volgende:
[..]
Dat is wel een goed idee inderdaad. Ik kan er inderdaad voor zorgen dat topics met dat soort data minder relevant worden. Ik ga er echter wel een checkbox zij zetten zodat die optie ook uitgeschakeld kan worden.
Voor forumleden zijn die oude topics namelijk behoorlijk onboeiend, maar voor passanten die info over het een of ander zoeken misschien wel.
Maar als ik ook als topicstarter jegorex invul dan krijg ik maar 1 resultaat. Dat zou ook 2 moeten zijn dan.
edit:
Hij zegt trouwens wel dat hij 2 topics gevonden heeft:
quote:Resultaten:
For: Topicnaam:Topicstarter: Datum:
GC Voorspel hier de nieuwe Jamba hype's Jegorex 9 maart 2008 @ 13:29
Er zijn 2 resultaten gevonden, zoekquery uitgevoerd in 0.00 seconden.
quote:Bedankt voor het melden, er mist inderdaad een resultaat en dat was me nog niet eens opgevallen. Ik heb even gekeken maar kan niet zo snel vinden waar het probleem zit, vanavond maar even verder kijken aangezien ik nu aan het werk moet...Op woensdag 26 maart 2008 03:54 schreef Jegorex het volgende:
Als ik als zoekopdracht jegorex invul en verder alles open laat dan krijg ik 2 resultaten die allebei van mij zijn.
Maar als ik ook als topicstarter jegorex invul dan krijg ik maar 1 resultaat. Dat zou ook 2 moeten zijn dan.
edit:
Hij zegt trouwens wel dat hij 2 topics gevonden heeft:
[..]
+Het is nu mogelijk om op datum te zoeken.
+Er kunnen meerdere subfora tegelijk geselecteerd worden, dit was door een aanpassing in de query niet meer mogelijk.
Overigens heb ik nog niet kunnen vinden waarom er steeds een resultaat te weinig is, morgen maar even weer verder zoeken.
quote:Dit probleem is nu verholpen.Op woensdag 26 maart 2008 03:54 schreef Jegorex het volgende:
Als ik als zoekopdracht jegorex invul en verder alles open laat dan krijg ik 2 resultaten die allebei van mij zijn.
Maar als ik ook als topicstarter jegorex invul dan krijg ik maar 1 resultaat. Dat zou ook 2 moeten zijn dan.
edit:
Hij zegt trouwens wel dat hij 2 topics gevonden heeft:
[..]
Beginnen bij 0 of 1 kan een heel verschil maken
+Nieuwe layout.
+Datum zoeken geoptimaliseerd (word nog verder uitgebreid met een extra veld, zodat er van bijv. januari tot februari gezocht kan worden, dus ook wat er tussenzit).
+Een aantal wildcard zoek characters uitgesloten, dit kon de zoektijd negatief beinvloeden.
+Max 500 pagina's weergeven, het standaard aantal is 200. 500 pagina's is ruim voldoende om te vinden wat je zoekt.
Alle suggesties zijn welkom, zonder feedback kan ik helaas niet zoveel
Ohja en de fora staan nog steeds niet op alfabet.
quote:Op BeF zoeken zonder de haken levert wel resultaten op. Dit probleem ga ik nog wel even verhelpen door dat soort tekens automatisch weg te filteren.Op vrijdag 28 maart 2008 12:44 schreef mcDavid het volgende:
Als ik zoek op [BeF] krijg ik geen enkel resultaat. hoe kan dat
Ohja en de fora staan nog steeds niet op alfabet.
De fora ga ik zo snel mogelijk op alfabet zetten, dat moet namelijk even handmatig goedgezet worden.
Edit: dat eerste probleem is al verholpen
Ik bekeek je code eens en ik denk dat je ergens in de PHP een > vergeten bent. De output staan heel veel van dit soort span's in:
| 1 |
hij doet het verder wel, maar toch, schoonheidsfoutje ;)
Hoe ver ben je inmiddels met indexeren btw?
quote:Dank voor het melden, dit soort dingen vallen namelijk niet zo snel op, vind het dan ook goed dat je het gezien hebtOp vrijdag 28 maart 2008 12:58 schreef mcDavid het volgende:
Ah tof.
Ik bekeek je code eens en ik denk dat je ergens in de PHP een > vergeten bent. De output staan heel veel van dit soort span's in:
[ code verwijderd ]
hij doet het verder wel, maar toch, schoonheidsfoutje
Hoe ver ben je inmiddels met indexeren btw?
Heb het nu verholpen, de span sluit-tag stond ook helemaal op de verkeerde plek.En wat het indexeren betreft; ik heb nu ongeveer 300000 geindexeerd. Nog even een paar dagen en alles is binnen
Moet nu overigens aan het werk, vanavond gaan we weer verder
Gaat deze zoekfunctie nou de officiële zoekfunctie van FOK! vervangen als je klaar bent met indexen?
quote:Tja, ik weet niet wat Danny en Breuls ermee willen. Het draait op een servertje hier thuis, en is opzich best wel ingewikkeld opgebouwd (binnenkort post ik hier nog even meer over, denk dat mensen het wel leuk vinden om te weten hoe het precies werkt).Op vrijdag 28 maart 2008 13:52 schreef mcDavid het volgende:
Gaat deze zoekfunctie nou de officiële zoekfunctie van FOK! vervangen als je klaar bent met indexen?
Ik denk niet dat dit ooit een officiele zoekfunctie gaat worden, en naar mijn weten wordt er ook al aan een nieuwe zoekfunctie gewerkt.
Hoe zit het dan met topics, zoals in NWS wel gebeurt, waar de topictitel wordt aangepast op de actualiteit van de dag? Kan ik die alleen maar vinden als ik toevallig woorden uit de titel gebruik die op het moment van indexeren aanwezig waren?
quote:Jup, eenmaal geïndexeerd is geïndexeerd. Ook indexeer ik de OP, dus als die veranderd dan is ook die niet meer actueel. Dit is ook de reden dat ik de status van een topic niet meeneem, dat is namelijk erg aan verandering onderheven. Realtime zou alleen mogelijk zijn als ik directe toegang zou hebben tot de FOK! database, en dat heb ik niet. Overigens is het geen externe database, die staat namelijk wel op dezelfde server.Op vrijdag 28 maart 2008 23:39 schreef Wokkel het volgende:
Als ik je goed begrijp houd je dus een externe database bij met de topictitels.
Hoe zit het dan met topics, zoals in NWS wel gebeurt, waar de topictitel wordt aangepast op de actualiteit van de dag? Kan ik die alleen maar vinden als ik toevallig woorden uit de titel gebruik die op het moment van indexeren aanwezig waren?
quote:Lijkt mij sterk dat ze na zoveel jaar met iets beters kunnen komen dan wat jij nu gepresteerd hebt.Op vrijdag 28 maart 2008 23:34 schreef The_Terminator het volgende:
[..]
Tja, ik weet niet wat Danny en Breuls ermee willen. Het draait op een servertje hier thuis, en is opzich best wel ingewikkeld opgebouwd (binnenkort post ik hier nog even meer over, denk dat mensen het wel leuk vinden om te weten hoe het precies werkt).
Ik denk niet dat dit ooit een officiele zoekfunctie gaat worden, en naar mijn weten wordt er ook al aan een nieuwe zoekfunctie gewerkt.
quote:Met externe database bedoel ik dat het niet dezelfde database als de FOK database is.Op vrijdag 28 maart 2008 23:46 schreef The_Terminator het volgende:
[..]
Realtime zou alleen mogelijk zijn als ik directe toegang zou hebben tot de FOK! database, en dat heb ik niet. Overigens is het geen externe database, die staat namelijk wel op dezelfde server.
Maar als ze allebei op dezelfde server staan moet het toch een koud kunstje zijn om, dmv een select statement gefilterd op datum laatste aanpassing, aanpassingen ook mee te nemen? Of moet je alle info ophalen door http requests naar de gewone pagina's????
Overigens een super alternatief van je, ben er nu al erg blij mee.
quote:Realtime zoeken op dezelfde database, dus zonder een gegenereerde index, is met een forum met de grootte en bezoekersaantallen als fok volkomen en compleet onmogelijk, tenminste niet als je je zoekresultaten binnen een half uur wil hebben en je het hele databasecluster niet volkomen op zijn plaat wil trekken. Als je met een gegenereerde index werkt en van elk stukje data moet gaan controleren of dat misschien gewijzigd is dan verlies je elk voordeel van het hebben van een index en kun je netzogoed rechtstreeks in de database gaan zoeken. Wat dus geen optie is.Op zaterdag 29 maart 2008 00:03 schreef Wokkel het volgende:
[..]
Met externe database bedoel ik dat het niet dezelfde database als de FOK database is.
Maar als ze allebei op dezelfde server staan moet het toch een koud kunstje zijn om, dmv een select statement gefilterd op datum laatste aanpassing, aanpassingen ook mee te nemen? Of moet je alle info ophalen door http requests naar de gewone pagina's????
quote:Inderdaad, ze hebben er eeuwen erover gedaan voor ze met dat wangedrocht van roonaan kwamen. Die nu nog steeds in de beta fase zit, en gewoon knudde is. Daar hoef je je hoop niet op te vestigen.Op vrijdag 28 maart 2008 23:54 schreef Juup© het volgende:
[..]
Lijkt mij sterk dat ze na zoveel jaar met iets beters kunnen komen dan wat jij nu gepresteerd hebt.
Het is hopen dat ze bij fok dit intiatief van TT omarmen en ze een beetje flinke server met sloot geheugen beschikbaar stellen zodat dit mooi uitgebouwd kan gaan worden.
quote:Ik pleit ook niet voor realtime zoeken, maar wel voor directe query toegang tot de database om zo de Lucent db te vullen.Op zaterdag 29 maart 2008 00:10 schreef Farenji het volgende:
[..]
Realtime zoeken op dezelfde database, dus zonder een gegenereerde index, is met een forum met de grootte en bezoekersaantallen als fok volkomen en compleet onmogelijk, tenminste niet als je je zoekresultaten binnen een half uur wil hebben en je het hele databasecluster niet volkomen op zijn plaat wil trekken. Als je met een gegenereerde index werkt en van elk stukje data moet gaan controleren of dat misschien gewijzigd is dan verlies je elk voordeel van het hebben van een index en kun je netzogoed rechtstreeks in de database gaan zoeken. Wat dus geen optie is.
Een periodieke (elke 30 minuten ofzo) select query op datum op/titel gewijzigd lijkt mij qua load niet heel anders dan een reguliere Active topics query. Daarnaast is een gewijzigde topic titel gewoon een insert op de index, dat doet hij nu ook constant met indexeren.
quote:Jup, ik moet het allemaal downloadenOp zaterdag 29 maart 2008 00:03 schreef Wokkel het volgende:
[..]
Of moet je alle info ophalen door http requests naar de gewone pagina's????
Overigens heb ik de indeerscripts wel geautomatiseerd gemaakt quote:Altijd goed om te lezenOverigens een super alternatief van je, ben er nu al erg blij mee.
quote:Wat ik doe is alles binnenhalen via http requests, de woorden worden vervolgens gefilterd op lengte en vreemde tekens. Na het filteren van de woorden worden deze aan een MySQL database toegevoegd. Vervolgens ga ik handmatig een script draaien dat de hele database doorleest en dat wordt vervolgens aan de Lucene index toegevoegd. Diezelfde index wordt vervolgens weer uitgelezen door het zoekscript als iemand een woord zoekt en dat wordt geparsed tot de uiteindelijke pagina.Op zaterdag 29 maart 2008 00:27 schreef Wokkel het volgende:
[..]
Ik pleit ook niet voor realtime zoeken, maar wel voor directe query toegang tot de database om zo de Lucent db te vullen.
Een periodieke (elke 30 minuten ofzo) select query op datum op/titel gewijzigd lijkt mij qua load niet heel anders dan een reguliere Active topics query. Daarnaast is een gewijzigde topic titel gewoon een insert op de index, dat doet hij nu ook constant met indexeren.
quote:Ik zou zeggen, als de boel af is moet Breuls maar eens met zijn usb-stick bij je langskomen!Op zaterdag 29 maart 200800:57 schreef The_Terminator het volgende:
[..]
Wat ik doe is alles binnenhalen via http requests, de woorden worden vervolgens gefilterd op lengte en vreemde tekens. Na het filteren van de woorden worden deze aan een MySQL database toegevoegd. Vervolgens ga ik handmatig een script draaien dat de hele database doorleest en dat wordt vervolgens aan de Lucene index toegevoegd. Diezelfde index wordt vervolgens weer uitgelezen door het zoekscript als iemand een woord zoekt en dat wordt geparsed tot de uiteindelijke pagina.
1: Het zoeken op alleen een TS leverde vaak erg weinig resultaten op, terwijl er bij een gewone zoekopdracht wel heel veel topics van een een bepaalde TS verschenen. Dit probleem werd veroorzaakt doordat er ook in de OP zelf naar de TS werd gezocht, en dat werkt natuurlijk niet zo best als de naam niet vermeld is in de OP. Nu wordt er echt alleen in het TS veld gezocht naar de opgegeven TS, en dit werkt zoals het moet.
2: Er kan nu ook op korte woorden gezocht worden, dit geldt echter alleen voor de titel aangezien daar de korte woorden ook daadwerkelijk geïndexeerd zijn. De OP is alleen 4 letters of meer, dit om de grootte van de index te beperken.
3: Meer topics geïndexeerd, bijna de helft van het forum staat nu in de index.
En dit zijn mijn toekomstplannen:
1: Ook posts in een topic indexeren, en de gebruiker de keuze laten maken of daar ook in gezocht moet worden. Vervolgens wordt dan een link naar de post gegeven (of meerdere als het vaker voorkomt).
2: Topicstatus indexeren, echter dan wel alleen de status open of gesloten. Het kan echter wel voorkomen dat een topic in de tussentijd is gesloten en alszijnde open wordt weergegeven door het script, hier is echter weinig aan te doen aangeizen ik dan elke avond het hele forum zou moeten indexeren. Ik denk niet dat Danny daar heel blij mee is
@ zoeken op TS!quote:Als straks alles geindexeerd is kun je al je eigen topics terugvinden, altijd handig
Of je gebruikt gewoon google
quote:En wat mis je precies aan deze search wat Google wel heeft?Op zondag 30 maart 2008 22:22 schreef Wouser het volgende:
Of.... je gebruikt dit
Of je gebruikt gewoon google
Een '
' heb ik niet zoveel aan.Maar dat is met deze search rap aan het veranderen!
Access to the ADULT/SEXUALLY Explicit URL has been denied.
For more information about *** SurfControl visit
http://surfcontrol.***.nl
quote:Even over je sig heh,
Wel eens van http://google.fok.nl gehoord?
quote:Mijn domein 'thuisserver.net' staat inderdaad op sommige lijsten omdat ik ook een dir met mooie vrouwen op mijn server heb staan. Even dat filtertje uitzetten en het probleem is verholpen.Op maandag 31 maart 2008 14:40 schreef Xith het volgende:
Access Denied
Access to the ADULT/SEXUALLY Explicit URL has been denied.
For more information about *** SurfControl visit
http://surfcontrol.***.nl
quote:Veruit ja. Maar zoeken op datum en username is bij Google een ramp. Ik kom dan heel veel topics tegen waar ik niet naar zoek. Bij de search van Asta La Vista meneer gaat het wel in 1 maal perfect.Op zondag 30 maart 2008 23:59 schreef mcDavid het volgende:
Tot nu toe was google.fok.nl veruit de beste manier om topics terug te vinden
Maar dat is met deze search rap aan het veranderen!
quote:Echt niet. Topic's uit het jaar 1999.Op zondag 30 maart 2008 23:59 schreef mcDavid het volgende:
Tot nu toe was google.fok.nl veruit de beste manier om topics terug te vinden
Maar dat is met deze search rap aan het veranderen!
quote:Dan voor je bij datum toch gewoon een jaar in, of meerdere als je dat wil. Als je alleen in het jaar 2007 en 2008 wil zoeken voor je bij jaar in: "2007 2008" (zonder aanhalingstekens). Op die manier blijft de relevantie behouden en wordt alleen in 2007 en 2008 gezocht.
quote:Dat gaat nog mogelijk worden, ik heb dat wel al geprobeerd maar het wou niet helemaal lukken.Op maandag 31 maart 2008 23:04 schreef Wokkel het volgende:
Is het mogelijk dat de (multi)selectie van items in de foralijst ook persistent te maken over postbacks heen? Dit is de enige control die ik steeds opnieuw moet instellen als ik mijn search wil verfijnen.
quote:Zo, jij kan ook weer op je naam zoeken
quote:Op dinsdag 1 april 2008 00:54 schreef The_Terminator het volgende:
[..]
Zo, jij kan ook weer op je naam zoeken
Als hij meerdere pagina's vind, mogen die nummers wel een stukje kleiner, want dan heeft hij 200+ gevonden en staat het halve scherm d'r onder.
Nog een idee is om een soort 'afvink' systeem te maken zodat je eigenlijk precies weet welk topic je al hebt bekeken in de search en welke niet?
Een teken of het topic op slot is of niet zou ook handig zijn.
[ Bericht 17% gewijzigd door F04 op 01-04-2008 17:34:38 ]
quote:Iets minder mag welServer niet gevonden
quote:Er is geen tijd laatste reactie oplopend of aflopend. Overigens heb ik het sorteren net even getest en hier werkt het zonder probleemOp dinsdag 1 april 2008 16:05 schreef ScarFace- het volgende:
Als ik zoek met als sortering Tijd laatste reactie - oplopend krijg ik dezelfde lijst(in dezelfde volgorde dus)als bij Tijd laatste reactie - aflopend
quote:Hmm, vreemd. Zou wel iets mis zijn geweest met mijn Internetverbinding.Op dinsdag 1 april 2008 20:16 schreef Piles het volgende:
Je doet FOK! nu wel erg goed na hoor
[..]
Iets minder mag wel
[ Bericht 99% gewijzigd door The_Terminator op 01-04-2008 20:59:48 (Spam.) ]
quote:Ga eens dood!Op dinsdag 1 april 200820:54 schreef HELPMIJ het volgende:
-weg-
[ Bericht 71% gewijzigd door The_Terminator op 01-04-2008 21:02:59 ]
quote:Ik neem aan dat er vanaf dan wel gewoon realtime (ofja, een keer per dag gewoon) geïndexeerd gaat worden?Op vrijdag 4 april 2008 23:16 schreef The_Terminator het volgende:
Zoals je misschien al hebt gemerkt zijn er een stuk meer topics geindexeerd, ik heb nu ongeveer 3 kwart van FOK! in mijn index staan, de overige kwart zal nog een paar dagen in beslag nemen. Als ik alle topics binnenheb dan ga ik de status van de topics indexeren (gesloten of open) en ga een filter inbouwen zodat gesloten topics genegeerd kunnen worden. Ook ga ik de topicstarter indexeren, dit betekend dat er ook op de topicstarter geklikt kan worden om naar het profiel van diegene te gaan.
quote:Jup, en voor de status haal ik per dag de laatste 10000 topics binnen zodat ook dat up-to-date blijft.Op vrijdag 4 april 2008 23:17 schreef --Christiaan-- het volgende:
[..]
Ik neem aan dat er vanaf dan wel gewoon realtime (ofja, een keer per dag gewoon) geïndexeerd gaat worden?
quote:Tof
quote:Niet veel hoor, Lucene is erg snel en kan zelfs al op een 400Mhz processor razendsnel zoeken. Ik gebruik een AMD 2200+ met 2 gig aan geheugen. De index is rond de 800Mb groot.Op zondag 6 april 2008 01:10 schreef F04 het volgende:
hoeveel cpu power post dat wel, die zoekacties steeds?
quote:Op dinsdag 1 april 2008 14:39 schreef F04 het volgende:
Snelle search. Wanneer komt hij op de fokservers te staan, ipv thuisserver?
Als hij meerdere pagina's vind, mogen die nummers wel een stukje kleiner, want dan heeft hij 200+ gevonden en staat het halve scherm d'r onder.
Nog een idee is om een soort 'afvink' systeem te maken zodat je eigenlijk precies weet welk topic je al hebt bekeken in de search en welke niet?
Een teken of het topic op slot is of niet zou ook handig zijn.
quote:http://forum.fok.nl/rde/search_liteOp dinsdag 1 april 2008 20:51 schreef The_Terminator het volgende:
[..]
Er is geen tijd laatste reactie oplopend of aflopend. Overigens heb ik het sorteren net even getest en hier werkt het zonder probleem
Hier wel hoor, dat sorteren werkt niet.
De gewone fok search is dicht wegens broodnodig onderhoud.
quote:Hij komt niet op de FOK! servers te staan aangezien er al wordt gewerkt aan een andere search. Dat met die nummering moet ik nog even bekijken, echer is het niet zo'n heel groot probleem aangezien er standaard 200 pagina's worden weergegeven, dit heeft als voordeel dat je zo naar elke gewenste pagina kunt springen binnen die 200. Dat afvinksysteem is ook wat lastig aangezien ik dat steeds door moet sturen via een post of url, en er per pagina enorm veel informatie moet worden bijgehouden. De topicstatus ben ik al mee bezig, dit vereist namelijk dat ik de topics herinexeer en de status update waar dat nodig is.
quote:Het gaat hier dan ook niet over de Search LiteOp zondag 6 april 2008 11:16 schreef ScarFace- het volgende:
[..]
http://forum.fok.nl/rde/search_lite
Hier wel hoor, dat sorteren werkt niet.
De gewone fok search is dicht wegens broodnodig onderhoud.
quote:Mja op 20 maart postte ik dat en jij linkte de site waar het dan wel op staat, pas op 25 maart, dus dat kon ik onmogelijk weten.Op zondag 6 april 2008 15:51 schreef The_Terminator het volgende:
[..]
[..]
Het gaat hier dan ook niet over de Search Lite
quote:"al"?Op zondag 6 april 2008 15:51 schreef The_Terminator het volgende:
[..]
Hij komt niet op de FOK! servers te staan aangezien er al wordt gewerkt aan een andere search.
quote:De link staat in de OPOp zondag 6 april 2008 15:56 schreef ScarFace- het volgende:
[..]
Mja op 20 maart postte ik dat en jij linkte de site waar het dan wel op staat, pas op 25 maart, dus dat kon ik onmogelijk weten.
quote:
Goh je meent het.Vanaf 25 maart ja.
quote:Nee hoor, al vanaf het begin dat ik deze topic heb geopend. De edit was om de update toe te voegen, de link stond er toen al.Op zondag 6 april 2008 16:00 schreef ScarFace- het volgende:
[..]
Vanaf 25 maart ja.
quote:Dat is te dynamisch, ik heb geen directe toegang tot de FOK! database dus dit zal betekenen dat ik steeds alle topics opnieuw moet indexeren om dat te updaten, dat is geen doen.Op zondag 6 april 2008 15:58 schreef F04 het volgende:
Wat ook nog handig kan zijn, is om ook te nummeren hoeveel pagina's een topic heeft
?(als ik zoek op Devious69)
quote:Ik krijg wel resultaten:Op zondag 6 april 2008 17:11 schreef Devious69 het volgende:
Hij kent mij nog niet
(als ik zoek op Devious69)
quote:K&W Ikea mat met zand? Devious69 31 maart 2008 @ 13:49
DIG G15 keyboard, dat icoontje in mediaplayer.? Devious69 23 maart 2008 @ 22:34
ONZ wat een fucking securityyy Devious69 30 maart 2008 @ 03:36
DIG PGP, GPG eeeuh? Devious69 26 maart 2008 @ 10:58
ONZ Snakey.. Devious69 20 maart 2008 @ 11:52
ONZ OP zonder spelfouten? Devious69 20 maart 2008 @ 11:49
ONZ Zielig voor die honden! Devious69 20 maart 2008 @ 11:33
ONZ Welke taal enzo? Devious69 19 maart 2008 @ 19:29
ONZ Vis Devious69 19 maart 2008 @ 14:58
ONZ nog maar heel kort Devious69
quote:T_T indexeert alleen kwaliteitspostsOp zondag 6 april 2008 17:11 schreef Devious69 het volgende:
Hij kent mij nog niet
(als ik zoek op Devious69)
zal net wel iets verkeerds hebben gedaan oid.
quote:Misschien ergens een spatie of ander teken, kan wel eens voor problemen zorgen ;)Op zondag 6 april 2008 20:32 schreef Devious69 het volgende:
Hmmm.
zal net wel iets verkeerds hebben gedaan oid.
Overigens wordt de zoekfunctie veel gebruikt, iets wat ik natuurlijk alleen maar aanmoedig. Hier volgen wat statistieken:
Top 10 zoekopdrachten:
| 1 2 3 4 5 6 7 8 9 10 | kansloos 120 coyote 94 yvonne 80 avatar 66 cerror 64 bef 62 kankerkachel 56 juup© 50 nachtbar 42 |
quote:Wil perfect hoor, zoveel upload gebruikt het verzenden van wat HTML nou ook weer nietOp zondag 6 april 2008 21:26 schreef Farenji het volgende:
Zeg T_T, Trek je het nog wel een beetje, zo op je thuisverbinding? Kun je nog wel fatsoenlijk internetten met al dat gezoek?
quote:Nee, ik kan geen gebruikersnamen achterhalen. En zelfs al kon het dan nog hoef ik het niet te weten. IP adressen staan er ook niet bij en worden ook niet gelogged. Je kunt dus redelijk anoniem zoeken, ik zie alleen waar op gezocht is, dit omdat dat soms belangrijk kan zijn bij het achterhalen van problemen.
quote:Nu vraag ik me toch af, zijn er zoveel mensen op zoek naar een doodgebloedde slowchat, of toch naar iets anders?Op zondag 6 april 200821:20 schreef The_Terminator het volgende:
Top 10 zoekopdrachten:
[ code verwijderd ]
quote:dies liefOp woensdag 26 maart 2008 02:04 schreef Juup© het volgende:
Met dank aan Asta la vista meneer
Kijk mij nou!!!!
Heb ik lang niet kunnen vinden. Mijn dank is groot.
OT.. mooie zoekfunctie
wauw ik zie zelfs dat ik in 2006 gefeliciteerd ben in de OP van een topic.... toen las ik alleen nog maar grijnz
[ Bericht 12% gewijzigd door Nizno op 07-04-2008 04:22:59 ]
quote:Als je de baggerlayout gebruikt, zet 'm dan als de wiedeweerga in je custom menu!Op woensdag 9 april 200818:06 schreef Tim21 het volgende:
Ik moet telkens dit topic zoeken voor de search, nu staat ie teminste in MyAT :-)
quote:Gedaan.Op woensdag 9 april 2008 18:38 schreef mcDavid het volgende:
[..]
Als je de baggerlayout gebruikt, zet 'm dan als de wiedeweerga in je custom menu!
quote:Heel goedOp woensdag 9 april 2008 18:38 schreef mcDavid het volgende:
[..]
Als je de baggerlayout gebruikt, zet 'm dan als de wiedeweerga in je custom menu!
Overigens komt er binnenkort weer een update, ik heb nu iets meer dan 900000 topics in mijn MySQL database staan, aangezien niet alle topics zijn geïndexeerd (met name topics in beloten fora) zal ik bijna alles binnen moeten hebben. Het enige dat nog moet gebeuren is het toevoegen van de topicstatus en een link naar het profiel van de TS. Dit ben ik al aan het indexeren, en het script zelf is bijna klaar om ook gebruik te maken van deze nieuwe functies. Morgen of overmorgen ga ik de Lucene database herindexeren, dit betekend dat dan alle topics uit de MySQL database worden gehaald en worden weggeschreven naar de Lucene index. Het overzetten neemt ongeveer een 45 min. in beslag, echter hebben we daarna wel een index die ook de topicstatus en TS link bevat
quote:Ik moet inderdaad alles nog een keer opvragen. Toen ik hieraan begon had ik namelijk niet verwacht dat het allemaal zo uit zou pakken. Ik had het namelijk in de eerste instantie gewoon voor de lol gemaakt, echter is het nu best wel een serieuze applicatie geworden waar dit soort functies gewoon niet bij kunnen ontbreken.Op woensdag 9 april 2008 23:19 schreef Piles het volgende:
Heb je nu ook alle topics opgeslagen als tekst ofzo? Anders moet je alles nog een keer opvragen toch, als je de topicstatus wil hebben?
quote:Idd, bij mij nu ook!..Op woensdag 9 april 2008 18:06 schreef Tim21 het volgende:
Ik moet telkens dit topic zoeken voor de search, nu staat ie teminste in MyAT :-)
quote:Is er maar 50 maal op mijn naam gezocht?Op zondag 6 april 2008 21:20 schreef The_Terminator het volgende:
[..]
Misschien ergens een spatie of ander teken, kan wel eens voor problemen zorgen
Overigens wordt de zoekfunctie veel gebruikt, iets wat ik natuurlijk alleen maar aanmoedig. Hier volgen wat statistieken:
[ afbeelding ]
Top 10 zoekopdrachten:
[ code verwijderd ]
quote:BlijkbaarOp woensdag 9 april 2008 23:32 schreef Juup© het volgende:
[..]
Is er maar 50 maal op mijn naam gezocht?
Of ben je dat zelf geweest?
quote:Op woensdag 9 april 2008 23:42 schreef The_Terminator het volgende:
[..]
Blijkbaar
Of ben je dat zelf geweest?
-Meer topics geindexeerd, bijna een miljoen om precies te zijn.
-Topicstatus toegevoegd, echter is dit nog maar bij een bepaald aantal topics van toepassing aangezien ik hiervoor opnieuw moet indexeren. Dit indexeren gebeurd echter op de bestaande database dus alle topics die er al in staan blijven gewoon.
-Link naar het profiel van de TS toegevoegd, ook hiervoor geldt bovenstaande.
-Bug verholpen die het zoeken naar tekst tussen aanhalingstekens onmogelijk maakte.
-Bug verholpen die het zoeken in fora met een '&' teken onmogelijk maakte.
quote:Mooie dames in jouw sig is niet benaderbaarOp zaterdag 12 april 2008 21:51 schreef The_Terminator het volgende:
Ik heb de search net even geupdated, dit zijn de veranderingen voor v1.0:
-Meer topics geindexeerd, bijna een miljoen om precies te zijn.
-Topicstatus toegevoegd, echter is dit nog maar bij een bepaald aantal topics van toepassing aangezien ik hiervoor opnieuw moet indexeren. Dit indexeren gebeurd echter op de bestaande database dus alle topics die er al in staan blijven gewoon.
-Link naar het profiel van de TS toegevoegd, ook hiervoor geldt bovenstaande.
-Bug verholpen die het zoeken naar tekst tussen aanhalingstekens onmogelijk maakte.
-Bug verholpen die het zoeken in fora met een '&' teken onmogelijk maakte.
quote:Klopt, ik heb in die dir een .htacces geplaatst zodat me upload niet volledig wordt weggeslurpt.Op zaterdag 12 april 2008 22:08 schreef Juup© het volgende:
[..]
Mooie dames in jouw sig is niet benaderbaar
quote:Oke, al snap ik geen reet van wat jij bedoeldOp zaterdag 12 april 2008 22:19 schreef The_Terminator het volgende:
[..]
Klopt, ik heb in die dir een .htacces geplaatst zodat me upload niet volledig wordt weggeslurpt.
quote:Kun je hotlinking dan niet beter blokkeren?Op zaterdag 12 april 2008 22:19 schreef The_Terminator het volgende:
[..]
Klopt, ik heb in die dir een .htacces geplaatst zodat me upload niet volledig wordt weggeslurpt.
quote:Dat was al geblokkeerd, echter proberen sommige mensen de hele dir via een programma te downloaden. Hierdoor wordt mijn upload dermate belast dat de search daardoor te langzaam wordt.Op zaterdag 12 april 2008 22:56 schreef Piles het volgende:
[..]
Kun je hotlinking dan niet beter blokkeren?
quote:Ah, ja, dat kan ook nogOp zaterdag 12 april 2008 23:02 schreef The_Terminator het volgende:
[..]
Dat was al geblokkeerd, echter proberen sommige mensen de hele dir via een programma te downloaden. Hierdoor wordt mijn upload dermate belast dat de search daardoor te langzaam wordt.
Nou ja, alles voor de search
quote:Dat sowieso
Overigens staat het volgende gepland voor de volgende release:
-Zoeken tussen een bepaalde topic-id range.
-Zoeken op een bepaald datumbereik, dus: van, tot.
-Zoeken op userid range, hiervoor moet ik echter wel eerst voldoende data binnenhebben.
-Zoekopdrachten filteren op open of gesloten status, vereist ook dat er voldoende data is.
quote:Wacht maar even, bouw ik wel ff in (als het me nog lukt, heb bier en een joint opOp zaterdag 12 april 2008 23:33 schreef Piles het volgende:
Wordt / is het ook mogelijk om alleen op TT te zoeken?
) Edit: laat eerst maar even, gaat nu niet lukken. Ik ga wel een functie inbouwen dat het met de operator 'title:' mogelijk is om alleen dat in de titel te zoeken. Nu wordt er standaard ook in de titel gezocht.
[ Bericht 16% gewijzigd door The_Terminator op 12-04-2008 23:43:25 ]
quote:Ja, maar ik was pas bijvoorbeeld opzoek naar alle MooiWeerDeLeeuw-topics, en als je daar op zoekt krijg je vanallesOp zaterdag 12 april 2008 23:37 schreef The_Terminator het volgende:
Nu wordt er standaard ook in de titel gezocht.
Maar heeft geen haast
[ Bericht 89% gewijzigd door Sander op 13-05-2011 00:20:42 ]
quote:Wat je zou kunnen doen is een + voor het woord zetten dat je zoekt. Dus bijv: +mooi +weer of "De leeuw".Op zaterdag 12 april 2008 23:50 schreef Piles het volgende:
[..]
Ja, maar ik was pas bijvoorbeeld opzoek naar alle MooiWeerDeLeeuw-topics, en als je daar op zoekt krijg je vanalles
Maar heeft geen haast
quote:Dan krijgt dat woord een hogere waardering zeker?Op zondag 13 april 2008 00:09 schreef The_Terminator het volgende:
[..]
Wat je zou kunnen doen is een + voor het woord zetten dat je zoekt. Dus bijv: +mooi +weer of "De leeuw".
quote:Ze weten er wel van hoorOp zaterdag 12 april 2008 23:53 schreef Yashaaaaa het volgende:
Beetje apart alleen dat ik nog geen rood heb gezien in dit topic
quote:Nope, met een + moet verplicht voorkomen. Een soort van AND operatorOp zondag 13 april 2008 00:13 schreef Piles het volgende:
[..]
Dan krijgt dat woord een hogere waardering zeker?
-Zoekterm alleen in het topicdata veld zoeken en niet in het topicstarter veld.
-Betere uitleg bij bepaalde opties geplaatst.
-Zoeken naar meerdere topicstarters toegevoegd, dit geldt ook voor het veld met de topicstarter(s) die niet mag/mogen voorkomen.
quote:Warning: Division by zero in /srv/www/htdocs/foksearch/search.php on line 361
Dit was de link.
[edit]
repareren pls.
Ik moet zoeken
quote:Fixed.Op maandag 14 april 2008 02:22 schreef Jegorex het volgende:
[..]
Dit was de link.
[edit]
repareren pls.
Ik moet zoeken
quote:wow, dat was snel
thnx.
quote:Geen probleem
Jij nog bedankt voor het melden
quote:Op maandag 14 april 2008 02:22 schreef Jegorex het volgende:
[Warning: Division by zero in /srv/www/htdocs/foksearch/search.php on line 361]
Props voor deze search, TT! Jammer dat er dan weer gezeik is, en dat hij niet gewoon op FOK! wordt gezet, maar fok dat, zo werkt hij ook prima
Alle topics zijn namelijk geïndexeerd (met uitzondering van topics in besloten fora), en dit is wel iets om trots op te zijn vind ik
1095308 topics in de index die meer dan een gig groot is, een paar maand om alles binnen te halen en 64328791 geïndexeerde woorden. Echter ben ik nog niet klaar aangezien ik nog niet de status van alle topics heb, echter zou dit over een paar week ook volledig moeten zijn.
Veel zoekplezier, en als deze search het niet vind bestaat het simpelweg niet!
quote:HuldeOp zondag 20 april 2008 00:37 schreef The_Terminator het volgende:
Het is tijd voor taart, bier en joints!
Alle topics zijn namelijk geïndexeerd (met uitzondering van topics in besloten fora), en dit is wel iets om trots op te zijn vind ik
1095308 topics in de index die meer dan een gig groot is, een paar maand om alles binnen te halen en 64328791 geïndexeerde woorden. Echter ben ik nog niet klaar aangezien ik nog niet de status van alle topics heb, echter zou dit over een paar week ook volledig moeten zijn.
Veel zoekplezier, en als deze search het niet vind bestaat het simpelweg niet!
quote:Het duurde gewoon meer dan 3 uur om de MySQL data om te zetten naar een bruikbare Lucene index
Maargoed, voor wat hoort wat
. Puick werck.[ Bericht 3% gewijzigd door #ANONIEM op 20-04-2008 00:49:28 ]
quote:Wat dit: ( klaag *hier* over wk ) jouw eerste topic?
quote:Ja, met deze account wel. Boefje.Op zondag 20 april 2008 00:58 schreef The_Terminator het volgende:
[..]
Wat dit: ( klaag *hier* over wk ) jouw eerste topic?
quote:Even de search testen
Als je namelijk op een TS zoekt zonder zoekopdracht zou hij namelijk met de datum oplopend als eerste resultaat het eerste topic van die ts moeten weergeven.Maar zou je ook een kolom kunnen maken met het aantal posts in een topic? Want soms klik je een topic aan met 2 replies...schiet niet op
quote:Dat is te variabel. Het kan wel, echter kan het dan zeer onnauwkeurig worden. Dit betekend dat ik elke dag zeer veel topics moet indexeren en verwerken in de zoekindex, iets dat op mijn manier van indexeren gewoon niet mogelijk is.Op zondag 20 april 2008 01:38 schreef nein het volgende:
Maar zou je ook een kolom kunnen maken met het aantal posts in een topic? Want soms klik je een topic aan met 2 replies...schiet niet op
Deze versie bevat zoals eerder vermeld de grotere index, hiernaast heb ik ook wat verbeteringen aangebracht wat betreft het specifiek zoeken. Je kunt nu ook het subforum aanklikken bij de gevonden resultaten, dan wordt er alleen in dat subforum gezocht naar de opgegeven zoekopdracht. Hetzelfde kan bij de TS, dan wordt er specifiek op die TS gezocht gecombineerd met de gegeven zoekopdracht en (als opgegeven) ook het subforum.
Verder heb ik de eerdervermelde 'division by zero' fout verholpen, dit werd veroorzaakt door het niet goed verwerken van de URL, dit ging echter wel goed bij de paginaparser en die wou pagina's verwerken die er niet waren.
Dat was het wel zo'n beetje, mocht je bugs tegenkomen wees dan niet bang om het hier te vermelden
Hoe staat de crew eigenlijk tegenover deze zoek TT? Daar al iets van vernomen?
quote:Volgens mij mag die search gewoon, maar wat ik ervan begreep zijn ze ook bezig voor een search in RDEOp zondag 20 april 2008 14:12 schreef neo2000 het volgende:
Waarom wordt deze "pure porno snelle zoek" niet eingezetzt als standaard zoekfunctie van Fok! ? Ben benieuwd hoe de zoek het onder zwaardere load doet namelijk. Will it break or triumph?
Hoe staat de crew eigenlijk tegenover deze zoek TT? Daar al iets van vernomen?
quote:Ja, sinds jaar en dag. Alleen heeft dat project weinig prioriteit (Danny: "Als je wilt zoeken gebruik je google.fok.nl maar, of de search lite") en derhalve duur het al "even". Waraom dan niet in de tussentijd een beter product gebruiken wat het al doet, en nog goed ook?Op zondag 20 april 2008 14:14 schreef JortK het volgende:
[..]
Volgens mij mag die search gewoon, maar wat ik ervan begreep zijn ze ook bezig voor een search in RDE
quote:De zoekfunctie (of thuisserver.net) ligt er even uit schat ik..
Al met al is de downtime van de zoek altijd nog minder dan de downtime van fok in het algemeen, dus geen reden tot klagen..
quote:Daar zijn ze helemaal niet mee bezig, dat was slechts een kutsmoes.Op zondag 20 april 2008 14:14 schreef JortK het volgende:
[..]
Volgens mij mag die search gewoon, maar wat ik ervan begreep zijn ze ook bezig voor een search in RDE
quote:Ah. Dat had ik nog niet meegekregenOp zondag 20 april 2008 14:26 schreef Farenji het volgende:
[..]
Daar zijn ze helemaal niet mee bezig, dat was slechts een kutsmoes.
quote:Stroomstoring
quote:
quote:Tja, dit soort dingen kunnen gebeuren. Nu heb ik er wel een UPS tussen zitten, echter zorgt die ervoor dat de server veilig af kan sluiten en werkt de site nog steeds niet
quote:Danny weet hiervan, ik heb hem immers moeten vragen of ik zijn layout mocht gebruiken. Als ze deze search standaard in willen bouwen mogen ze van mij, echter wordt er volgens Breuls al aan een andere zoekfunctie gewerkt en zou dit niet zo heel lang meer op zich mogen laten wachten.Op zondag 20 april 2008 14:14 schreef JortK het volgende:
[..]
Volgens mij mag die search gewoon, maar wat ik ervan begreep zijn ze ook bezig voor een search in RDE
quote:Niet volgens Breuls hier:Op zondag 20 april 2008 15:17 schreef The_Terminator het volgende:
[..]
..echter wordt er volgens Breuls al aan een andere zoekfunctie gewerkt en zou dit niet zo heel lang meer op zich mogen laten wachten.
quote:Dus ik zeg, er in rammen dat ding..!Op zondag 20 april 2008 14:26 schreef Farenji het volgende:
[..]
Daar zijn ze helemaal niet mee bezig, dat was slechts een kutsmoes.
quote:Tja, hier vermeld Breuls weer heel iets anders: Zoekfunctie, tijdelijk etcOp zondag 20 april 2008 15:21 schreef neo2000 het volgende:
[..]
Niet volgens Breuls hier:
[..]
Dus ik zeg, er in rammen dat ding..!
Het is allemaal een beetje tegenstrijdig, en ook ik weet niet meer wat ik nou moet geloven.
quote:Op zondag 20 april 2008 15:17 schreef The_Terminator het volgende:
[..]
Danny weet hiervan, ik heb hem immers moeten vragen of ik zijn layout mocht gebruiken. Als ze deze search standaard in willen bouwen mogen ze van mij, echter wordt er volgens Breuls al aan een andere zoekfunctie gewerkt en zou dit niet zo heel lang meer op zich mogen laten wachten.
"Er komt een search! En die zal de beste van allemaal komen! En hij komt er binnen een maand! Echt waar! Daarom ondersteunen we geen enkel ander initiatief, want er komt namelijk heel snel een officiele search. Die zal beter zijn dan alle andere searches! Er is alleen niemand aan bezig en prioriteit heeft ie ook niet! We hebben het namelijk te druk met de oneindig krachtige servers en onze geweldige supersnelle forumsoftware. Die gaat zo snel en het forum heeft daardoor zo weinig downtime, die moeten we een beetje afremmen! Dan heeft de vijand ook nog wat kans! Maar berg je maar voor de search want hij komt! Echt!"
Aldus Breuls Al'Sahhaf.
quote:Waarschuwing: ik ben totaal geen database kenner!!Op zondag 20 april 2008 01:57 schreef The_Terminator het volgende:
[..]
Dat is te variabel. Het kan wel, echter kan het dan zeer onnauwkeurig worden. Dit betekend dat ik elke dag zeer veel topics moet indexeren en verwerken in de zoekindex, iets dat op mijn manier van indexeren gewoon niet mogelijk is.
Maar..zou het dan niet mogelijk zijn om alleen de titel op jouw manier te indexeren, en zodra je zoekmachine de titels (+URLs dus) heeft gevonden, dat dan op dat moment de meest recente data van het aantal posts eruit vist en dat dan in de zoekresultaten zet? Want als je iets realtime eruit vist, hoeft dat toch niet geindexeert te worden?
Of ben ik nu gewoon onwetend aan het lullen
quote:Op zondag 20 april 2008 15:45 schreef Farenji het volgende:
[..]
[ afbeelding ]
"Er komt een search! En die zal de beste van allemaal komen! En hij komt er binnen een maand! Echt waar! Daarom ondersteunen we geen enkel ander initiatief, want er komt namelijk heel snel een officiele search. Die zal beter zijn dan alle andere searches! Er is alleen niemand aan bezig en prioriteit heeft ie ook niet! We hebben het namelijk te druk met de oneindig krachtige servers en onze geweldige supersnelle forumsoftware. Die gaat zo snel en het forum heeft daardoor zo weinig downtime, die moeten we een beetje afremmen! Dan heeft de vijand ook nog wat kans! Maar berg je maar voor de search want hij komt! Echt!"
Aldus Breuls Al'Sahhaf.
prachtig
quote:Dat kan wel, echter moet ik dan voor elke pagina een stuk of 40 requests doen op het forum, ik denk niet dat Danny hier heel blij mee is aangezien dat een enorme belasting voor de database is.Op zondag 20 april 2008 19:47 schreef nein het volgende:
[..]
Waarschuwing: ik ben totaal geen database kenner!!
Maar..zou het dan niet mogelijk zijn om alleen de titel op jouw manier te indexeren, en zodra je zoekmachine de titels (+URLs dus) heeft gevonden, dat dan op dat moment de meest recente data van het aantal posts eruit vist en dat dan in de zoekresultaten zet? Want als je iets realtime eruit vist, hoeft dat toch niet geindexeert te worden?
Of ben ik nu gewoon onwetend aan het lullen
quote:Oow..jeumig, das idd wel erg zwaar ja!Op zondag 20 april 2008 22:46 schreef The_Terminator het volgende:
[..]
Dat kan wel, echter moet ik dan voor elke pagina een stuk of 40 requests doen op het forum, ik denk niet dat Danny hier heel blij mee is aangezien dat een enorme belasting voor de database is.
quote:Jawohl.
quote:Komt nog bij dat FOK! soms erg langzaam is en het dan een eeuwigheid duurt om al die data op te halen. Op het moment gaat het wel weer lekker snel, maar als ik voor elke zoekopdracht 40 requests ga versturen kan dat negatieve gevolgen hebben.
Dit zou alleen mogelijk zijn als de zoekfunctie op de FOK! servers zelf draait, dan is het namelijk periodiek mogelijk om die data in de index weg te schrijven, laten we zeggen van de laatste 10000 topics.
quote:Top T_TOp zondag 20 april 2008 00:37 schreef The_Terminator het volgende:
64328791 geïndexeerde woorden.
Wat is het meestgebruikte woord op FOK?
quote:Hierbij de top 10:Op maandag 21 april 2008 02:46 schreef Jegorex het volgende:
[..]
Top T_T
Wat is het meestgebruikte woord op FOK?
1. niet 444725
2. maar 407241
3. voor 377922
4. zijn 314873
5. naar 228756
6. door 225080
7. hier 223782
8. mijn 209076
9. 2003 204018
10. heeft 196037
quote:Smilies worden verwijderd bij het indexeren, die zie je dus nooit meer terug in de index.Op maandag 21 april 2008 15:55 schreef JortK het volgende:
Hoe doe je dat eigenlijk met smilies, levert dat geen shit op, of converteer je die terug naar de UBBcode?
quote:Kan Danny geen kopietje van de benodigde tabellen voor je regelen, ouderwetsch op DVD bijvoorbeeld, zodat jij thuis een index t/m April 2008 kunt maken? En daarna de boel op een eigen fok search server zetten die nieuwe topics toevoegt en die iedereen naar hartelust laat zoeken zonder de rest te belasten?Op zondag 20 april 2008 23:18 schreef The_Terminator het volgende:
Komt nog bij dat FOK! soms erg langzaam is en het dan een eeuwigheid duurt om al die data op te halen. Op het moment gaat het wel weer lekker snel, maar als ik voor elke zoekopdracht 40 requests ga versturen kan dat negatieve gevolgen hebben.
quote:De database is een gig of 75, dus dat zouden dan 10 DVD'tjes worden, en dan moeten het nog dual layers zijn ookOp maandag 21 april 2008 16:26 schreef dvr het volgende:
[..]
Kan Danny geen kopietje van de benodigde tabellen voor je regelen, ouderwetsch op DVD bijvoorbeeld, zodat jij thuis een index t/m April 2008 kunt maken? En daarna de boel op een eigen fok search server zetten die nieuwe topics toevoegt en die iedereen naar hartelust laat zoeken zonder de rest te belasten?
quote:Dan nog zit ik met het probleem dat ik nog steeds de huidige status moet ophalen via http requests van de laatst geupdate topics, anders kun je met DVD's blijven slepenOp maandag 21 april 2008 16:26 schreef dvr het volgende:
[..]
Kan Danny geen kopietje van de benodigde tabellen voor je regelen, ouderwetsch op DVD bijvoorbeeld, zodat jij thuis een index t/m April 2008 kunt maken? En daarna de boel op een eigen fok search server zetten die nieuwe topics toevoegt en die iedereen naar hartelust laat zoeken zonder de rest te belasten?
Op zich heb ik de benodigde data al, ik heb namelijk alle openingposts al geïndexeerd. Ik mis alleen alle reacties, echter gaat het hier om bijna 60000000 berichten (juist, 60 miljoen), ik ben bang dat zelfs Lucene het daar moeilijk mee gaat krijgen en er een andere engine benodigd is.quote:Sommige mensen hebben niet door hoe groot FOK! eigenlijk is... Als je de statistieken zou zien dan zou je ook meteen weten waarom er nog geen volledige search is en waarom het soms heel traag is.Op maandag 21 april 2008 16:32 schreef JortK het volgende:
[..]
De database is een gig of 75, dus dat zouden dan 10 DVD'tjes worden, en dan moeten het nog dual layers zijn ook
quote:Iets meer dan een gig, echter zijn het alleen openingposts die ik geïndexeerd heb, en veelvoorkomende woorden zijn hier ook nog eens uitgehaald.
quote:Ik begrijp het wel, heb zelf ook dagelijks met dit soort omgevingen te maken dusOp maandag 21 april 2008 16:39 schreef The_Terminator het volgende:
[..]
Sommige mensen hebben niet door hoe groot FOK! eigenlijk is... Als je de statistieken zou zien dan zou je ook meteen weten waarom er nog geen volledige search is en waarom het soms heel traag is.
quote:Gesloten gedeeltes zeker ook niet meegenomen?Op maandag 21 april 2008 16:41 schreef The_Terminator het volgende:
[..]
Iets meer dan een gig, echter zijn het alleen openingposts die ik geïndexeerd heb, en veelvoorkomende woorden zijn hier ook nog eens uitgehaald.
quote:Besloten fora zijn idd niet geïndexeerd, gearchiveerde fora echter wel.Op maandag 21 april 2008 16:42 schreef JortK het volgende:
[..]
Ik begrijp het wel, heb zelf ook dagelijks met dit soort omgevingen te maken dus
[..]
Gesloten gedeeltes zeker ook niet meegenomen?
Uiteraard mag je gerust kritiek leveren. Ik krijg maar weinig feedback in dit topic, en dat kan of een goed teken zijn, of een slecht teken omdat maar weinig deze search blijken te gebruiken (mijn statistieken laten namelijk zien dat er wel degelijk veel gebruik van wordt gemaakt).
Als iemand overigens weet hoe ik die rare tekens in titels om kan zetten naar de juiste tekens hoor ik het graag, trema's en sommige andere tekens worden namelijk niet goed weergegeven op het moment.
quote:HTML entities?Op dinsdag 22 april 2008 17:26 schreef The_Terminator het volgende:
En, wat vinden jullie van de search in de huidige staat? Ik ben wel benieuwd naar het volgende; is de snelheid voldoende? Vind je wat je zoekt? Weet je verbeterpunten (buiten het feit dat de subfora nog even op alfabetische volgorde moeten en dat er eventueel meer velden met data beschikbaar komen)?
Uiteraard mag je gerust kritiek leveren. Ik krijg maar weinig feedback in dit topic, en dat kan of een goed teken zijn, of een slecht teken omdat maar weinig deze search blijken te gebruiken (mijn statistieken laten namelijk zien dat er wel degelijk veel gebruik van wordt gemaakt).
Als iemand overigens weet hoe ik die rare tekens in titels om kan zetten naar de juiste tekens hoor ik het graag, trema's en sommige andere tekens worden namelijk niet goed weergegeven op het moment.
quote:Had ik al geprobeerd, dit lost het probleem helaas niet op.
Het probleem is dat bijv. wél wordt weergegeven als: wél
quote:Heeft dat niet met UTF-8 te maken?Op dinsdag 22 april 2008 18:10 schreef The_Terminator het volgende:
[..]
Had ik al geprobeerd, dit lost het probleem helaas niet op.
Het probleem is dat bijv. wél wordt weergegeven als: wél
Parse error: parse error, unexpected ',' in /srv/www/htdocs/foksearch/searchcore/search.php on line 42
quote:klopt
quote:Idd, ik was net ff aan het experimenteren (vandaar ook die fout
) en kwam erachter dat utf8_decode het oplost Thanks voor de hulp.
quote:Experimenteren op een live omgevingOp dinsdag 22 april 2008 18:26 schreef The_Terminator het volgende:
[..]
Idd, ik was net ff aan het experimenteren (vandaar ook die fout
Thanks voor de hulp.
quote:Dat is normaal niet mijn werkwijze, echter dacht ik dit even snel op te lossen
.quote:Ah, mooi. Het zelf testen is altijd wat moeilijk, dus ben ik afhankelijk van de ervaringen van anderen
quote:Goed werkOp dinsdag 22 april 2008 19:31 schreef The_Terminator het volgende:
Zo, even de OP geupdate, weg met die lange lappen tekst. Sowieso was de OP ook al behoorlijk outdated.
Zijn er nog bepaalde zaken welk je van plan bent in te bouwen?
quote:Ik ga proberen het aantal reacties en laatste post in te bouwen, echter heeft dit wel als nadeel dat die informatie na verloop van tijd niet meer up-to-date is. Als ik dit in ga bouwen dan zou ik elke avond de laatste 10000 topics op moeten halen en daarvan de status updaten, opzich wel te doen, echter is het nooit 100% synchroon te krijgen omdat ik geen directe DB toegang heb.Op dinsdag 22 april 2008 19:42 schreef JortK het volgende:
[..]
Goed werk
Zijn er nog bepaalde zaken welk je van plan bent in te bouwen?
quote:Inderdaad,m et Active en New topics moet je een aardig eind komen denk ikOp woensdag 23 april 2008 03:31 schreef Jegorex het volgende:
Is het niet mogelijk om bijvoorbeeld elke 5 minuten deze pagina op te halen en dan alleen de topics die daarin voorkomen te updaten?
quote:Het ophalen van de laatste 10000 topics is, los van de belasting, niet genoeg.Op dinsdag 22 april 2008 20:31 schreef The_Terminator het volgende:
[..]
Ik ga proberen het aantal reacties en laatste post in te bouwen, echter heeft dit wel als nadeel dat die informatie na verloop van tijd niet meer up-to-date is. Als ik dit in ga bouwen dan zou ik elke avond de laatste 10000 topics op moeten halen en daarvan de status updaten, opzich wel te doen, echter is het nooit 100% synchroon te krijgen omdat ik geen directe DB toegang heb.
Op die manier zou je posts in oudere topics missen.
Je zou dit, zoals reeds aangegeven, met de Active Topics kunnen doen, maar dan moet je elk halfuur een update draaien om niets te missen. Ook de index van elk subforum kan je helpen, maar dan moet je weer alle subforums aflopen.
"Directe" DB toegang zou ik ook wel willen voor het maken van stats.
quote:Ik ben op dit moment bezig met het indexeren zodat ik stats kan brengen zoals JeRa dat deed, maar ik heb de frequentie behoorlijk laag staan, zodat ik het forum bijna niet belastOp woensdag 23 april 2008 09:13 schreef Bruce117 het volgende:
[..]
Het ophalen van de laatste 10000 topics is, los van de belasting, niet genoeg.
Op die manier zou je posts in oudere topics missen.
Je zou dit, zoals reeds aangegeven, met de Active Topics kunnen doen, maar dan moet je elk halfuur een update draaien om niets te missen. Ook de index van elk subforum kan je helpen, maar dan moet je weer alle subforums aflopen.
"Directe" DB toegang zou ik ook wel willen voor het maken van stats.
quote:ik heb al een aantal jaar redelijk wat gegevens voor het maken van stats.Op woensdag 23 april 2008 09:15 schreef JortK het volgende:
[..]
Ik ben op dit moment bezig met het indexeren zodat ik stats kan brengen zoals JeRa dat deed, maar ik heb de frequentie behoorlijk laag staan, zodat ik het forum bijna niet belast
Maar met een ietwat directere toegang zou het er iets makkelijker op worden.
[ Bericht 0% gewijzigd door Bruce117 op 23-04-2008 09:46:57 ]
quote:Bij mij ging het ophalen van de data ook niet heel snel, dat was ook de reden dat het zo lang duurde voordat ik eindelijk alles had. En dat met die AT zou een optie kunnen zijn, elk half uur die ophalen zou geen extra belasting vormen voor FOK!, en kan gewoon gedaan worden door even een simpele cronjob in te stellen.Op woensdag 23 april 2008 09:15 schreef JortK het volgende:
[..]
Ik ben op dit moment bezig met het indexeren zodat ik stats kan brengen zoals JeRa dat deed, maar ik heb de frequentie behoorlijk laag staan, zodat ik het forum bijna niet belast
| 1 |
Stond in de bron verstopt, ik zag het omdat ik toevallig even in de bron keek. Het probleem is nu in iedergeval verholpen.
quote:Op woensdag 19 maart 2008 23:46 schreef The_Terminator het volgende:
Ja, je leest de TT goed, ik ben namelijk al een tijdje bezig om een werkende search voor FOK! te maken. Dit is een geheel eigen project, ik heb alleen wat hulp gehad van Breuls om het inloggen op FOK! goed te laten verlopen, ik had nogal wat problemen met het wegschrijven van de benodigde cookies en het beheren van de sessies voor mijn indexeer script.
Deze search zoekt in meer dan een miljoen topics, om de 2 dagen zorg ik ervoor dat de index weer up-to-date wordt gemaakt. Om de snelheid op orde te houden indexeer ik alleen de OP van een topic, reacties veroorzaken alleen maar ruis en dat komt de zoekresultaten niet ten goede, ook zou ik als ik de reacties meeindexeer gigantisch veel data in mijn database weg moeten schrijven. Ook belast dit FOK! minder aangezien ik het topic inlaad met alleen de OP zichtbaar, 1 post per pagina.
Op het moment heb ik het forum volledig geindexeerd (met uitzondering van besloten fora natuurlijk). Verder maakt deze zoekfunctie gebruik van Lucene, een zoekengine geschreven in Java die zonder enig probleem miljoenen topics zou moeten kunnen doorzoeken in een zeer korte tijd.
Nu moet de search natuurlijk wel getest worden, dit is de URL: http://www.thuisserver.net/foksearch/
Mocht je rare dingen tegenkomen of als de search uitzonderlijk traag gaat kun je dat hier vermelden, ben benieuwd wat jullie er van vinden. Mochten er problemen zijn met betrekking tot beveiligingfouten dan ontvang ik dat het liefst per PM.
quote:Wou je verder nog een reactie geven?
quote:Zoals je ziet check ik ze inderdaad goedhey tt, check je je statistieken wel goed?
quote:Op vrijdag 25 april 2008 22:43 schreef The_Terminator het volgende:
[..]
Wou je verder nog een reactie geven?
quote:Misschien moet je hem ff een PM sturenOp zondag 27 april 2008 21:43 schreef The_Terminator het volgende:
Schop!
quote:Dat was ikOp maandag 28 april 2008 01:37 schreef The_Terminator het volgende:
Aan degene die dit zocht:
[..]
Zoals je ziet check ik ze inderdaad goed
_ word niet meegenomen in een zoekopdracht?
Ik dacht dat ik "T_T" had ingevoerd ipv "tt"
quote:Jup, een underscore wordt idd niet meegenomen aangezien dat bij het indexeren ook al verwijderd is, als de underscore dan wel wordt meegenomen in de zoekopdracht wordt er niets gevonden.Op maandag 28 april 2008 09:06 schreef Jegorex het volgende:
[..]
Dat was ik
_ word niet meegenomen in een zoekopdracht?
Ik dacht dat ik "T_T" had ingevoerd ipv "tt"
Ik was op zoek naar een topic waarvan ik wist dat die door tuvai.net geopend is.
Ik zoek op topicstarter 'tuvai.net', no results.
Voer ik hem gewoon in het zoekopdrachtscherm in dan krijg ik wel results, met als topicstarter... tuvai.net !
quote:Bedankt voor het melden, opgelost.Op maandag 28 april 2008 16:35 schreef JortK het volgende:
Ik heb trouwens denk ik een bug gevonden.
Ik was op zoek naar een topic waarvan ik wist dat die door tuvai.net geopend is.
Ik zoek op topicstarter 'tuvai.net', no results.
Voer ik hem gewoon in het zoekopdrachtscherm in dan krijg ik wel results, met als topicstarter... tuvai.net !
quote:Het is een enorme vooruitgang t.o.v. Fok's eigen zoekfunctie! De grootste beperking is natuurlijk dat alleen in openingsposts wordt gezocht, maar Fok's eigen search geeft alleen resultaten op topicniveau in plaats van berichtniveau, wat erg onpraktisch is en veel onzinresultaten geeft. Dus wat dat betreft geen klachten en alle lof. Maar heb je op dat punt nog plannen - wil je je ooit aan een volledige index wagen, met alle berichten en op berichtniveau, gesteld dat je de hoeveelheid data aankunt? Het zou natuurlijk het mooist zijn als een searchsysteem lokaal kon draaien en rechtstreeks toegang tot Fok's eigen database had (via ODBC) om de indexen 's nachts bij te werken met de nieuwe berichten..Op dinsdag 22 april 2008 17:26 schreef The_Terminator het volgende:
En, wat vinden jullie van de search in de huidige staat?
Het is me nog niet helemaal duidelijk wat er qua syntax mogelijk is in jouw search. Aanhalingstekens voor strings van meerdere woorden lijken te werken, maar haakjes () en operators als AND en NOT niet. Klopt dat?
nb: de eenvoudigste en meest veelzijdige vind ik die van eBay, waar je bijvoorbeeld dit soort phrases kunt ingeven: CD +(funk,rock,jazz,punk) -(disco, "new age") (waarbij de komma's als OR worden geinterpreteerd).
Ik weet niet of het "zonder topicstarter" veld erg handig is.. zou het niet beter zijn als je gewoon "-Tong80" (bv
) kon ingeven in het topicstarter veld? Scheelt weer een regel in de interface.Wat ik verder praktisch zou vinden is de mogelijkheid om een datum range mee te geven. Als je een topic terugzoekt dat je ooit gezien hebt, heb je vaak wel een idee van wanneer die ongeveer was. Je kunt per maand zoeken ("december 2007"), maar iets als "tussen juli 2006 en januari 2007" is nog niet mogelijk. Een aparte dropdown met Laatste "dag, week, maand, kwartaal, halfjaar, jaar, twee jaar" zou trouwens ook handig zijn.
quote:Bedankt voor de feedback
Standaard wordt er naar alle woorden gezocht, dus OR. Een + of een - voor een woord betekend dat het sowieso voor moet komen of niet voor mag komen. Uiteraard kun je ook tussen aanhalingstekens zoeken en kun je een gedeelte zoeken dmv. het plaatsten van een * achter een woord. Als je bijv. alle woorden met topic wil zoeken doe je als zoekopdracht: 'topi*', dan wordt er gezocht op woorden als topicstarter, topics, topique etc.
Zonder topicstarter is gewoon een extra toevoeging zodat het ook meteen opvalt dat het mogelijk is om een TS uit te sluiten, sommige mensen weten niet dat een - inhoudt dat het woord niet voor mag komen
En dat met die datum ben ik een oplossing voor aan het zoeken. Ik moet even iets maken dat automatisch de tijd berekend tussen 2 opgegeven data, hier ben ik al mee bezig overigens en komt voor de volgende release beschikbaar.
Overigens heb ik plannen om het 'zonder topicstarter' veld te verwijderen aangezien dit niet veel toegevoegde waarde heeft (zoals hierboven al vermeld). Mochten er mensen zijn die toch heil in deze functie zien graag hier even vermelden, mocht ik hier weinig respons op krijgen gaat het veld richting dev/null.
quote:Er werkt iets niet goed bij u:Op maandag 28 april 2008 21:21 schreef The_Terminator het volgende:
Ik heb even een nieuwe functie toegevoegd, namelijk het zogenaamde 'proximity search', dit betekend dat je kunt zoeken op nabijgelegen woorden. Als je bijv. zoekt op 'bier' en 'tieten' en deze woorden mogen maximaal 2 woorden van elkaar afliggen kun je als zoekopdracht het volgende opgeven: "bier tieten"~2 (waar de 2 aangeeft dat de woorden maximaal 2 woorden van elkaar mogen liggen).
Overigens heb ik plannen om het 'zonder topicstarter' veld te verwijderen aangezien dit niet veel toegevoegde waarde heeft (zoals hierboven al vermeld). Mochten er mensen zijn die toch heil in deze functie zien graag hier even vermelden, mocht ik hier weinig respons op krijgen gaat het veld richting dev/null.
quote:Warning: fsockopen(): unable to connect to 192.168.0.11:8080 in /srv/www/htdocs/foksearch/searchcore/luceneparser.php on line 262
quote:Klopt, ik weet dat. De voeding van de zoekserver is kapot, en dit kan ik niet zo even 123 repareren. Overigens vraag ik mij af of het überhaupt de moeite, laat staan het geld waard is om te doen, ik ontvang verder geen respons meer in dit topic, zelfs niet als ik vraag of ik iets zonder problemen weg zou kunnen halen. Ook is de search in 2 dagen tijd maar 1x gebruikt en wordt her en der door mensen die weten dat deze search bestaat gewoon Google aanbevolen. Opzich geen probleem, maar het is een beetje een signaal naar mij dat mijn search eigenlijk maar overbodig is en dat de lite search en Google het stukken beter doen. Ik vind het dan een beetje jammer om er dag en nacht een extra pc voor te moeten laten draaien of geld aan te spenderen.
quote:Daar heb jij gelijk in, maar ik vind het zonde dat er idd niet meer mee gedaan wordt. Google vind echt twee maal niets vergeleken met jouw Search.Op vrijdag 2 mei 2008 00:42 schreef The_Terminator het volgende:
[..]
Klopt, ik weet dat. De voeding van de zoekserver is kapot, en dit kan ik niet zo even 123 repareren. Overigens vraag ik mij af of het überhaupt de moeite, laat staan het geld waard is om te doen, ik ontvang verder geen respons meer in dit topic, zelfs niet als ik vraag of ik iets zonder problemen weg zou kunnen halen. Ook is de search in 2 dagen tijd maar 1x gebruikt en wordt her en der door mensen die weten dat deze search bestaat gewoon Google aanbevolen. Opzich geen probleem, maar het is een beetje een signaal naar mij dat mijn search eigenlijk maar overbodig is en dat de lite search en Google het stukken beter doen. Ik vind het dan een beetje jammer om er dag en nacht een extra pc voor te moeten laten draaien of geld aan te spenderen.
De beste stuurlui staan aan wal is een gezegde, en dat geldt voor veel users die denken het licht gezien te hebben mbt Google.
Google zuigt enorm, en jouw Search is perfect. Zou standaard op Fok! moeten worden.
Ik kan begrijpen dat jij er geen moeite meer in wilt steken op deze manier, en dat is toch jammer gezien de tijd en moeite die jij er al in hebt gestoken.
quote:Dat dus.Op vrijdag 2 mei 2008 00:43 schreef Piles het volgende:
Beetje jammer dat FOK! hier niet meer mee doet
quote:Klopt, maar van de stats wordt ik ook niet echt blij. Mensen zitten altijd te zeuren dat er geen search is (ja, hier zijn al tig topics over geopend), echter zie je die mensen nooit terug als er een search beschikbaar komt. Dit topic is een beetje incrowd geworden, met een paar betatesters (wat ik uiteraard erg waardeer) die zo nu en dan een bug submitten. Echter wordt het ook met de vaste groep mensen steeds minder (de search is uiteraard ook bijna klaar), en zie je geen nieuwe mensen in het topic posten. In het begin zag ik ook echt een piek in het aantal zoekopdrachten, maar dat neemt steeds verder af als er niet in het topic gereageerd wordt (en ik ga het zelf niet elke dag kicken), het houdt zichzelf niet zo in stand op deze manier en na een tijd gebruikt helemaal niemand het meer. Dit zag ik nu ook gebeuren en ik had er eigenlijk wel een beetje genoeg van, zeker als je ziet dat mensen (als ze de kans krijgen mijn search wat bekender te maken) toch gewoon Google of de lite search aanbevelen.Op vrijdag 2 mei 2008 01:03 schreef Juup© het volgende:
[..]
Ik kan begrijpen dat jij er geen moeite meer in wilt steken op deze manier, en dat is toch jammer gezien de tijd en moeite die jij er al in hebt gestoken.
Als er dan vervolgens iets kapot gaat dan heb ik ook geen zin meer om er geld aan te spenderen. Een beetje fatsoenlijke voeding kost al snel 40 euro, en dan te bedenken dat ik ook nog 2x een gig aan geheugen in de server heb gezet en een extra HDD. Dat was allemaal om de search zo goed mogelijk te laten lopen, echter met dit gebruik kun je het zelfs nog op een p2 draaien.
Het is gewoon zonde om zoveel werk verloren te laten gaan, en waar problemen opgelost kunnen worden moet je elke kans grijpen.
Wat kunnen wij doen - zullen we hem allemaal in onze signatures opnemen? Hem in alle recente topics over de search ter sprake brengen?
quote:Tsjah, ik denk dat dat ook juist het probleem is. Een zoekfunctie gebruik je niet dagelijks - tenminste, mijn standaard Fok! bezoek ziet er uit: MyAT checken, hierna AT checken.. Pas als ik heel specifiek naar iets op zoek ben, tsjah, dan ga ik zoeken.Op vrijdag 2 mei 2008 05:38 schreef Jegorex het volgende:
Ik zoek vrijwel nooit, maar jouw search is op dit moment wel de beste op fok
Het is inderdaad jammer dat er een goede zoekfunctie is, en Fok! deze niet gewoon adopteert. Ik KAN me voorstellen dat men geen extra server in hun datacenter wil hebben draaien, maar goed, zet ergens VMware op, virtualiseer die bak, zeker gezien de load op de server zoals TT zegt, en Fok! heeft gewoon een goede search i.p.v. die abomidable Google. Zucht. Was alles maar zo makkelijk..