abonnement Unibet Coolblue Bitvavo
pi_57490648
Ja, je leest de TT goed, ik ben namelijk al een tijdje bezig om een werkende search voor FOK! te maken. Dit is een geheel eigen project, ik heb alleen wat hulp gehad van Breuls om het inloggen op FOK! goed te laten verlopen, ik had nogal wat problemen met het wegschrijven van de benodigde cookies en het beheren van de sessies voor mijn indexeer script.

Deze search zoekt in meer dan een miljoen topics, om de 2 dagen zorg ik ervoor dat de index weer up-to-date wordt gemaakt. Om de snelheid op orde te houden indexeer ik alleen de OP van een topic, reacties veroorzaken alleen maar ruis en dat komt de zoekresultaten niet ten goede, ook zou ik als ik de reacties meeindexeer gigantisch veel data in mijn database weg moeten schrijven. Ook belast dit FOK! minder aangezien ik het topic inlaad met alleen de OP zichtbaar, 1 post per pagina.

Op het moment heb ik het forum volledig geindexeerd (met uitzondering van besloten fora natuurlijk). Verder maakt deze zoekfunctie gebruik van Lucene, een zoekengine geschreven in Java die zonder enig probleem miljoenen topics zou moeten kunnen doorzoeken in een zeer korte tijd.

Nu moet de search natuurlijk wel getest worden, dit is de URL: http://www.thuisserver.net/foksearch/

Mocht je rare dingen tegenkomen of als de search uitzonderlijk traag gaat kun je dat hier vermelden, ben benieuwd wat jullie er van vinden. Mochten er problemen zijn met betrekking tot beveiligingfouten dan ontvang ik dat het liefst per PM.

[ Bericht 14% gewijzigd door The_Terminator op 22-04-2008 19:30:42 ]
pi_57490741
ff testen, brb
pi_57490780
Hij werkt

Kan eindelijk topics van mezelf uit 2000 terugvinden
pi_57490781
Puik ding! Hij is lekker snel en vind zonder problemen topics die ik al jaaaaren kwijt was.

Ik zeg "Danny, geef deze man een biertje!!"

pi_57490852
Netjes, The_Terminator.
pi_57490870
Ow, het zal wel de bedoeling zijn neem ik aan, maar ik kan niet op alleen een topicstarter zoeken?
pi_57490976
quote:
Op woensdag 19 maart 2008 23:55 schreef NED het volgende:
Ow, het zal wel de bedoeling zijn neem ik aan, maar ik kan niet op alleen een topicstarter zoeken?
Jawel, 'met topicstarter' aangeven. De topicstarter is namelijk ook bij de data van het topic meegeindexeerd.
  woensdag 19 maart 2008 @ 23:59:48 #8
23170 WebForce
Kijk mij nou!
pi_57490995
Tofheid!
  donderdag 20 maart 2008 @ 00:00:28 #9
23170 WebForce
Kijk mij nou!
pi_57491016
quote:
Op woensdag 19 maart 2008 23:59 schreef The_Terminator het volgende:

[..]

Jawel, 'met topicstarter' aangeven. De topicstarter is namelijk ook bij de data van het topic meegeindexeerd.
Als ik alleen daar 'WebForce' invul vind hij niets...
  PR/Manusje van alles donderdag 20 maart 2008 @ 00:00:46 #10
148800 crew  Surveillance-Fiets
Toezicht is gezond!
pi_57491026
Ik denk meer dat je als nieuwsposter een geile egocentrische narcist moet zijn, die een flinke stijve krijgt van alle berichten die ie van zijn eigen hand ziet op de FP, zo! ©yvonne
Beste nieuwsbericht ooit op de FOK!frontpage!
pi_57491032
Wat snel zeg!
pi_57491042
quote:
Op donderdag 20 maart 2008 00:00 schreef WebForce het volgende:

[..]

Als ik alleen daar 'WebForce' invul vind hij niets...
Zowel bij het zoeken naar veld en bij 'met topicstarter'. Dit is een beetje omslachtig maar dat ga ik nog aanpassen
  donderdag 20 maart 2008 @ 00:01:54 #13
104871 remlof
Europees federalist
pi_57491062
Hij is inderdaad retesnel
  donderdag 20 maart 2008 @ 00:03:58 #14
131644 Wickedangel
Na mij de zondvloed
pi_57491105
Complimenten!
Erst kommt das Fressen und dann kommt die Moral
  donderdag 20 maart 2008 @ 00:08:38 #15
108582 Daywalk3r
Eigenlijk Dayrunner.
pi_57491187
Werkt als een TIET!
Schneller dan Fok!
Nothing but taart voor jou!
Just remember, you can't climb the ladder of success with your hands in your pockets. ~Arnold Swarzenegger
pi_57491222
Mooi werk! werkt verdomde snel en hij lijkt best veel te vinden! Ik vind hem nu al bruikbaarder dan dat prutswerk van roonaan.

Het werkt idd niet om alleen op topicstarter te zoeken zonder dat je een zoekterm invult.

Ook vind ik toch nog niet alles terug - om een voorbeeld te geven, als ik op "gnostiek" zoek dan vind ik maar 1 topic - met google vind ik er veel meer, bijv deze: De gnostiek.
pi_57491229
Ik ben zulke snelheden niet gewend icm Fok! ik zit een beetje in shock eigenlijk

Maar T_T een dikke veer up your ass van A_A
pi_57491277
quote:
Op donderdag 20 maart 2008 00:09 schreef Farenji het volgende:
Mooi werk! werkt verdomde snel en hij lijkt best veel te vinden! Ik vind hem nu al bruikbaarder dan dat prutswerk van roonaan.

Het werkt idd niet om alleen op topicstarter te zoeken zonder dat je een zoekterm invult.

Ook vind ik toch nog niet alles terug - om een voorbeeld te geven, als ik op "gnostiek" zoek dan vind ik maar 1 topic - met google vind ik er veel meer, bijv deze: De gnostiek.
Klopt, maar 200.000 topics is minder dan 20% van FOK!. Dit wordt uiteraard wel meer, maar ik moet dit eerst werkende zien te krijgen onder Zend Lucene, dat is veel sneller dan FULLTEXT wat bij MySQL ingebouwd zit.
pi_57491332
Heb je tussen 2002 en 2006 alles geindexeerd?
Hij vind tussen eind januari ofzo 2006 en eind januari 2002 niets als TS

Nou heb ik dat accoutn ook een poos in de koelkast gehad, maar volgens mij toch echt geen 4 jaar ::?
  donderdag 20 maart 2008 @ 00:17:57 #20
23170 WebForce
Kijk mij nou!
pi_57491403
quote:
Op donderdag 20 maart 2008 00:01 schreef The_Terminator het volgende:

[..]

Zowel bij het zoeken naar veld en bij 'met topicstarter'. Dit is een beetje omslachtig maar dat ga ik nog aanpassen
Tof! . Hij is écht snel! .
Ik zeg: Danny linkje aanpassen op forum.fok.nl!
  donderdag 20 maart 2008 @ 00:21:38 #21
16266 MissHobje
Dat zou ik ook zeggen!
pi_57491475
zozo dat werkt best lekker.. eindelijk weer dingen die goed te vinden zijn
Niet dat die andere zoek dinges zo slecht was maar toch
[b]Hobbelicious is back!
[/b]
  donderdag 20 maart 2008 @ 00:23:42 #22
127809 SuperrrTuxxx
Zwerver met een wekker
pi_57491524
Tof!
Heddegijdagezeedgehadjamindedawerkelukwoarhoedoedegijdahoedoedegijdahoeheddegijdagedoan.
Don't you ever get stuck in the sky when you're high?
  donderdag 20 maart 2008 @ 00:27:33 #23
140043 Isdatzo
Born in the echoes.
pi_57491613
HOAX ALERT
Huilen dan.
pi_57491686
Aardig aardig.
All those moments will be lost, like tears in rain... Time to die.
pi_57491824
quote:
Op donderdag 20 maart 2008 00:15 schreef NED het volgende:
Heb je tussen 2002 en 2006 alles geindexeerd?
Hij vind tussen eind januari ofzo 2006 en eind januari 2002 niets als TS

Nou heb ik dat accoutn ook een poos in de koelkast gehad, maar volgens mij toch echt geen 4 jaar ::?
Nee, het zijn alleen gedeelten van die jaren. Ik heb meerdere indexers openstaan (werkt vannuit een browser) en ze doen elk een jaar met elk 1 topic per 2 seconden.
pi_57491862
pi_57491919
quote:
Op donderdag 20 maart 2008 00:40 schreef worldpimber het volgende:
pi_57491977
toch wel jammer dat er 8 jaar voor nodig is geweest om een fatsoenlijke search te maken...
So we just called him Fred too
pi_57492060
quote:
Op donderdag 20 maart 2008 00:44 schreef The_Terminator het volgende:
Oh ja, wel goed werk enzo.
Maar voor Danny natuurlijk een
pi_57492526
Hoelang ben je hier nou in totaal mee bezig geweest?
In uren dan?
pi_57492667
Als jij nou ook eens even het forum zelf opnieuw maakt!
  Moderator donderdag 20 maart 2008 @ 02:39:27 #32
7566 crew  MaJo
Mama van aapie
pi_57492746
Getest en werkt goed
26 oktober - 2 november Frankrijk | 3 feb - 6 feb Hong Kong/6 feb - 26 feb Vietnam
  donderdag 20 maart 2008 @ 02:40:34 #33
10526 broer
Nutteloze van de nacht.
pi_57492749
Werkt goed. Ik ben benieuwd naar de resultaten als het volledig in bedrijf is en er meer mensen gebruik van maken.

Tot die tijd: goed werk!
pi_57493072
quote:
Op donderdag 20 maart 2008 01:47 schreef NED het volgende:
Hoelang ben je hier nou in totaal mee bezig geweest?
In uren dan?
Niet zo heel lang, aangezien dit gebruikmaakt van een simpele MySQL query is er niet veel code vereist, het meeste werk zat dan ook in het schrijven van het indexeer script en het indexeren zelf. Ik denk dat ik ongeveer een dag in totaal kwijt ben geweest (in uren) aan het schrijven en testen van het script, echter ben ik er lang niet elke dag mee bezig geweest vanwege werk en andere verplichtingen, dit is hoogstens een paar uur per week geweest.
pi_57493813
Wauw
There is no love sincerer than the love of food.
pi_57493859


Goed werk
Sport is de belangrijkste bijzaak in het leven.
pi_57493875
Die moet ik vanavond ff bookmarken thuis
pi_57493933
TVP voor thuis, hier op het werk kan ik de link niet openen....
  donderdag 20 maart 2008 @ 09:08:43 #39
90563 luciferist
proud owner of a penis
pi_57493954
ik moet in het topic posten met de eerste werkende search!
pi_57494073
ah, de vijfde 'fok-eigen' search is dit dus, naast die van JeRa, die van Roonaan, de light-search van breuls zélf, en ik meen dat er ooit nog zo'n gast was ('cyber-dinges' oid?) die een search had maar die hem van breuls moest uitzetten omdat die te aggressief indexeerde en fok extra traag maakte....

na initieel wat gejuich eindigt het altijd met een half-af ding waar mensen beginnen te klagen over alles wat ze er vooral niet kunnen vinden en bugs die gbeginnen op te treden en nooit gefixed worden....

tenminste dat was _vroeger_ altijd zo, deze keer zal het heel anders gaan en het vast wél een groot succes worden

ondertussen zal google.fok.nl wel online blijven
"Whatever you feel like: Life’s not one color, nor are you my only reader" - Ausonius, Epigrammata 25
  donderdag 20 maart 2008 @ 09:23:51 #41
140390 Dangel
Vive la Mort
pi_57494156
held
Dans le foret, si noir que la nuit peut devenir, respirer
~Autumn, 2002
  donderdag 20 maart 2008 @ 09:36:16 #42
74548 Jo0Lz
Lick the box!
pi_57494367



Als het goed werkt, wordt dit dan straks gewoon geintegreerd in de huidige Fok! sites?
Yes we can! | I didn't fail, it's just postponed success.
pi_57494663
quote:
Op donderdag 20 maart 2008 06:28 schreef The_Terminator het volgende:

[..]

Niet zo heel lang, aangezien dit gebruikmaakt van een simpele MySQL query is er niet veel code vereist, het meeste werk zat dan ook in het schrijven van het indexeer script en het indexeren zelf. Ik denk dat ik ongeveer een dag in totaal kwijt ben geweest (in uren) aan het schrijven en testen van het script, echter ben ik er lang niet elke dag mee bezig geweest vanwege werk en andere verplichtingen, dit is hoogstens een paar uur per week geweest.
Een dag in totaal.
Godsklere zeg! En dan heeft Danny ons zo in de kou laten staan al die jaren voor iets wat slechts een dagje werk is !

Mooi dat er eindelijk iets fatsoenlijks gemaakt is
pi_57495555
Goed bezig T_T!!
Op zaterdag 15 augustus 2009 23:05 schreef eer-ik het volgende:
Ik vind je sig nogal denigrerend.
pi_57495871
Werkt ok, maar een paar vraagjes.

Als je woorden van 3 letters of minder wegfiltert raak je allerlei zooi als afkortingen kwijt, waar je juist eventueel op wilt zoeken omdat dat het onderwerp is. Ik noem KLM, PHP etc.

Ten tweede, hoe meer data erin zit, hoe trager 1 search ook wordt, dus als je nu nog lang niet alles geindexeerd hebt is het misschien een beetje voorbarig om al benchmarks te plaatsen
"Reality is an illusion created by a lack of alcohol."
  donderdag 20 maart 2008 @ 11:23:12 #46
198098 henkzijlstra
ik verdien 80k per jaar en jij
pi_57496473
quote:
Op donderdag 20 maart 2008 06:28 schreef The_Terminator het volgende:

[..]

Niet zo heel lang, aangezien dit gebruikmaakt van een simpele MySQL query is er niet veel code vereist, het meeste werk zat dan ook in het schrijven van het indexeer script en het indexeren zelf. Ik denk dat ik ongeveer een dag in totaal kwijt ben geweest (in uren) aan het schrijven en testen van het script, echter ben ik er lang niet elke dag mee bezig geweest vanwege werk en andere verplichtingen, dit is hoogstens een paar uur per week geweest.
Just get a life
  donderdag 20 maart 2008 @ 12:01:04 #47
67174 Dos37
Come on Twente
pi_57497314
Hij dut mooi
Premier League toto winnaar 2007-2008 en [b]2008-2009[/b]
Held Blaise NKUFO [b]All time topscoorder in Enschede[/b]
[b]WE WON IT ELEVEN TIMES![/b]
pi_57505673
quote:
Op donderdag 20 maart 2008 09:53 schreef NED het volgende:

[..]

Een dag in totaal.
Godsklere zeg! En dan heeft Danny ons zo in de kou laten staan al die jaren voor iets wat slechts een dagje werk is !

Mooi dat er eindelijk iets fatsoenlijks gemaakt is
Het is natuurlijk wel zo dat een complete search ook daadwerkelijk in berichten zelf zoekt en dat die optie door de gebruiker in of uitgeschakeld kan worden. Het probleem is echter dat als ik alle data wil indexeren dat een database van een aantal gig opleverd, en dat bevorderd de snelheid niet echt. Misschien dat ik dat nog aan ga passen als ik het werkende heb onder Lucene, dat is een stuk sneller namelijk.
  donderdag 20 maart 2008 @ 19:09:27 #49
141482 Q.
JurassiQ
pi_57505721
Oeh, je gebruikt het FOK!-logo, dat wordt een rechtzaak van Danny aan je broek en permban.
For great justice!
  donderdag 20 maart 2008 @ 20:50:45 #50
134103 gebrokenglas
Half human, half coffee
pi_57508127
Zou de lijst met alle fora gealfabetiseerd kunnen worden? Dat zou het selecteren erg vergemakkelijken.
Nu is hij volgens mij random.

[ Bericht 4% gewijzigd door gebrokenglas op 20-03-2008 20:57:29 ]
How can I make this topic about me?
abonnement Unibet Coolblue Bitvavo
Forum Opties
Forumhop:
Hop naar:
(afkorting, bv 'KLB')