GC General Chat
Hier kun je praten over van alles en nog wat. Eigenlijk alles wat niet in een van de andere rubrieken thuishoort.
Jawel, een zoekfunctie! Deel 1quote:Op woensdag 19 maart 2008 23:46 schreef The_Terminator het volgende:
Ja, je leest de TT goed, ik ben namelijk al een tijdje bezig om een werkende search voor FOK! te maken. Dit is een geheel eigen project, ik heb alleen wat hulp gehad van Breuls om het inloggen op FOK! goed te laten verlopen, ik had nogal wat problemen met het wegschrijven van de benodigde cookies en het beheren van de sessies voor mijn indexeer script.
Deze search zoekt in meer dan een miljoen topics, om de 2 dagen zorg ik ervoor dat de index weer up-to-date wordt gemaakt. Om de snelheid op orde te houden indexeer ik alleen de OP van een topic, reacties veroorzaken alleen maar ruis en dat komt de zoekresultaten niet ten goede, ook zou ik als ik de reacties meeindexeer gigantisch veel data in mijn database weg moeten schrijven. Ook belast dit FOK! minder aangezien ik het topic inlaad met alleen de OP zichtbaar, 1 post per pagina.
Op het moment heb ik het forum volledig geindexeerd (met uitzondering van besloten fora natuurlijk). Verder maakt deze zoekfunctie gebruik van Lucene, een zoekengine geschreven in Java die zonder enig probleem miljoenen topics zou moeten kunnen doorzoeken in een zeer korte tijd.
Nu moet de search natuurlijk wel getest worden, dit is de URL: http://www.thuisserver.net/foksearch/
Mocht je rare dingen tegenkomen of als de search uitzonderlijk traag gaat kun je dat hier vermelden, ben benieuwd wat jullie er van vinden. Mochten er problemen zijn met betrekking tot beveiligingfouten dan ontvang ik dat het liefst per PM.
Bij deze een Deel 2 omdat mijn inziens dit project niet mag verdwijnen in het ondoorzoekbare archief van Fok!.
Neemt allen de url van de Search over in uw onderschrift
[ Bericht 1% gewijzigd door Juup© op 02-05-2008 11:04:50 ]
Laatste post in het vorige Deel:
quote:Op vrijdag 2 mei 2008 08:32 schreef neo2000 het volgende:
[..]
Tsjah, ik denk dat dat ook juist het probleem is. Een zoekfunctie gebruik je niet dagelijks - tenminste, mijn standaard Fok! bezoek ziet er uit: MyAT checken, hierna AT checken.. Pas als ik heel specifiek naar iets op zoek ben, tsjah, dan ga ik zoeken.
Het is inderdaad jammer dat er een goede zoekfunctie is, en Fok! deze niet gewoon adopteert. Ik KAN me voorstellen dat men geen extra server in hun datacenter wil hebben draaien, maar goed, zet ergens VMware op, virtualiseer die bak, zeker gezien de load op de server zoals TT zegt, en Fok! heeft gewoon een goede search i.p.v. die abomidable Google. Zucht. Was alles maar zo makkelijk..
TVP en dank voor het openen van een 2e deel 
Ben toch blij dat ik het nog heb kunnen fixen, anders had ik de hele nacht wakker gelegen
Ben toch blij dat ik het nog heb kunnen fixen, anders had ik de hele nacht wakker gelegen
In signatures opnemen zou idd helpen (zie dat sommige dat al gedaan hebben, waarvoor dank), mocht iemand vragen om een search zou je idd de link kunnen posten, juist die mensen hebben hem nodig.quote:Op vrijdag 2 mei 2008 05:00 schreef dvr het volgende:
Laat je niet ontmoedigen - jouw search is beter dan de andere, en als mensen die aan Fok verbonden zijn hem negeren, lijden die waarschijnlijk aan het "not invented here" syndroom.
Wat kunnen wij doen - zullen we hem allemaal in onze signatures opnemen? Hem in alle recente topics over de search ter sprake brengen?
Klopt, en ik weet ik ook wel dat een search alleen in bepaalde gevallen gebruikt zou worden. Echter zag ik toch her en der dat Google aanbevolen werd, en daar was ik niet zo blij mee. Maargoed, voor de mensen die deze search wel willen gebruiken is hij erquote:Op vrijdag 2 mei 2008 08:32 schreef neo2000 het volgende:
[..]
Tsjah, ik denk dat dat ook juist het probleem is. Een zoekfunctie gebruik je niet dagelijks - tenminste, mijn standaard Fok! bezoek ziet er uit: MyAT checken, hierna AT checken.. Pas als ik heel specifiek naar iets op zoek ben, tsjah, dan ga ik zoeken.
Het is inderdaad jammer dat er een goede zoekfunctie is, en Fok! deze niet gewoon adopteert. Ik KAN me voorstellen dat men geen extra server in hun datacenter wil hebben draaien, maar goed, zet ergens VMware op, virtualiseer die bak, zeker gezien de load op de server zoals TT zegt, en Fok! heeft gewoon een goede search i.p.v. die abomidable Google. Zucht. Was alles maar zo makkelijk..
Waarom lukt jou het wel en een heel team van FOK! voor enige jaren niet?
En waarom wordt jouw search anders niet gewoon geïmplementeerd?
En waarom wordt jouw search anders niet gewoon geïmplementeerd?
Waarschijnlijk omdat ik alleen de OP indexeer, en niet de opvolgende reacties. Aangezien ik alleen de OP indexeer heb ik maar iets van 1,1 miloen entries in mijn zoekindex, als de berichten er ook bij zouden staan dan zou dat op bijna 60 miljoen uitkomen. Roonaan heeft al een keer een goedwerkende search geschreven die dit wel kon, echter liet die op den duur geen resultaten meer zien en is die later volledig offline gehaald.quote:Op vrijdag 2 mei 2008 14:57 schreef OldJeller het volgende:
Waarom lukt jou het wel en een heel team van FOK! voor enige jaren niet?
Omdat deze search nog niet volledig klaar is, en als ik al een search zou maken die wel geïmplementeerd wordt dan moet die volledig worden herschreven zodat er ook daadwerkelijk in berichten gezocht kan worden en ook de status van de topics (laatste post, open of gesloten etc.) weergeeft.quote:En waarom wordt jouw search anders niet gewoon geïmplementeerd?
Voor de mensen die graag willen weten hoe ze beter kunnen zoeken heb ik even een handleiding geschreven: http://www.thuisserver.net/foksearch/handleiding.php
Deze handleiding is nog niet volledig live (er staat nog geen link naar op de hoofdpagina) aangezien er misschien nog dingen aan toegevoegd kunnen worden. Mocht je dus nog een idee hebben laat het me weten en ik voeg het toe.
Deze handleiding is nog niet volledig live (er staat nog geen link naar op de hoofdpagina) aangezien er misschien nog dingen aan toegevoegd kunnen worden. Mocht je dus nog een idee hebben laat het me weten en ik voeg het toe.
Zoals jullie waarschijnlijk wel zien heb ik een extra tagje, dit houd in dat ik mijn huidige zoekfunctie niet verder uit ga breiden en mij volledig ga richten op een nieuwe search, die ook op de FOK! servers gaat draaien, en veel meer functies gaat krijgen. Ik ga dit samen met Roonaan doen, die al erg veel kennis heeft op dit gebied. Gecombineerd met mijn kennis moet dit helemaal goed gaan komen, we hebben er in iedergeval alle vertrouwen in.
Het is nog even geduld hebben, maar die nieuwe zoekfunctie gaat er zeker komen
Het is nog even geduld hebben, maar die nieuwe zoekfunctie gaat er zeker komen
Nu heb ik er al iets meer vertrouwen inquote:Op zondag 4 mei 2008 21:48 schreef The_Terminator het volgende:
Zoals jullie waarschijnlijk wel zien heb ik een extra tagje, dit houd in dat ik mijn huidige zoekfunctie niet verder uit ga breiden en mij volledig ga richten op een nieuwe search, die ook op de FOK! servers gaat draaien, en veel meer functies gaat krijgen. Ik ga dit samen met Roonaan doen, die al erg veel kennis heeft op dit gebied. Gecombineerd met mijn kennis moet dit helemaal goed gaan komen, we hebben er in iedergeval alle vertrouwen in.
Het is nog even geduld hebben, maar die nieuwe zoekfunctie gaat er zeker komen
Kjik dat zijn zeker berichtenquote:Op zondag 4 mei 2008 21:48 schreef The_Terminator het volgende:
Zoals jullie waarschijnlijk wel zien heb ik een extra tagje, dit houd in dat ik mijn huidige zoekfunctie niet verder uit ga breiden en mij volledig ga richten op een nieuwe search, die ook op de FOK! servers gaat draaien, en veel meer functies gaat krijgen. Ik ga dit samen met Roonaan doen, die al erg veel kennis heeft op dit gebied. Gecombineerd met mijn kennis moet dit helemaal goed gaan komen, we hebben er in iedergeval alle vertrouwen in.
Het is nog even geduld hebben, maar die nieuwe zoekfunctie gaat er zeker komen
3x raden, de server staat in een kamer op 't zuiden?quote:Op maandag 12 mei 2008 14:02 schreef The_Terminator het volgende:
[..]
Server was vastgelopen door de hitte. Maar even een extra fan erbijgezet.
Nee, dat dan weer niet. Echter was het hier wel verschrikkelijk warm, heb meteen maar het raam opengezet, een extra fan in de server geplaatst en de kast is nu open.quote:Op maandag 12 mei 2008 14:54 schreef F04 het volgende:
[..]
3x raden, de server staat in een kamer op 't zuiden?
Ik heb toch stiekem nog even een update doorgevoerd
FOK! Search v1.2 beta is hierbij vrijgegeven, in deze nieuwe versie zitten geen nieuwe mogelijkheden qua zoeken, echter gaat het nu nog sneller dan het voorheen ging. Ik heb namelijk een nieuwe manier voor het berkenen van het aantal pagina's ingebouwd, hiervoor werden in de vorige versie 2 zoekopdrachten uitgevoerd, dat gebeurd nu maar 1x dus is de snelheid heermee verdubbeld. Ook in de index geupdate en bevat nu de meest recente topics, in totaal staan er nu 1105993 topics in de index.
Ook heb ik de volledige parser herschreven (het script dat de resultaten verwerkt dat wordt teruggegeven door Lucene), ook dit werkt nu sneller en stabieler.
Happy searching!
FOK! Search v1.2 beta is hierbij vrijgegeven, in deze nieuwe versie zitten geen nieuwe mogelijkheden qua zoeken, echter gaat het nu nog sneller dan het voorheen ging. Ik heb namelijk een nieuwe manier voor het berkenen van het aantal pagina's ingebouwd, hiervoor werden in de vorige versie 2 zoekopdrachten uitgevoerd, dat gebeurd nu maar 1x dus is de snelheid heermee verdubbeld. Ook in de index geupdate en bevat nu de meest recente topics, in totaal staan er nu 1105993 topics in de index.
Ook heb ik de volledige parser herschreven (het script dat de resultaten verwerkt dat wordt teruggegeven door Lucene), ook dit werkt nu sneller en stabieler.
Happy searching!
De search werkt nog steeds enorm fijnquote:Op maandag 26 mei 2008 18:46 schreef The_Terminator het volgende:
Ik heb toch stiekem nog even een update doorgevoerd
FOK! Search v1.2 beta is hierbij vrijgegeven, in deze nieuwe versie zitten geen nieuwe mogelijkheden qua zoeken, echter gaat het nu nog sneller dan het voorheen ging. Ik heb namelijk een nieuwe manier voor het berkenen van het aantal pagina's ingebouwd, hiervoor werden in de vorige versie 2 zoekopdrachten uitgevoerd, dat gebeurd nu maar 1x dus is de snelheid heermee verdubbeld. Ook in de index geupdate en bevat nu de meest recente topics, in totaal staan er nu 1105993 topics in de index.
Ook heb ik de volledige parser herschreven (het script dat de resultaten verwerkt dat wordt teruggegeven door Lucene), ook dit werkt nu sneller en stabieler.
Happy searching!
Altijd goed om te lezenquote:
Overigens heb ik sinds een paar dagen problemen met mijn Linux bak, het beeld is nogal vervormd:
Als ik de achergrond aanpas is het weer even weg, ehcter als ik dan een venster versleep komt het weer terug, op de plekken waar het venster geweest is, zijn dan grijze vlakken te zien.
Weet iemand toevallig wat dit kan veroorzaken? Heb zelf een vermoeden dat de videokaart defect is gegaan omdat deze te warm is geworden, echter heb ik hier geen andere kaart liggen om het even mee te testen
Even een kleine update, ik heb namelijk een aantal dingen wat betreft de template aangepast. Sinds het begin stond de template in de index verwerkt en stonden hier en daar nog wat stukjes tussen de php code. Ik heb dit nu allemaal in de map 'template' gepleurd zodat het allemaal wat overzichtelijker wordt.
Ik heb het zo goed mogelijk geprobeerd te testen maar het zou kunnen zijn dat nog niet alles helemaal goed werkt. Mocht je ergens fouten tegenkomen probeer dan eerst even een CTRL+F5, mocht dat niet helpen stuur me dan even een PM of reageer in deze topic
Ik heb het zo goed mogelijk geprobeerd te testen maar het zou kunnen zijn dat nog niet alles helemaal goed werkt. Mocht je ergens fouten tegenkomen probeer dan eerst even een CTRL+F5, mocht dat niet helpen stuur me dan even een PM of reageer in deze topic
Dat gaat al goed hoor, de samenwerking verloopt goed en het project begint al vorm te krijgen. Kan echter nog wel even duren voordat we helemaal klaar zijn, we willen immers een leuk, en vooral snel product afleveren.quote:Op zondag 1 juni 2008 18:38 schreef JortK het volgende:
T_T hoe ver ben je met je projectje samen met Roonaan?
Thanks!quote:
Overigens gaat de zoekfunctie morgen even uit, Essent gaat de stroom onderbreken vanwege werkzaamheden en aangezien ik hier geen UPS heb zet ik dan liever de server even uit.
En, is het nog gelukt SlimShady?
Overigens heb ik even een kleine aanpassing doorgevoerd, het aantal gevonden topics alsmede de duur van de query en het aantal doorzochte documenten staat nu in een apart vak, dit om de leesbaarheid te verbeteren
Overigens heb ik even een kleine aanpassing doorgevoerd, het aantal gevonden topics alsmede de duur van de query en het aantal doorzochte documenten staat nu in een apart vak, dit om de leesbaarheid te verbeteren
Hoe is de belasting op jouw server en je netwerk? Veel impact door de zoekende FOK!kers?quote:Op dinsdag 3 juni 2008 21:25 schreef The_Terminator het volgende:
[..]
Thanks!
Overigens gaat de zoekfunctie morgen even uit, Essent gaat de stroom onderbreken vanwege werkzaamheden en aangezien ik hier geen UPS heb zet ik dan liever de server even uit.
How can I make this topic about me?
niet echt. wat ik zocht was recent en stond nergens in een OPquote:Op donderdag 5 juni 200823:56 schreef The_Terminator het volgende:
En, is het nog gelukt SlimShady?
.maar het lukte wel door handmatig te browsen.
Valt opzich wel mee, de server doet sowieso al niet veel bijzonders dus de search kan gebruiken wat hij nodig heeft. De belasting op het netwerk valt ook wel mee, het is immers alleen maar een beetje HTML dat geserveerd wordt.quote:Op vrijdag 6 juni 2008 07:03 schreef gebrokenglas het volgende:
[..]
Hoe is de belasting op jouw server en je netwerk? Veel impact door de zoekende FOK!kers?
Super! 
.
Ik gebruik 'em altijd.
.Ik gebruik 'em altijd.
I think you're the same as me.
We see things they'll never see...
You and I are gonna live forever.
We see things they'll never see...
You and I are gonna live forever.
Top!quote:Op woensdag 11 juni 2008 16:10 schreef Theroin. het volgende:
Super! [ afbeelding ].
Ik gebruik 'em altijd.
En bevalt de search een beetje?
quote:Op woensdag 11 juni 2008 23:38 schreef The_Terminator het volgende:
[..]
Top!
En bevalt de search een beetje?
Van jou wist ik het alquote:
Overigens ga ik binnenkort de voeding van mijjn server vervangen. Het ding loopt om de haverklap vast en daar begin ik een beetje zat van te worden. Als de voeding niet helpt ga ik een minipc aanschaffen en die als server gebruiken 
Mooi allemaalquote:Op donderdag 12 juni 2008 00:06 schreef The_Terminator het volgende:
[..]
Van jou wist ik het al
maar als Fok! een wel goed werkende search krijgt, gebruik jij dan die nieuwe server nog?
Ja, dan gaat me mooie dames dir weer openquote:Op donderdag 12 juni 2008 00:07 schreef Juup© het volgende:
[..]
Mooi allemaal
quote:Op donderdag 12 juni 2008 00:09 schreef The_Terminator het volgende:
[..]
Ja, dan gaat me mooie dames dir weer open
Jij hebt wel een enorm zware keuze moeten maken dan (search, of mooie vrouwen hosten
).
Tja, het moet allemaal over slechts 1 mbit upload. En aangezien die dir erg bekend is veroorzaakt het nogal veel problemen als er ook nog andere data (in dit geval de search) door de lijn moet. Ik had de keuze opzich snel gemaakt hoorquote:Op donderdag 12 juni 2008 00:23 schreef Juup© het volgende:
[..]
Jij hebt wel een enorm zware keuze moeten maken dan (search, of mooie vrouwen hosten
Ok, ik heb de voeding vervangen maar de server was net alweer vastgelopen (kijk dus niet vreemd op als het vaker voorkomt en de search het niet doet...). Ik heb nu een reep geheugen eruit gehaald, dit is van een ander merk dan de overige 2 modules en is eenzijdig, de andere zijn tweezijdig. Misschien dat dit het probleem verhelpt, echter kan ik geen zekerheid geven en weet je waar je aan toe bent als de search een keer niet werkt.
Ach die ene keer dat de search niet werkt valt in het niet met de keren dat Fok! niet (of niet fatsoenlijk) werktquote:Op vrijdag 13 juni 2008 00:07 schreef The_Terminator het volgende:
Ok, ik heb de voeding vervangen maar de server was net alweer vastgelopen (kijk dus niet vreemd op als het vaker voorkomt en de search het niet doet...). Ik heb nu een reep geheugen eruit gehaald, dit is van een ander merk dan de overige 2 modules en is eenzijdig, de andere zijn tweezijdig. Misschien dat dit het probleem verhelpt, echter kan ik geen zekerheid geven en weet je waar je aan toe bent als de search een keer niet werkt.
Kan em nog wel even toevoegen. Dat hij er niet staat betekend overigens niet dat hij niet geïndexeerd is. De lijst is statisch, en moet handmatig worden aangepast, dit heeft verder geen invloed op de resultaten.quote:Op woensdag 18 juni 2008 21:50 schreef ruud_fr het volgende:
komt EK 2008 nog in de lijst bij de zoekfunctie?
Als je een topic uit het EK forum hebt gevonden kun je overigens ook het subforum aanklikken, dan zoekt hij alsnog alleen in EK, zo bijv: http://www.thuisserver.net/foksearch/index.php?withts=¬ts=&origkeyword=EK&urlkeyword=EK&subsel=EK&resorder=rel&showall=&dateurl=&p=0
ligt het aan mij of wordt er niet gezocht in FTR? Zocht namelijk een topic van Sunchaser maar volgens deze search had Sunchaser daar geen enkel topic geopend. De FOK! lite_search vindt van wel.
*But in my own way, I am king. Hail to the king baby.*
Dat forum is opgesplitst in 2 en daardoor wordt er niets gevonden, ik ga dat even zo snel mogelijk aanpassen.quote:Op maandag 30 juni 2008 02:27 schreef Herald het volgende:
ligt het aan mij of wordt er niet gezocht in FTR? Zocht namelijk een topic van Sunchaser maar volgens deze search had Sunchaser daar geen enkel topic geopend. De FOK! lite_search vindt van wel.
Dit werkt wel namelijk: http://www.thuisserver.net/foksearch/index.php?withts=sunchaser¬ts=&origkeyword=&urlkeyword=&subsel=TV&resorder=rel&showall=&dateurl=&p=0
Dankzij een tip van Slarioux is het nu ook mogelijk om de FOK!Search als zoek-plugin voor Firefox te gebruiken. Doe daarvoor het volgende:
1. Download: http://fok.phsoft.nl/foksearch_plugin.zip
2. Plaats vervolgens de 2 bestanden in het archief naar de map: 'C:\Program Files\Mozilla Firefox\searchplugins' (uiteraard kan het pad anders zijn als je Fx op een andere locatie hebt geinstalleerd, de bestanden moeten in iedergeval in de searchplugins map terechtkomen)
3. Nu kun je de Foksearch in de zoekbalk van Firefox selecteren en meteen vanaf daar zoeken.
1. Download: http://fok.phsoft.nl/foksearch_plugin.zip
2. Plaats vervolgens de 2 bestanden in het archief naar de map: 'C:\Program Files\Mozilla Firefox\searchplugins' (uiteraard kan het pad anders zijn als je Fx op een andere locatie hebt geinstalleerd, de bestanden moeten in iedergeval in de searchplugins map terechtkomen)
3. Nu kun je de Foksearch in de zoekbalk van Firefox selecteren en meteen vanaf daar zoeken.
quote:Op zaterdag 12 juli 2008 13:27 schreef The_Terminator het volgende:
Dankzij een tip van Slarioux is het nu ook mogelijk om de FOK!Search als zoek-plugin voor Firefox te gebruiken. Doe daarvoor het volgende:
1. Download: http://fok.phsoft.nl/foksearch_plugin.zip
2. Plaats vervolgens de 2 bestanden in het archief naar de map: 'C:\Program Files\Mozilla Firefox\searchplugins' (uiteraard kan het pad anders zijn als je Fx op een andere locatie hebt geinstalleerd, de bestanden moeten in iedergeval in de searchplugins map terechtkomen)
3. Nu kun je de Foksearch in de zoekbalk van Firefox selecteren en meteen vanaf daar zoeken.
Blijft dit in de toekomst ook zo, er vanuit gaande dat er ook een search van FOK! zelf komt?
IE gebruikers kunnen het volgende doen:
1. Ga naar: klik
2. Je ziet daar een invoerveld staan, er staat boven: 'Paste the URL of the Search results page
URL:', voer daar het volgende in:
Als naam (2e veld) kun je FOK!Search gebruiken.
Als je bovenstaande hebt gedaan zal de FOK!Search ook beschikbaar zijn in de standaard zoekbalk van IE.
1. Ga naar: klik
2. Je ziet daar een invoerveld staan, er staat boven: 'Paste the URL of the Search results page
URL:', voer daar het volgende in:
| 1 |
Als naam (2e veld) kun je FOK!Search gebruiken.
Als je bovenstaande hebt gedaan zal de FOK!Search ook beschikbaar zijn in de standaard zoekbalk van IE.
Als de search standaard GET gebruikt om de formdata door te zetten dan is dat geen probleemquote:Op zaterdag 12 juli 2008 13:33 schreef Juup© het volgende:
[..]
Blijft dit in de toekomst ook zo, er vanuit gaande dat er ook een search van FOK! zelf komt?
Mooiquote:Op zaterdag 12 juli 2008 13:39 schreef The_Terminator het volgende:
[..]
Als de search standaard GET gebruikt om de formdata door te zetten dan is dat geen probleem
Schop! Natuurlijk is deze search nog prima bruikbaar zolang ik nog bezig ben met de officiele search. Komt al vaart in overigens.
Na een lange tijd even een update. Ik ga de search zometeen op non actief zetten gezien er een aantal belangrijke dingen veranderd/geupdate moeten worden.
Gezien er een nieuwe 'officiële' search aan zit te komen moet ik een aantal dingen weten, het belangrijkste hiervan is hoe het script reageert op veel data, zeer veel data. Ik heb hiervoor in 3 maand tijd het forum voor een groot gedeelte geïndexeerd, ook de berichten zijn geïndexeerd, waar dit eerst alleen de OP was. Het gaat hier om een gedeelte gezien niet-publieke fora niet zijn meegenomen, alleen de standaard zichtbare fora komen in de index te staan. De DB zelf is ongeveer 9 gig groot, en bevat uiteraard alleen tekst, waar stopwoorden zijn uitgehaald.
Ik ga zometeen het indexeren van de DB starten, dit gaat lang duren, ik schat ongeveer 6 uur gezien de hoeveelheid data. Als het indexeren voltooid is dan ga ik het zoekscript updaten en testen. Als het allemaal correct functioneert gooi ik het live.
Er komen een een aantal opties bij, waaronder:
* Keuze om te zoeken in de titel, OP of berichten
* Van -tot datum selectie
* 'Replie door' selectie, je kunt dus al je berichten terugvinden
* Weergave van aantal posts, link naar TS profiel en status in de resultatentabel
Morgenavond is alles waarschijnlijk klaar, gezien ik tussendoor nog moet werken en het indexeren erg lang duurt.
[ Bericht 0% gewijzigd door The_Terminator op 29-01-2009 01:27:10 (DB ipv Index) ]
Gezien er een nieuwe 'officiële' search aan zit te komen moet ik een aantal dingen weten, het belangrijkste hiervan is hoe het script reageert op veel data, zeer veel data. Ik heb hiervoor in 3 maand tijd het forum voor een groot gedeelte geïndexeerd, ook de berichten zijn geïndexeerd, waar dit eerst alleen de OP was. Het gaat hier om een gedeelte gezien niet-publieke fora niet zijn meegenomen, alleen de standaard zichtbare fora komen in de index te staan. De DB zelf is ongeveer 9 gig groot, en bevat uiteraard alleen tekst, waar stopwoorden zijn uitgehaald.
Ik ga zometeen het indexeren van de DB starten, dit gaat lang duren, ik schat ongeveer 6 uur gezien de hoeveelheid data. Als het indexeren voltooid is dan ga ik het zoekscript updaten en testen. Als het allemaal correct functioneert gooi ik het live.
Er komen een een aantal opties bij, waaronder:
* Keuze om te zoeken in de titel, OP of berichten
* Van -tot datum selectie
* 'Replie door' selectie, je kunt dus al je berichten terugvinden
* Weergave van aantal posts, link naar TS profiel en status in de resultatentabel
Morgenavond is alles waarschijnlijk klaar, gezien ik tussendoor nog moet werken en het indexeren erg lang duurt.
[ Bericht 0% gewijzigd door The_Terminator op 29-01-2009 01:27:10 (DB ipv Index) ]
quote:Op donderdag 29 januari 2009 01:12 schreef The_Terminator het volgende:
Na een lange tijd even een update. Ik ga de search zometeen op non actief zetten gezien er een aantal belangrijke dingen veranderd/geupdate moeten worden.
Gezien er een nieuwe 'officiële' search aan zit te komen moet ik een aantal dingen weten, het belangrijkste hiervan is hoe het script reageert op veel data, zeer veel data. Ik heb hiervoor in 3 maand tijd het forum voor een groot gedeelte geïndexeerd, ook de berichten zijn geïndexeerd, waar dit eerst alleen de OP was. Het gaat hier om een gedeelte gezien niet-publieke fora niet zijn meegenomen, alleen de standaard zichtbare fora staan in de index. De index zelf is ongeveer 9 gig groot, en bevat uiteraard alleen tekst, waar stopwoorden zijn uitgehaald.
Ik ga zometeen het indexeren van de DB starten, dit gaat lang duren, ik schat ongeveer 6 uur gezien de hoeveelheid data. Als het indexeren voltooid is dan ga ik het zoekscript updaten en testen. Als het allemaal correct functioneert gooi ik het live.
Er komen een een aantal opties bij, waaronder:
* Keuze om te zoeken in de titel, OP of berichten
* Van -tot datum selectie
* 'Replie door' selectie, je kunt dus al je berichten terugvinden
* Weergave van aantal posts, link naar TS profiel en status in de resultatentabel
Morgenavond is alles waarschijnlijk klaar, gezien ik tussendoor nog moet werken en het indexeren erg lang duurt.
Goed werk
OF efficiente codequote:Op donderdag 29 januari 2009 02:09 schreef F04 het volgende:
Dat vergt vast wel een dikke server als er massa's users d'r van gebruik zullen maken.
Schiet mij maar lek 
Waarom topics in je sig zetten? En welk topic moet je in je sig zetten? Hoe kom je eraan?
En wat is het nut?
Waarom topics in je sig zetten? En welk topic moet je in je sig zetten? Hoe kom je eraan?
En wat is het nut?
Valt opzich wel mee, het werkt zoals al aangegeven erg efficient. Die 6 uur voor het indexeren was overigens een verkeerde schatting, na 15 uur is de indexer nog steeds bezig, ik heb nu iets meer dan 400.000 topics in de index staan. Gezien de index steeds groter wordt gaat het indexeren ook steeds langzamer, en ik heb het vermoeden dat het sowieso nog wel een dag gaat duren.quote:
Dat vergt vast wel een dikke server als er massa's users d'r van gebruik zullen maken.
quote:Op donderdag 29 januari 2009 17:09 schreef onlogisch het volgende:
Schiet mij maar lek
Waarom topics in je sig zetten? En welk topic moet je in je sig zetten? Hoe kom je eraan?
En wat is het nut?
Ik vind het fantastisch, The_Terminator! Een van de belangrijkste bijdragen aan Fok van de afgelopen jaren. Gaat deze bij Fok zelf draaien als 'officiële' Search of moet je hem zelf blijven hosten?
De officiele search is nog in ontwikkeling, en zal een volledig nieuwe layout hebben. Deze huidige search blijf ik tot die tijd zelf hosten, puur om te testen of een enorme index goed doorzoekbaar is.quote:
Ik vind het fantastisch, The_Terminator! Een van de belangrijkste bijdragen aan Fok van de afgelopen jaren. Gaat deze bij Fok zelf draaien als 'officiële' Search of moet je hem zelf blijven hosten?
Ik ben op het moment nog steeds aan het indexeren, zit op een half miljoen topics, dus nog een keer zoveel te gaan. Ik heb even snel een test index met daarin 18790 topics en bijbehorende berichten gegenereerd, deze is doorzoekbaar met de nieuwe opties. Ik wil een aantal mensen uitnodigen om de search te testen, ongeveer 10 personen. Stuur me een PM als je toegang wil, dan stuur ik je de link terug als je bij de eerste 10 zit.
Even een update, vooral voor de mensen die al toegang hebben tot de nieuwe versie van de search. Ik heb namelijk een aantal dingen aangepast in de gegenereerde Lucene query, en heb een aantal updates doorgevoerd. Dit heeft wat downtime tot gevolg gehad, maar het zal nu allemaal weer moeten werken. De testindex bevat nu 60.674 topics.
Er is overigens nog ruimte over om te testen, dus mocht je toegang willen PM me even (reactie op je PM zal waarschijnlijk morgen worden gezien ik vanaaf naar mijn vriendin ga).
Er is overigens nog ruimte over om te testen, dus mocht je toegang willen PM me even (reactie op je PM zal waarschijnlijk morgen worden gezien ik vanaaf naar mijn vriendin ga).
Wanneer komt ie weer online 
?
?
Op maandag 30 november 2009 19:30 schreef Ian_Nick het volgende:
Pietje's hobby is puzzelen en misschien ben jij wel het laatste stukje O+
Pietje's hobby is puzzelen en misschien ben jij wel het laatste stukje O+
Ik was serieus daar. Ik snap er geen zak vanquote:
Ja, dat het om een 1 of andere search gaat. Maar mijn vragen in mijn vorige post blijven vragen voor me.
Het idee was om de link naar Terminator's zelfgemaakte Search in je sig te zetten, zodat andere gebruikers er ook over zouden horen en hem ook zouden kunnen gebruiken (zoals ik in mijn sig heb gedaan, maar die link werkt nu even niet).
Nog ongeveer 100.000 topics te gaan. Zou niet meer lang mogen duren. Ik had een aantal keer een paar ingrijpende dingen veranderd, en daarvoor heb ik tot 2x aan toe de indexeren moeten herstarten, met als gevolg nog langere downtime. Overigens bevat de betasearch (je kan de link krijgen als je me een PM stuurtquote:
) een half miljoen topics, als het indexeren straks klaar is dan wordt automatisch van index gewisseld en zal alles doorzoekbaar zijn. Als het indexeren klaar is dan zal de search ook toegankelijk worden voor iedereen via de gebruikelijke link.
Super initiatief! Ik zal m'n sig ook even aanpassen wanneer de search weer werkt, dus bij deze even een tvp
Vanavond als ik weer thuis ben dan ga ik het script weer online zetten. De index is namelijk klaar.quote:
Super initiatief! Ik zal m'n sig ook even aanpassen wanneer de search weer werkt, dus bij deze even een tvp
Alle topics + alle berichten staan erin. Ook is bijgehouden wie waar gepost heeft, dus het is mogelijk een volledige myat te genereren.
De index is overigens bijna 6 gig, het doorzoeken van deze index gaat snel, net zoals bij de vorige versie in milliseconden.
Net nu ik iets op moest zoekenquote:
[..]
Vanavond als ik weer thuis ben dan ga ik het script weer online zetten. De index is namelijk klaar.
Alle topics + alle berichten staan erin. Ook is bijgehouden wie waar gepost heeft, dus het is mogelijk een volledige myat te genereren.
De index is overigens bijna 6 gig, het doorzoeken van deze index gaat snel, net zoals bij de vorige versie in milliseconden.
Nouja, dan proberen we het nog een keer via google en anders vanavond
Vind 't wel een topproject!
It's Time To Shine
[i]What would life be like without rhethorical questions?[/i]
[i]What would life be like without rhethorical questions?[/i]
Ik ga nog even een aantal dingen afronden en dan komt hij online, uurtje denk ikquote:
[..]
Net nu ik iets op moest zoeken
Nouja, dan proberen we het nog een keer via google en anders vanavond
Vind 't wel een topproject!
Mooiquote:
[..]
Ik ga nog even een aantal dingen afronden en dan komt hij online, uurtje denk ik
Topic had ik ondertussen al gevonden, dus voor mij hoef je je niet te haasten
It's Time To Shine
[i]What would life be like without rhethorical questions?[/i]
[i]What would life be like without rhethorical questions?[/i]
Is al klaar, de search staat weer online.quote:
[..]
Mooi
Topic had ik ondertussen al gevonden, dus voor mij hoef je je niet te haasten
Nog even de link voor de mensen die hem nog niet kennen: http://www.thuisserver.net/foksearch/
De nieuwe opties had ik al beschreven in een vorige post, dus dat zou ik niet herhalen. Het komt erop neer dat alle berichten in de openbare fora doorzoekbaar zijn, ongeveer 50.000.000 berichten in 1.192.088 topics staan in de index opgeslagen. Ik heb natuurlijk zelf al het een en andere getest en het ziet er naar uit dat de search geen enkele moeite heeft de enorme index te doorzoeken.
Veel zoekplezier, and spread the word
|
|
