GC General Chat
Hier kun je praten over van alles en nog wat. Eigenlijk alles wat niet in een van de andere rubrieken thuishoort.
Jawel, een zoekfunctie! Deel 1quote:Op woensdag 19 maart 2008 23:46 schreef The_Terminator het volgende:
Ja, je leest de TT goed, ik ben namelijk al een tijdje bezig om een werkende search voor FOK! te maken. Dit is een geheel eigen project, ik heb alleen wat hulp gehad van Breuls om het inloggen op FOK! goed te laten verlopen, ik had nogal wat problemen met het wegschrijven van de benodigde cookies en het beheren van de sessies voor mijn indexeer script.
Deze search zoekt in meer dan een miljoen topics, om de 2 dagen zorg ik ervoor dat de index weer up-to-date wordt gemaakt. Om de snelheid op orde te houden indexeer ik alleen de OP van een topic, reacties veroorzaken alleen maar ruis en dat komt de zoekresultaten niet ten goede, ook zou ik als ik de reacties meeindexeer gigantisch veel data in mijn database weg moeten schrijven. Ook belast dit FOK! minder aangezien ik het topic inlaad met alleen de OP zichtbaar, 1 post per pagina.
Op het moment heb ik het forum volledig geindexeerd (met uitzondering van besloten fora natuurlijk). Verder maakt deze zoekfunctie gebruik van Lucene, een zoekengine geschreven in Java die zonder enig probleem miljoenen topics zou moeten kunnen doorzoeken in een zeer korte tijd.
Nu moet de search natuurlijk wel getest worden, dit is de URL: http://www.thuisserver.net/foksearch/
Mocht je rare dingen tegenkomen of als de search uitzonderlijk traag gaat kun je dat hier vermelden, ben benieuwd wat jullie er van vinden. Mochten er problemen zijn met betrekking tot beveiligingfouten dan ontvang ik dat het liefst per PM.
Bij deze een Deel 2 omdat mijn inziens dit project niet mag verdwijnen in het ondoorzoekbare archief van Fok!.
Neemt allen de url van de Search over in uw onderschrift
[ Bericht 1% gewijzigd door Juup© op 02-05-2008 11:04:50 ]
Laatste post in het vorige Deel:
quote:Op vrijdag 2 mei 2008 08:32 schreef neo2000 het volgende:
[..]
Tsjah, ik denk dat dat ook juist het probleem is. Een zoekfunctie gebruik je niet dagelijks - tenminste, mijn standaard Fok! bezoek ziet er uit: MyAT checken, hierna AT checken.. Pas als ik heel specifiek naar iets op zoek ben, tsjah, dan ga ik zoeken.
Het is inderdaad jammer dat er een goede zoekfunctie is, en Fok! deze niet gewoon adopteert. Ik KAN me voorstellen dat men geen extra server in hun datacenter wil hebben draaien, maar goed, zet ergens VMware op, virtualiseer die bak, zeker gezien de load op de server zoals TT zegt, en Fok! heeft gewoon een goede search i.p.v. die abomidable Google. Zucht. Was alles maar zo makkelijk..
TVP en dank voor het openen van een 2e deel 
Ben toch blij dat ik het nog heb kunnen fixen, anders had ik de hele nacht wakker gelegen
Ben toch blij dat ik het nog heb kunnen fixen, anders had ik de hele nacht wakker gelegen
In signatures opnemen zou idd helpen (zie dat sommige dat al gedaan hebben, waarvoor dank), mocht iemand vragen om een search zou je idd de link kunnen posten, juist die mensen hebben hem nodig.quote:Op vrijdag 2 mei 2008 05:00 schreef dvr het volgende:
Laat je niet ontmoedigen - jouw search is beter dan de andere, en als mensen die aan Fok verbonden zijn hem negeren, lijden die waarschijnlijk aan het "not invented here" syndroom.
Wat kunnen wij doen - zullen we hem allemaal in onze signatures opnemen? Hem in alle recente topics over de search ter sprake brengen?
Klopt, en ik weet ik ook wel dat een search alleen in bepaalde gevallen gebruikt zou worden. Echter zag ik toch her en der dat Google aanbevolen werd, en daar was ik niet zo blij mee. Maargoed, voor de mensen die deze search wel willen gebruiken is hij erquote:Op vrijdag 2 mei 2008 08:32 schreef neo2000 het volgende:
[..]
Tsjah, ik denk dat dat ook juist het probleem is. Een zoekfunctie gebruik je niet dagelijks - tenminste, mijn standaard Fok! bezoek ziet er uit: MyAT checken, hierna AT checken.. Pas als ik heel specifiek naar iets op zoek ben, tsjah, dan ga ik zoeken.
Het is inderdaad jammer dat er een goede zoekfunctie is, en Fok! deze niet gewoon adopteert. Ik KAN me voorstellen dat men geen extra server in hun datacenter wil hebben draaien, maar goed, zet ergens VMware op, virtualiseer die bak, zeker gezien de load op de server zoals TT zegt, en Fok! heeft gewoon een goede search i.p.v. die abomidable Google. Zucht. Was alles maar zo makkelijk..
Waarom lukt jou het wel en een heel team van FOK! voor enige jaren niet?
En waarom wordt jouw search anders niet gewoon geïmplementeerd?
En waarom wordt jouw search anders niet gewoon geïmplementeerd?
Waarschijnlijk omdat ik alleen de OP indexeer, en niet de opvolgende reacties. Aangezien ik alleen de OP indexeer heb ik maar iets van 1,1 miloen entries in mijn zoekindex, als de berichten er ook bij zouden staan dan zou dat op bijna 60 miljoen uitkomen. Roonaan heeft al een keer een goedwerkende search geschreven die dit wel kon, echter liet die op den duur geen resultaten meer zien en is die later volledig offline gehaald.quote:Op vrijdag 2 mei 2008 14:57 schreef OldJeller het volgende:
Waarom lukt jou het wel en een heel team van FOK! voor enige jaren niet?
Omdat deze search nog niet volledig klaar is, en als ik al een search zou maken die wel geïmplementeerd wordt dan moet die volledig worden herschreven zodat er ook daadwerkelijk in berichten gezocht kan worden en ook de status van de topics (laatste post, open of gesloten etc.) weergeeft.quote:En waarom wordt jouw search anders niet gewoon geïmplementeerd?
Voor de mensen die graag willen weten hoe ze beter kunnen zoeken heb ik even een handleiding geschreven: http://www.thuisserver.net/foksearch/handleiding.php
Deze handleiding is nog niet volledig live (er staat nog geen link naar op de hoofdpagina) aangezien er misschien nog dingen aan toegevoegd kunnen worden. Mocht je dus nog een idee hebben laat het me weten en ik voeg het toe.
Deze handleiding is nog niet volledig live (er staat nog geen link naar op de hoofdpagina) aangezien er misschien nog dingen aan toegevoegd kunnen worden. Mocht je dus nog een idee hebben laat het me weten en ik voeg het toe.
Zoals jullie waarschijnlijk wel zien heb ik een extra tagje, dit houd in dat ik mijn huidige zoekfunctie niet verder uit ga breiden en mij volledig ga richten op een nieuwe search, die ook op de FOK! servers gaat draaien, en veel meer functies gaat krijgen. Ik ga dit samen met Roonaan doen, die al erg veel kennis heeft op dit gebied. Gecombineerd met mijn kennis moet dit helemaal goed gaan komen, we hebben er in iedergeval alle vertrouwen in.
Het is nog even geduld hebben, maar die nieuwe zoekfunctie gaat er zeker komen
Het is nog even geduld hebben, maar die nieuwe zoekfunctie gaat er zeker komen
Nu heb ik er al iets meer vertrouwen inquote:Op zondag 4 mei 2008 21:48 schreef The_Terminator het volgende:
Zoals jullie waarschijnlijk wel zien heb ik een extra tagje, dit houd in dat ik mijn huidige zoekfunctie niet verder uit ga breiden en mij volledig ga richten op een nieuwe search, die ook op de FOK! servers gaat draaien, en veel meer functies gaat krijgen. Ik ga dit samen met Roonaan doen, die al erg veel kennis heeft op dit gebied. Gecombineerd met mijn kennis moet dit helemaal goed gaan komen, we hebben er in iedergeval alle vertrouwen in.
Het is nog even geduld hebben, maar die nieuwe zoekfunctie gaat er zeker komen
Kjik dat zijn zeker berichtenquote:Op zondag 4 mei 2008 21:48 schreef The_Terminator het volgende:
Zoals jullie waarschijnlijk wel zien heb ik een extra tagje, dit houd in dat ik mijn huidige zoekfunctie niet verder uit ga breiden en mij volledig ga richten op een nieuwe search, die ook op de FOK! servers gaat draaien, en veel meer functies gaat krijgen. Ik ga dit samen met Roonaan doen, die al erg veel kennis heeft op dit gebied. Gecombineerd met mijn kennis moet dit helemaal goed gaan komen, we hebben er in iedergeval alle vertrouwen in.
Het is nog even geduld hebben, maar die nieuwe zoekfunctie gaat er zeker komen
3x raden, de server staat in een kamer op 't zuiden?quote:Op maandag 12 mei 2008 14:02 schreef The_Terminator het volgende:
[..]
Server was vastgelopen door de hitte. Maar even een extra fan erbijgezet.
Nee, dat dan weer niet. Echter was het hier wel verschrikkelijk warm, heb meteen maar het raam opengezet, een extra fan in de server geplaatst en de kast is nu open.quote:Op maandag 12 mei 2008 14:54 schreef F04 het volgende:
[..]
3x raden, de server staat in een kamer op 't zuiden?
Ik heb toch stiekem nog even een update doorgevoerd
FOK! Search v1.2 beta is hierbij vrijgegeven, in deze nieuwe versie zitten geen nieuwe mogelijkheden qua zoeken, echter gaat het nu nog sneller dan het voorheen ging. Ik heb namelijk een nieuwe manier voor het berkenen van het aantal pagina's ingebouwd, hiervoor werden in de vorige versie 2 zoekopdrachten uitgevoerd, dat gebeurd nu maar 1x dus is de snelheid heermee verdubbeld. Ook in de index geupdate en bevat nu de meest recente topics, in totaal staan er nu 1105993 topics in de index.
Ook heb ik de volledige parser herschreven (het script dat de resultaten verwerkt dat wordt teruggegeven door Lucene), ook dit werkt nu sneller en stabieler.
Happy searching!
FOK! Search v1.2 beta is hierbij vrijgegeven, in deze nieuwe versie zitten geen nieuwe mogelijkheden qua zoeken, echter gaat het nu nog sneller dan het voorheen ging. Ik heb namelijk een nieuwe manier voor het berkenen van het aantal pagina's ingebouwd, hiervoor werden in de vorige versie 2 zoekopdrachten uitgevoerd, dat gebeurd nu maar 1x dus is de snelheid heermee verdubbeld. Ook in de index geupdate en bevat nu de meest recente topics, in totaal staan er nu 1105993 topics in de index.
Ook heb ik de volledige parser herschreven (het script dat de resultaten verwerkt dat wordt teruggegeven door Lucene), ook dit werkt nu sneller en stabieler.
Happy searching!
De search werkt nog steeds enorm fijnquote:Op maandag 26 mei 2008 18:46 schreef The_Terminator het volgende:
Ik heb toch stiekem nog even een update doorgevoerd
FOK! Search v1.2 beta is hierbij vrijgegeven, in deze nieuwe versie zitten geen nieuwe mogelijkheden qua zoeken, echter gaat het nu nog sneller dan het voorheen ging. Ik heb namelijk een nieuwe manier voor het berkenen van het aantal pagina's ingebouwd, hiervoor werden in de vorige versie 2 zoekopdrachten uitgevoerd, dat gebeurd nu maar 1x dus is de snelheid heermee verdubbeld. Ook in de index geupdate en bevat nu de meest recente topics, in totaal staan er nu 1105993 topics in de index.
Ook heb ik de volledige parser herschreven (het script dat de resultaten verwerkt dat wordt teruggegeven door Lucene), ook dit werkt nu sneller en stabieler.
Happy searching!
Altijd goed om te lezenquote:
Overigens heb ik sinds een paar dagen problemen met mijn Linux bak, het beeld is nogal vervormd:
Als ik de achergrond aanpas is het weer even weg, ehcter als ik dan een venster versleep komt het weer terug, op de plekken waar het venster geweest is, zijn dan grijze vlakken te zien.
Weet iemand toevallig wat dit kan veroorzaken? Heb zelf een vermoeden dat de videokaart defect is gegaan omdat deze te warm is geworden, echter heb ik hier geen andere kaart liggen om het even mee te testen
Even een kleine update, ik heb namelijk een aantal dingen wat betreft de template aangepast. Sinds het begin stond de template in de index verwerkt en stonden hier en daar nog wat stukjes tussen de php code. Ik heb dit nu allemaal in de map 'template' gepleurd zodat het allemaal wat overzichtelijker wordt.
Ik heb het zo goed mogelijk geprobeerd te testen maar het zou kunnen zijn dat nog niet alles helemaal goed werkt. Mocht je ergens fouten tegenkomen probeer dan eerst even een CTRL+F5, mocht dat niet helpen stuur me dan even een PM of reageer in deze topic
Ik heb het zo goed mogelijk geprobeerd te testen maar het zou kunnen zijn dat nog niet alles helemaal goed werkt. Mocht je ergens fouten tegenkomen probeer dan eerst even een CTRL+F5, mocht dat niet helpen stuur me dan even een PM of reageer in deze topic
Dat gaat al goed hoor, de samenwerking verloopt goed en het project begint al vorm te krijgen. Kan echter nog wel even duren voordat we helemaal klaar zijn, we willen immers een leuk, en vooral snel product afleveren.quote:Op zondag 1 juni 2008 18:38 schreef JortK het volgende:
T_T hoe ver ben je met je projectje samen met Roonaan?
Thanks!quote:
Overigens gaat de zoekfunctie morgen even uit, Essent gaat de stroom onderbreken vanwege werkzaamheden en aangezien ik hier geen UPS heb zet ik dan liever de server even uit.
En, is het nog gelukt SlimShady?
Overigens heb ik even een kleine aanpassing doorgevoerd, het aantal gevonden topics alsmede de duur van de query en het aantal doorzochte documenten staat nu in een apart vak, dit om de leesbaarheid te verbeteren
Overigens heb ik even een kleine aanpassing doorgevoerd, het aantal gevonden topics alsmede de duur van de query en het aantal doorzochte documenten staat nu in een apart vak, dit om de leesbaarheid te verbeteren
Hoe is de belasting op jouw server en je netwerk? Veel impact door de zoekende FOK!kers?quote:Op dinsdag 3 juni 2008 21:25 schreef The_Terminator het volgende:
[..]
Thanks!
Overigens gaat de zoekfunctie morgen even uit, Essent gaat de stroom onderbreken vanwege werkzaamheden en aangezien ik hier geen UPS heb zet ik dan liever de server even uit.
How can I make this topic about me?
niet echt. wat ik zocht was recent en stond nergens in een OPquote:Op donderdag 5 juni 200823:56 schreef The_Terminator het volgende:
En, is het nog gelukt SlimShady?
.maar het lukte wel door handmatig te browsen.
Valt opzich wel mee, de server doet sowieso al niet veel bijzonders dus de search kan gebruiken wat hij nodig heeft. De belasting op het netwerk valt ook wel mee, het is immers alleen maar een beetje HTML dat geserveerd wordt.quote:Op vrijdag 6 juni 2008 07:03 schreef gebrokenglas het volgende:
[..]
Hoe is de belasting op jouw server en je netwerk? Veel impact door de zoekende FOK!kers?
Super! 
.
Ik gebruik 'em altijd.
.Ik gebruik 'em altijd.
I think you're the same as me.
We see things they'll never see...
You and I are gonna live forever.
We see things they'll never see...
You and I are gonna live forever.
Top!quote:Op woensdag 11 juni 2008 16:10 schreef Theroin. het volgende:
Super! [ afbeelding ].
Ik gebruik 'em altijd.
En bevalt de search een beetje?
quote:Op woensdag 11 juni 2008 23:38 schreef The_Terminator het volgende:
[..]
Top!
En bevalt de search een beetje?
Van jou wist ik het alquote:
Overigens ga ik binnenkort de voeding van mijjn server vervangen. Het ding loopt om de haverklap vast en daar begin ik een beetje zat van te worden. Als de voeding niet helpt ga ik een minipc aanschaffen en die als server gebruiken 
Mooi allemaalquote:Op donderdag 12 juni 2008 00:06 schreef The_Terminator het volgende:
[..]
Van jou wist ik het al
maar als Fok! een wel goed werkende search krijgt, gebruik jij dan die nieuwe server nog?
Ja, dan gaat me mooie dames dir weer openquote:Op donderdag 12 juni 2008 00:07 schreef Juup© het volgende:
[..]
Mooi allemaal
quote:Op donderdag 12 juni 2008 00:09 schreef The_Terminator het volgende:
[..]
Ja, dan gaat me mooie dames dir weer open
Jij hebt wel een enorm zware keuze moeten maken dan (search, of mooie vrouwen hosten
).
Tja, het moet allemaal over slechts 1 mbit upload. En aangezien die dir erg bekend is veroorzaakt het nogal veel problemen als er ook nog andere data (in dit geval de search) door de lijn moet. Ik had de keuze opzich snel gemaakt hoorquote:Op donderdag 12 juni 2008 00:23 schreef Juup© het volgende:
[..]
Jij hebt wel een enorm zware keuze moeten maken dan (search, of mooie vrouwen hosten
Ok, ik heb de voeding vervangen maar de server was net alweer vastgelopen (kijk dus niet vreemd op als het vaker voorkomt en de search het niet doet...). Ik heb nu een reep geheugen eruit gehaald, dit is van een ander merk dan de overige 2 modules en is eenzijdig, de andere zijn tweezijdig. Misschien dat dit het probleem verhelpt, echter kan ik geen zekerheid geven en weet je waar je aan toe bent als de search een keer niet werkt.
Ach die ene keer dat de search niet werkt valt in het niet met de keren dat Fok! niet (of niet fatsoenlijk) werktquote:Op vrijdag 13 juni 2008 00:07 schreef The_Terminator het volgende:
Ok, ik heb de voeding vervangen maar de server was net alweer vastgelopen (kijk dus niet vreemd op als het vaker voorkomt en de search het niet doet...). Ik heb nu een reep geheugen eruit gehaald, dit is van een ander merk dan de overige 2 modules en is eenzijdig, de andere zijn tweezijdig. Misschien dat dit het probleem verhelpt, echter kan ik geen zekerheid geven en weet je waar je aan toe bent als de search een keer niet werkt.
Kan em nog wel even toevoegen. Dat hij er niet staat betekend overigens niet dat hij niet geïndexeerd is. De lijst is statisch, en moet handmatig worden aangepast, dit heeft verder geen invloed op de resultaten.quote:Op woensdag 18 juni 2008 21:50 schreef ruud_fr het volgende:
komt EK 2008 nog in de lijst bij de zoekfunctie?
Als je een topic uit het EK forum hebt gevonden kun je overigens ook het subforum aanklikken, dan zoekt hij alsnog alleen in EK, zo bijv: http://www.thuisserver.net/foksearch/index.php?withts=¬ts=&origkeyword=EK&urlkeyword=EK&subsel=EK&resorder=rel&showall=&dateurl=&p=0
ligt het aan mij of wordt er niet gezocht in FTR? Zocht namelijk een topic van Sunchaser maar volgens deze search had Sunchaser daar geen enkel topic geopend. De FOK! lite_search vindt van wel.
*But in my own way, I am king. Hail to the king baby.*
Dat forum is opgesplitst in 2 en daardoor wordt er niets gevonden, ik ga dat even zo snel mogelijk aanpassen.quote:Op maandag 30 juni 2008 02:27 schreef Herald het volgende:
ligt het aan mij of wordt er niet gezocht in FTR? Zocht namelijk een topic van Sunchaser maar volgens deze search had Sunchaser daar geen enkel topic geopend. De FOK! lite_search vindt van wel.
Dit werkt wel namelijk: http://www.thuisserver.net/foksearch/index.php?withts=sunchaser¬ts=&origkeyword=&urlkeyword=&subsel=TV&resorder=rel&showall=&dateurl=&p=0
Dankzij een tip van Slarioux is het nu ook mogelijk om de FOK!Search als zoek-plugin voor Firefox te gebruiken. Doe daarvoor het volgende:
1. Download: http://fok.phsoft.nl/foksearch_plugin.zip
2. Plaats vervolgens de 2 bestanden in het archief naar de map: 'C:\Program Files\Mozilla Firefox\searchplugins' (uiteraard kan het pad anders zijn als je Fx op een andere locatie hebt geinstalleerd, de bestanden moeten in iedergeval in de searchplugins map terechtkomen)
3. Nu kun je de Foksearch in de zoekbalk van Firefox selecteren en meteen vanaf daar zoeken.
1. Download: http://fok.phsoft.nl/foksearch_plugin.zip
2. Plaats vervolgens de 2 bestanden in het archief naar de map: 'C:\Program Files\Mozilla Firefox\searchplugins' (uiteraard kan het pad anders zijn als je Fx op een andere locatie hebt geinstalleerd, de bestanden moeten in iedergeval in de searchplugins map terechtkomen)
3. Nu kun je de Foksearch in de zoekbalk van Firefox selecteren en meteen vanaf daar zoeken.
|
|
