GC General Chat
Hier kun je praten over van alles en nog wat. Eigenlijk alles wat niet in een van de andere rubrieken thuishoort.
quote:Op zaterdag 12 juli 2008 13:27 schreef The_Terminator het volgende:
Dankzij een tip van Slarioux is het nu ook mogelijk om de FOK!Search als zoek-plugin voor Firefox te gebruiken. Doe daarvoor het volgende:
1. Download: http://fok.phsoft.nl/foksearch_plugin.zip
2. Plaats vervolgens de 2 bestanden in het archief naar de map: 'C:\Program Files\Mozilla Firefox\searchplugins' (uiteraard kan het pad anders zijn als je Fx op een andere locatie hebt geinstalleerd, de bestanden moeten in iedergeval in de searchplugins map terechtkomen)
3. Nu kun je de Foksearch in de zoekbalk van Firefox selecteren en meteen vanaf daar zoeken.
Blijft dit in de toekomst ook zo, er vanuit gaande dat er ook een search van FOK! zelf komt?
IE gebruikers kunnen het volgende doen:
1. Ga naar: klik
2. Je ziet daar een invoerveld staan, er staat boven: 'Paste the URL of the Search results page
URL:', voer daar het volgende in:
Als naam (2e veld) kun je FOK!Search gebruiken.
Als je bovenstaande hebt gedaan zal de FOK!Search ook beschikbaar zijn in de standaard zoekbalk van IE.
1. Ga naar: klik
2. Je ziet daar een invoerveld staan, er staat boven: 'Paste the URL of the Search results page
URL:', voer daar het volgende in:
| 1 |
Als naam (2e veld) kun je FOK!Search gebruiken.
Als je bovenstaande hebt gedaan zal de FOK!Search ook beschikbaar zijn in de standaard zoekbalk van IE.
Als de search standaard GET gebruikt om de formdata door te zetten dan is dat geen probleemquote:Op zaterdag 12 juli 2008 13:33 schreef Juup© het volgende:
[..]
Blijft dit in de toekomst ook zo, er vanuit gaande dat er ook een search van FOK! zelf komt?
Mooiquote:Op zaterdag 12 juli 2008 13:39 schreef The_Terminator het volgende:
[..]
Als de search standaard GET gebruikt om de formdata door te zetten dan is dat geen probleem
Schop! Natuurlijk is deze search nog prima bruikbaar zolang ik nog bezig ben met de officiele search. Komt al vaart in overigens.
Na een lange tijd even een update. Ik ga de search zometeen op non actief zetten gezien er een aantal belangrijke dingen veranderd/geupdate moeten worden.
Gezien er een nieuwe 'officiële' search aan zit te komen moet ik een aantal dingen weten, het belangrijkste hiervan is hoe het script reageert op veel data, zeer veel data. Ik heb hiervoor in 3 maand tijd het forum voor een groot gedeelte geïndexeerd, ook de berichten zijn geïndexeerd, waar dit eerst alleen de OP was. Het gaat hier om een gedeelte gezien niet-publieke fora niet zijn meegenomen, alleen de standaard zichtbare fora komen in de index te staan. De DB zelf is ongeveer 9 gig groot, en bevat uiteraard alleen tekst, waar stopwoorden zijn uitgehaald.
Ik ga zometeen het indexeren van de DB starten, dit gaat lang duren, ik schat ongeveer 6 uur gezien de hoeveelheid data. Als het indexeren voltooid is dan ga ik het zoekscript updaten en testen. Als het allemaal correct functioneert gooi ik het live.
Er komen een een aantal opties bij, waaronder:
* Keuze om te zoeken in de titel, OP of berichten
* Van -tot datum selectie
* 'Replie door' selectie, je kunt dus al je berichten terugvinden
* Weergave van aantal posts, link naar TS profiel en status in de resultatentabel
Morgenavond is alles waarschijnlijk klaar, gezien ik tussendoor nog moet werken en het indexeren erg lang duurt.
[ Bericht 0% gewijzigd door The_Terminator op 29-01-2009 01:27:10 (DB ipv Index) ]
Gezien er een nieuwe 'officiële' search aan zit te komen moet ik een aantal dingen weten, het belangrijkste hiervan is hoe het script reageert op veel data, zeer veel data. Ik heb hiervoor in 3 maand tijd het forum voor een groot gedeelte geïndexeerd, ook de berichten zijn geïndexeerd, waar dit eerst alleen de OP was. Het gaat hier om een gedeelte gezien niet-publieke fora niet zijn meegenomen, alleen de standaard zichtbare fora komen in de index te staan. De DB zelf is ongeveer 9 gig groot, en bevat uiteraard alleen tekst, waar stopwoorden zijn uitgehaald.
Ik ga zometeen het indexeren van de DB starten, dit gaat lang duren, ik schat ongeveer 6 uur gezien de hoeveelheid data. Als het indexeren voltooid is dan ga ik het zoekscript updaten en testen. Als het allemaal correct functioneert gooi ik het live.
Er komen een een aantal opties bij, waaronder:
* Keuze om te zoeken in de titel, OP of berichten
* Van -tot datum selectie
* 'Replie door' selectie, je kunt dus al je berichten terugvinden
* Weergave van aantal posts, link naar TS profiel en status in de resultatentabel
Morgenavond is alles waarschijnlijk klaar, gezien ik tussendoor nog moet werken en het indexeren erg lang duurt.
[ Bericht 0% gewijzigd door The_Terminator op 29-01-2009 01:27:10 (DB ipv Index) ]
quote:Op donderdag 29 januari 2009 01:12 schreef The_Terminator het volgende:
Na een lange tijd even een update. Ik ga de search zometeen op non actief zetten gezien er een aantal belangrijke dingen veranderd/geupdate moeten worden.
Gezien er een nieuwe 'officiële' search aan zit te komen moet ik een aantal dingen weten, het belangrijkste hiervan is hoe het script reageert op veel data, zeer veel data. Ik heb hiervoor in 3 maand tijd het forum voor een groot gedeelte geïndexeerd, ook de berichten zijn geïndexeerd, waar dit eerst alleen de OP was. Het gaat hier om een gedeelte gezien niet-publieke fora niet zijn meegenomen, alleen de standaard zichtbare fora staan in de index. De index zelf is ongeveer 9 gig groot, en bevat uiteraard alleen tekst, waar stopwoorden zijn uitgehaald.
Ik ga zometeen het indexeren van de DB starten, dit gaat lang duren, ik schat ongeveer 6 uur gezien de hoeveelheid data. Als het indexeren voltooid is dan ga ik het zoekscript updaten en testen. Als het allemaal correct functioneert gooi ik het live.
Er komen een een aantal opties bij, waaronder:
* Keuze om te zoeken in de titel, OP of berichten
* Van -tot datum selectie
* 'Replie door' selectie, je kunt dus al je berichten terugvinden
* Weergave van aantal posts, link naar TS profiel en status in de resultatentabel
Morgenavond is alles waarschijnlijk klaar, gezien ik tussendoor nog moet werken en het indexeren erg lang duurt.
Goed werk
OF efficiente codequote:Op donderdag 29 januari 2009 02:09 schreef F04 het volgende:
Dat vergt vast wel een dikke server als er massa's users d'r van gebruik zullen maken.
Schiet mij maar lek 
Waarom topics in je sig zetten? En welk topic moet je in je sig zetten? Hoe kom je eraan?
En wat is het nut?
Waarom topics in je sig zetten? En welk topic moet je in je sig zetten? Hoe kom je eraan?
En wat is het nut?
Valt opzich wel mee, het werkt zoals al aangegeven erg efficient. Die 6 uur voor het indexeren was overigens een verkeerde schatting, na 15 uur is de indexer nog steeds bezig, ik heb nu iets meer dan 400.000 topics in de index staan. Gezien de index steeds groter wordt gaat het indexeren ook steeds langzamer, en ik heb het vermoeden dat het sowieso nog wel een dag gaat duren.quote:
Dat vergt vast wel een dikke server als er massa's users d'r van gebruik zullen maken.
quote:Op donderdag 29 januari 2009 17:09 schreef onlogisch het volgende:
Schiet mij maar lek
Waarom topics in je sig zetten? En welk topic moet je in je sig zetten? Hoe kom je eraan?
En wat is het nut?
Ik vind het fantastisch, The_Terminator! Een van de belangrijkste bijdragen aan Fok van de afgelopen jaren. Gaat deze bij Fok zelf draaien als 'officiële' Search of moet je hem zelf blijven hosten?
De officiele search is nog in ontwikkeling, en zal een volledig nieuwe layout hebben. Deze huidige search blijf ik tot die tijd zelf hosten, puur om te testen of een enorme index goed doorzoekbaar is.quote:
Ik vind het fantastisch, The_Terminator! Een van de belangrijkste bijdragen aan Fok van de afgelopen jaren. Gaat deze bij Fok zelf draaien als 'officiële' Search of moet je hem zelf blijven hosten?
Ik ben op het moment nog steeds aan het indexeren, zit op een half miljoen topics, dus nog een keer zoveel te gaan. Ik heb even snel een test index met daarin 18790 topics en bijbehorende berichten gegenereerd, deze is doorzoekbaar met de nieuwe opties. Ik wil een aantal mensen uitnodigen om de search te testen, ongeveer 10 personen. Stuur me een PM als je toegang wil, dan stuur ik je de link terug als je bij de eerste 10 zit.
Even een update, vooral voor de mensen die al toegang hebben tot de nieuwe versie van de search. Ik heb namelijk een aantal dingen aangepast in de gegenereerde Lucene query, en heb een aantal updates doorgevoerd. Dit heeft wat downtime tot gevolg gehad, maar het zal nu allemaal weer moeten werken. De testindex bevat nu 60.674 topics.
Er is overigens nog ruimte over om te testen, dus mocht je toegang willen PM me even (reactie op je PM zal waarschijnlijk morgen worden gezien ik vanaaf naar mijn vriendin ga).
Er is overigens nog ruimte over om te testen, dus mocht je toegang willen PM me even (reactie op je PM zal waarschijnlijk morgen worden gezien ik vanaaf naar mijn vriendin ga).
Wanneer komt ie weer online 
?
?
Op maandag 30 november 2009 19:30 schreef Ian_Nick het volgende:
Pietje's hobby is puzzelen en misschien ben jij wel het laatste stukje O+
Pietje's hobby is puzzelen en misschien ben jij wel het laatste stukje O+
Ik was serieus daar. Ik snap er geen zak vanquote:
Ja, dat het om een 1 of andere search gaat. Maar mijn vragen in mijn vorige post blijven vragen voor me.
Het idee was om de link naar Terminator's zelfgemaakte Search in je sig te zetten, zodat andere gebruikers er ook over zouden horen en hem ook zouden kunnen gebruiken (zoals ik in mijn sig heb gedaan, maar die link werkt nu even niet).
Nog ongeveer 100.000 topics te gaan. Zou niet meer lang mogen duren. Ik had een aantal keer een paar ingrijpende dingen veranderd, en daarvoor heb ik tot 2x aan toe de indexeren moeten herstarten, met als gevolg nog langere downtime. Overigens bevat de betasearch (je kan de link krijgen als je me een PM stuurtquote:
) een half miljoen topics, als het indexeren straks klaar is dan wordt automatisch van index gewisseld en zal alles doorzoekbaar zijn. Als het indexeren klaar is dan zal de search ook toegankelijk worden voor iedereen via de gebruikelijke link.
Super initiatief! Ik zal m'n sig ook even aanpassen wanneer de search weer werkt, dus bij deze even een tvp 
Vanavond als ik weer thuis ben dan ga ik het script weer online zetten. De index is namelijk klaar.quote:
Super initiatief! Ik zal m'n sig ook even aanpassen wanneer de search weer werkt, dus bij deze even een tvp
Alle topics + alle berichten staan erin. Ook is bijgehouden wie waar gepost heeft, dus het is mogelijk een volledige myat te genereren.
De index is overigens bijna 6 gig, het doorzoeken van deze index gaat snel, net zoals bij de vorige versie in milliseconden.
Net nu ik iets op moest zoekenquote:
[..]
Vanavond als ik weer thuis ben dan ga ik het script weer online zetten. De index is namelijk klaar.
Alle topics + alle berichten staan erin. Ook is bijgehouden wie waar gepost heeft, dus het is mogelijk een volledige myat te genereren.
De index is overigens bijna 6 gig, het doorzoeken van deze index gaat snel, net zoals bij de vorige versie in milliseconden.
Nouja, dan proberen we het nog een keer via google en anders vanavond
Vind 't wel een topproject!
It's Time To Shine
[i]What would life be like without rhethorical questions?[/i]
[i]What would life be like without rhethorical questions?[/i]
Ik ga nog even een aantal dingen afronden en dan komt hij online, uurtje denk ikquote:
[..]
Net nu ik iets op moest zoeken
Nouja, dan proberen we het nog een keer via google en anders vanavond
Vind 't wel een topproject!
Mooiquote:Op donderdag 5 februari 2009 18:08 schreef The_Terminator het volgende:
[..]
Ik ga nog even een aantal dingen afronden en dan komt hij online, uurtje denk ik
Topic had ik ondertussen al gevonden, dus voor mij hoef je je niet te haasten
It's Time To Shine
[i]What would life be like without rhethorical questions?[/i]
[i]What would life be like without rhethorical questions?[/i]
Is al klaar, de search staat weer online.quote:
[..]
Mooi
Topic had ik ondertussen al gevonden, dus voor mij hoef je je niet te haasten
Nog even de link voor de mensen die hem nog niet kennen: http://www.thuisserver.net/foksearch/
De nieuwe opties had ik al beschreven in een vorige post, dus dat zou ik niet herhalen. Het komt erop neer dat alle berichten in de openbare fora doorzoekbaar zijn, ongeveer 50.000.000 berichten in 1.192.088 topics staan in de index opgeslagen. Ik heb natuurlijk zelf al het een en andere getest en het ziet er naar uit dat de search geen enkele moeite heeft de enorme index te doorzoeken.
Veel zoekplezier, and spread the word
Surveillance-Fiets
Toezicht is gezond!
Nice
Ik denk meer dat je als nieuwsposter een geile egocentrische narcist moet zijn, die een flinke stijve krijgt van alle berichten die ie van zijn eigen hand ziet op de FP, zo! ©yvonne
Beste nieuwsbericht ooit op de FOK!frontpage!
Beste nieuwsbericht ooit op de FOK!frontpage!
Deze search werkt echt goed, daar zal die toekomstige FOKsearch niet aan kunnen tippen. Die ene die al veertig jaar in ontwikkeling is.
Waarom implementeren ze dit niet gewoon?
Waarom implementeren ze dit niet gewoon?
Patience is not one of my virtues, neither is memory. Or patience for that matter.
Zie mijn tagquote:
Deze search werkt echt goed, daar zal die toekomstige FOKsearch niet aan kunnen tippen. Die ene die al veertig jaar in ontwikkeling is.
Waarom implementeren ze dit niet gewoon?
-edit-quote:
Ah je bent developer dus. Mooi, goede keus. Voor de search dan.
Patience is not one of my virtues, neither is memory. Or patience for that matter.
Het is vast te veel gevraagd/niet te doen, maar mocht je willen blijven verbeteren: zou het niet mogelijk zijn dat je met zoekopdrachten direct op de goede pagina uitkomt? Nu moet je soms nog 12 pagina's van een topic doorzoeken om uit te vinden waar je zoekterm staat..
Dat staat niet in de index, de berichten zijn samengevoegd tot een hoop tekst en dat is in de index geplaatst. Berichten en OP zijn wel gescheiden. Alle berichten los indexeren is gewoon te zwaar omdat er teveel losse entries in de index komen te staan en dit de boel enorm vertraagt.quote:
Het is vast te veel gevraagd/niet te doen, maar mocht je willen blijven verbeteren: zou het niet mogelijk zijn dat je met zoekopdrachten direct op de goede pagina uitkomt? Nu moet je soms nog 12 pagina's van een topic doorzoeken om uit te vinden waar je zoekterm staat..
/999 achter de url zettenquote:
Het is vast te veel gevraagd/niet te doen, maar mocht je willen blijven verbeteren: zou het niet mogelijk zijn dat je met zoekopdrachten direct op de goede pagina uitkomt? Nu moet je soms nog 12 pagina's van een topic doorzoeken om uit te vinden waar je zoekterm staat..
| 1 |
en dan CTRL+F en je zoekterm invullen..
It's Time To Shine
[i]What would life be like without rhethorical questions?[/i]
[i]What would life be like without rhethorical questions?[/i]
Dat is inderdaad de beste optie om de term te vinden in het topic zonder alle pagina's bij langs te hoeven. Wat ik had kunnen doen (schiet me nu te binnen, maar is al te laatquote:
[..]
/999 achter de url zetten
[ code verwijderd ]
en dan CTRL+F en je zoekterm invullen..
) is tussen elke aaneengeplakte post het ID van de post zetten en dan het script deze laten achterhalen. Dan had ik niet per bericht hoeven indexeren en zou toch naar het bericht gelinkt kunnen worden. Echter is het daar nu te laat voor gezien ik geen zin heb om FOK! nog een keer te gaan belasten door alle topics op te halen. En de officiële search is in ontwikkeling, daar kan ik het altijd aan toevoegen
Goed idee, doen! :-bquote:Op donderdag 5 februari 2009 22:51 schreef The_Terminator het volgende:
Wat ik had kunnen doen (schiet me nu te binnen, maar is al te laat
Een directe URL naar de geavanceerde layout zou ook leuk zijn ('geavanceerd' trouwens zonder 'd').
Hoeveel tijd was er nodig om alle 1.1 miljoen topics op te halen?
Link naar geavanceerd: http://www.thuisserver.ne(...)?searchmode=advancedquote:
[..]
Goed idee, doen! :-b
Een directe URL naar de geavanceerde layout zou ook leuk zijn ('geavanceerd' trouwens zonder 'd').
Hoeveel tijd was er nodig om alle 1.1 miljoen topics op te halen?
Het heeft me bijna 3 maand gekost om ze allemaal binnen te halen. Er zit een limiter op die de snelheid van het indexeren aanpast, mocht FOK! een keer langzaam zijn met het serveren van de data. Als het echt veel te lang duurt stopt het script automatisch en moet het handmatig hervat worden.
Aangezien alle topics hier eerst in een locale DB worden opgeslagen moest ik die DB ook nog door de Lucene indexer halen om hem echt doorzoekbaar te kunnen maken. Dit heeft ongeveer 2 dagen nodig gehad.
Even een kleine update, er bleken nog een aantal vervelende bugs in de search te zitten na de 'grote' update.
-Zoeken op alleen 'TS' of 'reactie door' was niet meer mogelijk, dit werd veroorzaakt doordat de Lucene query niet goed geparsed werd.
-Zoeken op datum ging niet altijd goed, in plaats van de strtotime functie gebruik ik nu een zelfgeschreven functie om de data om te zetten.
-Ingewikkelde zoekopdrachten werden niet goed geparsed waardoor er niet-relevante resultaten werden gevonden.
Mocht je ondanks de update toch nog problemen ervaren laat het me dan aub weten, zonder input van anderen kan ik nooit alle problemen zelf vinden
-Zoeken op alleen 'TS' of 'reactie door' was niet meer mogelijk, dit werd veroorzaakt doordat de Lucene query niet goed geparsed werd.
-Zoeken op datum ging niet altijd goed, in plaats van de strtotime functie gebruik ik nu een zelfgeschreven functie om de data om te zetten.
-Ingewikkelde zoekopdrachten werden niet goed geparsed waardoor er niet-relevante resultaten werden gevonden.
Mocht je ondanks de update toch nog problemen ervaren laat het me dan aub weten, zonder input van anderen kan ik nooit alle problemen zelf vinden
En nog een update. Er zat blijkbaar nog steeds een bug in de query parser waardoor sommige zoekopdrachten niet goed verliepen. Ik heb de functie nu helemaal herschreven en een algoritme ontworpen die de query eerst analyseerd en eventueel aanpast, alvorens deze door te zetten.
Ook heb ik de paginering aangepast. Alle pagina's kunnen nu bekeken worden, waar dit eerst maar 200 waren.
Ook heb ik de paginering aangepast. Alle pagina's kunnen nu bekeken worden, waar dit eerst maar 200 waren.
Wat is er trouwens mis met de huidige search, voor die ene keer dat ik m nodig heb werkt hij gewoon
Op vrijdag 4 november 2011 09:39 schreef Blik het volgende:
"Sinds wanneer is maart de derde maand van het jaar?"
61% van alle statistieken zijn nutteloos.
Vind je dat ik een internet verdien? Klik hier!
"Sinds wanneer is maart de derde maand van het jaar?"
61% van alle statistieken zijn nutteloos.
Vind je dat ik een internet verdien? Klik hier!
Ik zeg nergens dat daar iets mis mee is, echter is het met de huidige search niet mogelijk om op bijv. 'Reactie door' te zoeken, en worden niet alle resultaten getoond omdat de query anders te zwaar wordt. Mijn search laat wel alle gevonden topics zien, er zit geen beperking aan het aantal pagina's.quote:
Wat is er trouwens mis met de huidige search, voor die ene keer dat ik m nodig heb werkt hij gewoon
Overigens is dit ook even een subtiel kickje, ik heb namelijk het vermoeden dat lang niet iedereen van het bestaan van deze search afweet gezien hij niet echt heel veel gebruikt wordt.
Hierbij ook nog een paar zoekvoorbeelden:
> Simpele zoekopdracht: http://www.thuisserver.net/foksearch/index.php?searchmode=&urlkeyword=bagger&swhere_tt=on&swhere_op=on&swhere_rep=on&withts=&replieby=&dateurl_1=&dateurl_2=&resorder=rel
> Geadvanceerde zoekopdracht: http://www.thuisserver.net/foksearch/index.php?searchmode=advanced&urlkeyword=%22bagger+sc%22&swhere_tt=on&withts=&replieby=&dateurl_1=&dateurl_2=&resorder=datedec&selfora%5B%5D=KLB
> Reactie door, datum oplopend: http://www.thuisserver.net/foksearch/index.php?searchmode=advanced&urlkeyword=&swhere_tt=on&swhere_op=on&swhere_rep=on&withts=&replieby=biogarde&dateurl_1=&dateurl_2=&resorder=dateasc
> Zoeken in reacties: http://www.thuisserver.net/foksearch/index.php?searchmode=advanced&urlkeyword=fipo+sepo&swhere_rep=on&withts=&replieby=&dateurl_1=&dateurl_2=&resorder=dateasc
De datum en fora selectie zijn de enige velden die niet zonder andere gegevens werken, de rest kan allemaal per veld ingevoerd worden. Bijv. een zoekopdracht naar alleen een topicstarter of reactie door (om een volledige AT te genereren).
Hmz, ik zoek op mijn eerste reactie, maar ik vind een topic uit 2000 waar ik in 2006 in gereageerd heb als eerste.. Of heb ik iets verkeerd ingevuld?
It's Time To Shine
[i]What would life be like without rhethorical questions?[/i]
[i]What would life be like without rhethorical questions?[/i]
Het is gesorteerd op topicdatum, niet op tijd van reagerenquote:
Hmz, ik zoek op mijn eerste reactie, maar ik vind een topic uit 2000 waar ik in 2006 in gereageerd heb als eerste.. Of heb ik iets verkeerd ingevuld?
Is dat niet nog een optie dan?quote:
[..]
Het is gesorteerd op topicdatum, niet op tijd van reageren
It's Time To Shine
[i]What would life be like without rhethorical questions?[/i]
[i]What would life be like without rhethorical questions?[/i]
De data van de posts zijn niet geïndexeerd, helaas geen optie dus. Zelfde geldt voor het direct naar de relevante post kunnen springen, ook dat is niet geïndexeerd en dus onmogelijk...quote:
Ik merkte net met een paar zoekresultaten in de tv/film/radio-sectie dat ik helemaal geen resultaten krijg, terwijl ik, wanneer ik geen subforum selecteer, ik wel heel veel resultaten krijg die in het TV-forum staan... Doe ik iets fout of zit daar een bug?
Denk een bug, ga het even bekijken. Heb in iedergeval een vermoeden dat het '&' teken de boosdoender is. Ok, dat is het niet, ik dacht dat er een & teken in stond maar dat is niet zo, ff uitzoeken.quote:
Ik merkte net met een paar zoekresultaten in de tv/film/radio-sectie dat ik helemaal geen resultaten krijg, terwijl ik, wanneer ik geen subforum selecteer, ik wel heel veel resultaten krijg die in het TV-forum staan... Doe ik iets fout of zit daar een bug?
Edit: al gevonden. TVR is geen afkorting die in de zoek-index voorkomt, dit is of TV, of FIL. Ik ga wel even een filtertje schrijven zodat TVR daarnaar wordt omgezet.
[ Bericht 6% gewijzigd door The_Terminator op 21-02-2009 20:40:19 ]
|
|
