Ik haal met Oracle een inlees- en verwerksnelheid van 200 topics (5684920 bytes) in 98 seconden, maar aangezien er al een aantal goede oplossingen worden gegeven met behulp van oa PHP/MySQL ga ik mijn (incompatible) oplossing niet verder uitwerken.
quote:Klopt. Er zijn zelfs meerdere mensen mee bezig. Ik had ook toegezegd er even naar te kijken, ben daar vervolgens gisteren door oa de verkiezingen niet aan toegekomen en heb dat dus vandaag gedaan. Aangezien er al heel aardige oplossingen naar voren kwamen, laat ik de eer van het solliciteren naar de functie van Arcee toch even voorbij gaan.
Op donderdag 23 januari 2003 21:05 schreef MeAndMyself het volgende:
kijk ff in t oude topic..er is iemand die zich aanbiedt
quote:Tijn had contact met ze opgenomen, dus ik verwacht eerlijk gezegd dat hij vanzelf wel ergens in dit topic komt opduiken (voordat we met een man of 10 een onbedoelde DDoS-attack uitvoeren op FoK!
Op donderdag 23 januari 2003 21:28 schreef mabit het volgende:
maar ik heb nog geen enekele reactie van een rooie gezien...:?
).quote:ik geloof dat die al aardig bezig zijn, maar op zich moet dat geen probleem zijn, t.net haalt ook gemakkelijk 20 pageviews per seconde dus dan moet dit toch ook niet zon probleem opleveren?!!
Op donderdag 23 januari 2003 21:30 schreef Litpho het volgende:[..]
Tijn had contact met ze opgenomen, dus ik verwacht eerlijk gezegd dat hij vanzelf wel ergens in dit topic komt opduiken (voordat we met een man of 10 een onbedoelde DDoS-attack uitvoeren op FoK!
quote:Dat verwacht ik ook niet, maar toch is het wel zo beleefd om even te overleggen met de crew over het laten runnen van een crawler, laat staan een stuk of tien tegelijk. Het levert toch een hogere belasting dan dat die users normaal zouden leveren.
Op donderdag 23 januari 2003 21:33 schreef mabit het volgende:
ik geloof dat die al aardig bezig zijn, maar op zich moet dat geen probleem zijn, t.net haalt ook gemakkelijk 20 pageviews per seconde dus dan moet dit toch ook niet zon probleem opleveren?!!
/usr/bin/perl -w
use strict;
use LWP::Simple;
my $MaxnumberOfTopics=1;
for (my $Topic=1; $Topic<=$MaxnumberOfTopics; ++$Topic)
{
#my $Content=get("http://forum.fok.nl/showtopic.php/$Topic/1/255");
my $Content=get("http://forum.fok.nl/showtopic.php/257667/1/255");
my @Messages=split /);message(/,$Content;
$Messages[0]=~s/.*?<SCRIPT TYPE="text\/javascript">message(//;
$Messages[-1]=~s/</SCRIPT>.*//;
for (@Messages)
{
my @Info=Parse_Msg($_);
my ($Poster,$Message,$Sub,$Img,$Date)=@Info[1,8,3,4,6];
print "Poster: $Poster\n";
print "Date: $Date\n";
print "Sub: $Sub\n";
print "Img: $Img\n";
#print "Message: $Message\n";
};
};
sub Parse_Msg
{
my $Text = shift;
my @New = ();
push(@New, $+) while $Text =~ m{"([^\"\\]*(?:\\.[^\"\\]
*)",?| ([^,]+),?| ,}gx;
push(@New, undef) if substr($Text, -1,1) eq ',';
return @New;
};
In welk bestand laat ie de uitvoer nou? 
[Dit bericht is gewijzigd door KonnieKipke op 23-01-2003 22:59]
quote:Return value, dus als je die functie aanroept, krijg je dat als waarde terug.
return @New
Kan je mee doen wat je wil, verderparsen, naar stdout sturen of wat dan ook
.quote:Ik heb alle admins gemaild over de kwestie, maar heb tot op heden nog niks gehoord. Tot die tijd zou ik nog niet al te veel online zetten en wil ik mn eigen computer ook nog niet als database ter beschikking stellen, maar uiteraard is een ieder wel vrij, zo lijkt me, om wat testscripts te proberen etc
Op donderdag 23 januari 2003 21:30 schreef Litpho het volgende:[..]
Tijn had contact met ze opgenomen, dus ik verwacht eerlijk gezegd dat hij vanzelf wel ergens in dit topic komt opduiken (voordat we met een man of 10 een onbedoelde DDoS-attack uitvoeren op FoK!
quote:Waarom zou je niets on line mogen zetten? Afgezien van copyright zie ik geen problemen aangezien het verkeer van je eigen datalimiet afgaat.
Op vrijdag 24 januari 2003 02:09 schreef Tijn het volgende:[..]
Ik heb alle admins gemaild over de kwestie, maar heb tot op heden nog niks gehoord. Tot die tijd zou ik nog niet al te veel online zetten en wil ik mn eigen computer ook nog niet als database ter beschikking stellen, maar uiteraard is een ieder wel vrij, zo lijkt me, om wat testscripts te proberen etc
Ik heb inmiddels zo'n 240.000 topics binnen (tel uit het aantal reacties) en loopt de database ook al vol.
Ik vraag me nu eigenlijk af welke exotische vraagstukken er straks komen om op te queryen
(en maak me dus niet zo druk meer over die admins aangezien ik nu toch bijna alles al binnen heb ).quote:Oh van mij mag je best wat online zetten, maar tis natuurlijk niet netjes om alvast een uitgebreid lijstjes topic te openen (al dat niet met url) terwijl de vraag of er wel toestemming gegeven is nog loopt
Op vrijdag 24 januari 2003 02:20 schreef K3 het volgende:[..]
Waarom zou je niets on line mogen zetten?
quote:Ik had niet begrepen dat er toestemming voor nodig was.
Op vrijdag 24 januari 2003 02:37 schreef Tijn het volgende:[..]
Oh van mij mag je best wat online zetten, maar tis natuurlijk niet netjes om alvast een uitgebreid lijstjes topic te openen (al dat niet met url) terwijl de vraag of er wel toestemming gegeven is nog loopt
En aangezien alles online staat, lijkt me dat een beetje voorbarig om te vragen (ik zie online als openbaar, dus vrij om je eigen statistieken op los te laten). Komt er nog bij de vraag van Yvonne wie er toch graag stat wil gaan maken, dan lijkt het me geen probleem (toch?).
quote:Ik verwacht ook geen problemen, tis gewoon alleen netjes, that's all
Op vrijdag 24 januari 2003 02:42 schreef K3 het volgende:[..]
Ik had niet begrepen dat er toestemming voor nodig was.
En aangezien alles online staat, lijkt me dat een beetje voorbarig om te vragen (ik zie online als openbaar, dus vrij om je eigen statistieken op los te laten). Komt er nog bij de vraag van Yvonne wie er toch graag stat wil gaan maken, dan lijkt het me geen probleem (toch?).
quote:moet je voor het leegtrekken niet eerst iets regelen met de FOK admins, want het is niet ff nix, kost veel bandwidth ed..
Op vrijdag 24 januari 2003 02:37 schreef Tijn het volgende:[..]
Oh van mij mag je best wat online zetten, maar tis natuurlijk niet netjes om alvast een uitgebreid lijstjes topic te openen (al dat niet met url) terwijl de vraag of er wel toestemming gegeven is nog loopt
en die is dus al bezig (Heb nu 53.000 threads. op mijn schijf)Vannacht waren mijn logs volgelopen, en is het importeren in de DB bij topic 181xxx blijven hangen, maar alle overtollige zooi is weggegooid, en nu is-ie weer lekker bezig (er staan nu al meer dan 8 miljoen reacties in de DB).
Ik ben nu bezig met een script om de active topics bij te houden, zodat de database up to date blijft (zal wel iets worden dat nachtelijk gedraaid wordt).
beseft Yvonne wel wat ze Danny heeft aangedaan?
quote:Arcee maakte lijstjes met:
Op vrijdag 24 januari 2003 02:20 schreef K3 het volgende:[..]
Waarom zou je niets on line mogen zetten? Afgezien van copyright zie ik geen problemen aangezien het verkeer van je eigen datalimiet afgaat.
Ik heb inmiddels zo'n 240.000 topics binnen (tel uit het aantal reacties) en loopt de database ook al vol.
Ik vraag me nu eigenlijk af welke exotische vraagstukken er straks komen om op te queryen
dat is wat ik zo uit mijn hoofd nog weet.
quote:Idd, en met welke smileys elke user het meest gebruikte, welke smileys per forum het meest werden gebruikt, welke smileys over heel fok het meest werden gebruikt. Oh en natuurlijk lijstjes van topposters per subforum. En lijstjes van mensen die het vaakst een topic om zeep hielpen (als laatste postte).
Op vrijdag 24 januari 2003 12:10 schreef dolle_hond het volgende:[..]
Arcee maakte lijstjes met:
# posts per maand per user # posts per maand zonder SC per user # posts per subforum per user kliekjes (wie post er meteen na jou/ meteen voor jou) # posts per dag (topdag per user) drukste minuten op Fok! dat is wat ik zo uit mijn hoofd nog weet.
quote:K3, zou jij eens je scriptje willen posten dat je gebruikt om al die topics te rippen en daarna in je database te stoppen. Ik heb gister wat met wget geprutst, maar dat bouwt de oorspronkelijk html files vrolijk op.
Op vrijdag 24 januari 2003 10:56 schreef K3 het volgende:
Ik denk dat het ook niet erg is als als een paar mensen het spul wegtrekken. Erger wordt het als het enkele tientallen betreft.Vannacht waren mijn logs volgelopen, en is het importeren in de DB bij topic 181xxx blijven hangen, maar alle overtollige zooi is weggegooid, en nu is-ie weer lekker bezig (er staan nu al meer dan 8 miljoen reacties in de DB).
Ik ben nu bezig met een script om de active topics bij te houden, zodat de database up to date blijft (zal wel iets worden dat nachtelijk gedraaid wordt).
beseft Yvonne wel wat ze Danny heeft aangedaan?
Alvast bedankt.
quote:Ik gebruik daar eigenlijk twee scriptjes voor.
Op vrijdag 24 januari 2003 13:04 schreef KonnieKipke het volgende:[..]
K3, zou jij eens je scriptje willen posten dat je gebruikt om al die topics te rippen en daarna in je database te stoppen. Ik heb gister wat met wget geprutst, maar dat bouwt de oorspronkelijk html files vrolijk op.
Alvast bedankt.
Eentje slaat alle topics op op de HD als <nummer>.html
(Gewoon een lus definiëren die begint bij 0 en eindigt bij 250000 en in die lus met wget de boel naar binnen trekken).
Het andere scriptje gaat vervolgens langs die opgeslagen topics om te parsen en in de database te stoppen. Hoe dat scriptje werkt wil ik wel vertellen, maar ik ga geen lappen script posten.
Eerst strip ik de pagina tot en met de <script>-tag, en alles na de </script>-tag.
Dan houd je de javascript messages over, daar ga ik met een reguliere expressie overheen om van de message() functie een INSERT-query te maken die vervolgens in de database wordt gestopt.
De originele pagina's houd ik wel, omdat ik met de originele data misschien nog meer wil doen (handig als ik achteraf toch nog een veldje in de DB wil stoppen).
Zijn er nu nog meer mensen bezig met iets eigenlijk? 't Is alweer een dag of twee geleden dat ik een progress hoorde van iemand .
Mijn progress:
* Opruimen logfiles en overtollige troep
* binnenhalen topics 240.000 t/m 250.000
* in DB proppen topics 200.000 t/m 220.000 (had een foutje gemaakt, dus moest ff wat terugzetten)
* bezig met bouwen v/e active-topics-scriptje dat 's nachts gaat draaien zodat ik er niet naar om hoef te kijken
* op zoek naar een snellere machine (een query over enkele gigabytes uitvoeren gaat de mysql daemon ook niet in de kouwe kleren zitten, 't is maar een K6-je op 400 MHz).
quote:Mijn status:
Op vrijdag 24 januari 2003 14:27 schreef K3 het volgende:[..]
Ik gebruik daar eigenlijk twee scriptjes voor.
Eentje slaat alle topics op op de HD als <nummer>.html
(Gewoon een lus definiëren die begint bij 0 en eindigt bij 250000 en in die lus met wget de boel naar binnen trekken).Het andere scriptje gaat vervolgens langs die opgeslagen topics om te parsen en in de database te stoppen. Hoe dat scriptje werkt wil ik wel vertellen, maar ik ga geen lappen script posten.
Eerst strip ik de pagina tot en met de <script>-tag, en alles na de </script>-tag.
Dan houd je de javascript messages over, daar ga ik met een reguliere expressie overheen om van de message() functie een INSERT-query te maken die vervolgens in de database wordt gestopt.
De originele pagina's houd ik wel, omdat ik met de originele data misschien nog meer wil doen (handig als ik achteraf toch nog een veldje in de DB wil stoppen).
Zijn er nu nog meer mensen bezig met iets eigenlijk? 't Is alweer een dag of twee geleden dat ik een progress hoorde van iemandMijn progress:
* Opruimen logfiles en overtollige troep
* binnenhalen topics 240.000 t/m 250.000
* in DB proppen topics 200.000 t/m 220.000 (had een foutje gemaakt, dus moest ff wat terugzetten)
* bezig met bouwen v/e active-topics-scriptje dat 's nachts gaat draaien zodat ik er niet naar om hoef te kijken
* op zoek naar een snellere machine (een query over enkele gigabytes uitvoeren gaat de mysql daemon ook niet in de kouwe kleren zitten, 't is maar een K6-je op 400 MHz).
Heb op het moment 0 t/m 50.000 in een DB zitten (en i.d.d. op schijf als <nummer>.html
Bij ons in het dorp is iemand bezig met de rest downloaden ga ik vanavond weer langs om te kijken hoever hij is..
Ben ook nog wat lijstjes aan het bedenken om te gaan maken... heb nu alleen top users en top smileys online
Heb ook allemaal nie zoveel tijd...
quote:Ik niet dus. Het lijkt me vrij zinloos om, op het moment dat de meerderheid de voorkeur geeft aan mySQL, mijn persoonlijke voorkeur van Oracle verder te ontwikkelen. Ik heb een testje gedraaid met een paar honderd topics, en ga wel weer verder als daar vraag naar blijkt te zijn.
Op vrijdag 24 januari 2003 14:27 schreef K3 het volgende:
Zijn er nu nog meer mensen bezig met iets eigenlijk? 't Is alweer een dag of twee geleden dat ik een progress hoorde van iemand
quote:Iedereen die dat wil de kans geven om te bewijzen dat hij/zij Arcee's hobby zou kunnen overnemen en daar non-constructief over op kunnen scheppen. Lijkt me afdoende.
Op vrijdag 24 januari 2003 16:35 schreef DigiJasper het volgende:
Wat is nou het doel van deze topics
quote:*shame*
Ik gebruik daar eigenlijk twee scriptjes voor.
Eentje slaat alle topics op op de HD als <nummer>.html
(Gewoon een lus definiëren die begint bij 0 en eindigt bij 250000 en in die lus met wget de boel naar binnen trekken).
Nu is mijn perl kennis niet zo goed dat ik een dergelijk scriptje zo bouw. Kan jij mijn kennis vergroten door het te verklappen
?Kan me wel voorstellen dat het eruit ziet als
$url = 'http://forum.fok.nl/showtopic.php/1';
exec 'wget -nd -r -K -p $url';
$newurl = 'http://forum.fok.nl/showtopic.php/1+1'
en dan een loop ken iets te weinig van de materie
[Dit bericht is gewijzigd door KonnieKipke op 24-01-2003 17:32]
1. eerst een user database maken
2. dan een forum db maken (welke foa's bestaan er)
3. de topics laden...
want anders heb je nix
dat is imho de beste oplossing 
Of niet?
FB (januari tot 24/1/03 02:41)
code:mod Aantal
Yvonne 130
Cynix ® 107
Breuls 74
Veerboot 36
Rickmans 23
Tararaboemdijee 15
Jorma 10
Kreator 7
Lwas 7
Luigi 7
Bluezz 5
sweek 3
Mike 3
Golfer 2
Miss Bleu 2
Tijn 2
RemCow 2
Atrimar 2
Sphere 2
Kozzmic 1
Vork 1
Lortnoc 1
Ripley 1
Swetsenegger 1
JMG 1
Shmoopy 1
Arjen 1
Yppy 1
Lois 1
PrivateRyan 1
Twijfel 15
quote:Dat was meer een skin die hij eroverheen legde dacht ik toch?
Op zaterdag 25 januari 2003 07:37 schreef Chandler het volgende:
Het is echter toch zo simpel, Roonaan kan als hij wilt alles zelf ombouwen en in een database gooien netzoals hij dat deed toen met die layouts
met realtime ophalen van de data van 1 enkel topic wat geviewed werd.
Niets wat te maken had met een mirror-db.
dacht ik.
quote:Had ik die niet in de query staan?
Op zaterdag 25 januari 2003 01:46 schreef Roonaan het volgende:
zeg K3 waar laat jij de titels van de topics dan als ik vragen mag
Ik heb momenteel drie tabellen; reacties, topics en forums.
In de reactietabel staan de reactie-eigen zaken als inhoud, datum, username etc. In de topics-tabel de topic-eigen zaken, dus ook de titel. Voor het gemak houd ik daar ook het aantal views en reacties bij voor sneller queryen.
Ik heb de hele boel van Fok! er nu instaan en loop nu tegen een heel ander probleem aan: Mijn K6-je op 400 MHz trekt mijn eerste query niet zo lekker (is meer dan een uur bezig om erachter te komen in welk forum ik het meest heb gepost, soort van top tien van fora dus, met postaantal erbij.).
Daarbij komt ook nog dat van steeds meer fora de /0 feature niet meer werkt omdat de Fok!database een time-out geeft.
Software- en scriptmatig gezien heb ik de boel nu aardig voor elkaar, maar praktisch wil het allemaal nog niet zo.
1: Mijn CPU-tje is te langzaam (heb de boel al naar een snellere PC gekopiëerd, maar die staat niet 24/7 aan).
2: Het leegtrekken van de complete forumlijsten gaat bij steeds minder fora goed (vanwege die /0)
De mysql-database is 2,8 GB groot, een query om topposters uit het feedbackforum te halen is gecrashed op mijn K6 en nu ben ik bezig om dezelfde query op de snelle PC uit te voeren. Al met al is het vooral de veelheid aan data die voor problemen zorgt, zowel hier als bij fok (vanwege die time-outs).
die /0 heb je toch niet nodig, bij elk topic krijg je toch in de header te zien bij welk forum het hoort? of werkt dat niet als je het importeert naar je database?
Maar wat ik vooral wou weten .. wat wil iedereen echt weten.
en
Is het iemand al gelukt om een goed update script te schrijven want dat wil bij mij nog niet echt lukken 
Verder heeft er al iemand stats online
quote:Hmm... als ik de bedoeling goed begrijp zou ik dit graag willen weten:
Op woensdag 29 januari 2003 16:45 schreef scoutboy het volgende:
Maar weer ffkes een update... ben nu bezig om voor de tig'ste keer mijn scriptje te herschrijven ... Hij blijft maar uit mijn geheugen lopen (Ben nu zelfs zo ver dat ik vanavond een script ga schrijven met eigen cache systeemMaar wat ik vooral wou weten .. wat wil iedereen echt weten.
en
Is het iemand al gelukt om een goed update script te schrijven want dat wil bij mij nog niet echt lukken
Verder heeft er al iemand stats online
Wie het meest heeft gepost vandaag (elke dag updaten)
Wie het meest heeft gepost overall (dus altijd)
Welke smileys het meest worden gebruikt
quote:Zonder die /0 moet je te vaak connecten met Fok om na te gaan of topics geupdate zijn. Met /0 heb je per forum snel en makkelijk een overzicht.
Op woensdag 29 januari 2003 10:02 schreef dolle_hond het volgende:
k3:
die /0 heb je toch niet nodig, bij elk topic krijg je toch in de header te zien bij welk forum het hoort? of werkt dat niet als je het importeert naar je database?
Overigens moge het duidelijk zijn dat ik niet meer actief bezig ben hiermee, oa omdat ik niet normaal kan queryen op de database (te langzame CPU) en hem dus maar leegekieperd heb (scheelt weer 3GB).
