Hoe sla je 3 jaar Fok! op op je harde schijf? dl.2

quote:

---

Op donderdag 23 januari 2003 21:30 schreef Litpho het volgende:

[..]

Tijn had contact met ze opgenomen, dus ik verwacht eerlijk gezegd dat hij vanzelf wel ergens in dit topic komt opduiken (voordat we met een man of 10 een onbedoelde DDoS-attack uitvoeren op FoK! ).

---

/usr/bin/perl -w

use strict;

use LWP::Simple;
my $MaxnumberOfTopics=1;
for (my $Topic=1; $Topic<=$MaxnumberOfTopics; ++$Topic)
{
#my $Content=get("http://forum.fok.nl/showtopic.php/$Topic/1/255");
my $Content=get("http://forum.fok.nl/showtopic.php/257667/1/255");
my @Messages=split /);message(/,$Content;
$Messages[0]=~s/.*?<SCRIPT TYPE="text\/javascript">message(//;
$Messages[-1]=~s/</SCRIPT>.*//;

for (@Messages)
{
my @Info=Parse_Msg($_);
my ($Poster,$Message,$Sub,$Img,$Date)=@Info[1,8,3,4,6];
print "Poster: $Poster\n";
print "Date: $Date\n";
print "Sub: $Sub\n";
print "Img: $Img\n";
#print "Message: $Message\n";
};
};

sub Parse_Msg
{
my $Text = shift;
my @New = ();
push(@New, $+) while $Text =~ m{"([^\"\\]*(?:\\.[^\"\\]*)",?| ([^,]+),?| ,}gx;
push(@New, undef) if substr($Text, -1,1) eq ',';
return @New;
};

In welk bestand laat ie de uitvoer nou?

[Dit bericht is gewijzigd door KonnieKipke op 23-01-2003 22:59]

quote:

---

return @New

---

quote:

---

Op donderdag 23 januari 2003 21:30 schreef Litpho het volgende:

[..]

Tijn had contact met ze opgenomen, dus ik verwacht eerlijk gezegd dat hij vanzelf wel ergens in dit topic komt opduiken (voordat we met een man of 10 een onbedoelde DDoS-attack uitvoeren op FoK! ).

---

quote:

---

Op vrijdag 24 januari 2003 02:09 schreef Tijn het volgende:

[..]

Ik heb alle admins gemaild over de kwestie, maar heb tot op heden nog niks gehoord. Tot die tijd zou ik nog niet al te veel online zetten en wil ik mn eigen computer ook nog niet als database ter beschikking stellen, maar uiteraard is een ieder wel vrij, zo lijkt me, om wat testscripts te proberen etc

---

quote:

---

Op vrijdag 24 januari 2003 02:20 schreef K3 het volgende:

[..]

Waarom zou je niets on line mogen zetten?

---

quote:

---

Op vrijdag 24 januari 2003 02:37 schreef Tijn het volgende:

[..]

Oh van mij mag je best wat online zetten, maar tis natuurlijk niet netjes om alvast een uitgebreid lijstjes topic te openen (al dat niet met url) terwijl de vraag of er wel toestemming gegeven is nog loopt

---

quote:

---

Op vrijdag 24 januari 2003 02:42 schreef K3 het volgende:

[..]

Ik had niet begrepen dat er toestemming voor nodig was.
En aangezien alles online staat, lijkt me dat een beetje voorbarig om te vragen (ik zie online als openbaar, dus vrij om je eigen statistieken op los te laten). Komt er nog bij de vraag van Yvonne wie er toch graag stat wil gaan maken, dan lijkt het me geen probleem (toch?).

---

quote:

---

Op vrijdag 24 januari 2003 02:37 schreef Tijn het volgende:

[..]

Oh van mij mag je best wat online zetten, maar tis natuurlijk niet netjes om alvast een uitgebreid lijstjes topic te openen (al dat niet met url) terwijl de vraag of er wel toestemming gegeven is nog loopt

---

Vannacht waren mijn logs volgelopen, en is het importeren in de DB bij topic 181xxx blijven hangen, maar alle overtollige zooi is weggegooid, en nu is-ie weer lekker bezig (er staan nu al meer dan 8 miljoen reacties in de DB).

Ik ben nu bezig met een script om de active topics bij te houden, zodat de database up to date blijft (zal wel iets worden dat nachtelijk gedraaid wordt).
_{beseft Yvonne wel wat ze Danny heeft aangedaan?}

quote:

---

Op vrijdag 24 januari 2003 02:20 schreef K3 het volgende:

[..]

Waarom zou je niets on line mogen zetten? Afgezien van copyright zie ik geen problemen aangezien het verkeer van je eigen datalimiet afgaat.
Ik heb inmiddels zo'n 240.000 topics binnen (tel uit het aantal reacties) en loopt de database ook al vol.
Ik vraag me nu eigenlijk af welke exotische vraagstukken er straks komen om op te queryen (en maak me dus niet zo druk meer over die admins aangezien ik nu toch bijna alles al binnen heb ).

---

dat is wat ik zo uit mijn hoofd nog weet.

quote:

---

Op vrijdag 24 januari 2003 12:10 schreef dolle_hond het volgende:

[..]

Arcee maakte lijstjes met:

# posts per maand per user

# posts per maand zonder SC per user

# posts per subforum per user

kliekjes (wie post er meteen na jou/ meteen voor jou)

# posts per dag (topdag per user)

drukste minuten op Fok!

dat is wat ik zo uit mijn hoofd nog weet.

---

quote:

---

Op vrijdag 24 januari 2003 10:56 schreef K3 het volgende:
Ik denk dat het ook niet erg is als als een paar mensen het spul wegtrekken. Erger wordt het als het enkele tientallen betreft.

Vannacht waren mijn logs volgelopen, en is het importeren in de DB bij topic 181xxx blijven hangen, maar alle overtollige zooi is weggegooid, en nu is-ie weer lekker bezig (er staan nu al meer dan 8 miljoen reacties in de DB).

Ik ben nu bezig met een script om de active topics bij te houden, zodat de database up to date blijft (zal wel iets worden dat nachtelijk gedraaid wordt).
_{beseft Yvonne wel wat ze Danny heeft aangedaan?}

---

Alvast bedankt.

quote:

---

Op vrijdag 24 januari 2003 13:04 schreef KonnieKipke het volgende:

[..]

K3, zou jij eens je scriptje willen posten dat je gebruikt om al die topics te rippen en daarna in je database te stoppen. Ik heb gister wat met wget geprutst, maar dat bouwt de oorspronkelijk html files vrolijk op.

Alvast bedankt.

---

Het andere scriptje gaat vervolgens langs die opgeslagen topics om te parsen en in de database te stoppen. Hoe dat scriptje werkt wil ik wel vertellen, maar ik ga geen lappen script posten.
Eerst strip ik de pagina tot en met de <script>-tag, en alles na de </script>-tag.
Dan houd je de javascript messages over, daar ga ik met een reguliere expressie overheen om van de message() functie een INSERT-query te maken die vervolgens in de database wordt gestopt.
De originele pagina's houd ik wel, omdat ik met de originele data misschien nog meer wil doen (handig als ik achteraf toch nog een veldje in de DB wil stoppen).
Zijn er nu nog meer mensen bezig met iets eigenlijk? 't Is alweer een dag of twee geleden dat ik een progress hoorde van iemand .

Mijn progress:
* Opruimen logfiles en overtollige troep
* binnenhalen topics 240.000 t/m 250.000
* in DB proppen topics 200.000 t/m 220.000 (had een foutje gemaakt, dus moest ff wat terugzetten)
* bezig met bouwen v/e active-topics-scriptje dat 's nachts gaat draaien zodat ik er niet naar om hoef te kijken
* op zoek naar een snellere machine (een query over enkele gigabytes uitvoeren gaat de mysql daemon ook niet in de kouwe kleren zitten, 't is maar een K6-je op 400 MHz).

quote:

---

Op vrijdag 24 januari 2003 14:27 schreef K3 het volgende:

[..]

Ik gebruik daar eigenlijk twee scriptjes voor.
Eentje slaat alle topics op op de HD als <nummer>.html
(Gewoon een lus definiëren die begint bij 0 en eindigt bij 250000 en in die lus met wget de boel naar binnen trekken).

Het andere scriptje gaat vervolgens langs die opgeslagen topics om te parsen en in de database te stoppen. Hoe dat scriptje werkt wil ik wel vertellen, maar ik ga geen lappen script posten.
Eerst strip ik de pagina tot en met de <script>-tag, en alles na de </script>-tag.
Dan houd je de javascript messages over, daar ga ik met een reguliere expressie overheen om van de message() functie een INSERT-query te maken die vervolgens in de database wordt gestopt.
De originele pagina's houd ik wel, omdat ik met de originele data misschien nog meer wil doen (handig als ik achteraf toch nog een veldje in de DB wil stoppen).
Zijn er nu nog meer mensen bezig met iets eigenlijk? 't Is alweer een dag of twee geleden dat ik een progress hoorde van iemand .

Mijn progress:
* Opruimen logfiles en overtollige troep
* binnenhalen topics 240.000 t/m 250.000
* in DB proppen topics 200.000 t/m 220.000 (had een foutje gemaakt, dus moest ff wat terugzetten)
* bezig met bouwen v/e active-topics-scriptje dat 's nachts gaat draaien zodat ik er niet naar om hoef te kijken
* op zoek naar een snellere machine (een query over enkele gigabytes uitvoeren gaat de mysql daemon ook niet in de kouwe kleren zitten, 't is maar een K6-je op 400 MHz).

---

Heb op het moment 0 t/m 50.000 in een DB zitten (en i.d.d. op schijf als <nummer>.html
Bij ons in het dorp is iemand bezig met de rest downloaden ga ik vanavond weer langs om te kijken hoever hij is..
Ben ook nog wat lijstjes aan het bedenken om te gaan maken... heb nu alleen top users en top smileys online

Heb ook allemaal nie zoveel tijd...

quote:

---

Ik gebruik daar eigenlijk twee scriptjes voor.
Eentje slaat alle topics op op de HD als <nummer>.html
(Gewoon een lus definiëren die begint bij 0 en eindigt bij 250000 en in die lus met wget de boel naar binnen trekken).

---

Kan me wel voorstellen dat het eruit ziet als

$url = 'http://forum.fok.nl/showtopic.php/1';

exec 'wget -nd -r -K -p $url';

$newurl = 'http://forum.fok.nl/showtopic.php/1+1'

en dan een loop ken iets te weinig van de materie

[Dit bericht is gewijzigd door KonnieKipke op 24-01-2003 17:32]

1. eerst een user database maken
2. dan een forum db maken (welke foa's bestaan er)
3. de topics laden...

want anders heb je nix

FB (januari tot 24/1/03 02:41)

code:

---

mod           Aantal
Yvonne           130
Cynix ®          107
Breuls           74
Veerboot         36
Rickmans         23
Tararaboemdijee  15
Jorma            10
Kreator           7
Lwas              7
Luigi             7
Bluezz            5
sweek             3
Mike              3
Golfer            2
Miss Bleu         2
Tijn              2
RemCow            2
Atrimar           2
Sphere            2
Kozzmic           1
Vork              1
Lortnoc           1
Ripley            1
Swetsenegger      1
JMG               1
Shmoopy           1
Arjen             1
Yppy              1
Lois              1
PrivateRyan       1
Twijfel          15

---

quote:

---

Op zaterdag 25 januari 2003 07:37 schreef Chandler het volgende:
Het is echter toch zo simpel, Roonaan kan als hij wilt alles zelf ombouwen en in een database gooien netzoals hij dat deed toen met die layouts dat is imho de beste oplossing

---

quote:

---

Op zaterdag 25 januari 2003 01:46 schreef Roonaan het volgende:
zeg K3 waar laat jij de titels van de topics dan als ik vragen mag

---

De mysql-database is 2,8 GB groot, een query om topposters uit het feedbackforum te halen is gecrashed op mijn K6 en nu ben ik bezig om dezelfde query op de snelle PC uit te voeren. Al met al is het vooral de veelheid aan data die voor problemen zorgt, zowel hier als bij fok (vanwege die time-outs).

Maar wat ik vooral wou weten .. wat wil iedereen echt weten.

en

Is het iemand al gelukt om een goed update script te schrijven want dat wil bij mij nog niet echt lukken

Verder heeft er al iemand stats online

quote:

---

Op woensdag 29 januari 2003 16:45 schreef scoutboy het volgende:
Maar weer ffkes een update... ben nu bezig om voor de tig'ste keer mijn scriptje te herschrijven ... Hij blijft maar uit mijn geheugen lopen (Ben nu zelfs zo ver dat ik vanavond een script ga schrijven met eigen cache systeem

Maar wat ik vooral wou weten .. wat wil iedereen echt weten.

en

Is het iemand al gelukt om een goed update script te schrijven want dat wil bij mij nog niet echt lukken

Verder heeft er al iemand stats online

---

Wie het meest heeft gepost vandaag (elke dag updaten)
Wie het meest heeft gepost overall (dus altijd)
Welke smileys het meest worden gebruikt

quote:

---

Op woensdag 29 januari 2003 10:02 schreef dolle_hond het volgende:
k3:
die /0 heb je toch niet nodig, bij elk topic krijg je toch in de header te zien bij welk forum het hoort? of werkt dat niet als je het importeert naar je database?

---