Hoe sla je 3 jaar Fok! op op je harde schijf? dl.2

quote:

---

Op donderdag 23 januari 2003 21:30 schreef Litpho het volgende:

[..]

Tijn had contact met ze opgenomen, dus ik verwacht eerlijk gezegd dat hij vanzelf wel ergens in dit topic komt opduiken (voordat we met een man of 10 een onbedoelde DDoS-attack uitvoeren op FoK! ).

---

/usr/bin/perl -w

use strict;

use LWP::Simple;
my $MaxnumberOfTopics=1;
for (my $Topic=1; $Topic<=$MaxnumberOfTopics; ++$Topic)
{
#my $Content=get("http://forum.fok.nl/showtopic.php/$Topic/1/255");
my $Content=get("http://forum.fok.nl/showtopic.php/257667/1/255");
my @Messages=split /);message(/,$Content;
$Messages[0]=~s/.*?<SCRIPT TYPE="text\/javascript">message(//;
$Messages[-1]=~s/</SCRIPT>.*//;

for (@Messages)
{
my @Info=Parse_Msg($_);
my ($Poster,$Message,$Sub,$Img,$Date)=@Info[1,8,3,4,6];
print "Poster: $Poster\n";
print "Date: $Date\n";
print "Sub: $Sub\n";
print "Img: $Img\n";
#print "Message: $Message\n";
};
};

sub Parse_Msg
{
my $Text = shift;
my @New = ();
push(@New, $+) while $Text =~ m{"([^\"\\]*(?:\\.[^\"\\]*)",?| ([^,]+),?| ,}gx;
push(@New, undef) if substr($Text, -1,1) eq ',';
return @New;
};

In welk bestand laat ie de uitvoer nou?

[Dit bericht is gewijzigd door KonnieKipke op 23-01-2003 22:59]

quote:

---

return @New

---

quote:

---

Op donderdag 23 januari 2003 21:30 schreef Litpho het volgende:

[..]

Tijn had contact met ze opgenomen, dus ik verwacht eerlijk gezegd dat hij vanzelf wel ergens in dit topic komt opduiken (voordat we met een man of 10 een onbedoelde DDoS-attack uitvoeren op FoK! ).

---

quote:

---

Op vrijdag 24 januari 2003 02:09 schreef Tijn het volgende:

[..]

Ik heb alle admins gemaild over de kwestie, maar heb tot op heden nog niks gehoord. Tot die tijd zou ik nog niet al te veel online zetten en wil ik mn eigen computer ook nog niet als database ter beschikking stellen, maar uiteraard is een ieder wel vrij, zo lijkt me, om wat testscripts te proberen etc

---

quote:

---

Op vrijdag 24 januari 2003 02:20 schreef K3 het volgende:

[..]

Waarom zou je niets on line mogen zetten?

---

quote:

---

Op vrijdag 24 januari 2003 02:37 schreef Tijn het volgende:

[..]

Oh van mij mag je best wat online zetten, maar tis natuurlijk niet netjes om alvast een uitgebreid lijstjes topic te openen (al dat niet met url) terwijl de vraag of er wel toestemming gegeven is nog loopt

---

quote:

---

Op vrijdag 24 januari 2003 02:42 schreef K3 het volgende:

[..]

Ik had niet begrepen dat er toestemming voor nodig was.
En aangezien alles online staat, lijkt me dat een beetje voorbarig om te vragen (ik zie online als openbaar, dus vrij om je eigen statistieken op los te laten). Komt er nog bij de vraag van Yvonne wie er toch graag stat wil gaan maken, dan lijkt het me geen probleem (toch?).

---

quote:

---

Op vrijdag 24 januari 2003 02:37 schreef Tijn het volgende:

[..]

Oh van mij mag je best wat online zetten, maar tis natuurlijk niet netjes om alvast een uitgebreid lijstjes topic te openen (al dat niet met url) terwijl de vraag of er wel toestemming gegeven is nog loopt

---

Vannacht waren mijn logs volgelopen, en is het importeren in de DB bij topic 181xxx blijven hangen, maar alle overtollige zooi is weggegooid, en nu is-ie weer lekker bezig (er staan nu al meer dan 8 miljoen reacties in de DB).

Ik ben nu bezig met een script om de active topics bij te houden, zodat de database up to date blijft (zal wel iets worden dat nachtelijk gedraaid wordt).
_{beseft Yvonne wel wat ze Danny heeft aangedaan?}

quote:

---

Op vrijdag 24 januari 2003 02:20 schreef K3 het volgende:

[..]

Waarom zou je niets on line mogen zetten? Afgezien van copyright zie ik geen problemen aangezien het verkeer van je eigen datalimiet afgaat.
Ik heb inmiddels zo'n 240.000 topics binnen (tel uit het aantal reacties) en loopt de database ook al vol.
Ik vraag me nu eigenlijk af welke exotische vraagstukken er straks komen om op te queryen (en maak me dus niet zo druk meer over die admins aangezien ik nu toch bijna alles al binnen heb ).

---

dat is wat ik zo uit mijn hoofd nog weet.

quote:

---

Op vrijdag 24 januari 2003 12:10 schreef dolle_hond het volgende:

[..]

Arcee maakte lijstjes met:

# posts per maand per user

# posts per maand zonder SC per user

# posts per subforum per user

kliekjes (wie post er meteen na jou/ meteen voor jou)

# posts per dag (topdag per user)

drukste minuten op Fok!

dat is wat ik zo uit mijn hoofd nog weet.

---

quote:

---

Op vrijdag 24 januari 2003 10:56 schreef K3 het volgende:
Ik denk dat het ook niet erg is als als een paar mensen het spul wegtrekken. Erger wordt het als het enkele tientallen betreft.

Vannacht waren mijn logs volgelopen, en is het importeren in de DB bij topic 181xxx blijven hangen, maar alle overtollige zooi is weggegooid, en nu is-ie weer lekker bezig (er staan nu al meer dan 8 miljoen reacties in de DB).

Ik ben nu bezig met een script om de active topics bij te houden, zodat de database up to date blijft (zal wel iets worden dat nachtelijk gedraaid wordt).
_{beseft Yvonne wel wat ze Danny heeft aangedaan?}

---

Alvast bedankt.

quote:

---

Op vrijdag 24 januari 2003 13:04 schreef KonnieKipke het volgende:

[..]

K3, zou jij eens je scriptje willen posten dat je gebruikt om al die topics te rippen en daarna in je database te stoppen. Ik heb gister wat met wget geprutst, maar dat bouwt de oorspronkelijk html files vrolijk op.

Alvast bedankt.

---

Het andere scriptje gaat vervolgens langs die opgeslagen topics om te parsen en in de database te stoppen. Hoe dat scriptje werkt wil ik wel vertellen, maar ik ga geen lappen script posten.
Eerst strip ik de pagina tot en met de <script>-tag, en alles na de </script>-tag.
Dan houd je de javascript messages over, daar ga ik met een reguliere expressie overheen om van de message() functie een INSERT-query te maken die vervolgens in de database wordt gestopt.
De originele pagina's houd ik wel, omdat ik met de originele data misschien nog meer wil doen (handig als ik achteraf toch nog een veldje in de DB wil stoppen).
Zijn er nu nog meer mensen bezig met iets eigenlijk? 't Is alweer een dag of twee geleden dat ik een progress hoorde van iemand .

Mijn progress:
* Opruimen logfiles en overtollige troep
* binnenhalen topics 240.000 t/m 250.000
* in DB proppen topics 200.000 t/m 220.000 (had een foutje gemaakt, dus moest ff wat terugzetten)
* bezig met bouwen v/e active-topics-scriptje dat 's nachts gaat draaien zodat ik er niet naar om hoef te kijken
* op zoek naar een snellere machine (een query over enkele gigabytes uitvoeren gaat de mysql daemon ook niet in de kouwe kleren zitten, 't is maar een K6-je op 400 MHz).

quote:

---

Op vrijdag 24 januari 2003 14:27 schreef K3 het volgende:

[..]

Ik gebruik daar eigenlijk twee scriptjes voor.
Eentje slaat alle topics op op de HD als <nummer>.html
(Gewoon een lus definiëren die begint bij 0 en eindigt bij 250000 en in die lus met wget de boel naar binnen trekken).

Het andere scriptje gaat vervolgens langs die opgeslagen topics om te parsen en in de database te stoppen. Hoe dat scriptje werkt wil ik wel vertellen, maar ik ga geen lappen script posten.
Eerst strip ik de pagina tot en met de <script>-tag, en alles na de </script>-tag.
Dan houd je de javascript messages over, daar ga ik met een reguliere expressie overheen om van de message() functie een INSERT-query te maken die vervolgens in de database wordt gestopt.
De originele pagina's houd ik wel, omdat ik met de originele data misschien nog meer wil doen (handig als ik achteraf toch nog een veldje in de DB wil stoppen).
Zijn er nu nog meer mensen bezig met iets eigenlijk? 't Is alweer een dag of twee geleden dat ik een progress hoorde van iemand .

Mijn progress:
* Opruimen logfiles en overtollige troep
* binnenhalen topics 240.000 t/m 250.000
* in DB proppen topics 200.000 t/m 220.000 (had een foutje gemaakt, dus moest ff wat terugzetten)
* bezig met bouwen v/e active-topics-scriptje dat 's nachts gaat draaien zodat ik er niet naar om hoef te kijken
* op zoek naar een snellere machine (een query over enkele gigabytes uitvoeren gaat de mysql daemon ook niet in de kouwe kleren zitten, 't is maar een K6-je op 400 MHz).

---

Heb op het moment 0 t/m 50.000 in een DB zitten (en i.d.d. op schijf als <nummer>.html
Bij ons in het dorp is iemand bezig met de rest downloaden ga ik vanavond weer langs om te kijken hoever hij is..
Ben ook nog wat lijstjes aan het bedenken om te gaan maken... heb nu alleen top users en top smileys online

Heb ook allemaal nie zoveel tijd...