Hoe sla je 3 jaar Fok! op op je harde schijf?

quote:

---

Op dinsdag 21 januari 2003 21:01 schreef Isabeau het volgende:

[..]

Dat heeft Arcee vast ook niet gedaan!!!

Weet dan niemand hoe het moet?

---

quote:

---

Op dinsdag 21 januari 2003 21:01 schreef Isabeau het volgende:

[..]

Dat heeft Arcee vast ook niet gedaan!!!

Weet dan niemand hoe het moet?

---

Kan met een klein Perl scriptje.. is niet zo`n probleem...

Je moet alleen de ruimte hebben

maar ik denk dat je beter bij database beheer kunt zijn van FOK!

quote:

---

Op dinsdag 21 januari 2003 21:03 schreef ChOas het volgende:

[..]

Alle topics, en alle pagina`s in de topics aflopen...

Kan met een klein Perl scriptje.. is niet zo`n probleem...

Je moet alleen de ruimte hebben

---

quote:

---

Op dinsdag 21 januari 2003 21:21 schreef SunChaser het volgende:
Arcee heeft ooit ergens gezegd dat hij gewoon een back-up krijgt van CoDanTed.

---

quote:

---

Op dinsdag 21 januari 2003 21:21 schreef SunChaser het volgende:
Arcee heeft ooit ergens gezegd dat hij gewoon een back-up krijgt van CoDanTed.

---

quote:

---

Op dinsdag 21 januari 2003 21:21 schreef SunChaser het volgende:
Arcee heeft ooit ergens gezegd dat hij gewoon een back-up krijgt van CoDanTed.

---

quote:

---

Op dinsdag 21 januari 2003 21:24 schreef Chandler het volgende:

[..]

Lijkt me idd de meest logische oplossing

---

quote:

---

Op dinsdag 21 januari 2003 21:24 schreef I.R.Baboon het volgende:

[..]

Nee, die kreeg hij volgens mij juist niet.

---

quote:

---

Op dinsdag 21 januari 2003 21:25 schreef SunChaser het volgende:

[..]

Anders kun je nooit die lijstjes maken, denk je dat hij dat handmatig doet soms?

---

quote:

---

Op dinsdag 21 januari 2003 21:25 schreef I.R.Baboon het volgende:

[..]

Dat was iig niet zo, want na de crash in 2001 was codanted (en dus fok) een maand forum kwijt, terwijl arcee tot een paar dagen voor de crash had gesaved.

---

1. alle topics doorliep en daar eerst het aantal reply's van opvroeg (of de laaste wijziging.
2. deze in een soortement (eigngemaakte) database opsloeg
3. daar de queries oplos liet.

quote:

---

Op dinsdag 21 januari 2003 21:11 schreef Isabeau het volgende:
(ik was aan het typen terwijl jij je reactie plaatste, Chandler )

_{ik snap het trouwens nog steeds niet, help yvonne, wat doe ik hier!}

Dus jullie willen Arcee's functie als statisticus wel overnemen?

---

O, en een verhaaltje met een mannetje ofzo, helpt ook!!

quote:

---

Op dinsdag 21 januari 2003 21:26 schreef SunChaser het volgende:
Arcee kreeg wel degelijk een back-up.
Arcee's backup?

---

quote:

---

Op dinsdag 21 januari 2003 21:25 schreef SunChaser het volgende:

[..]

Anders kun je nooit die lijstjes maken, denk je dat hij dat handmatig doet soms?

---

Overigens wilde hij inderdaad meer features dacht ik, omdat hij nog bepaalde dingen wilde doen waartoe hij niet in staat was.

quote:

---

Op dinsdag 21 januari 2003 21:32 schreef Brad het volgende:

[..]

Zoals al gezegd kun je met scripts alle topics opvragen en die opslaan. Hieruit kun je inderdaad de gegevens halen die hij presenteerde.

Overigens wilde hij inderdaad meer features dacht ik, omdat hij nog bepaalde dingen wilde doen waartoe hij niet in staat was.

---

quote:

---

Op dinsdag 21 januari 2003 21:35 schreef I.R.Baboon het volgende:

[..]

Inderdaad. Volgens mij wilde hij meer maar kreeg hij dat niet.

---

Kunnen we niet vragen aan iemand die al dbase-rechten heeft om daar iets mee te doen? Dr zijn er vast genoeg in de crew

quote:

---

Op dinsdag 21 januari 2003 21:37 schreef Tijn het volgende:
Maaruh... Roönaän zou zoiets wel kunnen bouwen wellicht, maar database-rechten blijft toch het makkelijkst omdat daar dus direct de informatie in is opgeslagen en ook makkelijk uit te halen is

Kunnen we niet vragen aan iemand die al dbase-rechten heeft om daar iets mee te doen? Dr zijn er vast genoeg in de crew

---

quote:

---

Op dinsdag 21 januari 2003 21:38 schreef I.R.Baboon het volgende:

[..]

Met de juiste middelen (en mijn toekomstige ADSLverbinding) wil ik dat wel doen. Zoals het maar niet moeilijk wordt.

---

quote:

---

Op dinsdag 21 januari 2003 21:38 schreef I.R.Baboon het volgende:

[..]

Met de juiste middelen (en mijn toekomstige ADSLverbinding) wil ik dat wel doen. Zoals het maar niet moeilijk wordt.

---

quote:

---

Op dinsdag 21 januari 2003 21:38 schreef Tijn het volgende:

[..]

Alleen normale mods hebben dus geen database rechten en kunnen net zo veel (of weinig) als elke andere user

---

Snap dat nou, lul.

quote:

---

Op dinsdag 21 januari 2003 21:39 schreef I.R.Baboon het volgende:

[..]

Daarom wil ik ook meer rechten.

Snap dat nou, lul.

---

Maar er zijn wel crewleden die dat wèl hebben. Ik weet niet wie, maar dat weten de [betreffende crewleden] vast zelf wel. Dr is vast wel iemand bij die een lijstjes-generator kan en wil bouwen

e-mailadressen en dergelijke voor het oprapen.

quote:

---

Op dinsdag 21 januari 2003 21:44 schreef yvonne het volgende:
En het is weer een mannentopic geworden

---

quote:

---

Op dinsdag 21 januari 2003 21:44 schreef yvonne het volgende:
En het is weer een mannentopic geworden

---

quote:

---

Op dinsdag 21 januari 2003 21:45 schreef Chandler het volgende:
Ach en anders kunnen we toch wel met een paar users alle fok topics downloaden en deze tot database data verwerken 't valt te doen hoor.

---

quote:

---

Op dinsdag 21 januari 2003 21:48 schreef Isabeau het volgende:

[..]

Ben ik weer

Yvonne heeft veel database rechten gok ik zo!

---

quote:

---

Op dinsdag 21 januari 2003 21:19 schreef Chandler het volgende:

[..]

Als je het fixt met een database heb je er nog veel meer plezier van en krijg je veel meer resultaten als je gaat zoeken.

---

Is een koekie...

quote:

---

Op dinsdag 21 januari 2003 21:50 schreef ChOas het volgende:

[..]

Was ook de bedoeling, gewoon met Perl van het web aftrekken,
parsen, en in een MySQL database proppen...

Is een koekie...

---

quote:

---

Op dinsdag 21 januari 2003 21:49 schreef Slarioux het volgende:
Zal ik een mannetjes verhaal tiepen? .

---

quote:

---

Op dinsdag 21 januari 2003 21:53 schreef Tijn het volgende:

[..]

Jaaaaaaaah!

---

quote:

---

Op dinsdag 21 januari 2003 21:50 schreef ChOas het volgende:

[..]

Was ook de bedoeling, gewoon met Perl van het web aftrekken,
parsen, en in een MySQL database proppen...

Is een koekie...

---

quote:

---

Op dinsdag 21 januari 2003 21:49 schreef Slarioux het volgende:
Zal ik een mannetjes verhaal tiepen? .

---

Ben dol op mannetjesverhaaltjes

quote:

---

Op dinsdag 21 januari 2003 21:27 schreef yvonne het volgende:

[..]

Je moet met je ogen knipperen en eisen dat ze het langzaam en in blondjestaal uitleggen.

O, en een verhaaltje met een mannetje ofzo, helpt ook!!

---

Stel je voor, in de computers van Fok! zitten twee mannetjes. Een database-mannetje (Dirk) en een webserver-mannetje (Willem). Allebei hebben ze verschillende taken.

Dirk weet alles van gegevens, van opzoeken en van opslaan. Dirk heeft een heel groot magazijn waar al zijn gegevens liggen. In dat magazijn liggen alle gegevens op plankjes. Dirk weet precies waar alles ligt en kan het razendsnel opzoeken. Dirk zoekt precies op wat jij aan hem vraagt. Dirk heeft ook een bureau. Daar ligt een schaar op. Met die schaar knipt Dirk alle gegevens in mooie stukjes. Vervolgens legt hij alles netjes neer voor Willem.

Willem is het Webserver-mannetje. Willem weet alles van websites, van mooie kleurtjes en van icoontjes. Maar Willem heeft geen verstand van gegevens. Daar heeft hij Dirk voor. Willem vertelt aan Dirk wat hij zoekt, en Dirk legt het klaar. Vervolgens gaat Willem aan de slag.

Willem heeft ook een magazijn. In dit magazijn liggen geen gegevens, maar kleurplaten en bouwdozen (=templates). Willem pakt de goede bouwdoos van de plank, en bouwt een mooie pagina. Hij plakt met een prittstiftje alle gegevens van Dirk op de bouwdoos, zodat er geen lege plekken zijn, en kleurt hem in volgens de instructies van Dirk.

Vervolgens loopt Willem naar zijn bureau, en legt de afgemaakte bouwdoos(=webpagina) klaar. Deze kan jij vervolgens komen ophalen en het resultaat bewonderen in je browser.

Binnenkort deel 2...

[Dit bericht is gewijzigd door Slarioux op 21-01-2003 22:06]

Je moet een aantal queries op de database afvuren.

Uit die queries komt een resultaat dat kan je bijvoorbeeld tellen.
Stel je wil weten in hoeveel topics er zijn met het woord "moderator" in de titel.
Dan laat je een PHP zoeken in de database inde kolom "Topictitels" en dat aantal maak je bekend.
Als je dat dan automatiseerd kan je hele mooie lijstjes maken.
Wat je daarvoor nodig hebt is een persoon die weet hoe hij de database kan aanspreken, hoe de structuur in elkaar zit en bovendien de rechten heeft om overal in te spitten.

Trouwens als je een website wil opslaan kan je 2 dingen doen:
1. inloggen met ftp en zo alles kopieren
2. naar de server gaan en 1:1 copy maken van de HDD van de server.

Die scripts en programma's kunnen vaak niet omgaan met server-side programmeertalen.

quote:

---

Op dinsdag 21 januari 2003 22:04 schreef Slarioux het volgende:
Deel 1 van het mannetjes verhaaltje

Binnenkort deel 2...

---

Laat ons niet langer in spanning!!
Dem, dit topic kan zo naar Literatuur

quote:

---

Op dinsdag 21 januari 2003 22:04 schreef Slarioux het volgende:
Deel 1 van het mannetjes verhaaltje

Stel je voor, in de computers van Fok! zitten twee mannetjes. Een database-mannetje (Dirk) en een webserver-mannetje (Willem). Allebei hebben ze verschillende taken.

Dirk weet alles van gegevens, van opzoeken en van opslaan. Dirk heeft een heel groot magazijn waar al zijn gegevens liggen. In dat magazijn liggen alle gegevens op plankjes. Dirk weet precies waar alles ligt en kan het razendsnel opzoeken. Dirk zoekt precies op wat jij aan hem vraagt. Dirk heeft ook een bureau. Daar ligt een schaar op. Met die schaar knipt Dirk alle gegevens in mooie stukjes. Vervolgens legt hij alles netjes neer voor Willem.

Willem is het Webserver-mannetje. Willem weet alles van websites, van mooie kleurtjes en van icoontjes. Maar Willem heeft geen verstand van gegevens. Daar heeft hij Dirk voor. Willem vertelt aan Dirk wat hij zoekt, en Dirk legt het klaar. Vervolgens gaat Willem aan de slag.

Willem heeft ook een magazijn. In dit magazijn liggen geen gegevens, maar kleurplaten en bouwdozen (=templates). Willem pakt de goede bouwdoos van de plank, en bouwt een mooie pagina. Hij plakt met een prittstiftje alle gegevens van Dirk op de bouwdoos, zodat er geen lege plekken zijn, en kleurt hem in volgens de instructies van Dirk.

Vervolgens loopt Willem naar zijn bureau, en legt de afgemaakte bouwdoos(=webpagina) klaar. Deze kan jij vervolgens komen ophalen en het resultaat bewonderen in je browser.

Binnenkort deel 2...

---

1. het werkt
2. na tien topics wil je nooit meer het woord 'lijstjes' horen

en Tijn heeft in 13% van de topics in DIG 1 of meerdere posts geplaatst

quote:

---

Op dinsdag 21 januari 2003 22:14 schreef FredvZ het volgende:

en Tijn heeft in 13% van de topics in DIG 1 of meerdere posts geplaatst

---

quote:

---

Op dinsdag 21 januari 2003 22:15 schreef Tijn het volgende:

[..]

Zo weinig?

---

quote:

---

Op dinsdag 21 januari 2003 22:16 schreef Gerdo het volgende:
Machtig interessant topic dit... Als iemand hier een programaatje of iets dergelijks voor ontwikkeld, krijg je echt een geweldig stukje software. De mogelijkheid om het dagelijks leven van de doorsnede Nederlander (alhoewel: Fok!ker een doorsnee Nederlander??) in zijn/haar eigen woorden van een cd'tje (of 2) te kunnen opvragen.... Fascinating!

---

quote:

---

Op dinsdag 21 januari 2003 22:04 schreef Slarioux het volgende:

---

Oplossing 2 : (en daar heb je flink wat rechten, of een copy vd database voor nodig)
Je stelt zelf een vraag aan Dirk en die komt met het antwoord.

quote:

---

Op dinsdag 21 januari 2003 22:16 schreef Gerdo het volgende:
Machtig interessant topic dit... Als iemand hier een programaatje of iets dergelijks voor ontwikkeld, krijg je echt een geweldig stukje software. De mogelijkheid om het dagelijks leven van de doorsnede Nederlander (alhoewel: Fok!ker een doorsnee Nederlander??) in zijn/haar eigen woorden van een cd'tje (of 2) te kunnen opvragen.... Fascinating!

---

quote:

---

Op dinsdag 21 januari 2003 22:16 schreef Tijn het volgende:

[..]

Je kent Arcee niet he?

---

quote:

---

Op dinsdag 21 januari 2003 22:18 schreef mvt het volgende:

[..]

Oplossing 1 (volgens mij de oplossing van Arcee):
Je huurt een secretaresse (T. Miep) en die vraagt aan Willem alles en gaat met een turflijst turven wie waar iets neergezet heeft.

Oplossing 2 : (en daar heb je flink wat rechten, of een copy vd database voor nodig)
Je stelt zelf een vraag aan Dirk en die komt met het antwoord.

---

Oplossing 2 is makkelijker, maar kan alleen door iemand gedaan worden die met Dirk kan praten. En dat zijn er niet zoveel

quote:

---

Op dinsdag 21 januari 2003 22:18 schreef Gerdo het volgende:

[..]

Nope, werkelijk waar geen flauw idee wie dat is... Alhoewel ik wel begreep dat ie er nu niet meer is.... Ik geloof dat het jullie vooral gaat om de lijstjes, maar die vind ik nu net iets minder interessant... Geinig, maar niet zo fascinerend als de sitautie die ik net schetste...

---

Zo kon je bijvoorbeeld aan Arcee vragen hoeveel smileys je per post gebruikte, hoeveel posts je in een forum had, wie er het vaakst op jouw reageerde, hoeveel topics je hebt gekilld (laatste gepost), welke posticons je het meest gebruikte etc etc etc.

Maar Arcee is nu weg... en we missen de lijstjes Dus we zoeken iemand anders die lijstjes kan maken!

quote:

---

Op dinsdag 21 januari 2003 22:16 schreef yvonne het volgende:
En het enige wat ik wilde weten was hoeveel posts ik hier had

---

Voor de gewone bezoeker is dat genoeg. Die bekijken de bouwdoos en ze surfen verder. Maar sommige users, zoals Arcee, willen veel meer weten dan wat Dirk allemaal opzoekt. Maar Dirk heeft geen tijd om het op te zoeken, Dirk heeft het namelijk al druk genoeg met de gewone pagina's.

Hoe Arcee de gegevens krijgt is dus onduidelijk. Maar er zijn 2 manieren:
Manier 1: Arcee doet alsof hij een gewone surfer is, en vraagt aan Willem de pagina die hij zoekt. Willem plakt de pagina in elkaar en geeft hem aan Arcee. Maar Arcee bekijkt hem niet. Arcee gaat naar huis en pakt de lijm-oplosser. Stukje bij beetje haalt Arcee de bouwdoos uit elkaar totdat hij alleen nog maar strookjes papier overheeft. Hier heeft Arcee een speciaal mannetje voor: Peter (perl-programma). Die strookjes papier geeft hij vervolgens aan zijn eigen database-mannetje (Werner). Werner heeft van Arcee geleerd hoe hij de strookjes weer op de goede plek terug moet leggen in zijn eigen magazijn. Op die manier bouwt Arcee dus een spiegelbeeld van de database van Dirk van Fok.

Natuurlijk kan Werner ook gegevens opzoeken. En Werner heeft wél tijd om ingewikkelde dingen uit te rekenen en op te zoeken voor Arcee. Bijvoorbeeld hoe vaak iemand de laatste post heeft in een topic. Willem van Fok! heeft daar geen tijd voor, maar Werner mag het rustig aan doen van Arcee en vlijtig zoekt hij de gegevens op voor Arcee.

Arcee heeft geen web-server mannetje zoals Willem nodig. Arcee plakt helemaal zelf met de hand alle stukjes aanelkaar, en maakt op die manier mooie lijstjes .

Manier 2: De eerste manier is natuurlijk erg lastig. Daarom heeft Arcee eventjes met Danny gebeld. Nu mag hij zelf door de database snuffelen, natuurlijk zonder iets te veranderen. Arcee heeft nu zijn eigen mannetje (Dexter) dat ook gegevens kan zoeken. Dit betekend wel, dat Dexter niet Dirk voor de voeten mag lopen. Dexter moet dus 's nachts of als Dirk het rustig heeft zijn werk doen. Maar gelukkig komt Dexter niet zo vaak langs op dingen op te zoeken, dus gaat alles goed.

Op dezelfde manier als manier 1 bouwt Arcee een mooi lijstje van de gegevens van Dexter .

quote:

---

Op dinsdag 21 januari 2003 22:16 schreef yvonne het volgende:
En het enige wat ik wilde weten was hoeveel posts ik hier had

---

quote:

---

Op dinsdag 21 januari 2003 22:16 schreef yvonne het volgende:
En het enige wat ik wilde weten was hoeveel posts ik hier had

---

Denk dat je dan tussen 100-150 posts in DIG zit

quote:

---

Op dinsdag 21 januari 2003 22:20 schreef Tijn het volgende:

[..]

Ok, het gaat om Arcee. Hij had software gemaakt waarmee je lijstjes kon maken.

Zo kon je bijvoorbeeld aan Arcee vragen hoeveel smileys je per post gebruikte, hoeveel posts je in een forum had, wie er het vaakst op jouw reageerde, hoeveel topics je hebt gekilld (laatste gepost), welke posticons je het meest gebruikte etc etc etc.

Maar Arcee is nu weg... en we missen de lijstjes Dus we zoeken iemand anders die lijstjes kan maken!

---

De zoektocht naar een handig-ik-kan--lijstjes-maken-mannetje/vrouwtje zal (helaas?) niet naar mij leiden...

En toch blijft het idee van Fok! op een cd'tje me fascineren... Sorry, niet wat jullie bedoelen, maar 't blijft interessant

quote:

---

Op dinsdag 21 januari 2003 22:23 schreef Gerdo het volgende:

En toch blijft het idee van Fok! op een cd'tje me fascineren... Sorry, niet wat jullie bedoelen, maar 't blijft interessant

---

quote:

---

StorageSeagate U10 10GB IDE
3x Seagate Cheetah 36LP 36,7GB SCSI RAID 5

---

Even snel gemaakt hoor, ik heb nu even geen zin om totaal
in de stuctuur van Fok! te duiken, maar zo krijg je een
idee wat kan...

php:

---

<?
#!perl -w

use strict;

use LWP::Simple;

my $MaxnumberOfTopics=1;
for (my $Topic=1; $Topic<=$MaxnumberOfTopics; ++$Topic)
{
my $Content=get("http://forum.fok.nl/showtopic.php/$Topic/1/255");
  my @Messages=split /);message(/,$Content;
  for (@Messages)
  { 
    my @Info=Parse_Msg($_);
    my ($Poster,$Message)=@Info[1,8]; 
    print "Poster: $Poster\n";
    print "Message: $Message\n";
  };
};

 sub Parse_Msg
 {
  my $Text = shift; 
  my @New = ();   
  push(@New, $+) while $Text =~ m{"([^\"\\]*(?:\\.[^\"\\]*)*)",?| ([^,]+),?| ,}gx;
  push(@New, undef) if substr($Text, -1,1) eq ',';     
  return @New;
};  
?>

---

code:

---

Poster: 'Danny'
Message: 'nee hoor
Poster: 'Jorma'
Message: 'Ohoh Danny... dat wordt een probleem dan volgend jaar.. <IMG SRC=\"i/s/wink.gif\"><BR>Of verschuift de doelgroep dan? <IMG SRC=\"i/s/smile.gif\">'
Poster: 'Simpel'
Message: 'Zal ik dan maar verdwijnen van dit `prachtige forum`? <IMG SRC=\"i/s/cry.gif\">'
Poster: 'Jeany'
Message: 'Dan zal ik wel met je mee moeten gaan

---

beetje omslachtig, en moet even netter, maar een goeie optie
als je geen toegang hebt tot de Fok database

[Dit bericht is gewijzigd door ChOas op 21-01-2003 22:35]

quote:

---

Op dinsdag 21 januari 2003 22:29 schreef mvt het volgende:

[..]

Databaseserver FOK :
[..]

Maak er maar een paar cd'tjes van

---

quote:

---

Op dinsdag 21 januari 2003 22:20 schreef Slarioux het volgende:
Deel 2!

Voor de gewone bezoeker is dat genoeg. Die bekijken de bouwdoos en ze surfen verder. Maar sommige users, zoals Arcee, willen veel meer weten dan wat Dirk allemaal opzoekt. Maar Dirk heeft geen tijd om het op te zoeken, Dirk heeft het namelijk al druk genoeg met de gewone pagina's.

Hoe Arcee de gegevens krijgt is dus onduidelijk. Maar er zijn 2 manieren:
Manier 1: Arcee doet alsof hij een gewone surfer is, en vraagt aan Willem de pagina die hij zoekt. Willem plakt de pagina in elkaar en geeft hem aan Arcee. Maar Arcee bekijkt hem niet. Arcee gaat naar huis en pakt de lijm-oplosser. Stukje bij beetje haalt Arcee de bouwdoos uit elkaar totdat hij alleen nog maar strookjes papier overheeft. Hier heeft Arcee een speciaal mannetje voor: Peter (perl-programma). Die strookjes papier geeft hij vervolgens aan zijn eigen database-mannetje (Werner). Werner heeft van Arcee geleerd hoe hij de strookjes weer op de goede plek terug moet leggen in zijn eigen magazijn. Op die manier bouwt Arcee dus een spiegelbeeld van de database van Dirk van Fok.

Natuurlijk kan Werner ook gegevens opzoeken. En Werner heeft wél tijd om ingewikkelde dingen uit te rekenen en op te zoeken voor Arcee. Bijvoorbeeld hoe vaak iemand de laatste post heeft in een topic. Willem van Fok! heeft daar geen tijd voor, maar Werner mag het rustig aan doen van Arcee en vlijtig zoekt hij de gegevens op voor Arcee.

Arcee heeft geen web-server mannetje zoals Willem nodig. Arcee plakt helemaal zelf met de hand alle stukjes aanelkaar, en maakt op die manier mooie lijstjes .

Manier 2: De eerste manier is natuurlijk erg lastig. Daarom heeft Arcee eventjes met Danny gebeld. Nu mag hij zelf door de database snuffelen, natuurlijk zonder iets te veranderen. Arcee heeft nu zijn eigen mannetje (Dexter) dat ook gegevens kan zoeken. Dit betekend wel, dat Dexter niet Dirk voor de voeten mag lopen. Dexter moet dus 's nachts of als Dirk het rustig heeft zijn werk doen. Maar gelukkig komt Dexter niet zo vaak langs op dingen op te zoeken, dus gaat alles goed.

Op dezelfde manier als manier 1 bouwt Arcee een mooi lijstje van de gegevens van Dexter .

---

Kijk heren, hier kunnen we wat mee, poetisch en leerzaam EN we snappen het!!

quote:

---

Op dinsdag 21 januari 2003 22:35 schreef yvonne het volgende:

[..]

En wederom, hulde!!!!

Kijk heren, hier kunnen we wat mee, poetisch en leerzaam EN we snappen het!!

---

quote:

---

Op dinsdag 21 januari 2003 22:35 schreef yvonne het volgende:

[..]

En wederom, hulde!!!!

Kijk heren, hier kunnen we wat mee, poetisch en leerzaam EN we snappen het!!

---

quote:

---

Op dinsdag 21 januari 2003 22:33 schreef ChOas het volgende:
ik heb nu even geen zin om totaal
in de stuctuur van Fok! te duiken

---

quote:

---

Op dinsdag 21 januari 2003 22:40 schreef ChOas het volgende:

[..]

En mijn code niet ?

---

quote:

---

Op dinsdag 21 januari 2003 22:40 schreef Tijn het volgende:

[..]

Prettyprettyprettyplease?

---

quote:

---

Op dinsdag 21 januari 2003 22:40 schreef Tijn het volgende:

[..]

Prettyprettyprettyplease?

---

Als je echt wil kan dit ding wel uitbreiden hoor, en als
iemand een MySQL server heeft is het geen probleem om zo`n
10.000 topics per nacht op te halen, parsen, en te inserten..

Hierna kan je op ALLES zoeken...

quote:

---

Op dinsdag 21 januari 2003 22:43 schreef ChOas het volgende:

[..]

LOL... okay, okay... maar niet NU

Als je echt wil kan dit ding wel uitbreiden hoor, en als
iemand een MySQL server heeft is het geen probleem om zo`n
10.000 topics per nacht op te halen, parsen, en te inserten..

Hierna kan je op ALLES zoeken...

---

quote:

---

Op dinsdag 21 januari 2003 22:42 schreef mvt het volgende:

[..]

Volgens mij moet Danny/Ted/Arjen daarvoor even een (relationeel) model geven van de database,

---

quote:

---

Op dinsdag 21 januari 2003 22:35 schreef yvonne het volgende:

[..]

En wederom, hulde!!!!

Kijk heren, hier kunnen we wat mee, poetisch en leerzaam EN we snappen het!!

---

quote:

---

Op dinsdag 21 januari 2003 22:18 schreef mvt het volgende:

[..]

Oplossing 1 (volgens mij de oplossing van Arcee):
Je huurt een secretaresse (T. Miep) en die vraagt aan Willem alles en gaat met een turflijst turven wie waar iets neergezet heeft.

Oplossing 2 : (en daar heb je flink wat rechten, of een copy vd database voor nodig)
Je stelt zelf een vraag aan Dirk en die komt met het antwoord.

---

Voor oplossing 2 moet je dus direct met Dirk gaan praten. Is leuk, maar Dirk staat niet in het telefoonboek en z'n adres is ook niet bekend. Er zijn maar een paar mensen die die info hebben, en die vertellen het niet. Willem zou nog eerder z'n pincode geven dan adresinfo van Dirk.

quote:

---

Op dinsdag 21 januari 2003 22:50 schreef oYo het volgende:
Gewoon ff backuppen via http://dbadmin.tweakers.net/

---

quote:

---

Op dinsdag 21 januari 2003 22:48 schreef Light het volgende:

[..]

Die secretaresse heet natuurlijk Miep T.
En Arcee ging niet met de hand turven.

---

quote:

---

Voor oplossing 2 moet je dus direct met Dirk gaan praten. Is leuk, maar Dirk staat niet in het telefoonboek en z'n adres is ook niet bekend. Er zijn maar een paar mensen die die info hebben, en die vertellen het niet. Willem zou nog eerder z'n pincode geven dan adresinfo van Dirk.

---

quote:

---

Op dinsdag 21 januari 2003 22:44 schreef ChOas het volgende:

[..]

Kan ook wel opnieuw hoor, maar ik heb nu niet zo`n zin
om in de HTML code te duiken, om die te parsen

---

quote:

---

Op dinsdag 21 januari 2003 23:04 schreef Light het volgende:

[..]

Het forum hangt in elkaar met JavaScript, dus zoveel html hoef je niet te parsen

---

Word je NIET blij van...

Ik heb nu even als vaste punt genomen dat een message
begint met ');message(' ... Maar dat is niet helemaal
juist, en wanneer die tag IN een post staat word je
al HELEMAAL niet blij, nog niet zo netjes dus...

Maar ik zal even kijken of ik morgen ofzo tijd heb om
zo`n paginaatje door te spitten, en de juiste start, en
end tags te zoeken...

Daarna is het, zoals ik al zei, koekie

quote:

---

Op dinsdag 21 januari 2003 23:08 schreef ChOas het volgende:

[..]

Wel eens naar zo`n pagina source gekeken ?

---

quote:

---

Word je NIET blij van...

Ik heb nu even als vaste punt genomen dat een message
begint met ');message(' ... Maar dat is niet helemaal
juist, en wanneer die tag IN een post staat word je
al HELEMAAL niet blij, nog niet zo netjes dus...

Maar ik zal even kijken of ik morgen ofzo tijd heb om
zo`n paginaatje door te spitten, en de juiste start, en
end tags te zoeken...

Daarna is het, zoals ik al zei, koekie

---

Het idee is dus vrij simpel:
message(<msg id>,<username>,<userid>,?ondertitel?,<plaatje url>,??,<datum>,<icq>,<message>,??,<signature>,??,??,??,??);

En kwootjes worden gewoon van een \ voorzien, zodat bijvoorbeeld <message> werkelijk 1 string is. Wel zo overzichtelijk bij het parsen. Mijn PHP en Perl kennis zijn echter minimaal, dus 'k zou een manual in moeten duiken om een parser te kunnen maken

quote:

---

Op dinsdag 21 januari 2003 23:33 schreef SuperRembo het volgende:
Het maakt het een stuk eenvoudiger als je de text-only versie zonder http compressie gebruikt.

---

quote:

---

Op dinsdag 21 januari 2003 23:33 schreef SuperRembo het volgende:
Het maakt het een stuk eenvoudiger als je de text-only versie zonder http compressie gebruikt.

---

quote:

---

Op dinsdag 21 januari 2003 23:41 schreef Chandler het volgende:
Het is zo simpel doch reeds omslachtig, danny moet gewoon een andere ingang hebben gecreerd anders ben je echt goed gek

---

quote:

---

Op woensdag 22 januari 2003 10:06 schreef Isabeau het volgende:
We hebben dus gewoon Arcee nodig

---

quote:

---

Op woensdag 22 januari 2003 10:14 schreef mvt het volgende:
En natuurlijk Danny en de rest over welke afspraken er gemaakt zijn met Arcee en of bijvoorbeeld chOas die rechten ook kan krijgen.

---

quote:

---

Op woensdag 22 januari 2003 10:16 schreef Tijn het volgende:

[..]

Voor zover ik weet heeft Arcee nooit enige databaserechten gekregen.

---

quote:

---

Op woensdag 22 januari 2003 10:19 schreef Isabeau het volgende:
Hoi Tijn

---

Het geeft niet als je het niet helemaal meer snapt hoor, ik doe gewoon mn best om lijstjes voor elkaar te krijgen

_{jeetje, wat viel jij net uit tegen die mavo'er}

quote:

---

Op woensdag 22 januari 2003 10:19 schreef mvt het volgende:

[..]

Slarioux : Dexter

---

quote:

---

Op woensdag 22 januari 2003 10:22 schreef Isabeau het volgende:

[..]

En iedereen zich maar afvragen waar ik dat slechte beeld van mavo'ers vandaan heb. Nou daar dus.

---

quote:

---

Op woensdag 22 januari 2003 10:11 schreef Tijn het volgende:

[..]

Ik vestig al mijn hoop op ChOas !

---

Okay dan! ... Het is geen probleem om een tooltje te maken
die de database leegtrekt, parsed, en in een andere database propt... die heb ik binnen een uurtje klaar... maar er zijn de volgende problemen:

quote:

---

Op woensdag 22 januari 2003 10:32 schreef Isabeau het volgende:
Ik wed dat Arcee helemaal in een deuk ligt als hij dit leest omdat hij alles veel simpeler deed. Gokje hoor

---

Das feitelijk wat chaos ook wil doen volgens mij

quote:

---

Op woensdag 22 januari 2003 10:22 schreef Isabeau het volgende:

[..]

En iedereen zich maar afvragen waar ik dat slechte beeld van mavo'ers vandaan heb. Nou daar dus.

---

quote:

---

Op woensdag 22 januari 2003 10:33 schreef Tijn het volgende:

[..]

Ik denk dat dat nog wel 'es kan tegenvallen, Isa. Ik weet wel dat 'ie iig altijd lang bezig was met het maken van een nieuwe update en dat 'ie (via de search?) echt alle pagina's lang ging met z'n software.

Das feitelijk wat chaos ook wil doen volgens mij

---

quote:

---

Op woensdag 22 januari 2003 10:33 schreef Tijn het volgende:

[..]

Ik denk dat dat nog wel 'es kan tegenvallen, Isa. Ik weet wel dat 'ie iig altijd lang bezig was met het maken van een nieuwe update en dat 'ie (via de search?) echt alle pagina's lang ging met z'n software.

Das feitelijk wat chaos ook wil doen volgens mij

---

Net even gekeken... maar je zit ongeveer tussen de 100 en
200 KB aan data voor een vol topic (Gijs-3)...
Voor topics met meer tekst is dit natuurlijk veel meer...

Maarja... wat wil je eruit halen... alleen post informatie ?

Dan wordt alles VEEL kleiner... nadeel is dan weer dat je
niet kan zien hoevaak iemand een bepaalde smiley heeft gebruikt, etc...

Ik ga overigens voor de Chaos methode.

Ik heb niet zo lang geleden eens eenn html parser geschreven om voetbalstatistieken te vergaren. De methode van Chaos komt daar aardig bij in de buurt.

Het is alleen een kwestie van fine-tunen.

Als je de data eenmaal op de juiste geparst hebt, dan kan je er zoveel lijstjes uit halen wat je maar wilt!

quote:

---

Op woensdag 22 januari 2003 10:41 schreef ChOas het volgende:

[..]

ChOas, maar inderdaad, ja

Net even gekeken... maar je zit ongeveer tussen de 100 en
200 KB aan data voor een vol topic (Gijs-3)...
Voor topics met meer tekst is dit natuurlijk veel meer...

Maarja... wat wil je eruit halen... alleen post informatie ?

Dan wordt alles VEEL kleiner... nadeel is dan weer dat je
niet kan zien hoevaak iemand een bepaalde smiley heeft gebruikt, etc...

---

quote:

---

Op woensdag 22 januari 2003 10:41 schreef ChOas het volgende:

[..]

ChOas, maar inderdaad, ja

Net even gekeken... maar je zit ongeveer tussen de 100 en
200 KB aan data voor een vol topic (Gijs-3)...
Voor topics met meer tekst is dit natuurlijk veel meer...

Maarja... wat wil je eruit halen... alleen post informatie ?

Dan wordt alles VEEL kleiner... nadeel is dan weer dat je
niet kan zien hoevaak iemand een bepaalde smiley heeft gebruikt, etc...

---

quote:

---

Op woensdag 22 januari 2003 10:41 schreef ChOas het volgende:

[..]

Maarja... wat wil je eruit halen... alleen post informatie ?

Dan wordt alles VEEL kleiner... nadeel is dan weer dat je
niet kan zien hoevaak iemand een bepaalde smiley heeft gebruikt, etc...

---

Op hoeveel kom je dan uit?

quote:

---

Op woensdag 22 januari 2003 10:43 schreef mvt het volgende:

[..]

Volgens mij moet het een 1 op 1 copy worden van de FOK database, maar dan gericht op efficient queries runnen ipv de inhoud plaatsen op het net.

---

quote:

---

Op woensdag 22 januari 2003 10:43 schreef mvt het volgende:

[..]

Volgens mij moet het een 1 op 1 copy worden van de FOK database, maar dan gericht op efficient queries runnen ipv de inhoud plaatsen op het net.

---

quote:

---

Op woensdag 22 januari 2003 10:43 schreef SignOTheTimes het volgende:

[..]

Dat van die smileys ben ik niet met je eens. Je kan een een functie schrijven welke alle smileys uit een message body filtert!

---

[Dit bericht is gewijzigd door mvt op 22-01-2003 10:46]

quote:

---

Op woensdag 22 januari 2003 10:44 schreef ChOas het volgende:

[..]

Das dus VEEL data

---

Daarom haalde Arcee Fok! ook maar 1 maal per maand leeg! Anders was het ondoenlijk geworden!

quote:

---

Op woensdag 22 januari 2003 10:44 schreef Tijn het volgende:

[..]

Nee, de smileys, posticons, usernames, forumnames en namen van de topics zijn ook wel belangrijk eigenlijk

Op hoeveel kom je dan uit?

---

quote:

---

Op woensdag 22 januari 2003 10:45 schreef Tijn het volgende:

[..]

Nee, het wordt zeker geen 1 op 1 kopie van de huidige database. Want daarin staan ook rechten vermeld, registratie e-mailadressen, notes en andere meuk die niks hiermee te maken heeft

---

quote:

---

Op woensdag 22 januari 2003 10:47 schreef ChOas het volgende:

[..]

Dit topic tot nu toe: ongeveer 100K... Kan nog wel wat HTML
gestripped worden, maar het is maar een idee...

---

Dus dat wordt grofweg 13,45 GB

Hmmm... is het belangrijk dat de database die deze 13,5 GB bevat aan een snelle verbinding ligt?

quote:

---

Op woensdag 22 januari 2003 10:53 schreef Tijn het volgende:

[..]

Ok, ik heb net even de index bij elkaar opgeteld en kom uit op 141018 topics in de huidige, actieve fora.

Dus dat wordt grofweg 13,45 GB

Hmmm... is het belangrijk dat de database die deze 13,5 GB bevat aan een snelle verbinding ligt?

---

quote:

---

Op woensdag 22 januari 2003 10:47 schreef Tijn het volgende:
Signatures en ondertitels hoeven niet per se, dat scheelt weer

---

Alhoewel je in de database wel bij kan houden of een topic gesloten is. Bij een volgende loop van 1 tot maxtopics kan je in de database checken of je een bepaald topicnummer op moet halen!

[Dit bericht is gewijzigd door SignOTheTimes op 22-01-2003 11:04]

quote:

---

Op woensdag 22 januari 2003 11:01 schreef Isabeau het volgende:
20 GB? Whoa....

---

Of, om in de stijl van de mannetjes te blijven, Dirk heeft een heel groot magazijn nodig

quote:

---

Op woensdag 22 januari 2003 11:03 schreef SignOTheTimes het volgende:
Het zou overigens wel rete handig zijn als je van te voren een lijst had met topics die gesloten zijn of topics die sinds de vorige parse niet gewijzigd zijn. Deze topics hoef je in de toekomst niet nog een keer op te halen.

---

quote:

---

Op woensdag 22 januari 2003 11:11 schreef dolle_hond het volgende:
ik heb niet het hele topic gelezen, maar heb je al rekening gehouden ermee dat de topics soms van een naar ander forum worden geschopt?

---

quote:

---

Op woensdag 22 januari 2003 11:12 schreef mvt het volgende:

[..]

topic# blijft hetzelfde

---

quote:

---

Op woensdag 22 januari 2003 11:12 schreef mvt het volgende:

[..]

topic# blijft hetzelfde

---

Topic dicht -> Open ... Okay, als een topic meer dan 2 dagen
dicht is blijftie dicht...
Wordt dan niet meer gebackupped;

Topic verplaatsen -> Uuuuuhm moet ook wel gaan ook 2 dagen ?
Daarna wordt het niet meer aangepast, topicnummer blijft toch gelijk.

Topic-kick: Bij topics die gebackupt dienen te worden alleen
naar de laatste post kijken: <Huidige datum, op naar het volgende topic...

Of voor dat verplaatsen gewoon 1x in de zoveel tijd
een run over de database maken om te kijken of alles
nog goed staat... is maar 1 post voor nodig, weinig
dataoverdracht dus...

[Dit bericht is gewijzigd door ChOas op 22-01-2003 11:29]

quote:

---

Op woensdag 22 januari 2003 11:27 schreef blieblie het volgende:
Maar waar laat je for god sake 14 gig aan data op het internet? .

---

Ik zal vanavond eens kijken of er een beetje een leuke Fok!-crawler te bouwen valt in PL/SQL. Dan kan ik de backup direct in Oracle zetten wat voldoende mogelijkheden voor lijstjes zou moeten opleveren.

quote:

---

Op woensdag 22 januari 2003 11:27 schreef blieblie het volgende:
Maar waar laat je for god sake 14 gig aan data op het internet? .

---

En 'k denk dat de daadwerkelijke database kleiner is, omdat sommige dingen niet bepaald efficient verstuurd worden. De datum/tijd zal niet als tekst in de database staan, lijkt me

quote:

---

Op woensdag 22 januari 2003 11:39 schreef Light het volgende:

[..]

Op een harde schijf?

En 'k denk dat de daadwerkelijke database kleiner is, omdat sommige dingen niet bepaald efficient verstuurd worden. De datum/tijd zal niet als tekst in de database staan, lijkt me

---

quote:

---

Op woensdag 22 januari 2003 10:53 schreef Tijn het volgende:
Hmmm... is het belangrijk dat de database die deze 13,5 GB bevat aan een snelle verbinding ligt?

---

Snelle download vanaf de databasemachine om Fok! te indexeren is uiteraard wel handig, maar niet noodzakelijk.

* K3 wordt een beetje ontmoedigd (scriptje haalt de eerste 20.000 topics binnen).

Sowieso moet nog wel iemand aan Danny vragen in hoeverre hij dit allemaal toestaat, voordat we van alles gaan regelen en afspreken he Kzal kijken of ik met 'em in contact kan komen.

[Dit bericht is gewijzigd door Tijn op 22-01-2003 11:53]

quote:

---

Op woensdag 22 januari 2003 11:53 schreef Tijn het volgende:
Nou ja, ik kan thuis wel wat ruimte beschikbaar stellen. Kheb op dit moment nog zo'n 30 GB vrij en ik draai al MySQL. Kheb ADSL-verbinding zonder caps (dus 8 MBit/s downstream en 512 kbps upstream). Zou dat werken?

Sowieso moet nog wel iemand aan Danny vragen in hoeverre hij dit allemaal toestaat, voordat we van alles gaan regelen en afspreken he Kzal kijken of ik met 'em in contact kan komen.

---

quote:

---

Op woensdag 22 januari 2003 11:53 schreef ChOas het volgende:

[..]

Hmmmmm... Dat zou een mooi servertje er voor zijn

---

quote:

---

Op woensdag 22 januari 2003 11:51 schreef K3 het volgende:
Ik heb net 1500 topics naar binnen gesleept, en dat is bij elkaar al 35 MB

* K3 wordt een beetje ontmoedigd (scriptje haalt de eerste 20.000 topics binnen).

---

quote:

---

Op woensdag 22 januari 2003 11:54 schreef Tijn het volgende:

[..]

Is het een erg groot probleem dat 'ie Windows 2000 Server draait en geen Linux/BSD?

---

Nee... hoor... niet zo`n groot probleem...

Maar toch.. het idee, hè

quote:

---

Op woensdag 22 januari 2003 11:55 schreef Light het volgende:

[..]

Oke, maar heb je dat dan ook al een beetje efficient opgeslagen? Of gewoon plaintext (en dan ook nog het html bestand zoals het wordt binnengehaald zeker, da's niet efficient.)

---

Helemaal leuk zou het zijn om de boel in hetzelfde formaat als mijn eigen forum te storen .

quote:

---

Op woensdag 22 januari 2003 11:53 schreef Tijn het volgende:
Nou ja, ik kan thuis wel wat ruimte beschikbaar stellen. Kheb op dit moment nog zo'n 30 GB vrij en ik draai al MySQL. Kheb een ADSL-verbinding zonder caps (dus 8 MBit/s downstream en 512 kbps upstream). Zou dat werken?

---

quote:

---

Sowieso moet nog wel iemand aan Danny vragen in hoeverre hij dit allemaal toestaat, voordat we van alles gaan regelen en afspreken he Kzal kijken of ik met 'em in contact kan komen.

---

quote:

---

Op woensdag 22 januari 2003 11:57 schreef ChOas het volgende:

[..]

... Say WHAT ?

Nee... hoor... niet zo`n groot probleem...

Maar toch.. het idee, hè

---

Wat heb je verder nodig? Want het lijkt me idd wel het handigst als de lijstjes ook op die bak zelf gemaakt worden.

quote:

---

Op woensdag 22 januari 2003 11:59 schreef Tijn het volgende:

[..]

Naja, hij draait dus wel MySQL en daar gaat het toch om

Wat heb je verder nodig? Want het lijkt me idd wel het handigst als de lijstjes ook op die bak zelf gemaakt worden.

---

quote:

---

Op woensdag 22 januari 2003 11:59 schreef Tijn het volgende:

[..]

Naja, hij draait dus wel MySQL en daar gaat het toch om

Wat heb je verder nodig? Want het lijkt me idd wel het handigst als de lijstjes ook op die bak zelf gemaakt worden.

---

quote:

---

Op woensdag 22 januari 2003 12:01 schreef ChOas het volgende:

[..]

Perl!

---

quote:

---

Op woensdag 22 januari 2003 12:01 schreef K3 het volgende:

[..]

Je kan kiezen om online stats pagina's te maken, of af en toe op Fok te posten a la Arcee .

---

code:

---

Poster: 'Isabeau'
Date: 'woensdag 22 januari 2003 11:53'
Sub: 'flowers of blood'
Img: 'http://forum.fok.nl/usericons/859/Vampirella.jpg'
Poster: 'ChOas'
Date: 'woensdag 22 januari 2003 11:53'
Sub: 'DreamChaser'
Img: 'http://forum.fok.nl/usericons/693/math.gif'
Poster: 'Tijn'
Date: 'woensdag 22 januari 2003 11:54'
Sub: 'La la laaa la la laaa la la la'
Img: 'http://forum.fok.nl/usericons/12221/tijn_mod.gif'
Poster: 'Light'
Date: 'woensdag 22 januari 2003 11:55'
Sub: ''
Img: 'http://forum.fok.nl/usericons/11802/lampje.jpg'
Poster: 'ChOas'
Date: 'woensdag 22 januari 2003 11:57'
Sub: 'DreamChaser'
Img: 'http://forum.fok.nl/usericons/693/math.gif'
Poster: 'K3'
Date: 'woensdag 22 januari 2003 11:57'
Sub: '(moderator K3-forum)'
Img: 'http://forum.fok.nl/usericons/19383/K3.gif'
Poster: 'Litpho'
Date: 'woensdag 22 januari 2003 11:58'
Sub: 'www.somethingpositive.net'
Img: 'http://forum.fok.nl/usericons/28445/difrancoshouting.jpg'
Poster: 'Tijn'
Date: 'woensdag 22 januari 2003 11:59'
Sub: 'La la laaa la la laaa la la la'
Img: 'http://forum.fok.nl/usericons/12221/tijn_mod.gif'
Poster: 'K3'
Date: 'woensdag 22 januari 2003 12:01'
Sub: '(moderator K3-forum)'
Img: 'http://forum.fok.nl/usericons/19383/K3.gif'
Poster: 'ChOas'
Date: 'woensdag 22 januari 2003 12:01'
Sub: 'DreamChaser'
Img: 'http://forum.fok.nl/usericons/693/math.gif'
Poster: 'Tijn'
Date: 'woensdag 22 januari 2003 12:03'
Sub: 'La la laaa la la laaa la la la'
Img: 'http://forum.fok.nl/usericons/12221/tijn_mod.gif'
Poster: 'Tijn'
Date: 'woensdag 22 januari 2003 12:04'
Sub: 'La la laaa la la laaa la la la'
Img: 'http://forum.fok.nl/usericons/12221/tijn_mod.gif'

---

quote:

---

Op woensdag 22 januari 2003 12:08 schreef ChOas het volgende:
Kijk ... Als ik mijn scriptje over deze pagina draai komt
er zo iets uit (de inhoud van de post even weggelaten, want
dat fucked de layout up)

code:

---

Poster: 'Isabeau'
Date: 'woensdag 22 januari 2003 11:53'
Sub: 'flowers of blood'
Img: 'http://forum.fok.nl/usericons/859/Vampirella.jpg'

---

Makkelijk in een DB te inserten dus...

---

quote:

---

Op woensdag 22 januari 2003 12:08 schreef ChOas het volgende:
Kijk ... Als ik mijn scriptje over deze pagina draai komt
er zo iets uit (de inhoud van de post even weggelaten, want
dat fucked de layout up)

code:

---

---

Makkelijk in een DB te inserten dus...

---

quote:

---

Op woensdag 22 januari 2003 12:12 schreef Light het volgende:

[..]

Sub en Img zijn niet echt nuttig om in een database te planten. Punt 1 horen ze bij het profiel, niet bij de post. En echt nuttig voor de stats zijn ze ook niet...

---

Ik bedoel maar alleen te laten zien dat het makkelijk te
parsen is, en ik heb maar gewoon een paar items genomen
die kort waren, zodat de layout niet opgefucked werd

Eentje doen met inhoud van posts, poster, en datum dan ?

Of gewoon ff scrippie posten zodat je kan experimenteren ?

quote:

---

Op woensdag 22 januari 2003 12:16 schreef ChOas het volgende:

[..]

Het was maar een voorbeeld jongens, sorry!!

Ik bedoel maar alleen te laten zien dat het makkelijk te
parsen is, en ik heb maar gewoon een paar items genomen
die kort waren, zodat de layout niet opgefucked werd

Eentje doen met inhoud van posts, poster, en datum dan ?

Of gewoon ff scrippie posten zodat je kan experimenteren ?

---

quote:

---

Op woensdag 22 januari 2003 12:36 schreef Light het volgende:

[..]

Scriptje posten is wel een idee, dan kan ik vanavond eventueel ook nog wat gaan spelen.

---

php:

---

<?
#!/usr/bin/perl -w

use strict;

use LWP::Simple;
my $MaxnumberOfTopics=1;
for (my $Topic=1; $Topic<=$MaxnumberOfTopics; ++$Topic)
{
  #my $Content=get("http://forum.fok.nl/showtopic.php/$Topic/1/255");
  my $Content=get("http://forum.fok.nl/showtopic.php/257667/1/255");
  my @Messages=split /);message(/,$Content;
  $Messages[0]=~s/.*?<SCRIPT TYPE="text\/javascript">message(//;
  $Messages[-1]=~s/</SCRIPT>.*//;

  for (@Messages)
  {
    my @Info=Parse_Msg($_);
    my ($Poster,$Message,$Sub,$Img,$Date)=@Info[1,8,3,4,6];
    print "Poster: $Poster\n";
    print "Date: $Date\n";
    print "Sub: $Sub\n";
    print "Img: $Img\n";
    #print "Message: $Message\n";
  };
};

 sub Parse_Msg
 {
  my $Text = shift;
  my @New = ();
  push(@New, $+) while $Text =~ m{"([^\"\\]*(?:\\.[^\"\\]*)*)",?| ([^,]+),?| ,}gx;
  push(@New, undef) if substr($Text, -1,1) eq ',';
  return @New;
};
?>

---

quote:

---

Op woensdag 22 januari 2003 12:37 schreef lurf_doctor het volgende:
Wat dacht je van NIET

---

quote:

---

Op woensdag 22 januari 2003 12:38 schreef Litpho het volgende:

[..]

Wat zouden we toch moeten doen zonder jouw goede advies?

---

[Dit bericht is gewijzigd door sop op 22-01-2003 12:51]

quote:

---

Op woensdag 22 januari 2003 12:49 schreef sop het volgende:
Overigens werd er hier al over bandbreedte gerept. Dat valt reuze mee hoor.
De scriptjes om de statistieken te maken draaien op de server en die geven alleen serverbelasting, geen dataverkeer.
Alleen de output genereerd dataverkeer.

---

quote:

---

Op woensdag 22 januari 2003 12:49 schreef ChOas het volgende:

[..]

Uuuuuhm... en de database leegtrekken dus

---

quote:

---

Op woensdag 22 januari 2003 12:54 schreef sop het volgende:

[..]

uiteraard. Maar da's toch gewoon normaal fok! gebruik

---

quote:

---

Op woensdag 22 januari 2003 12:56 schreef Light het volgende:

[..]

Vast. De hele database in een nachtje leegtrekken normaal gebruik? Ik denk het niet...

---

quote:

---

Op woensdag 22 januari 2003 12:49 schreef sop het volgende:

Alleen de output genereert dataverkeer.

---

quote:

---

Op woensdag 22 januari 2003 13:00 schreef Tijn het volgende:
De stats komen niet online te staan, dus dat is er ook niet Eén keer in de zoveel tijd worden er gewoon een aantal lijstjes gemaakt van de huidige database en die worden gepost en dan is er weer een maandje niks

---

quote:

---

Op woensdag 22 januari 2003 13:05 schreef MoJo het volgende:
Met Imagedownloader kun je een hele site downloaden..

---

quote:

---

Op woensdag 22 januari 2003 13:08 schreef K3 het volgende:

[..]

met wget kun je alle topics aflopen .

---

Met dat Perl-script ook, en dan wordt alles ook nog eens ge-parsed

[ego-mode=off]

Ik zou ervoor kiezen om een sub-domein te vragen aan Danny oid. en 1 keer per maand alle gegevens te laten auto-updaten... Heb je 1 keer in de maand behoorlijk wat dataverkeer, en is het toch redelijk uptodate. En hou je wel gewoon de regelmaat vast die Arcee er ook op na hield.

quote:

---

Op woensdag 22 januari 2003 13:30 schreef Aaargh! het volgende:
Leukste zou natuurlijk zijn om de hele zooi in een PostgreSQL database te gooien, (PostegreSQL ondersteund itt MySQL wel subqueries). Dan kan je nl. ook wat ingewikkeldere/onzinnige stats maken.

---

quote:

---

Op woensdag 22 januari 2003 13:30 schreef Aaargh! het volgende:
Leukste zou natuurlijk zijn om de hele zooi in een PostgreSQL database te gooien, (PostegreSQL ondersteund itt MySQL wel subqueries). Dan kan je nl. ook wat ingewikkeldere/onzinnige stats maken.

---

_{OK, bijna nooit}

quote:

---

Op woensdag 22 januari 2003 13:50 schreef K3 het volgende:
Als je goed kan joinen heb je geen subqueries nodig

_{OK, bijna nooit}

---

_{af en toe}

quote:

---

Op woensdag 22 januari 2003 13:35 schreef blieblie het volgende:
Ik vind het wel een top idee, maar is er al enig idee hoe de output verzorgt wordt?

Ik zou ervoor kiezen om een sub-domein te vragen aan Danny oid. en 1 keer per maand alle gegevens te laten auto-updaten... Heb je 1 keer in de maand behoorlijk wat dataverkeer, en is het toch redelijk uptodate. En hou je wel gewoon de regelmaat vast die Arcee er ook op na hield.

---

quote:

---

Op woensdag 22 januari 2003 12:49 schreef sop het volgende:
Overigens werd er hier al over bandbreedte gerept. Dat valt reuze mee hoor.
De scriptjes om de statistieken te maken draaien op de server en die geven alleen serverbelasting, geen dataverkeer.
Alleen de output genereert dataverkeer.

---

quote:

---

Op woensdag 22 januari 2003 14:39 schreef mvt het volgende:

[..]

Klopt, maar bij de ontvanger gaat de dataverkeer ook tellen. Als je >20 GB wilt downloaden op 1 nachtje en je hebt een Fair Use Policy, dan gaat je provider klagen.

---

quote:

---

Op woensdag 22 januari 2003 14:39 schreef mvt het volgende:

[..]

Klopt, maar bij de ontvanger gaat de dataverkeer ook tellen. Als je >20 GB wilt downloaden op 1 nachtje en je hebt een Fair Use Policy, dan gaat je provider klagen.

---

Maar wat betreft Fok! en de source.
Men neme een php, en besluit dat de php een topic met nummer 257667 op moet slaan in het bestand topic257667.htm

dan doet men:

php:

---

<?
$source = implode("",file("http://forum.fok.nl/showtopic.php/$topicnr/1/300"));

$source = substr($source, strpos(strtolower($source),"</head>") + 7);

$source = substr($source, strpos(strtolower($source), "<script type=\"text/javascript\">message"));
$source = substr($source,0,strpos(strtolower($source),"</script>")+8);
?>

---

dan open je met php je lokale bestand:
$file = fopen("topic257667.htm","w");

daarin gooi je wat zut:

code:

---

<head><title>Eventueel rip je dan nog de titletag uit de source</title>
<script type="text/javascript" src="mijnjavascript.js">
</head>
<body>
$source
</body>
</html>

---

echo "<script>var thistopic = 257667; document.location=\"gettopic.php?topic=\" + (thistopic+1); </script>";
)

en dan start je op je localhost je browserwindow op en ga je 2 weken iets anders doen.

owja. voor mijnjavascript.js kan je gewoon alle losse fok!scripts in een file flikkeren geloof ik.

zo moeilijk was het toch niet?

Ik heb even in C# zitten meuken, en kan reeds het volgende...

Ik kan een topic onderverdelen in posts, elke post heb ik in een array zitten.

In die array heb ik het post nummer, de user, usernummer, ondertitel, usericon href, datum van de post, de body en de ondertitel.

De parser op zich werkt dus perfect, nu nog in een DB stouwen!

code:

---

private void Form1_Load(object sender, System.EventArgs e)
{
  string strFile;
  string strLine;
  string[] strArray;

  int intCurPos;
  int intNextPos;
  int intEndPos;

  Uri uri = new Uri("http://forum.fok.nl/showtopic.php/999999/1");
  StreamReader sr = OpenFile(uri);
                  
  strFile = sr.ReadToEnd();

  intCurPos = 0;

  while(true)
  {
    intNextPos = strFile.ToLower().IndexOf("message(", intCurPos);
    if (intNextPos == -1)
      break;

    intEndPos = strFile.IndexOf("');", intNextPos + 1);
    strLine = strFile.Substring(intNextPos + 8, intEndPos - intCurPos - 9);
    strArray = strLine.Split(Convert.ToChar("'"));
  
    // 1 is de username
    lstUsers.Items.Add(strArray[1]);
                        
    intCurPos = intEndPos;
  }                  }
}

private StreamReader OpenFile(Object o)
{
  try
  {
    Uri uri = o as Uri;

    HttpWebRequest req = (HttpWebRequest)WebRequest.Create(uri);
    req.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Q312461; .NET CLR 1.0.3705)";
    HttpWebResponse res = (HttpWebResponse)req.GetResponse();
    StreamReader sr = new StreamReader(res.GetResponseStream(), Encoding.UTF8);

    return sr;
  }
  catch(Exception ex)
  {
    lbMessage.Text = "Error on ThreadID {0}: {1}" + AppDomain.GetCurrentThreadId()+ ex.Message;
    return null;
  }
}

---

quote:

---

Op woensdag 22 januari 2003 15:19 schreef Roonaan het volgende:
* Roonaan gaat dan ook maar coden.. zit zelf te denken aan xml output eigenlijk..

---

quote:

---

Op woensdag 22 januari 2003 15:19 schreef Roonaan het volgende:
* Roonaan gaat dan ook maar coden.. zit zelf te denken aan xml output eigenlijk..

---

quote:

---

Op woensdag 22 januari 2003 15:27 schreef Litpho het volgende:

[..]

Voor. Dan kan iedereen die dat wil die output zonder al te veel problemen inlezen in zijn/haar eigen DB'tje en daar eigen zoekvragen op los laten.

---

Dan heb je namelijk de miljoenen reacties en honderduizenden topics al in een wat voor formaat bestand dan ook staan.
Toevoegingen kan je dan zelf een keer maken.

quote:

---

Op woensdag 22 januari 2003 15:38 schreef Roonaan het volgende:
Daar hoopte ik al op Aaarg!

---

Ja... moet wel... want ik doe een standaard get, zonder
cookies... *phew*

quote:

---

Op woensdag 22 januari 2003 15:39 schreef Aaargh! het volgende:

[..]

Helaas blijkt mijn progje alleen te werken met de oude layout. en aangezien de 'nieuwe' nu default is werkt het niet meer.
Ik ga eens ff uitzoeken hoe ik vanuit PHP een cookie meestuur, dan kan ik de text-only layout uitlezen, da's helemaal makkelijk

---

quote:

---

Op woensdag 22 januari 2003 15:45 schreef Roonaan het volgende:
Kan fok! niet een 'mail dit topic' optie toevoegen is lichtelijk spamgevoelig, maar toch

---

Voor Aarghh, dit is text-only

quote:

---

Op woensdag 22 januari 2003 15:48 schreef mvt het volgende:

[..]

Kan je niet de Print-Topic gebruiken??

Voor Aarghh, dit is text-only

---

Is alleen iets trickier te parsen, maar ik ga het toch proberen

-edit- hmmmm alleen mist er informatie over het post-nr...
da`s wel jammer...

quote:

---

Op woensdag 22 januari 2003 15:59 schreef ChOas het volgende:
-edit- hmmmm alleen mist er informatie over het post-nr...
da`s wel jammer...

---

quote:

---

Op woensdag 22 januari 2003 16:04 schreef SignOTheTimes het volgende:
Er zitten toch best wel tricky dingen in die je moet afvangen. Zo gaat mijn parser al over z'n nek door de code van Chaos in dit topic.

---

quote:

---

Op woensdag 22 januari 2003 16:05 schreef K3 het volgende:

[..]

Idd, en da's best handig als je mooie stats wil genereren .

---

http://deepthought.student.utwente.nl/~aaargh/fokxml/topic.php?tid=257667&page=9

quote:

---

Op woensdag 22 januari 2003 16:38 schreef Aaargh! het volgende:
Het begint er al weer een beetje op te lijken:

http://deepthought.student.utwente.nl/~aaargh/fokxml/topic.php?tid=257667&page=9

---

quote:

---

Op woensdag 22 januari 2003 16:44 schreef SignOTheTimes het volgende:
Hoe heb je overigens het probleem met de Komma in de body zelf opgelost?

---

quote:

---

Op woensdag 22 januari 2003 16:48 schreef Aaargh! het volgende:

[..]

Komma's in de body zelf worden ge-escaped, en ik doe dus eerst een search en replace, alle \' vervangen door &acute;

---

quote:

---

Op woensdag 22 januari 2003 16:50 schreef K3 het volgende:

[..]

Volgens my bedoelt SotT de comma's tussen de verschillende functieparameters.

---

quote:

---

Op woensdag 22 januari 2003 16:51 schreef SignOTheTimes het volgende:

[..]

Nee, ik bedoel de komma's in het bericht. Op dit moment doe ik een split van de message op basis van de komma, maar ik krijg uiteraard een extra split door een comma in de body!

---

[Dit bericht is gewijzigd door Aaargh! op 22-01-2003 16:56]

quote:

---

Op woensdag 22 januari 2003 16:51 schreef SignOTheTimes het volgende:

[..]

Nee, ik bedoel de komma's in het bericht. Op dit moment doe ik een split van de message op basis van de komma, maar ik krijg uiteraard een extra split door een comma in de body!

---

Maar eerst ff eten koken zo.

quote:

---

Op woensdag 22 januari 2003 16:55 schreef ChOas het volgende:

[..]

En DAAR zijn reguliere expressies juist zo handig voor

---

quote:

---

Op woensdag 22 januari 2003 15:43 schreef Aaargh! het volgende:
Iemand enig idee of het mogelijk is de text-only layout aan te zetten door een parameter mee te sturen in de url ?

---

quote:

---

Op woensdag 22 januari 2003 18:25 schreef Light het volgende:

[..]

Je kunt proberen de webserver voor de gek te houden en doen alsof je een textbased browser (links,lynx) bent

---

quote:

---

Op woensdag 22 januari 2003 18:58 schreef Aaargh! het volgende:

[..]

Dat maakt niet uit, de Fok! code kijkt niet naar met wat voor browser je browsed. ook als je met links de site bezoekt zal ie standaard de 'nieuwe' layout voor je neus toveren.

---

Als je wel een voorkeur opgeeft, zal 'ie altijd de voorkeur pakken.

quote:

---

Op woensdag 22 januari 2003 18:59 schreef Tijn het volgende:

[..]

Niet als je in je profiel geen voorkeur opgeeft voor de layout.

---

quote:

---

Op woensdag 22 januari 2003 19:02 schreef Aaargh! het volgende:

[..]

Ik heb geen profiel, ik ben niet ingelogged met links.

---

quote:

---

Op woensdag 22 januari 2003 19:02 schreef Aaargh! het volgende:

[..]

Ik heb geen profiel, ik ben niet ingelogged met links.

---

Bold
Italic
Underline
Strikethrough
^superscript
_subscript

* Aaargh! type 1
* Aaargh! type 2
* henk type 3

Plaatjes:

normaal

resized

Lijst

Gewoon URL
http://www.fok.nl

Fancy URL
Fok!

Plaatje met link:

quote test:

quote:

---

kwootje

---

code:

---

+---------+
| |
| test |
| |
+---------+

---

php:

---

<?
 if ($fok == "gezellig") {
// FOK! is gezellig, dus het is leuk
echo "Lalala, PHP, leuk zeg.\n";
}else{
// FOK! is niet gezellig
echo "Lalala, PHP, mislukt.\n";
}
?>

---

Wat simple stats op simple pagina'tje
The F-Files

quote:

---

Op woensdag 22 januari 2003 20:48 schreef Aaargh! het volgende:
Lap text.

---

quote:

---

Op woensdag 22 januari 2003 22:14 schreef Solomon het volgende:

[..]

Je bent die andere duivelssmiley vergeten:
waarom staat duivel niet bij reactie?

---

Ik heb nu tot aan het highlighted php deel er in zitten.

Als het XML deel af is ga ik een XML->mysql (of PostgreSQL, maar dan moet ik die eerst installeren) tooltje maken, waarna ik wat proeven ga doen met het inlezen van topics.

quote:

---

Op woensdag 22 januari 2003 22:14 schreef Solomon het volgende:

[..]

Je bent die andere duivelssmiley vergeten:
waarom staat duivel niet bij reactie?

---

Ik gebruik het zelf altijd om babes galleries te rippen

quote:

---

Op woensdag 22 januari 2003 22:36 schreef Kikker_Plons het volgende:
Of je moet eventjes op google zoeken naar Teleport pro. Een programmatje die een kopie maakt van een website. Werkt errruug goed! (moet je wel eventjes de serial key 'kopen' anders heb je een beperking).

Ik gebruik het zelf altijd om babes galleries te rippen

---

De binnengehaalde topics worden dan gestripped zodat er één query komt die een topic aanmaakt in de topic-tabel, en per reactie een reactie in de reactie-tabel stopt:

code:

---

INSERT INTO topics(id, name, forumid) VALUES(7707, 'vrijgezel of niet! deel 1002', 11);

INSERT INTO reactions(reactionID, topicID, username, date, message) VALUES(162131, 7707, 'bixister', '10-05-2000 17:47', ' <BLOCKQUOTE><font size=\"1\" face=\"Verdana, Arial, Helvetica\">quote:</font><HR><B>op 05-08-2000 om 11:02 PM schreef Taz4fun het volgende: </B><BR>Ik moet ff ingrijpen. Ik zie mezelf tussen de vrijgezellen staan, maar dat ben ik niet meer. Iemand die een niet slim iemand wel leuk vond en nu ben ik weer bezet.<BR><HR></BLOCKQUOTE><P>eh taz4fun, wie van de 3 is uiteindelijk de gelukkige geworden??? of is er een nr 4 op de proppen gekomen.<P><BR>bix<P>-----------------<BR>nieuwsgierig? brede interesse zeggen mijn vrienden <IMG SRC=\"i/s/smile.gif\">');

---

Zo'n Fok! import is dus nog een hele klus. Maar goed, ik ben nu begonnen, dus ik maak het ook af

Ik heb nu nl. een Topic -> XML script die de boel weer naar UBB gooit met uitzondering van de smilies (die maak ik morgen wel ff af).

Ik was van plan de data rechtstreeks in een database te gooien, ik denk dat dat minder ruimte kost dan eerst de rauwe data opslaan op schijf.

quote:

---

Op woensdag 22 januari 2003 23:40 schreef Aaargh! het volgende:
Je laat gewoon de HTML er in staan ?

Ik heb nu nl. een Topic -> XML script die de boel weer naar UBB gooit met uitzondering van de smilies (die maak ik morgen wel ff af).

Ik was van plan de data rechtstreeks in een database te gooien, ik denk dat dat minder ruimte kost dan eerst de rauwe data opslaan op schijf.

---

Parse error: parse error in /home/aaargh/public_html/fokxml/topic.php on line 131

oeps?

quote:

---

Op woensdag 22 januari 2003 23:55 schreef Chandler het volgende:
aaargh:

Parse error: parse error in /home/aaargh/public_html/fokxml/topic.php on line 131

oeps?

---

kan je niet gewoon dat hele blok javazooi in de database rammen als veld? en dat je bij het zoeken gewoon pas gaat parsen?

quote:

---

Op donderdag 23 januari 2003 11:10 schreef Roonaan het volgende:
*stomme opmerking gaat maken;

kan je niet gewoon dat hele blok javazooi in de database rammen als veld? en dat je bij het zoeken gewoon pas gaat parsen?

---

quote:

---

Op donderdag 23 januari 2003 11:10 schreef Roonaan het volgende:
*stomme opmerking gaat maken;

kan je niet gewoon dat hele blok javazooi in de database rammen als veld? en dat je bij het zoeken gewoon pas gaat parsen?

---