hoi 
Tsja, de vraag staat er al. Alles i.v.m de vacature Vacature: Arcee gezocht!
We vroegen ons af hoe je dan in godsnaam Fok opslaat om er vervolgens statistische dingen over heen te gooien (en wat dan?).
Rechtermuisknop en dan copy of zo dat gaat zeker niet werken, daarbij wil je niet alle topics eerst bij langs gaan 
En laat de vragen nou in hemelsnaam niet onbeantwoord...dan ga ik nog geloven dat Arcee de meest briljante fokker ooit was. Dat kan toch niet de bedoeling zijn?
Dan wil ik hem ook wel 
quote:Dat heeft Arcee vast ook niet gedaan!!!
Op dinsdag 21 januari 2003 20:59 schreef miss_bleu het volgende:
Aan danny een kopie vragen
Weet dan niemand hoe het moet?
quote:zie de post boven je reply, Roonaan kan dat erg simpel doen want had ooit een fok layout gemaakt die hij van Danny moest verwijderen en kan simpel alles aan elkaar knopen
Op dinsdag 21 januari 2003 21:01 schreef Isabeau het volgende:[..]
Dat heeft Arcee vast ook niet gedaan!!!
Weet dan niemand hoe het moet?
quote:Alle topics, en alle pagina`s in de topics aflopen...
Op dinsdag 21 januari 2003 21:01 schreef Isabeau het volgende:[..]
Dat heeft Arcee vast ook niet gedaan!!!
Weet dan niemand hoe het moet?
Kan met een klein Perl scriptje.. is niet zo`n probleem...
Je moet alleen de ruimte hebben
)ik snap het trouwens nog steeds niet, help yvonne, wat doe ik hier!
Dus jullie willen Arcee's functie als statisticus wel overnemen?
maar ik denk dat je beter bij database beheer kunt zijn van FOK! 
quote:Als je het fixt met een database heb je er nog veel meer plezier van en krijg je veel meer resultaten als je gaat zoeken.
Op dinsdag 21 januari 2003 21:03 schreef ChOas het volgende:[..]
Alle topics, en alle pagina`s in de topics aflopen...
Kan met een klein Perl scriptje.. is niet zo`n probleem...
Je moet alleen de ruimte hebben
quote:Nee, die kreeg hij volgens mij juist niet.
Op dinsdag 21 januari 2003 21:21 schreef SunChaser het volgende:
Arcee heeft ooit ergens gezegd dat hij gewoon een back-up krijgt van CoDanTed.
quote:Lijkt me idd de meest logische oplossing
Op dinsdag 21 januari 2003 21:21 schreef SunChaser het volgende:
Arcee heeft ooit ergens gezegd dat hij gewoon een back-up krijgt van CoDanTed.
quote:Ik kan me ook zoiets herinneren. Of hij had aangepaste db-rechten ofzo.
Op dinsdag 21 januari 2003 21:21 schreef SunChaser het volgende:
Arcee heeft ooit ergens gezegd dat hij gewoon een back-up krijgt van CoDanTed.
quote:Dat was iig niet zo, want na de crash in 2001 was codanted (en dus fok) een maand forum kwijt, terwijl arcee tot een paar dagen voor de crash had gesaved.
Op dinsdag 21 januari 2003 21:24 schreef Chandler het volgende:[..]
Lijkt me idd de meest logische oplossing
quote:Anders kun je nooit die lijstjes maken, denk je dat hij dat handmatig doet soms?
Op dinsdag 21 januari 2003 21:24 schreef I.R.Baboon het volgende:[..]
Nee, die kreeg hij volgens mij juist niet.
quote:Volgens mij had hij een programmatje (gemaakt?) dat de topiclijsten afliep. Dat werkte niet meer toen je niet meer heel onzin kon inlezen. Als hij de database had gekregen had hij niet dat soort triviale problemen gehad.
Op dinsdag 21 januari 2003 21:25 schreef SunChaser het volgende:[..]
Anders kun je nooit die lijstjes maken, denk je dat hij dat handmatig doet soms?
Arcee's backup?
quote:Dan heeft/had hij een script die het volgende deed
Op dinsdag 21 januari 2003 21:25 schreef I.R.Baboon het volgende:[..]
Dat was iig niet zo, want na de crash in 2001 was codanted (en dus fok) een maand forum kwijt, terwijl arcee tot een paar dagen voor de crash had gesaved.
1. alle topics doorliep en daar eerst het aantal reply's van opvroeg (of de laaste wijziging.
2. deze in een soortement (eigngemaakte) database opsloeg
3. daar de queries oplos liet.
quote:Je moet met je ogen knipperen en eisen dat ze het langzaam en in blondjestaal uitleggen.
Op dinsdag 21 januari 2003 21:11 schreef Isabeau het volgende:
(ik was aan het typen terwijl jij je reactie plaatste, Chandlerik snap het trouwens nog steeds niet, help yvonne, wat doe ik hier!
Dus jullie willen Arcee's functie als statisticus wel overnemen?
O, en een verhaaltje met een mannetje ofzo, helpt ook!!
quote:Die was niet van Danny of Ted, want anders hadden ze die wel meteen teruggezet.
Op dinsdag 21 januari 2003 21:26 schreef SunChaser het volgende:
Arcee kreeg wel degelijk een back-up.
Arcee's backup?
quote:Dat was toch Jip & Janneke taal?
Op dinsdag 21 januari 2003 21:27 schreef yvonne het volgende:Je moet met je ogen knipperen en eisen dat ze het langzaam en in blondjestaal uitleggen.
Ik wil Blondjes Jip & Janneke taal
(eigenlijk wil ik gewoon een vervanger voor Arcee of Arcee zelf)
quote:Zoals al gezegd kun je met scripts alle topics opvragen en die opslaan. Hieruit kun je inderdaad de gegevens halen die hij presenteerde.
Op dinsdag 21 januari 2003 21:25 schreef SunChaser het volgende:[..]
Anders kun je nooit die lijstjes maken, denk je dat hij dat handmatig doet soms?
Overigens wilde hij inderdaad meer features dacht ik, omdat hij nog bepaalde dingen wilde doen waartoe hij niet in staat was.
quote:Inderdaad. Volgens mij wilde hij meer maar kreeg hij dat niet.
Op dinsdag 21 januari 2003 21:32 schreef Brad het volgende:[..]
Zoals al gezegd kun je met scripts alle topics opvragen en die opslaan. Hieruit kun je inderdaad de gegevens halen die hij presenteerde.
Overigens wilde hij inderdaad meer features dacht ik, omdat hij nog bepaalde dingen wilde doen waartoe hij niet in staat was.
quote:pcies
Op dinsdag 21 januari 2003 21:35 schreef I.R.Baboon het volgende:[..]
Inderdaad. Volgens mij wilde hij meer maar kreeg hij dat niet.
Kunnen we niet vragen aan iemand die al dbase-rechten heeft om daar iets mee te doen? Dr zijn er vast genoeg in de crew
quote:Met de juiste middelen (en mijn toekomstige ADSLverbinding) wil ik dat wel doen. Zoals het maar niet moeilijk wordt.
Op dinsdag 21 januari 2003 21:37 schreef Tijn het volgende:
Maaruh... Roönaän zou zoiets wel kunnen bouwen wellicht, maar database-rechten blijft toch het makkelijkst omdat daar dus direct de informatie in is opgeslagen en ook makkelijk uit te halen isKunnen we niet vragen aan iemand die al dbase-rechten heeft om daar iets mee te doen? Dr zijn er vast genoeg in de crew
quote:Alleen normale mods hebben dus geen database rechten en kunnen net zo veel (of weinig) als elke andere user
Op dinsdag 21 januari 2003 21:38 schreef I.R.Baboon het volgende:[..]
Met de juiste middelen (en mijn toekomstige ADSLverbinding) wil ik dat wel doen. Zoals het maar niet moeilijk wordt.
quote:Ga alvast maar sql doorspitten
Op dinsdag 21 januari 2003 21:38 schreef I.R.Baboon het volgende:[..]
Met de juiste middelen (en mijn toekomstige ADSLverbinding) wil ik dat wel doen. Zoals het maar niet moeilijk wordt.
quote:Daarom wil ik ook meer rechten.
Op dinsdag 21 januari 2003 21:38 schreef Tijn het volgende:[..]
Alleen normale mods hebben dus geen database rechten en kunnen net zo veel (of weinig) als elke andere user
Snap dat nou, lul.
quote:Lul, die krijg je toch niet
Op dinsdag 21 januari 2003 21:39 schreef I.R.Baboon het volgende:[..]
Daarom wil ik ook meer rechten.
Snap dat nou, lul.
Maar er zijn wel crewleden die dat wèl hebben. Ik weet niet wie, maar dat weten de [betreffende crewleden] vast zelf wel. Dr is vast wel iemand bij die een lijstjes-generator kan en wil bouwen
e-mailadressen en dergelijke voor het oprapen.
quote:Moest ik het nog in mannetje taal uitleggen?
Op dinsdag 21 januari 2003 21:44 schreef yvonne het volgende:
En het is weer een mannentopic geworden
't valt te doen hoor.quote:Jah Isabeau, kom weer terug
Op dinsdag 21 januari 2003 21:44 schreef yvonne het volgende:
En het is weer een mannentopic geworden
quote:Als je mensen bij elkaar kunt krijgen en een lijstjesgenerator kunt bouwen; cool!
Op dinsdag 21 januari 2003 21:45 schreef Chandler het volgende:
Ach en anders kunnen we toch wel met een paar users alle fok topics downloaden en deze tot database data verwerken
quote:Ben ik weer
Op dinsdag 21 januari 2003 21:45 schreef Tijn het volgende:Jah Isabeau, kom weer terug
Yvonne heeft veel database rechten gok ik zo! 
.quote:Dat valt dacht ik wel mee
Op dinsdag 21 januari 2003 21:48 schreef Isabeau het volgende:[..]
Ben ik weer
Yvonne heeft veel database rechten gok ik zo!
quote:Was ook de bedoeling, gewoon met Perl van het web aftrekken,
Op dinsdag 21 januari 2003 21:19 schreef Chandler het volgende:[..]
Als je het fixt met een database heb je er nog veel meer plezier van en krijg je veel meer resultaten als je gaat zoeken.
parsen, en in een MySQL database proppen...
Is een koekie...
quote:Succes.
Op dinsdag 21 januari 2003 21:50 schreef ChOas het volgende:[..]
Was ook de bedoeling, gewoon met Perl van het web aftrekken,
parsen, en in een MySQL database proppen...Is een koekie...
quote:Jaaaaaaaah!
Op dinsdag 21 januari 2003 21:49 schreef Slarioux het volgende:
Zal ik een mannetjes verhaal tiepen?
quote:Ik ben al bezig
Op dinsdag 21 januari 2003 21:53 schreef Tijn het volgende:[..]
Jaaaaaaaah!
.quote:Schroom niet om lijstjes te maken!
Op dinsdag 21 januari 2003 21:50 schreef ChOas het volgende:[..]
Was ook de bedoeling, gewoon met Perl van het web aftrekken,
parsen, en in een MySQL database proppen...Is een koekie...
quote:Graag!!!!!
Op dinsdag 21 januari 2003 21:49 schreef Slarioux het volgende:
Zal ik een mannetjes verhaal tiepen?
Ben dol op mannetjesverhaaltjes 
quote:Daar had Arcee een mannetje voor
Op dinsdag 21 januari 2003 21:27 schreef yvonne het volgende:[..]
Je moet met je ogen knipperen en eisen dat ze het langzaam en in blondjestaal uitleggen.
O, en een verhaaltje met een mannetje ofzo, helpt ook!!
Stel je voor, in de computers van Fok! zitten twee mannetjes. Een database-mannetje (Dirk) en een webserver-mannetje (Willem). Allebei hebben ze verschillende taken.
Dirk weet alles van gegevens, van opzoeken en van opslaan. Dirk heeft een heel groot magazijn waar al zijn gegevens liggen. In dat magazijn liggen alle gegevens op plankjes. Dirk weet precies waar alles ligt en kan het razendsnel opzoeken. Dirk zoekt precies op wat jij aan hem vraagt. Dirk heeft ook een bureau. Daar ligt een schaar op. Met die schaar knipt Dirk alle gegevens in mooie stukjes. Vervolgens legt hij alles netjes neer voor Willem.
Willem is het Webserver-mannetje. Willem weet alles van websites, van mooie kleurtjes en van icoontjes. Maar Willem heeft geen verstand van gegevens. Daar heeft hij Dirk voor. Willem vertelt aan Dirk wat hij zoekt, en Dirk legt het klaar. Vervolgens gaat Willem aan de slag.
Willem heeft ook een magazijn. In dit magazijn liggen geen gegevens, maar kleurplaten en bouwdozen (=templates). Willem pakt de goede bouwdoos van de plank, en bouwt een mooie pagina. Hij plakt met een prittstiftje alle gegevens van Dirk op de bouwdoos, zodat er geen lege plekken zijn, en kleurt hem in volgens de instructies van Dirk.
Vervolgens loopt Willem naar zijn bureau, en legt de afgemaakte bouwdoos(=webpagina) klaar. Deze kan jij vervolgens komen ophalen en het resultaat bewonderen in je browser.
Binnenkort deel 2...
[Dit bericht is gewijzigd door Slarioux op 21-01-2003 22:06]
Je moet een aantal queries op de database afvuren.
Uit die queries komt een resultaat dat kan je bijvoorbeeld tellen.
Stel je wil weten in hoeveel topics er zijn met het woord "moderator" in de titel.
Dan laat je een PHP zoeken in de database inde kolom "Topictitels" en dat aantal maak je bekend.
Als je dat dan automatiseerd kan je hele mooie lijstjes maken.
Wat je daarvoor nodig hebt is een persoon die weet hoe hij de database kan aanspreken, hoe de structuur in elkaar zit en bovendien de rechten heeft om overal in te spitten.
Trouwens als je een website wil opslaan kan je 2 dingen doen:
1. inloggen met ftp en zo alles kopieren
2. naar de server gaan en 1:1 copy maken van de HDD van de server.
Die scripts en programma's kunnen vaak niet omgaan met server-side programmeertalen.
quote:Ik kan haast niet wachten!!
Op dinsdag 21 januari 2003 22:04 schreef Slarioux het volgende:
Deel 1 van het mannetjes verhaaltje
Binnenkort deel 2...
Laat ons niet langer in spanning!!
Dem, dit topic kan zo naar Literatuur
quote:Precies. En het probleem is dus, iedereen ziet de informatie die Willem geeft, maar eigenlijk heeft Willem het weer van Dirk. Om goeie lijstjes te maken heb je niet zoveel aan Willem, dan wil je geen kleurtjes en plaatjes, dan wil je de gegevens. En die heeft Dirk en daar kunnen maar heeeeel weinig mensen bij.
Op dinsdag 21 januari 2003 22:04 schreef Slarioux het volgende:
Deel 1 van het mannetjes verhaaltjeStel je voor, in de computers van Fok! zitten twee mannetjes. Een database-mannetje (Dirk) en een webserver-mannetje (Willem). Allebei hebben ze verschillende taken.
Dirk weet alles van gegevens, van opzoeken en van opslaan. Dirk heeft een heel groot magazijn waar al zijn gegevens liggen. In dat magazijn liggen alle gegevens op plankjes. Dirk weet precies waar alles ligt en kan het razendsnel opzoeken. Dirk zoekt precies op wat jij aan hem vraagt. Dirk heeft ook een bureau. Daar ligt een schaar op. Met die schaar knipt Dirk alle gegevens in mooie stukjes. Vervolgens legt hij alles netjes neer voor Willem.
Willem is het Webserver-mannetje. Willem weet alles van websites, van mooie kleurtjes en van icoontjes. Maar Willem heeft geen verstand van gegevens. Daar heeft hij Dirk voor. Willem vertelt aan Dirk wat hij zoekt, en Dirk legt het klaar. Vervolgens gaat Willem aan de slag.
Willem heeft ook een magazijn. In dit magazijn liggen geen gegevens, maar kleurplaten en bouwdozen (=templates). Willem pakt de goede bouwdoos van de plank, en bouwt een mooie pagina. Hij plakt met een prittstiftje alle gegevens van Dirk op de bouwdoos, zodat er geen lege plekken zijn, en kleurt hem in volgens de instructies van Dirk.
Vervolgens loopt Willem naar zijn bureau, en legt de afgemaakte bouwdoos(=webpagina) klaar. Deze kan jij vervolgens komen ophalen en het resultaat bewonderen in je browser.
Binnenkort deel 2...
1. het werkt
2. na tien topics wil je nooit meer het woord 'lijstjes' horen
en Tijn heeft in 13% van de topics in DIG 1 of meerdere posts geplaatst
quote:Zo weinig?
Op dinsdag 21 januari 2003 22:14 schreef FredvZ het volgende:en Tijn heeft in 13% van de topics in DIG 1 of meerdere posts geplaatst
quote:doe je hobby is wat beter
Op dinsdag 21 januari 2003 22:15 schreef Tijn het volgende:[..]
Zo weinig?
quote:Je kent Arcee niet he?
Op dinsdag 21 januari 2003 22:16 schreef Gerdo het volgende:
Machtig interessant topic dit... Als iemand hier een programaatje of iets dergelijks voor ontwikkeld, krijg je echt een geweldig stukje software. De mogelijkheid om het dagelijks leven van de doorsnede Nederlander (alhoewel: Fok!ker een doorsnee Nederlander??) in zijn/haar eigen woorden van een cd'tje (of 2) te kunnen opvragen.... Fascinating!
quote:Oplossing 1 (volgens mij de oplossing van Arcee):
Op dinsdag 21 januari 2003 22:04 schreef Slarioux het volgende:
Je huurt een secretaresse (T. Miep) en die vraagt aan Willem alles en gaat met een turflijst turven wie waar iets neergezet heeft.
Oplossing 2 : (en daar heb je flink wat rechten, of een copy vd database voor nodig)
Je stelt zelf een vraag aan Dirk en die komt met het antwoord.
quote:Ik stem gewoon voor zo'n database dump
Op dinsdag 21 januari 2003 22:16 schreef Gerdo het volgende:
Machtig interessant topic dit... Als iemand hier een programaatje of iets dergelijks voor ontwikkeld, krijg je echt een geweldig stukje software. De mogelijkheid om het dagelijks leven van de doorsnede Nederlander (alhoewel: Fok!ker een doorsnee Nederlander??) in zijn/haar eigen woorden van een cd'tje (of 2) te kunnen opvragen.... Fascinating!
Dan heb je in één minuut de data te pakken en kun je er ook wat nuttigs mee doen. Zet dit tegenover het binnenhalen en splitsen van de topics, dat gaat zeker een dag duren quote:Nope, werkelijk waar geen flauw idee wie dat is... Alhoewel ik wel begreep dat ie er nu niet meer is.... Ik geloof dat het jullie vooral gaat om de lijstjes, maar die vind ik nu net iets minder interessant... Geinig, maar niet zo fascinerend als de sitautie die ik net schetste...
Op dinsdag 21 januari 2003 22:16 schreef Tijn het volgende:[..]
Je kent Arcee niet he?
quote:Precies. Oplossing 1 is moeilijker, maar kan elke technische Fok!ker doen.
Op dinsdag 21 januari 2003 22:18 schreef mvt het volgende:[..]
Oplossing 1 (volgens mij de oplossing van Arcee):
Je huurt een secretaresse (T. Miep) en die vraagt aan Willem alles en gaat met een turflijst turven wie waar iets neergezet heeft.Oplossing 2 : (en daar heb je flink wat rechten, of een copy vd database voor nodig)
Je stelt zelf een vraag aan Dirk en die komt met het antwoord.
Oplossing 2 is makkelijker, maar kan alleen door iemand gedaan worden die met Dirk kan praten. En dat zijn er niet zoveel
quote:Ok, het gaat om Arcee. Hij had software gemaakt waarmee je lijstjes kon maken.
Op dinsdag 21 januari 2003 22:18 schreef Gerdo het volgende:[..]
Nope, werkelijk waar geen flauw idee wie dat is... Alhoewel ik wel begreep dat ie er nu niet meer is.... Ik geloof dat het jullie vooral gaat om de lijstjes, maar die vind ik nu net iets minder interessant... Geinig, maar niet zo fascinerend als de sitautie die ik net schetste...
Zo kon je bijvoorbeeld aan Arcee vragen hoeveel smileys je per post gebruikte, hoeveel posts je in een forum had, wie er het vaakst op jouw reageerde, hoeveel topics je hebt gekilld (laatste gepost), welke posticons je het meest gebruikte etc etc etc.
Maar Arcee is nu weg... en we missen de lijstjes Dus we zoeken iemand anders die lijstjes kan maken! 
quote:ik kreeg net van Arcee het volgende antwoord (hij kan er een paar tussen zitten) : Te veel
Op dinsdag 21 januari 2003 22:16 schreef yvonne het volgende:
En het enige wat ik wilde weten was hoeveel posts ik hier had
Voor de gewone bezoeker is dat genoeg. Die bekijken de bouwdoos en ze surfen verder. Maar sommige users, zoals Arcee, willen veel meer weten dan wat Dirk allemaal opzoekt. Maar Dirk heeft geen tijd om het op te zoeken, Dirk heeft het namelijk al druk genoeg met de gewone pagina's.
Hoe Arcee de gegevens krijgt is dus onduidelijk. Maar er zijn 2 manieren:
Manier 1: Arcee doet alsof hij een gewone surfer is, en vraagt aan Willem de pagina die hij zoekt. Willem plakt de pagina in elkaar en geeft hem aan Arcee. Maar Arcee bekijkt hem niet. Arcee gaat naar huis en pakt de lijm-oplosser. Stukje bij beetje haalt Arcee de bouwdoos uit elkaar totdat hij alleen nog maar strookjes papier overheeft. Hier heeft Arcee een speciaal mannetje voor: Peter (perl-programma). Die strookjes papier geeft hij vervolgens aan zijn eigen database-mannetje (Werner). Werner heeft van Arcee geleerd hoe hij de strookjes weer op de goede plek terug moet leggen in zijn eigen magazijn. Op die manier bouwt Arcee dus een spiegelbeeld van de database van Dirk van Fok.
Natuurlijk kan Werner ook gegevens opzoeken. En Werner heeft wél tijd om ingewikkelde dingen uit te rekenen en op te zoeken voor Arcee. Bijvoorbeeld hoe vaak iemand de laatste post heeft in een topic. Willem van Fok! heeft daar geen tijd voor, maar Werner mag het rustig aan doen van Arcee en vlijtig zoekt hij de gegevens op voor Arcee.
Arcee heeft geen web-server mannetje zoals Willem nodig. Arcee plakt helemaal zelf met de hand alle stukjes aanelkaar, en maakt op die manier mooie lijstjes .
Manier 2: De eerste manier is natuurlijk erg lastig. Daarom heeft Arcee eventjes met Danny gebeld. Nu mag hij zelf door de database snuffelen, natuurlijk zonder iets te veranderen. Arcee heeft nu zijn eigen mannetje (Dexter) dat ook gegevens kan zoeken. Dit betekend wel, dat Dexter niet Dirk voor de voeten mag lopen. Dexter moet dus 's nachts of als Dirk het rustig heeft zijn werk doen. Maar gelukkig komt Dexter niet zo vaak langs op dingen op te zoeken, dus gaat alles goed.
Op dezelfde manier als manier 1 bouwt Arcee een mooi lijstje van de gegevens van Dexter .
quote:Je maakt wat los in mensen
Op dinsdag 21 januari 2003 22:16 schreef yvonne het volgende:
En het enige wat ik wilde weten was hoeveel posts ik hier had
quote:Je komt iig voor in 76 topics...
Op dinsdag 21 januari 2003 22:16 schreef yvonne het volgende:
En het enige wat ik wilde weten was hoeveel posts ik hier had
Denk dat je dan tussen 100-150 posts in DIG zit
quote:Dan had ik de strekking van het verhaal in ieder geval door!
Op dinsdag 21 januari 2003 22:20 schreef Tijn het volgende:[..]
Ok, het gaat om Arcee. Hij had software gemaakt waarmee je lijstjes kon maken.
Zo kon je bijvoorbeeld aan Arcee vragen hoeveel smileys je per post gebruikte, hoeveel posts je in een forum had, wie er het vaakst op jouw reageerde, hoeveel topics je hebt gekilld (laatste gepost), welke posticons je het meest gebruikte etc etc etc.
Maar Arcee is nu weg... en we missen de lijstjes
De zoektocht naar een handig-ik-kan--lijstjes-maken-mannetje/vrouwtje zal (helaas?) niet naar mij leiden...
En toch blijft het idee van Fok! op een cd'tje me fascineren... Sorry, niet wat jullie bedoelen, maar 't blijft interessant
quote:Databaseserver FOK :
Op dinsdag 21 januari 2003 22:23 schreef Gerdo het volgende:En toch blijft het idee van Fok! op een cd'tje me fascineren...
quote:Maak er maar een paar cd'tjes van
StorageSeagate U10 10GB IDE
3x Seagate Cheetah 36LP 36,7GB SCSI RAID 5
Even snel gemaakt hoor, ik heb nu even geen zin om totaal
in de stuctuur van Fok! te duiken, maar zo krijg je een
idee wat kan...
php:Uitkomst ziet er dan zo ongeveer uit:<?
#!perl -w
use strict;
use LWP::Simple;
my $MaxnumberOfTopics=1;
for (my $Topic=1; $Topic<=$MaxnumberOfTopics; ++$Topic)
{
my $Content=get("http://forum.fok.nl/showtopic.php/$Topic/1/255");
my @Messages=split /);message(/,$Content;
for (@Messages)
{
my @Info=Parse_Msg($_);
my ($Poster,$Message)=@Info[1,8];
print "Poster: $Poster\n";
print "Message: $Message\n";
};
};
sub Parse_Msg
{
my $Text = shift;
my @New = ();
push(@New, $+) while $Text =~ m{"([^\"\\]*(?:\\.[^\"\\]*)*)",?| ([^,]+),?| ,}gx;
push(@New, undef) if substr($Text, -1,1) eq ',';
return @New;
};
?>
code:Dit is dan weer makkelijk in een database te gooien...Poster: 'Danny'
Message: 'nee hoor
Poster: 'Jorma'
Message: 'Ohoh Danny... dat wordt een probleem dan volgend jaar.. <IMG SRC=\"i/s/wink.gif\"><BR>Of verschuift de doelgroep dan? <IMG SRC=\"i/s/smile.gif\">'
Poster: 'Simpel'
Message: 'Zal ik dan maar verdwijnen van dit `prachtige forum`? <IMG SRC=\"i/s/cry.gif\">'
Poster: 'Jeany'
Message: 'Dan zal ik wel met je mee moeten gaan
beetje omslachtig, en moet even netter, maar een goeie optie
als je geen toegang hebt tot de Fok database
[Dit bericht is gewijzigd door ChOas op 21-01-2003 22:35]
quote:DVD
Op dinsdag 21 januari 2003 22:29 schreef mvt het volgende:[..]
Databaseserver FOK :
[..]Maak er maar een paar cd'tjes van
quote:En wederom, hulde!!!!
Op dinsdag 21 januari 2003 22:20 schreef Slarioux het volgende:
Deel 2!Voor de gewone bezoeker is dat genoeg. Die bekijken de bouwdoos en ze surfen verder. Maar sommige users, zoals Arcee, willen veel meer weten dan wat Dirk allemaal opzoekt. Maar Dirk heeft geen tijd om het op te zoeken, Dirk heeft het namelijk al druk genoeg met de gewone pagina's.
Hoe Arcee de gegevens krijgt is dus onduidelijk. Maar er zijn 2 manieren:
Manier 1: Arcee doet alsof hij een gewone surfer is, en vraagt aan Willem de pagina die hij zoekt. Willem plakt de pagina in elkaar en geeft hem aan Arcee. Maar Arcee bekijkt hem niet. Arcee gaat naar huis en pakt de lijm-oplosser. Stukje bij beetje haalt Arcee de bouwdoos uit elkaar totdat hij alleen nog maar strookjes papier overheeft. Hier heeft Arcee een speciaal mannetje voor: Peter (perl-programma). Die strookjes papier geeft hij vervolgens aan zijn eigen database-mannetje (Werner). Werner heeft van Arcee geleerd hoe hij de strookjes weer op de goede plek terug moet leggen in zijn eigen magazijn. Op die manier bouwt Arcee dus een spiegelbeeld van de database van Dirk van Fok.Natuurlijk kan Werner ook gegevens opzoeken. En Werner heeft wél tijd om ingewikkelde dingen uit te rekenen en op te zoeken voor Arcee. Bijvoorbeeld hoe vaak iemand de laatste post heeft in een topic. Willem van Fok! heeft daar geen tijd voor, maar Werner mag het rustig aan doen van Arcee en vlijtig zoekt hij de gegevens op voor Arcee.
Arcee heeft geen web-server mannetje zoals Willem nodig. Arcee plakt helemaal zelf met de hand alle stukjes aanelkaar, en maakt op die manier mooie lijstjes
Manier 2: De eerste manier is natuurlijk erg lastig. Daarom heeft Arcee eventjes met Danny gebeld. Nu mag hij zelf door de database snuffelen, natuurlijk zonder iets te veranderen. Arcee heeft nu zijn eigen mannetje (Dexter) dat ook gegevens kan zoeken. Dit betekend wel, dat Dexter niet Dirk voor de voeten mag lopen. Dexter moet dus 's nachts of als Dirk het rustig heeft zijn werk doen. Maar gelukkig komt Dexter niet zo vaak langs op dingen op te zoeken, dus gaat alles goed.
Op dezelfde manier als manier 1 bouwt Arcee een mooi lijstje van de gegevens van Dexter
Kijk heren, hier kunnen we wat mee, poetisch en leerzaam EN we snappen het!!
quote:en mijn vooruit geschreven samenvatting niet???
Op dinsdag 21 januari 2003 22:35 schreef yvonne het volgende:[..]
En wederom, hulde!!!!
Kijk heren, hier kunnen we wat mee, poetisch en leerzaam EN we snappen het!!
quote:En mijn code niet ?
Op dinsdag 21 januari 2003 22:35 schreef yvonne het volgende:[..]
En wederom, hulde!!!!
Kijk heren, hier kunnen we wat mee, poetisch en leerzaam EN we snappen het!!
quote:Prettyprettyprettyplease?
Op dinsdag 21 januari 2003 22:33 schreef ChOas het volgende:
ik heb nu even geen zin om totaal
in de stuctuur van Fok! te duiken
quote:
Op dinsdag 21 januari 2003 22:40 schreef ChOas het volgende:[..]
En mijn code niet ?
quote:Volgens mij moet Danny/Ted/Arjen daarvoor even een (relationeel) model geven van de database,
Op dinsdag 21 januari 2003 22:40 schreef Tijn het volgende:[..]
Prettyprettyprettyplease?
quote:LOL... okay, okay... maar niet NU
Op dinsdag 21 januari 2003 22:40 schreef Tijn het volgende:[..]
Prettyprettyprettyplease?
Als je echt wil kan dit ding wel uitbreiden hoor, en als
iemand een MySQL server heeft is het geen probleem om zo`n
10.000 topics per nacht op te halen, parsen, en te inserten..
Hierna kan je op ALLES zoeken...
quote:Volgens mij heeft Chandler er wel 1
Op dinsdag 21 januari 2003 22:43 schreef ChOas het volgende:[..]
LOL... okay, okay... maar niet NU
Als je echt wil kan dit ding wel uitbreiden hoor, en als
iemand een MySQL server heeft is het geen probleem om zo`n
10.000 topics per nacht op te halen, parsen, en te inserten..Hierna kan je op ALLES zoeken...
quote:Kan ook wel opnieuw hoor, maar ik heb nu niet zo`n zin
Op dinsdag 21 januari 2003 22:42 schreef mvt het volgende:[..]
Volgens mij moet Danny/Ted/Arjen daarvoor even een (relationeel) model geven van de database,
om in de HTML code te duiken, om die te parsen
quote:Graag gedaan
Op dinsdag 21 januari 2003 22:35 schreef yvonne het volgende:[..]
En wederom, hulde!!!!
Kijk heren, hier kunnen we wat mee, poetisch en leerzaam EN we snappen het!!
quote:Die secretaresse heet natuurlijk Miep T.
Op dinsdag 21 januari 2003 22:18 schreef mvt het volgende:[..]
Oplossing 1 (volgens mij de oplossing van Arcee):
Je huurt een secretaresse (T. Miep) en die vraagt aan Willem alles en gaat met een turflijst turven wie waar iets neergezet heeft.Oplossing 2 : (en daar heb je flink wat rechten, of een copy vd database voor nodig)
Je stelt zelf een vraag aan Dirk en die komt met het antwoord.
En Arcee ging niet met de hand turven.
Voor oplossing 2 moet je dus direct met Dirk gaan praten. Is leuk, maar Dirk staat niet in het telefoonboek en z'n adres is ook niet bekend. Er zijn maar een paar mensen die die info hebben, en die vertellen het niet. Willem zou nog eerder z'n pincode geven dan adresinfo van Dirk.
quote:Volgens mij staat de db op Alicia en niet artemis
Op dinsdag 21 januari 2003 22:50 schreef oYo het volgende:
Gewoon ff backuppen via http://dbadmin.tweakers.net/
quote:tuurlijk niet, daar heb je een secretaresse voor. Het is trowens zeker weten T. Miep. Maar Tiep vind ze niet echt een leuke voornaam.
Op dinsdag 21 januari 2003 22:48 schreef Light het volgende:[..]
Die secretaresse heet natuurlijk Miep T.
En Arcee ging niet met de hand turven.
quote:Omkopen/lief vragen kan je redelijk wat mee voorelkaar krijgen. Anders moet je natuurlijk het magazijn van Dirk een copietje van maken en er iemand neerzetten zie wel een geregistreerd telefoonnummer heeft.
Voor oplossing 2 moet je dus direct met Dirk gaan praten. Is leuk, maar Dirk staat niet in het telefoonboek en z'n adres is ook niet bekend. Er zijn maar een paar mensen die die info hebben, en die vertellen het niet. Willem zou nog eerder z'n pincode geven dan adresinfo van Dirk.
quote:Het forum hangt in elkaar met JavaScript, dus zoveel html hoef je niet te parsen
Op dinsdag 21 januari 2003 22:44 schreef ChOas het volgende:[..]
Kan ook wel opnieuw hoor, maar ik heb nu niet zo`n zin
om in de HTML code te duiken, om die te parsen
quote:Wel eens naar zo`n pagina source gekeken ?
Op dinsdag 21 januari 2003 23:04 schreef Light het volgende:[..]
Het forum hangt in elkaar met JavaScript, dus zoveel html hoef je niet te parsen
Word je NIET blij van...
Ik heb nu even als vaste punt genomen dat een message
begint met ');message(' ... Maar dat is niet helemaal
juist, en wanneer die tag IN een post staat word je
al HELEMAAL niet blij, nog niet zo netjes dus...
Maar ik zal even kijken of ik morgen ofzo tijd heb om
zo`n paginaatje door te spitten, en de juiste start, en
end tags te zoeken...
Daarna is het, zoals ik al zei, koekie
quote:Ja hoor
Op dinsdag 21 januari 2003 23:08 schreef ChOas het volgende:[..]
Wel eens naar zo`n pagina source gekeken ?
quote:Een vorige post van mij, in dit topic:
Word je NIET blij van...Ik heb nu even als vaste punt genomen dat een message
begint met ');message(' ... Maar dat is niet helemaal
juist, en wanneer die tag IN een post staat word je
al HELEMAAL niet blij, nog niet zo netjes dus...Maar ik zal even kijken of ik morgen ofzo tijd heb om
zo`n paginaatje door te spitten, en de juiste start, en
end tags te zoeken...Daarna is het, zoals ik al zei, koekie
message(8037418,'Light',11802,'','http://forum.fok.nl/usericons/11802/lampje.jpg',1,'dinsdag 21 januari 2003 22:48','4989264','<blockquote><font size=\"1\" face=\"verdana, aial, helvetica\">quote:</font><hr><b>Op dinsdag 21 januari 2003 22:18 schreef mvt het volgende:</b><p>[..]<p>Oplossing 1 (volgens mij de oplossing van Arcee):<br>Je huurt een secretaresse (T. Miep) en die vraagt aan Willem alles en gaat met een turflijst turven wie waar iets neergezet heeft.<p>Oplossing 2 : (en daar heb je flink wat rechten, of een copy vd database voor nodig)<br>Je stelt zelf een vraag aan Dirk en die komt met het antwoord.<hr></blockquote>Die secretaresse heet natuurlijk Miep T. <img src=\"i/s/smile.gif\" width=\"15\" height=\"15\"><br>En Arcee ging niet met de hand turven.<p>Voor oplossing 2 moet je dus direct met Dirk gaan praten. Is leuk, maar Dirk staat niet in het telefoonboek en z\'n adres is ook niet bekend. Er zijn maar een paar mensen die die info hebben, en die vertellen het niet. Willem zou nog eerder z\'n pincode geven dan adresinfo van Dirk.','','Don't do today what can be put off till tomorrow','','','','1');
Het idee is dus vrij simpel:
message(<msg id>,<username>,<userid>,?ondertitel?,<plaatje url>,??,<datum>,<icq>,<message>,??,<signature>,??,??,??,??);
En kwootjes worden gewoon van een \ voorzien, zodat bijvoorbeeld <message> werkelijk 1 string is. Wel zo overzichtelijk bij het parsen. Mijn PHP en Perl kennis zijn echter minimaal, dus 'k zou een manual in moeten duiken om een parser te kunnen maken
quote:HTTP compressie doet nog niks volgens Arjen
Op dinsdag 21 januari 2003 23:33 schreef SuperRembo het volgende:
Het maakt het een stuk eenvoudiger als je de text-only versie zonder http compressie gebruikt.
.quote:Volgens mij is de text-only versie juist lastiger. Met of zonder http comression. Bij de text-only layout moet je daadwerkelijk html gaan parsen, bij de grafische layout bekijk je een javascript fuctie die altijd op dezelfde manier wordt aangeroepen.
Op dinsdag 21 januari 2003 23:33 schreef SuperRembo het volgende:
Het maakt het een stuk eenvoudiger als je de text-only versie zonder http compressie gebruikt.
quote:Duh, Danny heeft gewoon direct database toegang. Maar of Danny alle lijstjes wil bouwen betwijfel ik.
Op dinsdag 21 januari 2003 23:41 schreef Chandler het volgende:
Het is zo simpel doch reeds omslachtig, danny moet gewoon een andere ingang hebben gecreerd anders ben je echt goed gek
quote:Ik vestig al mijn hoop op ChOas !
Op woensdag 22 januari 2003 10:06 schreef Isabeau het volgende:
We hebben dus gewoon Arcee nodig
En natuurlijk Danny en de rest over welke afspraken er gemaakt zijn met Arcee en of bijvoorbeeld chOas die rechten ook kan krijgen.
quote:Voor zover ik weet heeft Arcee nooit enige databaserechten gekregen.
Op woensdag 22 januari 2003 10:14 schreef mvt het volgende:
En natuurlijk Danny en de rest over welke afspraken er gemaakt zijn met Arcee en of bijvoorbeeld chOas die rechten ook kan krijgen.
Tijn quote:Slarioux : Dexter
Op woensdag 22 januari 2003 10:16 schreef Tijn het volgende:[..]
Voor zover ik weet heeft Arcee nooit enige databaserechten gekregen.
quote:Hoi
Op woensdag 22 januari 2003 10:19 schreef Isabeau het volgende:
Hoi
Isabeau Het geeft niet als je het niet helemaal meer snapt hoor, ik doe gewoon mn best om lijstjes voor elkaar te krijgen
jeetje, wat viel jij net uit tegen die mavo'er
quote:Uhuh, maar dat is dus nooit gebeurd. Arcee heeft nooit een eigen mannetje gehad die met Dirk kon praten.
Op woensdag 22 januari 2003 10:19 schreef mvt het volgende:[..]
Slarioux : Dexter
quote:En iedereen zich maar afvragen waar ik dat slechte beeld van mavo'ers vandaan heb. Nou daar dus.
Op woensdag 22 januari 2003 10:21 schreef Tijn het volgende:jeetje, wat viel jij net uit tegen die mavo'er
quote:Gelukkig heb ik geen slecht beeld van generaliserende VWO'ers
Op woensdag 22 januari 2003 10:22 schreef Isabeau het volgende:[..]
En iedereen zich maar afvragen waar ik dat slechte beeld van mavo'ers vandaan heb. Nou daar dus.
quote:
Op woensdag 22 januari 2003 10:11 schreef Tijn het volgende:[..]
Ik vestig al mijn hoop op ChOas !
Echt waar ? Okay dan! ... Het is geen probleem om een tooltje te maken
die de database leegtrekt, parsed, en in een andere database propt... die heb ik binnen een uurtje klaar... maar er zijn de volgende problemen:
Is er niet iets te doen met een extended search pagina waar
mensen hun requests invullen, en waarvan er een x-aantal requests per
nacht gedaan worden op de huidige Fok database, resultaten worden dan toegemailed...
quote:Ik denk dat dat nog wel 'es kan tegenvallen, Isa. Ik weet wel dat 'ie iig altijd lang bezig was met het maken van een nieuwe update en dat 'ie (via de search?) echt alle pagina's lang ging met z'n software.
Op woensdag 22 januari 2003 10:32 schreef Isabeau het volgende:
Ik wed dat Arcee helemaal in een deuk ligt als hij dit leest omdat hij alles veel simpeler deed. Gokje hoor
Das feitelijk wat chaos ook wil doen volgens mij
quote:Als we het over dezelfde Gelly en Qyroz fan
Op woensdag 22 januari 2003 10:22 schreef Isabeau het volgende:[..]
En iedereen zich maar afvragen waar ik dat slechte beeld van mavo'ers vandaan heb. Nou daar dus.
hebben, dat beeld had ik ook wel een beetje bij de meeting ooit.quote:Das opzich heel omslachtig, maar dat is alleen voor het downloaden zo. Verder moet je niet vergeten dat ie met incrementals werkte, dus je moet ook nog een nagaan of er niet een idioot een topic kicked (desnoods vanuit een archief (Beertje66/vrijgezellen meeting). Heel veel werk dus.
Op woensdag 22 januari 2003 10:33 schreef Tijn het volgende:[..]
Ik denk dat dat nog wel 'es kan tegenvallen, Isa. Ik weet wel dat 'ie iig altijd lang bezig was met het maken van een nieuwe update en dat 'ie (via de search?) echt alle pagina's lang ging met z'n software.
Das feitelijk wat chaos ook wil doen volgens mij
quote:ChOas, maar inderdaad, ja
Op woensdag 22 januari 2003 10:33 schreef Tijn het volgende:[..]
Ik denk dat dat nog wel 'es kan tegenvallen, Isa. Ik weet wel dat 'ie iig altijd lang bezig was met het maken van een nieuwe update en dat 'ie (via de search?) echt alle pagina's lang ging met z'n software.
Das feitelijk wat chaos ook wil doen volgens mij
Net even gekeken... maar je zit ongeveer tussen de 100 en
200 KB aan data voor een vol topic (Gijs-3)...
Voor topics met meer tekst is dit natuurlijk veel meer...
Maarja... wat wil je eruit halen... alleen post informatie ?
Dan wordt alles VEEL kleiner... nadeel is dan weer dat je
niet kan zien hoevaak iemand een bepaalde smiley heeft gebruikt, etc...
Ik ga overigens voor de Chaos methode.
Ik heb niet zo lang geleden eens eenn html parser geschreven om voetbalstatistieken te vergaren. De methode van Chaos komt daar aardig bij in de buurt.
Het is alleen een kwestie van fine-tunen.
Als je de data eenmaal op de juiste geparst hebt, dan kan je er zoveel lijstjes uit halen wat je maar wilt!
quote:Dat van die smileys ben ik niet met je eens. Je kan een een functie schrijven welke alle smileys uit een message body filtert!
Op woensdag 22 januari 2003 10:41 schreef ChOas het volgende:[..]
ChOas, maar inderdaad, ja
Net even gekeken... maar je zit ongeveer tussen de 100 en
200 KB aan data voor een vol topic (Gijs-3)...
Voor topics met meer tekst is dit natuurlijk veel meer...Maarja... wat wil je eruit halen... alleen post informatie ?
Dan wordt alles VEEL kleiner... nadeel is dan weer dat je
niet kan zien hoevaak iemand een bepaalde smiley heeft gebruikt, etc...
quote:Volgens mij moet het een 1 op 1 copy worden van de FOK database, maar dan gericht op efficient queries runnen ipv de inhoud plaatsen op het net.
Op woensdag 22 januari 2003 10:41 schreef ChOas het volgende:[..]
ChOas, maar inderdaad, ja
Net even gekeken... maar je zit ongeveer tussen de 100 en
200 KB aan data voor een vol topic (Gijs-3)...
Voor topics met meer tekst is dit natuurlijk veel meer...Maarja... wat wil je eruit halen... alleen post informatie ?
Dan wordt alles VEEL kleiner... nadeel is dan weer dat je
niet kan zien hoevaak iemand een bepaalde smiley heeft gebruikt, etc...
quote:Nee, de smileys, posticons, usernames, forumnames en namen van de topics zijn ook wel belangrijk eigenlijk
Op woensdag 22 januari 2003 10:41 schreef ChOas het volgende:[..]
Maarja... wat wil je eruit halen... alleen post informatie ?
Dan wordt alles VEEL kleiner... nadeel is dan weer dat je
niet kan zien hoevaak iemand een bepaalde smiley heeft gebruikt, etc...
Op hoeveel kom je dan uit?
quote:Das dus VEEL data
Op woensdag 22 januari 2003 10:43 schreef mvt het volgende:[..]
Volgens mij moet het een 1 op 1 copy worden van de FOK database, maar dan gericht op efficient queries runnen ipv de inhoud plaatsen op het net.
quote:Nee, het wordt zeker geen 1 op 1 kopie van de huidige database. Want daarin staan ook rechten vermeld, registratie e-mailadressen, notes en andere meuk die niks hiermee te maken heeft
Op woensdag 22 januari 2003 10:43 schreef mvt het volgende:[..]
Volgens mij moet het een 1 op 1 copy worden van de FOK database, maar dan gericht op efficient queries runnen ipv de inhoud plaatsen op het net.
quote:Het is in eerste instantie wat je allemaal aan informatie wilt downloaden. Je kan bijvoorbeeld nooit de smilies zoeken als je alleen maar postinformatie download.
Op woensdag 22 januari 2003 10:43 schreef SignOTheTimes het volgende:[..]
Dat van die smileys ben ik niet met je eens. Je kan een een functie schrijven welke alle smileys uit een message body filtert!
[Dit bericht is gewijzigd door mvt op 22-01-2003 10:46]
quote:Dat is dus inderdaad het grootste probleem.
Op woensdag 22 januari 2003 10:44 schreef ChOas het volgende:[..]
Das dus VEEL data
Daarom haalde Arcee Fok! ook maar 1 maal per maand leeg! Anders was het ondoenlijk geworden!
quote:Dit topic tot nu toe: ongeveer 100K... Kan nog wel wat HTML
Op woensdag 22 januari 2003 10:44 schreef Tijn het volgende:[..]
Nee, de smileys, posticons, usernames, forumnames en namen van de topics zijn ook wel belangrijk eigenlijk
Op hoeveel kom je dan uit?
gestripped worden, maar het is maar een idee...
quote:Oke, het wordt een 1 op 1 copy van wat er aan de users op het scherm wordt getoond. (in de topics, profielen vallen erbuiten)
Op woensdag 22 januari 2003 10:45 schreef Tijn het volgende:[..]
Nee, het wordt zeker geen 1 op 1 kopie van de huidige database. Want daarin staan ook rechten vermeld, registratie e-mailadressen, notes en andere meuk die niks hiermee te maken heeft
quote:Ok, ik heb net even de index bij elkaar opgeteld en kom uit op 141018 topics in de huidige, actieve fora.
Op woensdag 22 januari 2003 10:47 schreef ChOas het volgende:[..]
Dit topic tot nu toe: ongeveer 100K... Kan nog wel wat HTML
gestripped worden, maar het is maar een idee...
Dus dat wordt grofweg 13,45 GB
Hmmm... is het belangrijk dat de database die deze 13,5 GB bevat aan een snelle verbinding ligt?
quote:Volgens mij moet je ook de niet actieve dora meetellen (behalve Admin, maar ik weet niet of die zich ook aan de telling houdt) voor een goed beeld. Kom je toch op 100000 topics meer uit. Dus gok dan maar op >20 GB
Op woensdag 22 januari 2003 10:53 schreef Tijn het volgende:[..]
Ok, ik heb net even de index bij elkaar opgeteld en kom uit op 141018 topics in de huidige, actieve fora.
Dus dat wordt grofweg 13,45 GB
Hmmm... is het belangrijk dat de database die deze 13,5 GB bevat aan een snelle verbinding ligt?
quote:Sigs en ondertitels horen er eigenlijk niet bij, die horen bij de user profielen. En ik denk niet dat die tabel echt nuttig is (hoewel een tabel username-userID wel handig kan zijn, bij de posts hoef je dan nog maar 1 van die 2 op te slaan, scheelt weer iets aan ruimte).
Op woensdag 22 januari 2003 10:47 schreef Tijn het volgende:
Signatures en ondertitels hoeven niet per se, dat scheelt weer
Alhoewel je in de database wel bij kan houden of een topic gesloten is. Bij een volgende loop van 1 tot maxtopics kan je in de database checken of je een bepaald topicnummer op moet halen!
[Dit bericht is gewijzigd door SignOTheTimes op 22-01-2003 11:04]
quote:Is best veel ja. Als ik dat wil backuppen mag ik eerst wel een grotere HD kopen.
Op woensdag 22 januari 2003 11:01 schreef Isabeau het volgende:
20 GB? Whoa....
Of, om in de stijl van de mannetjes te blijven, Dirk heeft een heel groot magazijn nodig
quote:Modjes kunnen doorposten na een slotje hoor.... Maar in de index staat tegenwoordig de tijd van de laatste post, dat kan wel handig zijn
Op woensdag 22 januari 2003 11:03 schreef SignOTheTimes het volgende:
Het zou overigens wel rete handig zijn als je van te voren een lijst had met topics die gesloten zijn of topics die sinds de vorige parse niet gewijzigd zijn. Deze topics hoef je in de toekomst niet nog een keer op te halen.
quote:topic# blijft hetzelfde
Op woensdag 22 januari 2003 11:11 schreef dolle_hond het volgende:
ik heb niet het hele topic gelezen, maar heb je al rekening gehouden ermee dat de topics soms van een naar ander forum worden geschopt?
quote:idd, maar daarom is hergebruik een maand later niet te doen, zelfs als er niet in gepost is kan het topic van GC naar PTA zijn gezet.
Op woensdag 22 januari 2003 11:12 schreef mvt het volgende:[..]
topic# blijft hetzelfde
quote:Ja, maar je moet er wel aan denken dat het topic dan ook in je backup database verplaatst wordt. Anders kloppen de stats niet.
Op woensdag 22 januari 2003 11:12 schreef mvt het volgende:[..]
topic# blijft hetzelfde
dingen met zich mee, maar niet onoverkomelijk.
Topic dicht -> Open ... Okay, als een topic meer dan 2 dagen
dicht is blijftie dicht...
Wordt dan niet meer gebackupped;
Topic verplaatsen -> Uuuuuhm moet ook wel gaan ook 2 dagen ?
Daarna wordt het niet meer aangepast, topicnummer blijft toch gelijk.
Topic-kick: Bij topics die gebackupt dienen te worden alleen
naar de laatste post kijken: <Huidige datum, op naar het volgende topic...
Of voor dat verplaatsen gewoon 1x in de zoveel tijd
een run over de database maken om te kijken of alles
nog goed staat... is maar 1 post voor nodig, weinig
dataoverdracht dus...
[Dit bericht is gewijzigd door ChOas op 22-01-2003 11:29]
.quote:Op een schijfje op je eigen webserver. Dat is zo'n beetje het minste probleem.
Op woensdag 22 januari 2003 11:27 schreef blieblie het volgende:
Maar waar laat je for god sake 14 gig aan data op het internet?
Ik zal vanavond eens kijken of er een beetje een leuke Fok!-crawler te bouwen valt in PL/SQL. Dan kan ik de backup direct in Oracle zetten wat voldoende mogelijkheden voor lijstjes zou moeten opleveren.
quote:Op een harde schijf?
Op woensdag 22 januari 2003 11:27 schreef blieblie het volgende:
Maar waar laat je for god sake 14 gig aan data op het internet?
En 'k denk dat de daadwerkelijke database kleiner is, omdat sommige dingen niet bepaald efficient verstuurd worden. De datum/tijd zal niet als tekst in de database staan, lijkt me
quote:net als de bergen redundantie die hier op de pagina gekwakt worden.
Op woensdag 22 januari 2003 11:39 schreef Light het volgende:[..]
Op een harde schijf?
En 'k denk dat de daadwerkelijke database kleiner is, omdat sommige dingen niet bepaald efficient verstuurd worden. De datum/tijd zal niet als tekst in de database staan, lijkt me
quote:Volgens mij niet echt. Vooropgesteld dat je de lijstjes op die machine maakt hoef je alleen maar de lijstjes te verzenden en dat zou een stuk minder data moeten zijn.
Op woensdag 22 januari 2003 10:53 schreef Tijn het volgende:
Hmmm... is het belangrijk dat de database die deze 13,5 GB bevat aan een snelle verbinding ligt?
Snelle download vanaf de databasemachine om Fok! te indexeren is uiteraard wel handig, maar niet noodzakelijk.
* K3 wordt een beetje ontmoedigd (scriptje haalt de eerste 20.000 topics binnen).
Sowieso moet nog wel iemand aan Danny vragen in hoeverre hij dit allemaal toestaat, voordat we van alles gaan regelen en afspreken he Kzal kijken of ik met 'em in contact kan komen.
[Dit bericht is gewijzigd door Tijn op 22-01-2003 11:53]
quote:Probeer het anders eerst eens met alleen K&L
Op woensdag 22 januari 2003 11:51 schreef K3 het volgende:
Ik heb net 1500 topics naar binnen gesleept, en dat is bij elkaar al 35 MB* K3 wordt een beetje ontmoedigd (scriptje haalt de eerste 20.000 topics binnen).
quote:Hmmmmm... Dat zou een mooi servertje er voor zijn
Op woensdag 22 januari 2003 11:53 schreef Tijn het volgende:
Nou ja, ik kan thuis wel wat ruimte beschikbaar stellen. Kheb op dit moment nog zo'n 30 GB vrij en ik draai al MySQL. Kheb ADSL-verbinding zonder caps (dus 8 MBit/s downstream en 512 kbps upstream). Zou dat werken?Sowieso moet nog wel iemand aan Danny vragen in hoeverre hij dit allemaal toestaat, voordat we van alles gaan regelen en afspreken he
quote:Is het een erg groot probleem dat 'ie Windows 2000 Server draait en geen Linux/BSD?
Op woensdag 22 januari 2003 11:53 schreef ChOas het volgende:[..]
Hmmmmm... Dat zou een mooi servertje er voor zijn
quote:Oke, maar heb je dat dan ook al een beetje efficient opgeslagen? Of gewoon plaintext (en dan ook nog het html bestand zoals het wordt binnengehaald zeker, da's niet efficient.)
Op woensdag 22 januari 2003 11:51 schreef K3 het volgende:
Ik heb net 1500 topics naar binnen gesleept, en dat is bij elkaar al 35 MB* K3 wordt een beetje ontmoedigd (scriptje haalt de eerste 20.000 topics binnen).
quote:
Op woensdag 22 januari 2003 11:54 schreef Tijn het volgende:[..]
Is het een erg groot probleem dat 'ie Windows 2000 Server draait en geen Linux/BSD?
... Say WHAT ? Nee... hoor... niet zo`n groot probleem...
Maar toch.. het idee, hè
quote:Gewoon plaintext: <topicnr>.html
Op woensdag 22 januari 2003 11:55 schreef Light het volgende:[..]
Oke, maar heb je dat dan ook al een beetje efficient opgeslagen? Of gewoon plaintext (en dan ook nog het html bestand zoals het wordt binnengehaald zeker, da's niet efficient.)
Ik ben nog bezig met een scriptje dat de boel in de database gooit, dat zijn de waarden: topicID, msgID, userID, posticon (?, leuk voor de statistieken), date, message
Helemaal leuk zou het zijn om de boel in hetzelfde formaat als mijn eigen forum te storen 
.
quote:Volgens mij moet dat meer dan genoeg zijn, zeker als je op een gegeven moment het punt bereikt dat je alleen de updates maar hoeft te indexeren.
Op woensdag 22 januari 2003 11:53 schreef Tijn het volgende:
Nou ja, ik kan thuis wel wat ruimte beschikbaar stellen. Kheb op dit moment nog zo'n 30 GB vrij en ik draai al MySQL. Kheb een ADSL-verbinding zonder caps (dus 8 MBit/s downstream en 512 kbps upstream). Zou dat werken?
quote:Lijkt me handig. Dit gaat nl. waarschijnlijk meer serverbelasting opleveren dan een baksteen op je F5-toets leggen en ik meen me te herinneren dat Danny daar al niet echt gelukkig mee was.
Sowieso moet nog wel iemand aan Danny vragen in hoeverre hij dit allemaal toestaat, voordat we van alles gaan regelen en afspreken he
Zonder directe databaseaccess is een "Arcee" helaas toch echt verplicht om complete topics in te lezen en te parsen, dus probeer Danny (danwel Arjen of Jorma) ervan te overtuigen om een directe datastroom op te zetten (gebruik makend van bijv. XML).
quote:Naja, hij draait dus wel MySQL en daar gaat het toch om
Op woensdag 22 januari 2003 11:57 schreef ChOas het volgende:[..]
Nee... hoor... niet zo`n groot probleem...
Maar toch.. het idee, hè
Wat heb je verder nodig? Want het lijkt me idd wel het handigst als de lijstjes ook op die bak zelf gemaakt worden.
quote:PHP of Perl.
Op woensdag 22 januari 2003 11:59 schreef Tijn het volgende:[..]
Naja, hij draait dus wel MySQL en daar gaat het toch om
Wat heb je verder nodig? Want het lijkt me idd wel het handigst als de lijstjes ook op die bak zelf gemaakt worden.
Je kan kiezen om online stats pagina's te maken, of af en toe op Fok te posten a la Arcee
.quote:Perl!
Op woensdag 22 januari 2003 11:59 schreef Tijn het volgende:[..]
Naja, hij draait dus wel MySQL en daar gaat het toch om
Wat heb je verder nodig? Want het lijkt me idd wel het handigst als de lijstjes ook op die bak zelf gemaakt worden.
quote:Mkay
Op woensdag 22 januari 2003 12:01 schreef ChOas het volgende:[..]
Perl!
Hij draait al Apache met PHP, kzal vanavond ff kijken of ik ook Perl aan de gang wil krijgen quote:Online stats lijkt me niet zo'n goed idee in verband met mn beperkte bandbreedte (512 kbps upstream).
Op woensdag 22 januari 2003 12:01 schreef K3 het volgende:[..]
Je kan kiezen om online stats pagina's te maken, of af en toe op Fok te posten a la Arcee
er zo iets uit (de inhoud van de post even weggelaten, want
dat fucked de layout up)
code:Makkelijk in een DB te inserten dus...Poster: 'Isabeau'
Date: 'woensdag 22 januari 2003 11:53'
Sub: 'flowers of blood'
Img: 'http://forum.fok.nl/usericons/859/Vampirella.jpg'
Poster: 'ChOas'
Date: 'woensdag 22 januari 2003 11:53'
Sub: 'DreamChaser'
Img: 'http://forum.fok.nl/usericons/693/math.gif'
Poster: 'Tijn'
Date: 'woensdag 22 januari 2003 11:54'
Sub: 'La la laaa la la laaa la la la'
Img: 'http://forum.fok.nl/usericons/12221/tijn_mod.gif'
Poster: 'Light'
Date: 'woensdag 22 januari 2003 11:55'
Sub: ''
Img: 'http://forum.fok.nl/usericons/11802/lampje.jpg'
Poster: 'ChOas'
Date: 'woensdag 22 januari 2003 11:57'
Sub: 'DreamChaser'
Img: 'http://forum.fok.nl/usericons/693/math.gif'
Poster: 'K3'
Date: 'woensdag 22 januari 2003 11:57'
Sub: '(moderator K3-forum)'
Img: 'http://forum.fok.nl/usericons/19383/K3.gif'
Poster: 'Litpho'
Date: 'woensdag 22 januari 2003 11:58'
Sub: 'www.somethingpositive.net'
Img: 'http://forum.fok.nl/usericons/28445/difrancoshouting.jpg'
Poster: 'Tijn'
Date: 'woensdag 22 januari 2003 11:59'
Sub: 'La la laaa la la laaa la la la'
Img: 'http://forum.fok.nl/usericons/12221/tijn_mod.gif'
Poster: 'K3'
Date: 'woensdag 22 januari 2003 12:01'
Sub: '(moderator K3-forum)'
Img: 'http://forum.fok.nl/usericons/19383/K3.gif'
Poster: 'ChOas'
Date: 'woensdag 22 januari 2003 12:01'
Sub: 'DreamChaser'
Img: 'http://forum.fok.nl/usericons/693/math.gif'
Poster: 'Tijn'
Date: 'woensdag 22 januari 2003 12:03'
Sub: 'La la laaa la la laaa la la la'
Img: 'http://forum.fok.nl/usericons/12221/tijn_mod.gif'
Poster: 'Tijn'
Date: 'woensdag 22 januari 2003 12:04'
Sub: 'La la laaa la la laaa la la la'
Img: 'http://forum.fok.nl/usericons/12221/tijn_mod.gif'
quote:Sub en Img zijn niet echt nuttig om in een database te planten. Punt 1 horen ze bij het profiel, niet bij de post. En echt nuttig voor de stats zijn ze ook niet...
Op woensdag 22 januari 2003 12:08 schreef ChOas het volgende:
Kijk ... Als ik mijn scriptje over deze pagina draai komt
er zo iets uit (de inhoud van de post even weggelaten, want
dat fucked de layout up)code:Makkelijk in een DB te inserten dus...Poster: 'Isabeau'
Date: 'woensdag 22 januari 2003 11:53'
Sub: 'flowers of blood'
Img: 'http://forum.fok.nl/usericons/859/Vampirella.jpg'
quote:En dan te bedenken dat sub en img overbodig zijn (waar is sign??)
Op woensdag 22 januari 2003 12:08 schreef ChOas het volgende:
Kijk ... Als ik mijn scriptje over deze pagina draai komt
er zo iets uit (de inhoud van de post even weggelaten, want
dat fucked de layout up)code:Makkelijk in een DB te inserten dus...
quote:Het was maar een voorbeeld jongens, sorry!!
Op woensdag 22 januari 2003 12:12 schreef Light het volgende:[..]
Sub en Img zijn niet echt nuttig om in een database te planten. Punt 1 horen ze bij het profiel, niet bij de post. En echt nuttig voor de stats zijn ze ook niet...
Ik bedoel maar alleen te laten zien dat het makkelijk te
parsen is, en ik heb maar gewoon een paar items genomen
die kort waren, zodat de layout niet opgefucked werd
Eentje doen met inhoud van posts, poster, en datum dan ?
Of gewoon ff scrippie posten zodat je kan experimenteren ?
quote:Scriptje posten is wel een idee, dan kan ik vanavond eventueel ook nog wat gaan spelen.
Op woensdag 22 januari 2003 12:16 schreef ChOas het volgende:[..]
Het was maar een voorbeeld jongens, sorry!!
Ik bedoel maar alleen te laten zien dat het makkelijk te
parsen is, en ik heb maar gewoon een paar items genomen
die kort waren, zodat de layout niet opgefucked werdEentje doen met inhoud van posts, poster, en datum dan ?
Of gewoon ff scrippie posten zodat je kan experimenteren ?
quote:Is meer een hack, dan een netjes script, maar het werkt voorlopig
Op woensdag 22 januari 2003 12:36 schreef Light het volgende:[..]
Scriptje posten is wel een idee, dan kan ik vanavond eventueel ook nog wat gaan spelen.
: php:<?
#!/usr/bin/perl -w
use strict;
use LWP::Simple;
my $MaxnumberOfTopics=1;
for (my $Topic=1; $Topic<=$MaxnumberOfTopics; ++$Topic)
{
#my $Content=get("http://forum.fok.nl/showtopic.php/$Topic/1/255");
my $Content=get("http://forum.fok.nl/showtopic.php/257667/1/255");
my @Messages=split /);message(/,$Content;
$Messages[0]=~s/.*?<SCRIPT TYPE="text\/javascript">message(//;
$Messages[-1]=~s/</SCRIPT>.*//;
for (@Messages)
{
my @Info=Parse_Msg($_);
my ($Poster,$Message,$Sub,$Img,$Date)=@Info[1,8,3,4,6];
print "Poster: $Poster\n";
print "Date: $Date\n";
print "Sub: $Sub\n";
print "Img: $Img\n";
#print "Message: $Message\n";
};
};
sub Parse_Msg
{
my $Text = shift;
my @New = ();
push(@New, $+) while $Text =~ m{"([^\"\\]*(?:\\.[^\"\\]*)*)",?| ([^,]+),?| ,}gx;
push(@New, undef) if substr($Text, -1,1) eq ',';
return @New;
};
?>
quote:Wat zouden we toch moeten doen zonder jouw goede advies?
Op woensdag 22 januari 2003 12:37 schreef lurf_doctor het volgende:
Wat dacht je van NIET
quote:Een fijner leven hebben ?
Op woensdag 22 januari 2003 12:38 schreef Litpho het volgende:[..]
Wat zouden we toch moeten doen zonder jouw goede advies?
De scriptjes om de statistieken te maken draaien op de server en die geven alleen serverbelasting, geen dataverkeer.
Alleen de output genereert dataverkeer.
[Dit bericht is gewijzigd door sop op 22-01-2003 12:51]
quote:Uuuuuhm... en de database leegtrekken dus
Op woensdag 22 januari 2003 12:49 schreef sop het volgende:
Overigens werd er hier al over bandbreedte gerept. Dat valt reuze mee hoor.
De scriptjes om de statistieken te maken draaien op de server en die geven alleen serverbelasting, geen dataverkeer.
Alleen de output genereerd dataverkeer.
quote:uiteraard. Maar da's toch gewoon normaal fok! gebruik
Op woensdag 22 januari 2003 12:49 schreef ChOas het volgende:[..]
Uuuuuhm... en de database leegtrekken dus
quote:Vast. De hele database in een nachtje leegtrekken normaal gebruik? Ik denk het niet...
Op woensdag 22 januari 2003 12:54 schreef sop het volgende:[..]
uiteraard. Maar da's toch gewoon normaal fok! gebruik
quote:Ik denk dat je het de eerste keer inderdaad over een maandje
Op woensdag 22 januari 2003 12:56 schreef Light het volgende:[..]
Vast. De hele database in een nachtje leegtrekken normaal gebruik? Ik denk het niet...
moet verspreiden, ofzo...
quote:De stats komen niet online te staan, dus dat is er ook niet
Op woensdag 22 januari 2003 12:49 schreef sop het volgende:Alleen de output genereert dataverkeer.
Eén keer in de zoveel tijd worden er gewoon een aantal lijstjes gemaakt van de huidige database en die worden gepost en dan is er weer een maandje niks quote:Dan is het een kwestie van even overleggen met Danny en jouw servertje vervolgens vrolijk Fok! laten leegtrekken. Met 8Mb/s download zou je een heel eind moeten komen.
Op woensdag 22 januari 2003 13:00 schreef Tijn het volgende:
De stats komen niet online te staan, dus dat is er ook niet
Als je eenmaal alles hebt, is het natuurlijk alleen nog een kwestie van bijhouden (nachtelijke cronjobs oid).
Het perl scriptje dat ik in dit topic zag is ook wel handig
.quote:met wget kun je alle topics aflopen
Op woensdag 22 januari 2003 13:05 schreef MoJo het volgende:
Met Imagedownloader kun je een hele site downloaden..
.quote:[ego-mode=on]
Op woensdag 22 januari 2003 13:08 schreef K3 het volgende:[..]
met wget kun je alle topics aflopen
Met dat Perl-script ook, en dan wordt alles ook nog eens ge-parsed
[ego-mode=off]
Ik zou ervoor kiezen om een sub-domein te vragen aan Danny oid. en 1 keer per maand alle gegevens te laten auto-updaten... Heb je 1 keer in de maand behoorlijk wat dataverkeer, en is het toch redelijk uptodate. En hou je wel gewoon de regelmaat vast die Arcee er ook op na hield.
quote:Mijn voorstel was om het over Oracle te laten lopen. De databasemogelijkheden die je daarmee hebt worden vrij lastig om te overtreffen en voor non-profit doeleinden kan je een gratis developer's licentie regelen. De PHP/MySQL koppeling laat ik toch echt over aan de experts.
Op woensdag 22 januari 2003 13:30 schreef Aaargh! het volgende:
Leukste zou natuurlijk zijn om de hele zooi in een PostgreSQL database te gooien, (PostegreSQL ondersteund itt MySQL wel subqueries). Dan kan je nl. ook wat ingewikkeldere/onzinnige stats maken.
quote:Als je goed kan joinen heb je geen subqueries nodig
Op woensdag 22 januari 2003 13:30 schreef Aaargh! het volgende:
Leukste zou natuurlijk zijn om de hele zooi in een PostgreSQL database te gooien, (PostegreSQL ondersteund itt MySQL wel subqueries). Dan kan je nl. ook wat ingewikkeldere/onzinnige stats maken.
OK, bijna nooit
quote:Als je goede subqueries schrijft kan je een hogere performance halen dan bij "slechts" joins.
Op woensdag 22 januari 2003 13:50 schreef K3 het volgende:
Als je goed kan joinen heb je geen subqueries nodigOK, bijna nooit
af en toe
quote:Een subdomein? Ik denk dat dat iets teveel van het goeie is hoor. Kwou die stats eigenlijk gewoon, net als Arcee deed, in een groot topic pleuren om de zoveel tijd
Op woensdag 22 januari 2003 13:35 schreef blieblie het volgende:
Ik vind het wel een top idee, maar is er al enig idee hoe de output verzorgt wordt?Ik zou ervoor kiezen om een sub-domein te vragen aan Danny oid. en 1 keer per maand alle gegevens te laten auto-updaten... Heb je 1 keer in de maand behoorlijk wat dataverkeer, en is het toch redelijk uptodate. En hou je wel gewoon de regelmaat vast die Arcee er ook op na hield.
quote:Klopt, maar bij de ontvanger gaat de dataverkeer ook tellen. Als je >20 GB wilt downloaden op 1 nachtje en je hebt een Fair Use Policy, dan gaat je provider klagen.
Op woensdag 22 januari 2003 12:49 schreef sop het volgende:
Overigens werd er hier al over bandbreedte gerept. Dat valt reuze mee hoor.
De scriptjes om de statistieken te maken draaien op de server en die geven alleen serverbelasting, geen dataverkeer.
Alleen de output genereert dataverkeer.
quote:Ik mag 50 GB trekken per 7 dagen, heb alleen niet de nodige schijfruimte.
Op woensdag 22 januari 2003 14:39 schreef mvt het volgende:[..]
Klopt, maar bij de ontvanger gaat de dataverkeer ook tellen. Als je >20 GB wilt downloaden op 1 nachtje en je hebt een Fair Use Policy, dan gaat je provider klagen.
).quote:Gelukkig doet mijn provider (TweakDSL) niet zo moeilijk als het om Fok! gaat
Op woensdag 22 januari 2003 14:39 schreef mvt het volgende:[..]
Klopt, maar bij de ontvanger gaat de dataverkeer ook tellen. Als je >20 GB wilt downloaden op 1 nachtje en je hebt een Fair Use Policy, dan gaat je provider klagen.
Maar wat betreft Fok! en de source.
Men neme een php, en besluit dat de php een topic met nummer 257667 op moet slaan in het bestand topic257667.htm
dan doet men:
php:hiermee heb je dan alle relevante zooi die je wilt hebben, de rest kan je niet zoveel schelen.<?
$source = implode("",file("http://forum.fok.nl/showtopic.php/$topicnr/1/300"));
$source = substr($source, strpos(strtolower($source),"</head>") + 7);
$source = substr($source, strpos(strtolower($source), "<script type=\"text/javascript\">message"));
$source = substr($source,0,strpos(strtolower($source),"</script>")+8);
?>
dan open je met php je lokale bestand:
$file = fopen("topic257667.htm","w");
daarin gooi je wat zut:
code:Natuurlijk kan je er dan een heleboel leuke dingen mee doen nog, maar dit is een begin. De rest vogel je zelf maar uit. (recursieve aanroep met bijvoorbeeld:<head><title>Eventueel rip je dan nog de titletag uit de source</title>
<script type="text/javascript" src="mijnjavascript.js">
</head>
<body>
$source
</body>
</html>
echo "<script>var thistopic = 257667; document.location=\"gettopic.php?topic=\" + (thistopic+1); </script>";
)
en dan start je op je localhost je browserwindow op en ga je 2 weken iets anders doen.
owja. voor mijnjavascript.js kan je gewoon alle losse fok!scripts in een file flikkeren geloof ik.
zo moeilijk was het toch niet?
Ik heb even in C# zitten meuken, en kan reeds het volgende...
Ik kan een topic onderverdelen in posts, elke post heb ik in een array zitten.
In die array heb ik het post nummer, de user, usernummer, ondertitel, usericon href, datum van de post, de body en de ondertitel.
De parser op zich werkt dus perfect, nu nog in een DB stouwen!
code:private void Form1_Load(object sender, System.EventArgs e)
{
string strFile;
string strLine;
string[] strArray;int intCurPos;
int intNextPos;
int intEndPos;Uri uri = new Uri("http://forum.fok.nl/showtopic.php/999999/1");
StreamReader sr = OpenFile(uri);
strFile = sr.ReadToEnd();intCurPos = 0;
while(true)
{
intNextPos = strFile.ToLower().IndexOf("message(", intCurPos);
if (intNextPos == -1)
break;intEndPos = strFile.IndexOf("');", intNextPos + 1);
strLine = strFile.Substring(intNextPos + 8, intEndPos - intCurPos - 9);
strArray = strLine.Split(Convert.ToChar("'"));
// 1 is de username
lstUsers.Items.Add(strArray[1]);
intCurPos = intEndPos;
} }
}private StreamReader OpenFile(Object o)
{
try
{
Uri uri = o as Uri;HttpWebRequest req = (HttpWebRequest)WebRequest.Create(uri);
req.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Q312461; .NET CLR 1.0.3705)";
HttpWebResponse res = (HttpWebResponse)req.GetResponse();
StreamReader sr = new StreamReader(res.GetResponseStream(), Encoding.UTF8);return sr;
}
catch(Exception ex)
{
lbMessage.Text = "Error on ThreadID {0}: {1}" + AppDomain.GetCurrentThreadId()+ ex.Message;
return null;
}
}
quote:Voor. Dan kan iedereen die dat wil die output zonder al te veel problemen inlezen in zijn/haar eigen DB'tje en daar eigen zoekvragen op los laten.
Op woensdag 22 januari 2003 15:19 schreef Roonaan het volgende:
* Roonaan gaat dan ook maar coden.. zit zelf te denken aan xml output eigenlijk..
quote:Ik geloof dat ik al zoiets heb liggen, ik zal ff kijken
Op woensdag 22 januari 2003 15:19 schreef Roonaan het volgende:
* Roonaan gaat dan ook maar coden.. zit zelf te denken aan xml output eigenlijk..
quote:Hele domme vraag misschien hoor.
Op woensdag 22 januari 2003 15:27 schreef Litpho het volgende:[..]
Voor. Dan kan iedereen die dat wil die output zonder al te veel problemen inlezen in zijn/haar eigen DB'tje en daar eigen zoekvragen op los laten.
Maar is een van de admins niet gewoon bereid 1 malig een dump van topics met posts te maken.
Dat scheelt een hoop dataverkeer qua rippen en dergelijke.
Dan heb je namelijk de miljoenen reacties en honderduizenden topics al in een wat voor formaat bestand dan ook staan.
Toevoegingen kan je dan zelf een keer maken.
quote:Helaas blijkt mijn progje alleen te werken met de oude layout. en aangezien de 'nieuwe' nu default is werkt het niet meer.
Op woensdag 22 januari 2003 15:38 schreef Roonaan het volgende:
Daar hoopte ik al op Aaarg!
Ik ga eens ff uitzoeken hoe ik vanuit PHP een cookie meestuur, dan kan ik de text-only layout uitlezen, da's helemaal makkelijk
scriptje werkt... ik geloof de nieuwe...
Ja... moet wel... want ik doe een standaard get, zonder
cookies... *phew*
is lichtelijk spamgevoelig, maar toch quote:Als ie op een kloon van je geregistreerd staat via een cookie zal ie in principe je daarbijbehorende layout moeten pakken.
Op woensdag 22 januari 2003 15:39 schreef Aaargh! het volgende:[..]
Helaas blijkt mijn progje alleen te werken met de oude layout. en aangezien de 'nieuwe' nu default is werkt het niet meer.
Ik ga eens ff uitzoeken hoe ik vanuit PHP een cookie meestuur, dan kan ik de text-only layout uitlezen, da's helemaal makkelijk
quote:Kan je niet de Print-Topic gebruiken??
Op woensdag 22 januari 2003 15:45 schreef Roonaan het volgende:
Kan fok! niet een 'mail dit topic' optie toevoegen
Voor Aarghh, dit is text-only
quote:DAt is sowieso wel een idee om bij de textonly te komen eigenlijk!
Op woensdag 22 januari 2003 15:48 schreef mvt het volgende:[..]
Kan je niet de Print-Topic gebruiken??
Voor Aarghh, dit is text-only
Is alleen iets trickier te parsen, maar ik ga het toch proberen
-edit- hmmmm alleen mist er informatie over het post-nr...
da`s wel jammer...
quote:Idd, en da's best handig als je mooie stats wil genereren
Op woensdag 22 januari 2003 15:59 schreef ChOas het volgende:
-edit- hmmmm alleen mist er informatie over het post-nr...
da`s wel jammer...
.quote:ChOas
Op woensdag 22 januari 2003 16:04 schreef SignOTheTimes het volgende:
Er zitten toch best wel tricky dingen in die je moet afvangen. Zo gaat mijn parser al over z'n nek door de code van Chaos in dit topic.
, volgens mij parsed mijn scriptje het wel goed...quote:Precies
Op woensdag 22 januari 2003 16:05 schreef K3 het volgende:[..]
Idd, en da's best handig als je mooie stats wil genereren
http://deepthought.student.utwente.nl/~aaargh/fokxml/topic.php?tid=257667&page=9
quote:stoer!
Op woensdag 22 januari 2003 16:38 schreef Aaargh! het volgende:
Het begint er al weer een beetje op te lijken:http://deepthought.student.utwente.nl/~aaargh/fokxml/topic.php?tid=257667&page=9
quote:Komma's in de body zelf worden ge-escaped, en ik doe dus eerst een search en replace, alle \' vervangen door ´
Op woensdag 22 januari 2003 16:44 schreef SignOTheTimes het volgende:
Hoe heb je overigens het probleem met de Komma in de body zelf opgelost?
quote:Volgens my bedoelt SotT de comma's tussen de verschillende functieparameters.
Op woensdag 22 januari 2003 16:48 schreef Aaargh! het volgende:[..]
Komma's in de body zelf worden ge-escaped, en ik doe dus eerst een search en replace, alle \' vervangen door ´
quote:Nee, ik bedoel de komma's in het bericht. Op dit moment doe ik een split van de message op basis van de komma, maar ik krijg uiteraard een extra split door een comma in de body!
Op woensdag 22 januari 2003 16:50 schreef K3 het volgende:[..]
Volgens my bedoelt SotT de comma's tussen de verschillende functieparameters.
quote:Ik doe de split op basis van de kwootjes op de parameters.
Op woensdag 22 januari 2003 16:51 schreef SignOTheTimes het volgende:[..]
Nee, ik bedoel de komma's in het bericht. Op dit moment doe ik een split van de message op basis van de komma, maar ik krijg uiteraard een extra split door een comma in de body!
Anders moet je een soort van stack-based parser bouwen die kijkt of je binnen of buiten de kwootjes zit (is op zich 't netste maar wel veel werk).
[Dit bericht is gewijzigd door Aaargh! op 22-01-2003 16:56]
quote:En DAAR zijn reguliere expressies juist zo handig voor
Op woensdag 22 januari 2003 16:51 schreef SignOTheTimes het volgende:[..]
Nee, ik bedoel de komma's in het bericht. Op dit moment doe ik een split van de message op basis van de komma, maar ik krijg uiteraard een extra split door een comma in de body!
Maar eerst ff eten koken zo.
quote:En DAAR ben ik nu druk mee aan het stoeien!
Op woensdag 22 januari 2003 16:55 schreef ChOas het volgende:[..]
En DAAR zijn reguliere expressies juist zo handig voor
quote:Je kunt proberen de webserver voor de gek te houden en doen alsof je een textbased browser (links,lynx) bent
Op woensdag 22 januari 2003 15:43 schreef Aaargh! het volgende:
Iemand enig idee of het mogelijk is de text-only layout aan te zetten door een parameter mee te sturen in de url ?
quote:Dat maakt niet uit, de Fok! code kijkt niet naar met wat voor browser je browsed. ook als je met links de site bezoekt zal ie standaard de 'nieuwe' layout voor je neus toveren.
Op woensdag 22 januari 2003 18:25 schreef Light het volgende:[..]
Je kunt proberen de webserver voor de gek te houden en doen alsof je een textbased browser (links,lynx) bent
quote:Niet als je in je profiel geen voorkeur opgeeft voor de layout.
Op woensdag 22 januari 2003 18:58 schreef Aaargh! het volgende:[..]
Dat maakt niet uit, de Fok! code kijkt niet naar met wat voor browser je browsed. ook als je met links de site bezoekt zal ie standaard de 'nieuwe' layout voor je neus toveren.
Als je wel een voorkeur opgeeft, zal 'ie altijd de voorkeur pakken.
quote:Ik heb geen profiel, ik ben niet ingelogged met links.
Op woensdag 22 januari 2003 18:59 schreef Tijn het volgende:[..]
Niet als je in je profiel geen voorkeur opgeeft voor de layout.
quote:Wat vaag, hij zou dan met een tekst-only browser over moeten schakelen naar de tekst-layout. Probeer het eens door wel in te loggen, maar de voorkeur in je profiel uit te zetten?
Op woensdag 22 januari 2003 19:02 schreef Aaargh! het volgende:[..]
Ik heb geen profiel, ik ben niet ingelogged met links.
quote:Ik heb het gisteren nog getest met lynx, kreeg meteen de text-layout voor m'n neus
Op woensdag 22 januari 2003 19:02 schreef Aaargh! het volgende:[..]
Ik heb geen profiel, ik ben niet ingelogged met links.
En ik was niet ingelogd (ik weigerde zelfs de cookies)Bold
Italic
UnderlineStrikethrough
superscript
subscript
* Aaargh! type 1
* Aaargh! type 2
* henk type 3
Plaatjes:
normaal
resized
Lijst
Gewoon URL
http://www.fok.nl
Fancy URL
Fok!
Plaatje met link:
quote test:
quote:Code:
kwootje
code:Highlighted PHP:+---------+
| |
| test |
| |
+---------+
php:Smilies:<?
if ($fok == "gezellig") {
// FOK! is gezellig, dus het is leuk
echo "Lalala, PHP, leuk zeg.\n";
}else{
// FOK! is niet gezellig
echo "Lalala, PHP, mislukt.\n";
}
?>
Wat simple stats op simple pagina'tje
The F-Files
quote:Je bent die andere duivelssmiley vergeten:
Op woensdag 22 januari 2003 20:48 schreef Aaargh! het volgende:
Lap text.
waarom staat duivel niet bij reactie?
quote:Zal 'm toevoegen en testen als ik de andere smilies af heb.
Op woensdag 22 januari 2003 22:14 schreef Solomon het volgende:[..]
Je bent die andere duivelssmiley vergeten:
waarom staat duivel niet bij reactie?
Ik heb nu tot aan het highlighted php deel er in zitten.
Als het XML deel af is ga ik een XML->mysql (of PostgreSQL, maar dan moet ik die eerst installeren) tooltje maken, waarna ik wat proeven ga doen met het inlezen van topics.
quote:Extraatje: Sint-smilies
Op woensdag 22 januari 2003 22:14 schreef Solomon het volgende:[..]
Je bent die andere duivelssmiley vergeten:
waarom staat duivel niet bij reactie?
Kerstsmilies!
Ik gebruik het zelf altijd om babes galleries te rippen
quote:Daar zijn al lang betere gratis tooltjes voor (wget) , maar daar gaat het niet om. een site die met wget of teleport geripped is, is niet bruikbaar om stats van te maken.
Op woensdag 22 januari 2003 22:36 schreef Kikker_Plons het volgende:
Of je moet eventjes op google zoeken naar Teleport pro. Een programmatje die een kopie maakt van een website. Werkt errruug goed! (moet je wel eventjes de serial key 'kopen' anders heb je een beperking).Ik gebruik het zelf altijd om babes galleries te rippen
De binnengehaalde topics worden dan gestripped zodat er één query komt die een topic aanmaakt in de topic-tabel, en per reactie een reactie in de reactie-tabel stopt:
code:Het downloaden zal nog wel een nachtje en een dag duren, heb ik intussen de tijd om een script te maken dat de active topics ook bijhoudtINSERT INTO topics(id, name, forumid) VALUES(7707, 'vrijgezel of niet! deel 1002', 11);
INSERT INTO reactions(reactionID, topicID, username, date, message) VALUES(162131, 7707, 'bixister', '10-05-2000 17:47', ' <BLOCKQUOTE><font size=\"1\" face=\"Verdana, Arial, Helvetica\">quote:</font><HR><B>op 05-08-2000 om 11:02 PM schreef Taz4fun het volgende: </B><BR>Ik moet ff ingrijpen. Ik zie mezelf tussen de vrijgezellen staan, maar dat ben ik niet meer. Iemand die een niet slim iemand wel leuk vond en nu ben ik weer bezet.<BR><HR></BLOCKQUOTE><P>eh taz4fun, wie van de 3 is uiteindelijk de gelukkige geworden??? of is er een nr 4 op de proppen gekomen.<P><BR>bix<P>-----------------<BR>nieuwsgierig? brede interesse zeggen mijn vrienden <IMG SRC=\"i/s/smile.gif\">');
Zo'n Fok! import is dus nog een hele klus. Maar goed, ik ben nu begonnen, dus ik maak het ook af
Ik heb nu nl. een Topic -> XML script die de boel weer naar UBB gooit met uitzondering van de smilies (die maak ik morgen wel ff af).
Ik was van plan de data rechtstreeks in een database te gooien, ik denk dat dat minder ruimte kost dan eerst de rauwe data opslaan op schijf.
quote:Ja, zoveel schijfruimte kom ik nou ook weer niet te kort
Op woensdag 22 januari 2003 23:40 schreef Aaargh! het volgende:
Je laat gewoon de HTML er in staan ?Ik heb nu nl. een Topic -> XML script die de boel weer naar UBB gooit met uitzondering van de smilies (die maak ik morgen wel ff af).
Ik was van plan de data rechtstreeks in een database te gooien, ik denk dat dat minder ruimte kost dan eerst de rauwe data opslaan op schijf.
. Overigens sla ik mijn eigengeprogselde (ubb)forum ook html op, dat bevordert de leesnelheid.De 10000 topics reulteerden in 199000+ reacties (zaten nog wat foutjes in) en dat kwam neer op 66 MB. Er zijn nu op fok zo rond de 8 miljoen reacties, 200.000 zijn 66MB, dus in totaal zal dat wel neerkomen op 2,6 GB aan data.
Maar dan heb je ook iets leuks om statistieken op los te laten
(Arme AMD K6@400MHz)Parse error: parse error in /home/aaargh/public_html/fokxml/topic.php on line 131
oeps?
quote:Oeps
Op woensdag 22 januari 2003 23:55 schreef Chandler het volgende:
aaargh:Parse error: parse error in /home/aaargh/public_html/fokxml/topic.php on line 131
oeps?
, ik had omdat ik vandaag er niet meer mee bezig ga snel ff /* */ om wat code gezet die nog niet af was, maar daar binnen stond al ergens /* */ , dus dat ging fout.kan je niet gewoon dat hele blok javazooi in de database rammen als veld? en dat je bij het zoeken gewoon pas gaat parsen?
quote:Daar word de database niet kleiner op, en 't zoeken word ook een stuk moeilijker, parsen moet je 't toch. dus beter meteen goed in de database.
Op donderdag 23 januari 2003 11:10 schreef Roonaan het volgende:
*stomme opmerking gaat maken;kan je niet gewoon dat hele blok javazooi in de database rammen als veld? en dat je bij het zoeken gewoon pas gaat parsen?
quote:Lijkt me niet lekker als je stat wil gaan maken. Als je bijv. op Danny zoekt, zouden alle topics waarin hij gereageerd heeft en waar men het over hem heeft (ik nu dus
Op donderdag 23 januari 2003 11:10 schreef Roonaan het volgende:
*stomme opmerking gaat maken;kan je niet gewoon dat hele blok javazooi in de database rammen als veld? en dat je bij het zoeken gewoon pas gaat parsen?
) als resultaat naar boven komen. Je kan niet meer zomaar nagaan wanneer het een reactie van hem betreft of een topic over hem.Roonaan toch....
quote:khou van parsen
Op donderdag 23 januari 2003 11:31 schreef K3 het volgende:[..]
Lijkt me niet lekker als je stat wil gaan maken. Als je bijv. op Danny zoekt, zouden alle topics waarin hij gereageerd heeft en waar men het over hem heeft (ik nu dus
Roonaan toch....
liefs zo vaak en zo veel mogelijk quote:Ik ook
Op donderdag 23 januari 2003 12:02 schreef Roonaan het volgende:[..]
khou van parsen
Perl ChOas: Bezig in Perl / MySQL / PHP
Lipho: Kijk of het in PL/SQL kan?
K3: Aan het leegtrekken met Perl
Ronaan: PHP / XML
SignOTheTimes: C#
Aaargh: PHP?
Scoutboy: Bezig met Perl / MySQL / Perl
Zo da wast... ik zoek eigenlijk nog wel iemand in Brabant die voor mijn ffkes de DB kan leegtrekken want ik zit met modem () en da werkt niet zo snel (2200 messages per uur)...
quote:Als je een Echte Bikkel bent doe je dat met flex/bison.
Op donderdag 23 januari 2003 12:03 schreef ChOas het volgende:[..]
Ik ook
quote:als je het in mysql/php maakt wil ik best een paar dagen me pc aan laten staan en je een db cd sturen
Op donderdag 23 januari 2003 12:10 schreef scoutboy het volgende:
Oke ffkes overzicht gemaakt van dit topic wie nou allemaal bezig isChOas: Bezig in Perl / MySQL / PHP
Lipho: Kijk of het in PL/SQL kan?
K3: Aan het leegtrekken met Perl
Ronaan: PHP / XML
SignOTheTimes: C#
Aaargh: PHP?
Scoutboy: Bezig met Perl / MySQL / PerlZo da wast... ik zoek eigenlijk nog wel iemand in Brabant die voor mijn ffkes de DB kan leegtrekken