quote:Ik denk dat je het de eerste keer inderdaad over een maandje
Op woensdag 22 januari 2003 12:56 schreef Light het volgende:[..]
Vast. De hele database in een nachtje leegtrekken normaal gebruik? Ik denk het niet...
moet verspreiden, ofzo...
When you understand why you dismiss all the other possible gods, you will understand why I dismiss yours."
[Stephen Roberts]
quote:De stats komen niet online te staan, dus dat is er ook niet
Op woensdag 22 januari 2003 12:49 schreef sop het volgende:Alleen de output genereert dataverkeer.
Eén keer in de zoveel tijd worden er gewoon een aantal lijstjes gemaakt van de huidige database en die worden gepost en dan is er weer een maandje niks
quote:Dan is het een kwestie van even overleggen met Danny en jouw servertje vervolgens vrolijk Fok! laten leegtrekken. Met 8Mb/s download zou je een heel eind moeten komen.
Op woensdag 22 januari 2003 13:00 schreef Tijn het volgende:
De stats komen niet online te staan, dus dat is er ook niet
Als je eenmaal alles hebt, is het natuurlijk alleen nog een kwestie van bijhouden (nachtelijke cronjobs oid).
Het perl scriptje dat ik in dit topic zag is ook wel handig
.
quote:met wget kun je alle topics aflopen
Op woensdag 22 januari 2003 13:05 schreef MoJo het volgende:
Met Imagedownloader kun je een hele site downloaden..
.
quote:[ego-mode=on]
Op woensdag 22 januari 2003 13:08 schreef K3 het volgende:[..]
met wget kun je alle topics aflopen
Met dat Perl-script ook, en dan wordt alles ook nog eens ge-parsed 
[ego-mode=off]
When you understand why you dismiss all the other possible gods, you will understand why I dismiss yours."
[Stephen Roberts]
And it is impossible to live wisely and well and justly without living a pleasant life.
Ik zou ervoor kiezen om een sub-domein te vragen aan Danny oid. en 1 keer per maand alle gegevens te laten auto-updaten... Heb je 1 keer in de maand behoorlijk wat dataverkeer, en is het toch redelijk uptodate. En hou je wel gewoon de regelmaat vast die Arcee er ook op na hield.
quote:Mijn voorstel was om het over Oracle te laten lopen. De databasemogelijkheden die je daarmee hebt worden vrij lastig om te overtreffen en voor non-profit doeleinden kan je een gratis developer's licentie regelen. De PHP/MySQL koppeling laat ik toch echt over aan de experts.
Op woensdag 22 januari 2003 13:30 schreef Aaargh! het volgende:
Leukste zou natuurlijk zijn om de hele zooi in een PostgreSQL database te gooien, (PostegreSQL ondersteund itt MySQL wel subqueries). Dan kan je nl. ook wat ingewikkeldere/onzinnige stats maken.
quote:Als je goed kan joinen heb je geen subqueries nodig
Op woensdag 22 januari 2003 13:30 schreef Aaargh! het volgende:
Leukste zou natuurlijk zijn om de hele zooi in een PostgreSQL database te gooien, (PostegreSQL ondersteund itt MySQL wel subqueries). Dan kan je nl. ook wat ingewikkeldere/onzinnige stats maken.
OK, bijna nooit
quote:Als je goede subqueries schrijft kan je een hogere performance halen dan bij "slechts" joins.
Op woensdag 22 januari 2003 13:50 schreef K3 het volgende:
Als je goed kan joinen heb je geen subqueries nodigOK, bijna nooit
af en toe
quote:Een subdomein? Ik denk dat dat iets teveel van het goeie is hoor. Kwou die stats eigenlijk gewoon, net als Arcee deed, in een groot topic pleuren om de zoveel tijd
Op woensdag 22 januari 2003 13:35 schreef blieblie het volgende:
Ik vind het wel een top idee, maar is er al enig idee hoe de output verzorgt wordt?Ik zou ervoor kiezen om een sub-domein te vragen aan Danny oid. en 1 keer per maand alle gegevens te laten auto-updaten... Heb je 1 keer in de maand behoorlijk wat dataverkeer, en is het toch redelijk uptodate. En hou je wel gewoon de regelmaat vast die Arcee er ook op na hield.
quote:Klopt, maar bij de ontvanger gaat de dataverkeer ook tellen. Als je >20 GB wilt downloaden op 1 nachtje en je hebt een Fair Use Policy, dan gaat je provider klagen.
Op woensdag 22 januari 2003 12:49 schreef sop het volgende:
Overigens werd er hier al over bandbreedte gerept. Dat valt reuze mee hoor.
De scriptjes om de statistieken te maken draaien op de server en die geven alleen serverbelasting, geen dataverkeer.
Alleen de output genereert dataverkeer.
quote:Ik mag 50 GB trekken per 7 dagen, heb alleen niet de nodige schijfruimte.
Op woensdag 22 januari 2003 14:39 schreef mvt het volgende:[..]
Klopt, maar bij de ontvanger gaat de dataverkeer ook tellen. Als je >20 GB wilt downloaden op 1 nachtje en je hebt een Fair Use Policy, dan gaat je provider klagen.
And it is impossible to live wisely and well and justly without living a pleasant life.
).
quote:Gelukkig doet mijn provider (TweakDSL) niet zo moeilijk als het om Fok! gaat
Op woensdag 22 januari 2003 14:39 schreef mvt het volgende:[..]
Klopt, maar bij de ontvanger gaat de dataverkeer ook tellen. Als je >20 GB wilt downloaden op 1 nachtje en je hebt een Fair Use Policy, dan gaat je provider klagen.
Maar wat betreft Fok! en de source.
Men neme een php, en besluit dat de php een topic met nummer 257667 op moet slaan in het bestand topic257667.htm
dan doet men:
php:hiermee heb je dan alle relevante zooi die je wilt hebben, de rest kan je niet zoveel schelen.<?
$source = implode("",file("http://forum.fok.nl/showtopic.php/$topicnr/1/300"));
$source = substr($source, strpos(strtolower($source),"</head>") + 7);
$source = substr($source, strpos(strtolower($source), "<script type=\"text/javascript\">message"));
$source = substr($source,0,strpos(strtolower($source),"</script>")+8);
?>
dan open je met php je lokale bestand:
$file = fopen("topic257667.htm","w");
daarin gooi je wat zut:
code:Natuurlijk kan je er dan een heleboel leuke dingen mee doen nog, maar dit is een begin. De rest vogel je zelf maar uit. (recursieve aanroep met bijvoorbeeld:<head><title>Eventueel rip je dan nog de titletag uit de source</title>
<script type="text/javascript" src="mijnjavascript.js">
</head>
<body>
$source
</body>
</html>
echo "<script>var thistopic = 257667; document.location=\"gettopic.php?topic=\" + (thistopic+1); </script>";
)
en dan start je op je localhost je browserwindow op en ga je 2 weken iets anders doen.
owja. voor mijnjavascript.js kan je gewoon alle losse fok!scripts in een file flikkeren geloof ik.
zo moeilijk was het toch niet?
Ik heb even in C# zitten meuken, en kan reeds het volgende...
Ik kan een topic onderverdelen in posts, elke post heb ik in een array zitten.
In die array heb ik het post nummer, de user, usernummer, ondertitel, usericon href, datum van de post, de body en de ondertitel.
De parser op zich werkt dus perfect, nu nog in een DB stouwen!
code:private void Form1_Load(object sender, System.EventArgs e)
{
string strFile;
string strLine;
string[] strArray;int intCurPos;
int intNextPos;
int intEndPos;Uri uri = new Uri("http://forum.fok.nl/showtopic.php/999999/1");
StreamReader sr = OpenFile(uri);
strFile = sr.ReadToEnd();intCurPos = 0;
while(true)
{
intNextPos = strFile.ToLower().IndexOf("message(", intCurPos);
if (intNextPos == -1)
break;intEndPos = strFile.IndexOf("');", intNextPos + 1);
strLine = strFile.Substring(intNextPos + 8, intEndPos - intCurPos - 9);
strArray = strLine.Split(Convert.ToChar("'"));
// 1 is de username
lstUsers.Items.Add(strArray[1]);
intCurPos = intEndPos;
} }
}private StreamReader OpenFile(Object o)
{
try
{
Uri uri = o as Uri;HttpWebRequest req = (HttpWebRequest)WebRequest.Create(uri);
req.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Q312461; .NET CLR 1.0.3705)";
HttpWebResponse res = (HttpWebResponse)req.GetResponse();
StreamReader sr = new StreamReader(res.GetResponseStream(), Encoding.UTF8);return sr;
}
catch(Exception ex)
{
lbMessage.Text = "Error on ThreadID {0}: {1}" + AppDomain.GetCurrentThreadId()+ ex.Message;
return null;
}
}
quote:Voor. Dan kan iedereen die dat wil die output zonder al te veel problemen inlezen in zijn/haar eigen DB'tje en daar eigen zoekvragen op los laten.
Op woensdag 22 januari 2003 15:19 schreef Roonaan het volgende:
* Roonaan gaat dan ook maar coden.. zit zelf te denken aan xml output eigenlijk..
quote:Ik geloof dat ik al zoiets heb liggen, ik zal ff kijken
Op woensdag 22 januari 2003 15:19 schreef Roonaan het volgende:
* Roonaan gaat dan ook maar coden.. zit zelf te denken aan xml output eigenlijk..
And it is impossible to live wisely and well and justly without living a pleasant life.
