quote:Dat is dus inderdaad het grootste probleem.
Op woensdag 22 januari 2003 10:44 schreef ChOas het volgende:[..]
Das dus VEEL data
Daarom haalde Arcee Fok! ook maar 1 maal per maand leeg! Anders was het ondoenlijk geworden!
quote:Dit topic tot nu toe: ongeveer 100K... Kan nog wel wat HTML
Op woensdag 22 januari 2003 10:44 schreef Tijn het volgende:[..]
Nee, de smileys, posticons, usernames, forumnames en namen van de topics zijn ook wel belangrijk eigenlijk
Op hoeveel kom je dan uit?
gestripped worden, maar het is maar een idee...
When you understand why you dismiss all the other possible gods, you will understand why I dismiss yours."
[Stephen Roberts]
quote:Oke, het wordt een 1 op 1 copy van wat er aan de users op het scherm wordt getoond. (in de topics, profielen vallen erbuiten)
Op woensdag 22 januari 2003 10:45 schreef Tijn het volgende:[..]
Nee, het wordt zeker geen 1 op 1 kopie van de huidige database. Want daarin staan ook rechten vermeld, registratie e-mailadressen, notes en andere meuk die niks hiermee te maken heeft
quote:Ok, ik heb net even de index bij elkaar opgeteld en kom uit op 141018 topics in de huidige, actieve fora.
Op woensdag 22 januari 2003 10:47 schreef ChOas het volgende:[..]
Dit topic tot nu toe: ongeveer 100K... Kan nog wel wat HTML
gestripped worden, maar het is maar een idee...
Dus dat wordt grofweg 13,45 GB
Hmmm... is het belangrijk dat de database die deze 13,5 GB bevat aan een snelle verbinding ligt?
quote:Volgens mij moet je ook de niet actieve dora meetellen (behalve Admin, maar ik weet niet of die zich ook aan de telling houdt) voor een goed beeld. Kom je toch op 100000 topics meer uit. Dus gok dan maar op >20 GB
Op woensdag 22 januari 2003 10:53 schreef Tijn het volgende:[..]
Ok, ik heb net even de index bij elkaar opgeteld en kom uit op 141018 topics in de huidige, actieve fora.
Dus dat wordt grofweg 13,45 GB
Hmmm... is het belangrijk dat de database die deze 13,5 GB bevat aan een snelle verbinding ligt?
quote:Sigs en ondertitels horen er eigenlijk niet bij, die horen bij de user profielen. En ik denk niet dat die tabel echt nuttig is (hoewel een tabel username-userID wel handig kan zijn, bij de posts hoef je dan nog maar 1 van die 2 op te slaan, scheelt weer iets aan ruimte).
Op woensdag 22 januari 2003 10:47 schreef Tijn het volgende:
Signatures en ondertitels hoeven niet per se, dat scheelt weer
Alhoewel je in de database wel bij kan houden of een topic gesloten is. Bij een volgende loop van 1 tot maxtopics kan je in de database checken of je een bepaald topicnummer op moet halen!
[Dit bericht is gewijzigd door SignOTheTimes op 22-01-2003 11:04]
quote:Is best veel ja. Als ik dat wil backuppen mag ik eerst wel een grotere HD kopen.
Op woensdag 22 januari 2003 11:01 schreef Isabeau het volgende:
20 GB? Whoa....
Of, om in de stijl van de mannetjes te blijven, Dirk heeft een heel groot magazijn nodig 
quote:Modjes kunnen doorposten na een slotje hoor.... Maar in de index staat tegenwoordig de tijd van de laatste post, dat kan wel handig zijn
Op woensdag 22 januari 2003 11:03 schreef SignOTheTimes het volgende:
Het zou overigens wel rete handig zijn als je van te voren een lijst had met topics die gesloten zijn of topics die sinds de vorige parse niet gewijzigd zijn. Deze topics hoef je in de toekomst niet nog een keer op te halen.
quote:topic# blijft hetzelfde
Op woensdag 22 januari 2003 11:11 schreef dolle_hond het volgende:
ik heb niet het hele topic gelezen, maar heb je al rekening gehouden ermee dat de topics soms van een naar ander forum worden geschopt?
quote:idd, maar daarom is hergebruik een maand later niet te doen, zelfs als er niet in gepost is kan het topic van GC naar PTA zijn gezet.
Op woensdag 22 januari 2003 11:12 schreef mvt het volgende:[..]
topic# blijft hetzelfde
quote:Ja, maar je moet er wel aan denken dat het topic dan ook in je backup database verplaatst wordt. Anders kloppen de stats niet.
Op woensdag 22 januari 2003 11:12 schreef mvt het volgende:[..]
topic# blijft hetzelfde
dingen met zich mee, maar niet onoverkomelijk.
Topic dicht -> Open ... Okay, als een topic meer dan 2 dagen
dicht is blijftie dicht...
Wordt dan niet meer gebackupped;
Topic verplaatsen -> Uuuuuhm moet ook wel gaan ook 2 dagen ?
Daarna wordt het niet meer aangepast, topicnummer blijft toch gelijk.
Topic-kick: Bij topics die gebackupt dienen te worden alleen
naar de laatste post kijken: <Huidige datum, op naar het volgende topic...
Of voor dat verplaatsen gewoon 1x in de zoveel tijd
een run over de database maken om te kijken of alles
nog goed staat... is maar 1 post voor nodig, weinig
dataoverdracht dus...
[Dit bericht is gewijzigd door ChOas op 22-01-2003 11:29]
When you understand why you dismiss all the other possible gods, you will understand why I dismiss yours."
[Stephen Roberts]
quote:Op een schijfje op je eigen webserver. Dat is zo'n beetje het minste probleem.
Op woensdag 22 januari 2003 11:27 schreef blieblie het volgende:
Maar waar laat je for god sake 14 gig aan data op het internet?.
Ik zal vanavond eens kijken of er een beetje een leuke Fok!-crawler te bouwen valt in PL/SQL. Dan kan ik de backup direct in Oracle zetten wat voldoende mogelijkheden voor lijstjes zou moeten opleveren.
quote:Op een harde schijf?
Op woensdag 22 januari 2003 11:27 schreef blieblie het volgende:
Maar waar laat je for god sake 14 gig aan data op het internet?
En 'k denk dat de daadwerkelijke database kleiner is, omdat sommige dingen niet bepaald efficient verstuurd worden. De datum/tijd zal niet als tekst in de database staan, lijkt me
quote:net als de bergen redundantie die hier op de pagina gekwakt worden.
Op woensdag 22 januari 2003 11:39 schreef Light het volgende:[..]
Op een harde schijf?
En 'k denk dat de daadwerkelijke database kleiner is, omdat sommige dingen niet bepaald efficient verstuurd worden. De datum/tijd zal niet als tekst in de database staan, lijkt me
quote:Volgens mij niet echt. Vooropgesteld dat je de lijstjes op die machine maakt hoef je alleen maar de lijstjes te verzenden en dat zou een stuk minder data moeten zijn.
Op woensdag 22 januari 2003 10:53 schreef Tijn het volgende:
Hmmm... is het belangrijk dat de database die deze 13,5 GB bevat aan een snelle verbinding ligt?
Snelle download vanaf de databasemachine om Fok! te indexeren is uiteraard wel handig, maar niet noodzakelijk.
* K3 wordt een beetje ontmoedigd (scriptje haalt de eerste 20.000 topics binnen).
Sowieso moet nog wel iemand aan Danny vragen in hoeverre hij dit allemaal toestaat, voordat we van alles gaan regelen en afspreken he Kzal kijken of ik met 'em in contact kan komen.
[Dit bericht is gewijzigd door Tijn op 22-01-2003 11:53]
