[PHP/(My)SQL] voor dummies #105 Waar veiligheid > alles

quote:

Op zondag 16 december 2012 20:43 schreef YazooW het volgende:
Heeft iemand iets van leesvoer/tips omtrent het verwerken van grote hoeveelheden data (miljoenen records) in een mysql database + php applicatie? Wil binnenkort een projectje gaan starten maar heb nog totaal geen ervaring met grote hoeveelheden data. Alle records bevatten dezelfde kolommen maar ik heb zo'n vermoede dat als ik ze allemaal in 1 tabel zet dit niet helemaal goed zal zijn voor de performance.

Voor het MySQL gedeelte van het verhaal: zoek eens op sharding Daarmee maak je intern een aantal subtabellen aan (niet zichtbaar in the end) die allemaal een deel van de data bevatten. Soort partities binnen je tabel.

quote:

Op zondag 16 december 2012 20:43 schreef YazooW het volgende:
Heeft iemand iets van leesvoer/tips omtrent het verwerken van grote hoeveelheden data (miljoenen records) in een mysql database + php applicatie? Wil binnenkort een projectje gaan starten maar heb nog totaal geen ervaring met grote hoeveelheden data. Alle records bevatten dezelfde kolommen maar ik heb zo'n vermoede dat als ik ze allemaal in 1 tabel zet dit niet helemaal goed zal zijn voor de performance.

Dat maakt niets uit. Als je miljoenen records in een tabel hebt, zal het niet veel uitmaken.

Maar misschien eerst eens kijken of je het moet normaliseren. Of misschien moet je zaken indexeren. Valt genoeg over te lezen hoor.

quote:

Op zondag 16 december 2012 20:43 schreef YazooW het volgende:
Heeft iemand iets van leesvoer/tips omtrent het verwerken van grote hoeveelheden data (miljoenen records) in een mysql database + php applicatie? Wil binnenkort een projectje gaan starten maar heb nog totaal geen ervaring met grote hoeveelheden data. Alle records bevatten dezelfde kolommen maar ik heb zo'n vermoede dat als ik ze allemaal in 1 tabel zet dit niet helemaal goed zal zijn voor de performance.

Afhankelijk van wat voor data het is en wat je er mee wilt kun je eventueel een NoSQL oplossing overwegen.

ik lees hier een hoop verkeerde adviezen

klopt

Bedankt voor de adviezen so far, ik was al bekend met normalisatie, sharding en NoSQL zijn helemaal nieuw voor mij.

Ik zal wat ik uiteindelijk wil wat specifieker beschrijven:
Tot zo ver heb ik wat kleine projectjes gedaan met php/mysql om zodoende het hele php/mysql gebeuren onder de knie te krijgen. Nu wil ik met een groter complexer project beginnen. Ik wil een systeem bouwen waarin ik alle aardbevingen opneem, dus ook die van 50 jaar geleden, deze data is publiekelijk toegankelijk en ziet er als volgt uit:


Vervolgens wil ik op deze data queries gaan uitvoeren, bijvoorbeeld: toon alle aardbevingen binnen gps coördinaat x en gps coördinaat y tussen 1960 en 1970. Mijn vraag is nu dus hoe ik dit het beste kan aanpakken, met welke technieken/methoden behaal ik de beste performance?

Als je met coördinaten wilt gaan werken kun je beter gebruik maken van postgres in combinatie met postGIS. Daar zitten hele handige functies in zodat je makkelijk binnen bepaalde coördinaten kunt zoeken.

PostgreSQL was ik al tegen gekomen, zou kwa performance ook sneller moeten zijn dan MySQL bij databases met heel veel records, althans dat heb ik er over gelezen. PostGIS is nieuw voor mij maar wat ik er nu zo even snel over heb gelezen ziet dat er wel zeker interessant uit voor mij, thanks!

Op zich ondersteunt MySQL ook spatial geo shizzle.

http://dev.mysql.com/doc/refman/5.0/en/spatial-extensions.html

quote:

Op maandag 17 december 2012 11:26 schreef Sitethief het volgende:

[..]

Hey berend, jij hier .

Ja, moest wat vragen!

Okay, ik snap eventjes iets niet.

Ik sla mijn data op als: 25-12-2012.

Ik wil graag een lijstje met alle data in de database, beginnende bij vandaag, dan gisteren, dan eergisteren. Dus:

25-12-2012
24-12-2012
23-12-2012

Dat doe ik nu met:


Alleen vergeet ik even dat MySQL niet zelfstandig na kan denken en ik niet specifiek genoeg ben.
Dus krijg ik:

31-10-2012
30-10-2012
29-10-2012
28-10-2012
27-10-2012
26-10-2012
25-12-2012

Wat moet de query zijn om niet op het voorste getal te sorteren, maar op de datum?

De datum in een DATE-veld opslaan...

quote:

Op dinsdag 25 december 2012 16:03 schreef mstx het volgende:
De datum in een DATE-veld opslaan...

Inderdaad. Ik heb ooit als newbie alles op VARCHAR gezet. Dat was inderdaad niet heel slim. Heb alles opnieuw ingericht en ook maar meteen een AUTO_increment id toegevoegd.

Nu werkt ie dus prima met: "select DISTINCT date from play order by id DESC"

Thanks!

Wat heeft een auto increment op een veld met ID te maken met je datum?

quote:

Op woensdag 21 november 2012 12:33 schreef Maringo het volgende:

[..]

Ik ben er momenteel mee aan het werk. Maar ik zie nog niet echt de meerwaarde ervan in.

Met Laravel 4?

Ik zie best veel meerwaarde dan bijvoorbeeld CakePHP of CodeIgnitor.

quote:

Op woensdag 26 december 2012 02:26 schreef Qunix het volgende:

[..]

Met Laravel 4?

Ik zie best veel meerwaarde dan bijvoorbeeld CakePHP of CodeIgnitor.

Like?

quote:

Op woensdag 26 december 2012 02:26 schreef Qunix het volgende:

[..]

Met Laravel 4?

Ik zie best veel meerwaarde dan bijvoorbeeld CakePHP of CodeIgnitor.

Ik ben er ondertussen ook al wat langer mee bezig en best veel meerwaarde niet. Het heeft wat pros en cons tegenover Cake, maar het is niet zo dat Laravel 4 echt onwijs veel beter is dan Cake.

quote:

Op woensdag 26 december 2012 12:59 schreef rekenwonder het volgende:

[..]

Like?

quote:

Op woensdag 26 december 2012 13:56 schreef Maringo het volgende:

[..]

Ik ben er ondertussen ook al wat langer mee bezig en best veel meerwaarde niet. Het heeft wat pros en cons tegenover Cake, maar het is niet zo dat Laravel 4 echt onwijs veel beter is dan Cake.

Ik heb gespeeld met CodeIgnitor en Cake 1.x en 2.0 en zag er leuk uit. Nu ben ik aan het spelen ben met Laravel 4 en ik vind dat er wel wat dingen beter zijn. Met name de code van de core. Ze zijn nu bezig met de documentatie en vergeet niet dat Laravel 4 nog alpha is.

Paar plus punten hoe ik het ervaar:

Het testen gaat makkelijker. Laravel 4 zelf bevat ook enorm veel test scripts.
Ze gebruiken composer, wat dus makkelijk je laravel versie te updaten is.
Omdat ze composer gebruiken, gebruikt Laravel ook extensies van andere frameworks zoals Symphony. Voordeel daarvan is dat het wiel niet nog een keer is uitgevonden, en ze spullen gebruiken wat echt goed getest is.
Routes in Laravel 3 was OK, maar in Laravel 4 is het beter. Ze hebben support voor REST resources.
De database handler (Eloquent) is fijn (inclusief de migrations).
ORM.
Module structuur zit goed in elkaar (bundles).
Blade template engine (inc caching) is erg fijn.

Ik heb met Laravel 3 wat gespeeld en ben nu met Laravel 4 aan de gang, dus het zou kunnen zijn dat jullie Laravel 1 of Laravel 2 hebben gezien.

ja ik ga nu ook ff spelen met laravel, wel nieuwsgierig geworden

quote:

Op donderdag 27 december 2012 21:13 schreef Juicyhil het volgende:
ja ik ga nu ook ff spelen met laravel, wel nieuwsgierig geworden

Dit moet je hebben: https://github.com/illuminate/app en dan met composer de boel installeren.

quote:

Op dinsdag 25 december 2012 16:08 schreef Dennisweb het volgende:

[..]

Inderdaad. Ik heb ooit als newbie alles op VARCHAR gezet. Dat was inderdaad niet heel slim. Heb alles opnieuw ingericht en ook maar meteen een AUTO_increment id toegevoegd.

Nu werkt ie dus prima met: "select DISTINCT date from play order by id DESC"

Thanks!

Waarom distinct selecteer je de datum, maar sorteer je op id? Gewoon op 'date' sorteren. Bovendien het liefst niet 'date' gebruiken als naam. Officieel is het toegestaan vanuit legacy-redenen, maar als het even kan gewoon niet doen. Als je het toch opnieuw aan het doen ben kan je het beter goed doen.

quote:

Op vrijdag 28 december 2012 00:20 schreef Boze_Appel het volgende:

[..]

Waarom distinct selecteer je de datum, maar sorteer je op id? Gewoon op 'date' sorteren. Bovendien het liefst niet 'date' gebruiken als naam. Officieel is het toegestaan vanuit legacy-redenen, maar als het even kan gewoon niet doen. Als je het toch opnieuw aan het doen ben kan je het beter goed doen.

Geen idee, maar het werkt nu en ik durf er niet meer aan te zitten.

http://aardbei.xsnl.net/hour.php?date=28-12-2012

Zou iemand mij kunnen helpen met het schrijven/implementeren van een stuk code in PHPBB3, waarmee YouTube-links automatisch worden ge-embed?

Ik heb dit topic gevonden, maar de genoemde code die aangepast moet worden bestaat niet.

Ik ben er al behoorlijk lang mee bezig, maar de oplossing kan ik maar niet vinden!

Dat topic is uit 2006, phpBB zal in die tijd wel wat veranderd zijn...