Hattrick #421: Eindelijk weer online

Anatomy of a crash, part III

August 26, 2010 at 3:54 pm · Filed under Uncategorized

The story goes on, this part just handles about 30 minutes. But hey – those minutes were intense and a real rollercoaster ride:

16.19 Mattias emerges from one of numerous telephone conferences with devs and suppliers during the day, to tell the whole team some really heart-breaking news on our Skype chat:

[2010-08-24 16:19:07] Mattias: OK, bad news:

We will not be up for another 24 hours. We are copying the data to our old disk system, but at this rate (since the disk check is going on at the same time), we won’t be finished for another 20 hours. And then we need to let ht.exe catch up.

There is no chance that we can delay the matches that long, so they will be played on schedule.

[2010-08-24 16:19:40] Peter:

[2010-08-24 16:20:19] Mattias: There is a chance that we can abort the parity check. Our supplier is trying that out on a test system, to see if its possible. If so, we will be online later this evening.

[2010-08-24 16:23:42] Mattias: I suggest we inform the users about the possibility that we will be offline for another 24 hours and explain why.

[2010-08-24 16:24:09] Mattias: Also, we need to tell them that the matches will be played as scheduled.

[2010-08-24 16:24:31] Niclas: this is indeed bad news.To say the least

[2010-08-24 16:25:59] Anne: So something along the lines of We might have to keep the site offline for another 24h. We are working really hard to find a solution to be up and running before then. Unfortunately, matches scheduled during those 24h will be played.

From having been a crash that we could, in a sense, live with, we now have to face the consequences of a real disaster, which threatens to leave the site closed through in effect the entire Cup and friendlies round, affecting every single user in the game. It’s just really heavy to digest. I think at this moment all of the more community-faced members of the team silently pencilled in a rough few weeks in their mental calendar. I know I did.

And then:

[2010-08-24 16:35:27] Mattias: stop

[2010-08-24 16:36:28] Mattias: We have just aborted parity check on the youth disks and we increased performance by 8 times.

[2010-08-24 16:36:41] Mattias: So we will probably up later tonight.

This still meant we would miss the start of the cup games, but it was a big relief that it looked possible that we could be up again tonight. But we still couldn’t be sure what we would get out of the system once we reopened it.

Permalink Comments (1)
Anatomy of a crash, part II

August 26, 2010 at 2:54 pm · Filed under Uncategorized

Here’s part two of the story, starting very early Tuesday morning and going on until 15.00:

Very early on Tuesday morning the restore is completed and all devs are online to start looking for potential problems, corrupt data or failed transactions in and around the game. This has to be done before we can sitch on the game applications again, that make the time tick again in the Hattrick universe.

A list of issues is identified, some are sorted out, other are out of our hands and simply relayed to users (such as the fact that our last backup of HT-mail was only at 5 AM Monday morning, or that 42 youth acamies that had been started on Monday would have to be restarted by the users).

But there is good news as well. Late morning it does seem that everything is well ahead of schedule, and the engine is catching up. We decide to open the site just after 10 HT-time, really quite pleased with ourselves. And as this point we get a very cold shower.

While the restored backup is now in fine working condition, the disks are simply too slow for the site to be possible to use. The redundant disks are stuck in a process of checking the data for errors, and again, because of the amount of data we need to have “live” this takes a long time – much longer than expected. The site goes down again and we don’t even need to change the message to users about our estimated reopening, as we still target late afternoon, but now with a new set of problems. What we all fear is that we will not be able to be back before cup games start, as up until then we have mainly inflicted boredom on our users. If the site is down as the cup starts, many users will get consequences that affect their team and season plans in a more tangible way.

For those of us that can’t code, we discuss various way of preventing problems for users – such as extending transfer deadlines – and putting together information for when we are back online. We also answer questions on our Facebook page and through our Twitter channel @hattrick.

After lunch, around 14.30, we get some further bad news. The disk check is not only not yet done, it will be done at an “unknown” time. And in the mean time, the performance of the storage solution will be a quarter of what it should be – really impossible for our site to run on. However, we still have the old disk system from the same supplier available, which was our main storage until a year ago, and a decision is taken to take it into use instead. It’s smaller, so we can’t fit both the main Hattrick site, Youth, and the forums onto it. But it would be the only way to get the game up again this same day. The alternative would be several days longer downtime for the entire system. Obviously this option is the best one we have, so we get started on it. It’s 15 HT-time when the decision is made, and the move should take about 90 minutes. There is still hope that we can be online well before the Cup games get started.

Permalink Comments (12)
The anatomy of a crash, part I

August 26, 2010 at 2:40 pm · Filed under Uncategorized

I’d just thought I should give you all a little more detail about what happened this week. And as the story became quite long, I will break it up into parts. Here’s Monday:

On Monday, we were doing upgrades and patches to our server park as we tend to do at least once every season. This is when we upgrade disks, install new web servers, patch software, and so on. Most of our hardware is managed by ourselves, such as the game servers and web servers, but they do run atop a disk storage solution which is managed by the supplier directly. This system is generally very stable and has a high performance and capacity, and we’ve used the same supplier since 2004.

This Monday, our supplier was on site to make an upgrade to the firmware of their system. This upgraded firmware turned out to be buggy, as it caused the disks to crash, and with them, Hattrick. Why this happened we can’t really say, but it is likely that our specific conditions somehow triggered this bug that had not been revealed at their previous tests or at previous installations.

This happened just after 15 HT-time on Monday, triggering error messages for those users that were online at the time. At 15.23 we closed the web and started working on figuring what exactly had happened, what the consequences were, and what we should do next. At this point we also close all applications that “run” the game in the background, as they obviously no longer have a database to work against. This is also true for transfers.

Ten minutes or so later the supplier confirms that his patch has caused the crash, and he tries to get the disks back online, but he also gives us a first indication that a restore of backup may be necessary – something we at this point estimate would take the rest of the day to perform. At 15.48 we pass this outlook on to the users through the down web.

The next hour the disks are brought back online, but they can’t be accessed as they should by the rest of the system. The supplier gets to work on this while we are left to consider the options we have. What we are hoping for at this point is that the data on the disks are indeed salvageable, and that we can resume the game within hours. We’re skeptical about this though, and unfortunately this also proves to be well founded. The supplier can’t make it work and we decide a restore of our backup has to be done. A small consolation in all this is that the window of data loss is relatively small, only 30 minutes. Around 18 HT-time we start preparing for this work, which will take most of the night.

This is mainly due to the enormous amount of data – in excess of 1 terabyte, and a lot more if we count archives and forums – that needs to be moved and “unpacked”, and then checked for inconsistencies by us, before we can go live with the site. On top of this the game world itself will stand still during the downtime, and will need to catch up before we can reopen for users.

While we have hopes to be up earlier than that, we publish a new message on the downweb stating that we will probably not be up until Tuesday afternoon. What we really hope for is to be up and tunning a few hours before the Cup games start at 18 HT-time on Tuesday evening. All available devs are called in for a telephone conference in which the tasks are divided. Daniel is already in place in the server hall to work on the restore of the backup, while Chris babysits the restore process throughout the night.

And Monday ends…

Permalink Comments (19)
Welcome inside our heads…

August 19, 2010 at 8:47 am · Filed under General

..and welcome behind the scenes. Welcome to our dev blog – the best blog ever (naturally)!

We want to share what’s going on at the Hattrick office on a normal Wednesday, or on an unusual Tuesday with you, and that’s what this blog is for. We will blog about our daily lives as HT developers, what happens in the office, and share our thoughts with you. This will also be a perfect place for us to comment things that happens in the forums and in the community, and to give our point of view about different things.

We will also take the opportunity to let the persons behind the alias to shine through, and be more personal. And sometimes it may not be even about Hattrick at all. Be aware.

So, this is not a place where we will announce new features in the game (we got My Hattrick for that), and this is not the place where we will inform about problems or small updates (we got system information for that). This is where you meet us, the people developing this game.

FrituurVetPet	dinsdag 24 augustus 2010 @ 20:41
	FOK!Hattrick Welkom bij het topic van FOK!Hattrick. Dit topic is voor alle FOK!kende hattrickers onder ons. Newbies zijn altijd welkom, en bij vragen helpen we graag! Er zijn veel ervaren hattrickers in dit topic te vinden, dus meestal is er wel iemand die een antwoord heeft. De federatie site: FOK!hattrick Wat is Hattrick? Hattrick is een gratis online spel waarbij je je eigen voetbal team runt. Je traint spelers op bepaalde specialiteiten, je speelt en regelt wedstrijden. Je kan elk moment van de dag inloggen op hattrick.org om te kijken of er nog wat gebeurd is. Je begint in een van de laagste divisieís en je speelt in een competitie met nog 7 andere users. Dit zijn dus andere mensen die ook hattrick spelen. Als kampioen (en tweede) promoveer je naar een hogere of speel je play-offs. Interesse? Neem dan eens een kijkje op Hattrick. Hattrick Supporter Als je een team hebt gekregen en je vindt Hattrick hartstikke leuk, maar je wilt toch wat meer doen met Hattrick? Dan is er Hattrick Supporter. Je betaalt per jaar 29,70 euro en je krijgt een paar leuke extra's waardoor Hattrick nog leuker wordt. Zo kan je persberichten uitgeven, een eigen logo kiezen, en natuurlijk kan je lid worden van onze geweldige federatie! De Federatie Als je supporter bent, wordt dan ook lid van onze federatie en wees er trots op dat je een FOK!ker bent! De FOK!Federatie is anders dan de meeste federaties op Hattrick aangezien wij ons eigen forum hebben op FOK! Daarnaast organiseren we nog een aantal andere leuke dingen: • Cup We hebben al sinds jaar en dag de FOK!Cup Dit houdt in dat we een toernooi spelen tijdens de vriendschappelijke wedstrijden op woensdag. De FOK!Cup begint altijd ongeveer in ronde 5 van een nieuw Hattrick seizoen. De inschrijvingen starten een paar weken eerder. Cup topic. Huidige stand • Awards De awards worden uitgereikt aan mensen met bijzondere prestatie. Dit kunnen zowel positieve als negatieve prestaties zijn. Iedereen hier kan stemmen op bepaalde categorieën en degene met de meeste stemmen krijgt een heel seizoen een award. Hier valt dan ook niet onder uit te komen. Award topic. • Vinnie Jones / Gary Lineker De naam zegt het al. Welk team krijgt de meeste rode/gele kaarten en veroorzaakt de meeste blessures om de felbegeerde Vinnie Jones award binnen te slepen. Degene die de minste kaarten en blessures veroorzaakt verdient de Gary Lineker award. VJ/GL topic. Huidige stand • Gouden Schoen De gouden schoen wordt uitgereikt aan het team dat de topscoorder in huis heeft. Deze wordt berekend aan de hand van de divsie waar je in zit en het aantal hattricks die de speler gescoord heeft. Iedereen die aan de VJ/GL award mee doet, doet automatisch mee voor de gouden schoen. Huidige stand • TeauTeau Bij de Fok!Hattrick TeauTeau is het de bedoeling om uitslagen te voorspellen van wedstrijden van mede FokHattrick leden. Wekelijks worden door de organisatie 5 wedstrijden uitgekozen om je voorspellingen op los te laten. De winnaar van het klassement verdient uiteraard een award! TeauTeau topic. Huidige stand • Team van de Maand Als laatste hebben we ook nog het team van de maand. Dit team vult een vragenlijstje in, en deze wordt dan hier neergezet. Laatste team van de maand: FC Bifröst. • Winnaars _Klikbaar. IRC Iedere (woensdag- en) zondagavond tijdens de wedstrijden zit een groep FOK!Hattrickers met elkaar te chatten. Dit gaat een stuk interactiever dan via het forum. De chat is heel makkelijk te bezoeken. Ga naar de FOK!hattrick site, klik dan op chat, kies een nickname en je kunt de fokhatrrick chat in. Je kan ook IRC-software downloaden. Als je handmatig verbinding wil maken kan dat ook. Mac OSX gebruikers kunnen Colloquy downloaden, mIRC is er voor Windows gebruikers. De IRC server is arethusa.tweakers.net en het kanaal is #fokhattrick. Links • Uitgebreide info-site van Het Antwoord Genootschap! • HT-Box, Een handige training en blessure tool site! • Alltid Hattrick, de statistieksite bij uitstek! • Wij zijn cool! • Informatie omtrent teamgeest drops. • Startkabel site voor Hattrick; vele links! • Site om je Jeugd Opleding bij te houden. Begin zo vroeg mogelijk met het bijhouden, dan is het minder werk! Mirrors Hattrick geblokt op je werk/school/bij je vriendin? Probeer één van de volgende adressen eens! • www.hattrick.org • www.hattrick.ws • www.hattrick.interia.pl • www.hattrickonline.com Oude topics Omdat we uiteraard ook waarde hechten aan de geschiedenis van onze fed, hebben we ook een overzicht van alle hattricktopics op FOK! _{#001 \| #002 \| #003 \| #004 \| #005 \| #006 \| #007 \| #008 \| #009 \| #010 \| #011 \| #012 \| #013 \| #014 \| #015 #016 \| #017 \| #018 \| #019 \| #020 \| #021 \| #022 \| #023 \| #024 \| #025 \| #026 \| #027 \| #028 \| #029 \| #030 #031 \| #032 \| #033 \| #034 \| #035 \| #036 \| #037 \| #038 \| #039 \| #040 \| #041 \| #042 \| #043 \| #044 \| #045 #046 \| #047 \| #048 \| #049 \| #050 \| #051 \| #052 \| #053 \| #054 \| #055 \| #056 \| #057 \| #058 \| #059 \| #060 #061 \| #062 \| #063 \| #064 \| #065 \| #066 \| #067 \| #068 \| #069 \| #070 \| #071 \| #072 \| #073 \| #074 \| #075 #076 \| #077 \| #078 \| #079 \| #080 \| #081 \| #082 \| #083 \| #084 \| #085 \| #086 \| #087 \| #088 \| #089 \| #090 #091 \| #092 \| #093 \| #094 \| #095 \| #096 \| #097 \| #098 \| #099 \| #100 \| #101 \| #102 \| #103 \| #104 \| #105 #106 \| #107 \| #108 \| #109 \| #110 \| #111 \| #112 \| #113 \| #114 \| #115 \| #116 \| #117 \| #118 \| #119 \| #120 #121 \| #122 \| #123 \| #124 \| #125 \| #126 \| #127 \| #128 \| #129 \| #130 \| #131 \| #132 \| #133 \| #134 \| #135 #136 \| #137 \| #138 \| #139 \| #140 \| #141 \| #142 \| #143 \| #144 \| #145 \| #146 \| #147 \| #148 \| #149 \| #150 #151 \| #152 \| #153 \| #154 \| #155 \| #156 \| #157 \| #158 \| #159 \| #160 \| #161 \| #162 \| #163 \| #164 \| #165 #166 \| #167 \| #168 \| #169 \| #170 \| #171 \| #172 \| #173 \| #174 \| #175 \| #176 \| #177 \| #178 \| #179 \| #180 #181 \| #182 \| #183 \| #184 \| #185 \| #186 \| #187 \| #188 \| #189 \| #190 \| #191 \| #192 \| #193 \| #194 \| #195 #196 \| #197 \| #198 \| #199 \| #200 \| #201 \| #202 \| #203 \| #204 \| #205 \| #206 \| #207 \| #208 \| #209 \| #210 #211 \| #212 \| #213 \| #214 \| #215 \| #216 \| #217 \| #218 \| #219 \| #220 \| #221 \| #222 \| #223 \| #224 \| #225 #226 \| #227 \| #228 \| #229 \| #230 \| #231 \| #232 \| #233 \| #234 \| #235 \| #236 \| #237 \| #238 \| #239 \| #240 #241 \| #242 \| #243 \| #244 \| #245 \| #246 \| #247 \| #248 \| #249 \| #250 \| #251 \| #252 \| #253 \| #254 \| #255 #256 \| #257 \| #258 \| #259 \| #260 \| #261 \| #262 \| #263 \| #264 \| #265 \| #266 \| #267 \| #268 \| #269 \| #270 #271 \| #272 \| #273 \| #274 \| #275 \| #276 \| #277 \| #278 \| #279 \| #280 \| #281 \| #282 \| #283 \| #284 \| #285 #286 \| #287 \| #288 \| #289 \| #290 \| #291 \| #292 \| #293 \| #294 \| #295 \| #296 \| #297 \| #298 \| #299 \| #300 #301 \| #302 \| #303 \| #304 \| #305 \| #306 \| #307 \| #308 \| #309 \| #310 \| #311 \| #312 \| #313 \| #314 \| #315 #316 \| #317 \| #318 \| #319 \| #320 \| #321 \| #322 \| #323 \| #324 \| #325 \| #326 \| #327 \| #328 \| #329 \| #330 #331 \| #332 \| #333 \| #334 \| #335 \| #336 \| #337 \| #338 \| #339 \| #340 \| #341 \| #342 \| #343 \| #344 \| #345 #346 \| #347 \| #348 \| #349 \| #350 \| #351 \| #352 \| #353 \| #354 \| #355 \| #356 \| #357 \| #358 \| #359 \| #360 #361 \| #362 \| #363 \| #364 \| #365 \| #366 \| #367 \| #368 \| #369 \| #370 \| #371 \| #372 \| #373 \| #374 \| #375 #376 \| #377 \| #378 \| #379 \| #380 \| #381 \| #382 \| #383 \| #384 \| #385 \| #386 \| #387 \| #388 \| #389 \| #390 #391 \| #392 \| #393 \| #394 \| #395 \| #396 \| #397 \| #398 \| #399 \| #400 \| #401 \| #402 \| #403 \| #404 \| #405 #406 \| #407 \| #408 \| #409 \| #410 \| #411 \| #412 \| #413 \| #415 \| #416} Topic statistieken Klik op de link om te zien welke FOK!kende hattrickers de meeste posts hebben of wat het spamrecord is van de hattrickende FOK!kers. Hattrick op FOK! statistieken Deze openingspost Als je het topic sluit doordat je reactie 300 hebt geplaatst, word je vriendelijk verzocht een nieuw topic te openen. De OP is dan hier te vinden. Tevens word je verzocht even je eigen laatste topic post te editen en een linkje te plaatsen naar t nieuwe topic. bvd
RealBizkit666	dinsdag 24 augustus 2010 @ 20:42
	Hoi.
FrituurVetPet	dinsdag 24 augustus 2010 @ 20:42
	FiPo
RealBizkit666	dinsdag 24 augustus 2010 @ 20:43
	quote: Op dinsdag 24 augustus 2010 20:42 schreef FrituurVetPet het volgende: FiPo Fail.
Drassss	dinsdag 24 augustus 2010 @ 20:43
	Uiteraard, maar een rekening sowieso boven de ton is niet slim
Outpost76	dinsdag 24 augustus 2010 @ 20:46
	quote: Op dinsdag 24 augustus 2010 20:38 schreef Flappekz het volgende: [..] Wut? Wut Wut? quote: Op dinsdag 24 augustus 2010 20:39 schreef RealBizkit666 het volgende: [..] Ik dus... Auch...... Niet te veel verloren hoop ik?
Armageddon	dinsdag 24 augustus 2010 @ 20:48
	Lekker weertje hier in Den Haag.
Outpost76	dinsdag 24 augustus 2010 @ 20:49
	quote: Op dinsdag 24 augustus 2010 20:48 schreef Armageddon het volgende: Lekker weertje hier in Den Haag. Tis idd aardig grijs als ik die kant op kijk! Oeh t begint hier nu ook te rommelen! [ Bericht 14% gewijzigd door Outpost76 op 24-08-2010 20:55:43 ]
Xummon	dinsdag 24 augustus 2010 @ 20:50
	saai baravondje hier, mijn baas zal trots op me zijn met de momentele opbrengst!!!!
FrituurVetPet	dinsdag 24 augustus 2010 @ 20:53
	quote: Op dinsdag 24 augustus 2010 20:43 schreef RealBizkit666 het volgende: [..] Fail.
Outpost76	dinsdag 24 augustus 2010 @ 20:55
	quote: Op dinsdag 24 augustus 2010 20:50 schreef Xummon het volgende: saai baravondje hier, mijn baas zal trots op me zijn met de momentele opbrengst!!!! Ben je tenminste niet voor niets toch gaan werken.
Xummon	dinsdag 24 augustus 2010 @ 20:57
	quote: Op dinsdag 24 augustus 2010 20:55 schreef Outpost76 het volgende: [..] Ben je tenminste niet voor niets toch gaan werken. de hele avond zal mijn baas meer kosten dan opleveren
NelisZ	dinsdag 24 augustus 2010 @ 21:20
	pfff, nu al weer een nieuw topic?
klootzzz	dinsdag 24 augustus 2010 @ 21:22
	Hmm uiteindelijk 2 spelers geen training gehad, zit wel me mooiste middenvelder en winger tussen
Drassss	dinsdag 24 augustus 2010 @ 21:22
	Nog 20 min en ik heb eindelijk mijn bovennatuurlijke linkshalf
klootzzz	dinsdag 24 augustus 2010 @ 21:24
	Oh en een blessure kon ook niet uitblijven, ik heb wel een dubieus clubrecord gebroken nu. Sinds de tussenstop elke wedstrijd minimaal 1 blessure.
Drassss	dinsdag 24 augustus 2010 @ 21:30
	quote: Op dinsdag 24 augustus 2010 21:24 schreef klootzzz het volgende: Oh en een blessure kon ook niet uitblijven, ik heb wel een dubieus clubrecord gebroken nu. Sinds de tussenstop elke wedstrijd minimaal 1 blessure. Hier ook. Elke wedstrijd wel een pleister of een echte blessure.
klootzzz	dinsdag 24 augustus 2010 @ 21:39
	Yup erg frustrerend! Hoeveel fysios heb je in dienst? Ik heb 4 van die gasten rondlopen maar denk dat ze vorig seizoen al het werk al gedaan hebben ! BTW Kan nog niet bij de wedstrijden voor de jeugd, had gisteravond een wedstrijd.
Drassss	dinsdag 24 augustus 2010 @ 21:42
	quote: Op dinsdag 24 augustus 2010 21:39 schreef klootzzz het volgende: Yup erg frustrerend! Hoeveel fysios heb je in dienst? Ik heb 4 van die gasten rondlopen maar denk dat ze vorig seizoen al het werk al gedaan hebben ! BTW Kan nog niet bij de wedstrijden voor de jeugd, had gisteravond een wedstrijd. 0 stuks. Dit heb ik al zeker 8 seizoenen lang Ja jeugd en het forum zijn nog even down.. dat komt later ook weer online.
RealBizkit666	dinsdag 24 augustus 2010 @ 21:54
	Gelukkig niet veel schade. Al is 1 trainee niet verkocht. Dis ga ik morgenavond nog een keer op de TL zetten in de hoop dat hij zaterdag wel voor die prijs verkocht wordt. Maar ik moet nu wel voor 3 trainees zorgen voor morgen, dus dat wordt weer zoeken geblazen...