Under tre tillfällen i helgen tappade vi alla kontakten med 99mac, iPod.se, Mac.se och alla andra tjänster som körs på vår serverfram i Stockholm.
Efter driftstoppet i söndags tog vi beslutet att byta ut brandväggen mot en helt ny och kraftigt överdimensionerad maskin och bytet gjordes igår eftermiddag. Efter en rejäl analys av mjukvara och hårdvara hittade vi felkällan - en trasig processorfläkt gjorde att maskinen blev överhettad och låste sig.
Trots rejäl kylning i serverhallen räckte det inte för att hålla liv i brandväggen som har mycket att göra nattetid, det är nämligen då alla amerikanska aktörer skickar tusentals spam till mottagare som sitter på jobbet i USA.
Det var väldigt svårt för oss att hitta felet i serverhallen och vi vill beklaga driftstoppen. Särskilt mac.se kunderna som har sina mailkonton och hemsidor i vår servermiljö. Vårt mål kommer alltid vara 100% tillgänglighet men efter helgens bekymmer är vi nere på 99,46% räknat sedan 1:a Oktober 2003.
Läs gärna krönikan "Redundans - när inget får gå fel".
Vi kan lägga till en extra punkt - försök att använda serverutrustning med inbyggd kontroll och varningssystem för trasiga fläktar (och andra komponenter).