Liten fläkt stjälper stort lass

Foto: Mats Björnström
Under tre tillfällen i helgen tappade vi alla kontakten med 99mac, iPod.se, Mac.se och alla andra tjänster som körs på vår serverfram i Stockholm.

Efter driftstoppet i söndags tog vi beslutet att byta ut brandväggen mot en helt ny och kraftigt överdimensionerad maskin och bytet gjordes igår eftermiddag. Efter en rejäl analys av mjukvara och hårdvara hittade vi felkällan - en trasig processorfläkt gjorde att maskinen blev överhettad och låste sig.

Trots rejäl kylning i serverhallen räckte det inte för att hålla liv i brandväggen som har mycket att göra nattetid, det är nämligen då alla amerikanska aktörer skickar tusentals spam till mottagare som sitter på jobbet i USA.

Det var väldigt svårt för oss att hitta felet i serverhallen och vi vill beklaga driftstoppen. Särskilt mac.se kunderna som har sina mailkonton och hemsidor i vår servermiljö. Vårt mål kommer alltid vara 100% tillgänglighet men efter helgens bekymmer är vi nere på 99,46% räknat sedan 1:a Oktober 2003.

Läs gärna krönikan "Redundans - när inget får gå fel".
Vi kan lägga till en extra punkt - försök att använda serverutrustning med inbyggd kontroll och varningssystem för trasiga fläktar (och andra komponenter).

Det var så svårt att upptäcka eftersom maskinen fungerade fin-fint vid startup och alla andra analyser.

Det skulle inte fövåna mig - processorn var glödhet redan efter 3-4 minuter utan fläkt när vi testade. Den maskinen kommer inte gå i produktion igen, den ligger i en hylla pensionerad nu.

Som du säkert vet betalar varken du eller någon annan här på 99mac ett öre för att använda tjänsterna. Det sätter ju vissa begränsningar på vår serverbudget.

Jag har haft möjlighet att köpa in snabba servrar till bra priser genom mitt företag Recycler ifrån konkursbon etc och dom har Intelprocessorer.

Det kommer hända grejer på den här fronten - håll ut i någon eller några veckor bara.

Återigen vill jag förklara att det inte är våra webbservrar eller mailservrar (vi har fyra servrar) som är drabbade utan brandväggen som är en helt separat maskin. Mjukvaran i brandväggen har inte stöd för bevakning av fläktar etc tyvärr. Vi har löst det genom att köpa in en HP Proliant som har varningssystemet inbyggt i BIOS plus att den har redundant "allt" (fläktar - nätaggregat - hotplug diskar - RAID 1).

99mac har inte en Xserve ännu på grund av att Xserve G4:orna är för slöa och Xserve dual G5 inte levereras ännu.

En Xserve dual G5 enligt våra önskemål kostar strax över 45.000kr på AppleStore vilket sätter en del krav på intäkter.

Nu glider vi ifrån ämnet faktiskt. Det där programmet används ju i Windows för att läsa av fläktar osv. Vår brandvägg kör INTE Windows

Vi har bara riktiga servrar (IBM eServer, Dell Poweredge och HP Proliant) och då medföljer alltid avancerade varningsverktyg á la Xserve Server Monitor plus lite till.

Vi har inte bytt fläkt utan den maskinen är skrotad nu.

Ersättare blev en HP Proliant server som kostade cirka 24.000kr inkl bud etc. Vi har inte tagit beslutet att gå över till en HA (High availability) lösning ännu vilket skulle ge en totalkostnad på strax under 50.000 precis som du skriver. Då har man två brandväggar sida-vid-sida som delar på lasten och om en går ner tar den andra över helt automatiskt.

Cisco PIX 515e är en ren brandvägg och är lite klen (433MHz Celeron med 32MB RAM) för oss eftersom vi kör så många fler tjänster än just stateful inspection firewall och VPN.

Själva servern är ju bara hårdvaran som brandväggen körs på. Om man tittar på lösningar som den nu nämner ovan, Watchguard, Sonic Wall etc så har dom ofta Intelprocessorer inuti.

Hemligheten med mac.se är att vi har så många olika metoder för att döda spam - vilket också genererar rejäl last på brandväggen (all filtrerering sker innan den ens når mailservern).

Egentligen är nog brandvägg fel ord i vårt fall - man skulle nog kalla det för "säkerhetslösning" eller nåt.

Det var lite svårt att veta utan att ha skruvat isär maskinen. Jag håller med dig fullständigt - är det viktiga grejer ska man hålla sig till välkända grejer.

Det är Mats som står för fotograferandet normalt så han borde svara. Jag gissar dock att man använder en låg bländare (1.4 - 2.8) för att få kort skärpedjup. Han använder en Canon EOS digitalkamera.