Liten fläkt stjälper stort lass

Tråden skapades och har fått 23 svar. Det senaste inlägget skrevs .
1

Foto: Mats Björnström
Under tre tillfällen i helgen tappade vi alla kontakten med 99mac, iPod.se, Mac.se och alla andra tjänster som körs på vår serverfram i Stockholm.

Efter driftstoppet i söndags tog vi beslutet att byta ut brandväggen mot en helt ny och kraftigt överdimensionerad maskin och bytet gjordes igår eftermiddag. Efter en rejäl analys av mjukvara och hårdvara hittade vi felkällan - en trasig processorfläkt gjorde att maskinen blev överhettad och låste sig.

Trots rejäl kylning i serverhallen räckte det inte för att hålla liv i brandväggen som har mycket att göra nattetid, det är nämligen då alla amerikanska aktörer skickar tusentals spam till mottagare som sitter på jobbet i USA.

Det var väldigt svårt för oss att hitta felet i serverhallen och vi vill beklaga driftstoppen. Särskilt mac.se kunderna som har sina mailkonton och hemsidor i vår servermiljö. Vårt mål kommer alltid vara 100% tillgänglighet men efter helgens bekymmer är vi nere på 99,46% räknat sedan 1:a Oktober 2003.

Läs gärna krönikan "Redundans - när inget får gå fel".
Vi kan lägga till en extra punkt - försök att använda serverutrustning med inbyggd kontroll och varningssystem för trasiga fläktar (och andra komponenter).

Skönt med ett härligt, gammaldags mekaniskt fel...

Det var så svårt att upptäcka eftersom maskinen fungerade fin-fint vid startup och alla andra analyser.

Ja, det är alldelens för få hårdvarutillverkare som tillhandahåller hårdvaruövervakning.
I en driftsmiljö som denna vill man självklart få ett larm i form av SNMP trap, syslog eller email om en fläkt, eller annan komponent gått sönder.

Tror ni inte att processorn/processorerna kan ha tagit skada? Typ osynliga brännskador inuti nå'nstans?

Ursprungligen av Alphonze:

Tror ni inte att processorn/processorerna kan ha tagit skada? Typ osynliga brännskador inuti nå'nstans?

Vissa inlägg kan få en lite bränd karaktär...

Ursprungligen av Alphonze:

Tror ni inte att processorn/processorerna kan ha tagit skada? Typ osynliga brännskador inuti nå'nstans?

Det skulle inte fövåna mig - processorn var glödhet redan efter 3-4 minuter utan fläkt när vi testade. Den maskinen kommer inte gå i produktion igen, den ligger i en hylla pensionerad nu.

  • Medlem
  • Örebro
  • 2004-04-20 12:21

X-serve mjukvaran har väl bevakning av fläktar å grejer,
som skickar e-post, sms å sån't.
Ligger inte 99mac på en sådan eller?

  • Medlem
  • Stockholm
  • 2004-04-20 13:29
Ursprungligen av MigueI:

X-serve mjukvaran har väl bevakning av fläktar å grejer,
som skickar e-post, sms å sån't.
Ligger inte 99mac på en sådan eller?

99mac ligger faktiskt på en Windows 2000-server.
Ja, det är konstigt, men sant!

Ursprungligen av Rajje:

99mac ligger faktiskt på en Windows 2000-server.
Ja, det är konstigt, men sant!

Varför?

Ursprungligen av iJohannes:

Varför?

Som du säkert vet betalar varken du eller någon annan här på 99mac ett öre för att använda tjänsterna. Det sätter ju vissa begränsningar på vår serverbudget.

Jag har haft möjlighet att köpa in snabba servrar till bra priser genom mitt företag Recycler ifrån konkursbon etc och dom har Intelprocessorer.

Det kommer hända grejer på den här fronten - håll ut i någon eller några veckor bara.

Ursprungligen av MigueI:

X-serve mjukvaran har väl bevakning av fläktar å grejer,
som skickar e-post, sms å sån't.
Ligger inte 99mac på en sådan eller?

Återigen vill jag förklara att det inte är våra webbservrar eller mailservrar (vi har fyra servrar) som är drabbade utan brandväggen som är en helt separat maskin. Mjukvaran i brandväggen har inte stöd för bevakning av fläktar etc tyvärr. Vi har löst det genom att köpa in en HP Proliant som har varningssystemet inbyggt i BIOS plus att den har redundant "allt" (fläktar - nätaggregat - hotplug diskar - RAID 1).

99mac har inte en Xserve ännu på grund av att Xserve G4:orna är för slöa och Xserve dual G5 inte levereras ännu.

En Xserve dual G5 enligt våra önskemål kostar strax över 45.000kr på AppleStore vilket sätter en del krav på intäkter.

Moderna moderkort till pc har automatisk temperatur övervakning som slår av maskinen om inställd temperatur blir för hög likaså ett alarm som på ngt sätt gör en uppmärksam på att tempen är alldeles uppåt väggarna.

Det finns ett bra program "Motherboard Monitor v5.3.6" finns att läsa om och att hämta här;
http://www.pcworld.com/downloads/file_description/0,fid,7309,00.asp

Ursprungligen av xplane:

Moderna moderkort till pc har automatisk temperatur övervakning som slår av maskinen om inställd temperatur blir för hög likaså ett alarm som på ngt sätt gör en uppmärksam på att tempen är alldeles uppåt väggarna.

Det finns ett bra program "Motherboard Monitor v5.3.6" finns att läsa om och att hämta här;
http://www.pcworld.com/downloads/file_description/0,fid,7309,00.asp

Nu glider vi ifrån ämnet faktiskt. Det där programmet används ju i Windows för att läsa av fläktar osv. Vår brandvägg kör INTE Windows

Vi har bara riktiga servrar (IBM eServer, Dell Poweredge och HP Proliant) och då medföljer alltid avancerade varningsverktyg á la Xserve Server Monitor plus lite till.

Ursprungligen av Björnström:

Nu glider vi ifrån ämnet faktiskt. Det där programmet används ju i Windows för att läsa av fläktar osv. Vår brandvägg kör INTE Windows

Vi har bara riktiga servrar (IBM eServer, Dell Poweredge och HP Proliant) och då medföljer alltid avancerade varningsverktyg á la Xserve Server Monitor plus lite till.

Point noted and taken...

Bara för att jag är nyfiket laggd... från början skulle sluträkningen gå på 44.000 men ser nu att det i stort bidde en (tumme) ny fläkt... ja förutom ett kanske (?) onödigt byte av brandvägg. Blev överaskningen mindre negativ av att felet inte var SÅ katastrofalt ?

Ursprungligen av Olle@mac.com:

Bara för att jag är nyfiket laggd... från början skulle sluträkningen gå på 44.000 men ser nu att det i stort bidde en (tumme) ny fläkt... ja förutom ett kanske (?) onödigt byte av brandvägg. Blev överaskningen mindre negativ av att felet inte var SÅ katastrofalt ?

Vi har inte bytt fläkt utan den maskinen är skrotad nu.

Ersättare blev en HP Proliant server som kostade cirka 24.000kr inkl bud etc. Vi har inte tagit beslutet att gå över till en HA (High availability) lösning ännu vilket skulle ge en totalkostnad på strax under 50.000 precis som du skriver. Då har man två brandväggar sida-vid-sida som delar på lasten och om en går ner tar den andra över helt automatiskt.

Vad var det för brandvägg? Använder ni en Proliant-server som brandvägg nu?
Varför inte t.ex en Cisco PIX?

Detta är inte kritik av erat val, jag är bara nyfiken. Vi bytte nyligen brandvägg och våra konsulter rekomenderade en Cisco PIX 515e vilket vi nu kör.

Cisco PIX 515e är en ren brandvägg och är lite klen (433MHz Celeron med 32MB RAM) för oss eftersom vi kör så många fler tjänster än just stateful inspection firewall och VPN.

Själva servern är ju bara hårdvaran som brandväggen körs på. Om man tittar på lösningar som den nu nämner ovan, Watchguard, Sonic Wall etc så har dom ofta Intelprocessorer inuti.

Hemligheten med mac.se är att vi har så många olika metoder för att döda spam - vilket också genererar rejäl last på brandväggen (all filtrerering sker innan den ens når mailservern).

Egentligen är nog brandvägg fel ord i vårt fall - man skulle nog kalla det för "säkerhetslösning" eller nåt.

  • Avstängd
  • 2004-04-20 21:02

Har man nonamefläktar så...

Ursprungligen av iGnu:

Har man nonamefläktar så...

Det var lite svårt att veta utan att ha skruvat isär maskinen. Jag håller med dig fullständigt - är det viktiga grejer ska man hålla sig till välkända grejer.

  • Medlem
  • Göteborg
  • 2004-04-21 00:33

Får man fråga hur ni tar era fotografier? De är grymma. Kommer de ut så bra från kameran, eller manipulerar ni dem med oskärpa odyl? Vad har ni för kamera?

Ursprungligen av klas:

Får man fråga hur ni tar era fotografier? De är grymma. Kommer de ut så bra från kameran, eller manipulerar ni dem med oskärpa odyl? Vad har ni för kamera?

Det är Mats som står för fotograferandet normalt så han borde svara. Jag gissar dock att man använder en låg bländare (1.4 - 2.8) för att få kort skärpedjup. Han använder en Canon EOS digitalkamera.

Ursprungligen av klas:

Får man fråga hur ni tar era fotografier? De är grymma. Kommer de ut så bra från kameran, eller manipulerar ni dem med oskärpa odyl? Vad har ni för kamera?

Nu ska vi inte glida ifrån ämnet alltför mycket-- men grundreceptet för denna bild är en Canon EOS D60 digitalkamera med objektiv inställt på brännvidd 26mm samt bländare 2.8 för kort skärpedjup för att sätta fokus på fläkten i första hand. Jag använde mig av solljuset som kom genom fönstret, ljuset från en lampa i taket, samt en Canon 550ex-blixt som jag studsade i taket för att få det ljus jag ville ha.

Jag arbetar alltid med bilderna i efterhand, men sällan direkt manipulerande med avancerade filter utan mer rättvisa justeringar. Jag skär bort de delar av bilden som inte hör hemma, justerar färger samt lägger på oskarp mask för att lyfta upp skärpan aningen. Jag har justerat kurvorna för denna bild för att skapa lite mer kontrast och liv i bilden.

Tack för att du uppskattar bilderna! Vill du diskutera detta ytterligare råder jag dig att göra det i digitalkameraforumet, alla ytterligare inlägg i frågan kommer att flyttas dit.

1
Bevaka tråden