Driftstörning natten mot onsdag

Tråden skapades och har fått 16 svar. Det senaste inlägget skrevs .
1

Jag vaknade imorse med larm om att vi hade driftstopp på ett antal tjänster och satte fart mot serverhallen. Var här strax efter 08 och kunde konstatera att samtliga Xserve G5 och ett antal andra maskiner med enkla nätaggregat hade stannat.

Serverracket har dubbla faser (A/B ström) och strömmen i en fas hade gått - en säkring hade löst ut. Maskiner med dubbla nätaggregat som används i bland annat brandväggar, databasserver, 99.se med flera hade alltså inte stannat. Men däremot switchen som ansluter maskinerna

Nu efter återstart är det en Xserve G5 som inte startar alls längre och det verkar som om nätaggregatet har gått sönder. Något som skulle kunna förklara varför säkringen löst ut under natten.

Intressant att svarstiderna blir så mycket kortare, det är blixtsnabbt att klicka runt på 99.se nu. Så en omstart då och då är kanske av godo.

Ursprungligen av Per Ejeklint:

Intressant att svarstiderna blir så mycket kortare, det är blixtsnabbt att klicka runt på 99.se nu. Så en omstart då och då är kanske av godo.

Ja kära hjärtanes. Det går hur fort som helst..

Ursprungligen av Per Ejeklint:

Intressant att svarstiderna blir så mycket kortare, det är blixtsnabbt att klicka runt på 99.se nu. Så en omstart då och då är kanske av godo.

Man drar ju sig alltid för att starta om hela servern men jag brukar starta om Apache lite då och då

Kan man lära sig något av stoppet. Kanske koppla ngt annorlunda, bättre.
Nu fungerade inte mailen heller.

Kan man dubblera ngt och för en låg kostnad höja säkerheten/toleransen?

Ursprungligen av Goflorp:

Kan man lära sig något av stoppet. Kanske koppla ngt annorlunda, bättre.
Nu fungerade inte mailen heller.

Kan man dubblera ngt och för en låg kostnad höja säkerheten/toleransen?

Serverracket har två ingående separata strömfaser á 16A styck. Dom är helt separerade från varandra och är skyddade av UPS och Diesel aggregat.

I detta fall kortslöts ena fasen och säkringen gick för att skydda utrustningen. Alla maskiner med dubbla nätaggregat fick då ström via "den andra fasen" och rullade på. Men utrustning som endast har en strömanslutning stannade.

Det ironiska i detta är att båda brandväggarna, 99.se, databasserver och mailserver hela tiden var igång. Men switchen inom racket har endast en strömanslutning och självklart var det just den fasen där säkringen gick.

Ett redundant strömaggregat för vår ProCurve switch kostar 18.000kr exkl moms såg jag nyss. En annan variant vore att man monterade en separat batteribackup för just switchen vilket skulle kosta runt 7.000kr exkl moms och ger då ström i cirka 3-4 timmar. Tyvärr tar den upp 2U (rackenheter) så den får inte plats just nu men det kanske går att arrangera om lite framöver.

  • Medlem
  • Linköping
  • 2009-04-01 11:18

Det är en ofantlig skillnad i responsen från era servrar nu!
Kan ni inte se till att den är så här för jämnan, pliiis?

Ursprungligen av Heualia:

Det är en ofantlig skillnad i responsen från era servrar nu!
Kan ni inte se till att den är så här för jämnan, pliiis?

Jorå - man skulle kunna schemalägga omstart med jämna mellanrum. Av erfarenhet vill man lämna det som fungerar ifred för att slippa olika typer av problem.

Ursprungligen av Björnström:

Jorå - man skulle kunna schemalägga omstart med jämna mellanrum. Av erfarenhet vill man lämna det som fungerar ifred för att slippa olika typer av problem.

Dygnsvis omstart av server är väl en typisk Win-lösning

  • Medlem
  • 2009-04-01 11:28

Jag trodde det var ett elakt aprilskämt att 99.se var nere...

  • Medlem
  • 2009-04-01 14:24

Hmm, men är det någon cachning av data som orsakar att det blir långsammare med tiden, eller vad är det? Dvs, går det att lösa grundproblemet istället för att gömma symptomen?

  • Medlem
  • Linköping
  • 2009-04-01 20:35
Ursprungligen av jgb:

Hmm, men är det någon cachning av data som orsakar att det blir långsammare med tiden, eller vad är det?

Jag lutar åt det hållet att det kan vara nått i den stilen, för nu äre lika
segt som vanligt! Så nåt nånstans tjokar trafik flödet!:tveksam:

Ursprungligen av Björnström:

Maskiner med dubbla nätaggregat som används i bland annat brandväggar, databasserver, 99.se med flera hade alltså inte stannat. Men däremot switchen som ansluter maskinerna

Det är du inte ensam om att ha råkat ut för. En annan klassiker är ju att alla maskiner står på UPS, utom just switchen som allt är anslutet till.

  • Medlem
  • Umeå
  • 2009-04-01 21:01

Conficker enters Macs?

  • Medlem
  • Göteborg
  • 2009-04-01 22:37
Ursprungligen av Björnström:

Jag vaknade imorse med larm om att vi hade driftstopp på ett antal tjänster och satte fart mot serverhallen. Var här strax efter 08...

Tack för snabb reaktion och åtgärd! Jag trodde du var i Australien...

Satt först och surade till eftersom jag antog att du satt på dagtid "down under" och körde uppdateringar här nattetid utan att ha meddelat driftstopp i förväg. :"> Hade en vak-natt med sista-minuten bokslut framför mig, och filerna på mac.se adressen. Fick ringa och väcka kollegan som mailade till alternativ adress.

Men nu är jag på på betydligt bättre humör (om än lite trött och seg), bokslutet är klart och godkänt ikväll och jag kan koppla av en stund med 99.se

Som sagt, åter tack för snabb åtgärd och jag är helnöjd med mac.se-tjänsterna. Rullar på, snabbt och stabilt, nattens händelse tillhör ju verkligen undantagen. Ser fram mot eventuella framtida uppdateringar - och är säker på att användarna då som vanligt får meddelande om planerat driftstopp.

  • Medlem
  • 2009-04-01 23:21

Seriös ändå med en diesel som startar om strömmen försvinner!

  • Medlem
  • 2009-04-02 07:40

Hmm, har det varit problem i natt igen, eller har bara alla musiker sovit hela natten?

1
Bevaka tråden