Liten tuva sänkte stort lass (driftstopp fredag morgon)

Tråden skapades och har fått 8 svar. Det senaste inlägget skrevs .
1

99mac försvann från Internet strax före sjutiden imorse pga ett problem vid uppgradering av en brandvägg. Problemet gick inte att lösa "remote" utan vi tvingades åka till serverhallen för att undersöka och en halvtimme senare var allt igång igen.

Skärmdumpen nedan visar vad vi fick se när vi kom fram - korrupt filsystem på en hårddisk som snabbt löstes genom att köra motsvarigheten till skivverktyget.

För er NIX-nerdar där ute: har ni några kommentarer på hur detta kunde hända?

Ser ut som att någon hårddisk är på väg att ge upp. Kan också orsakas av minnesfel iofs, har varit med om det själv.

Jag tycker det set ut som burken bootat om och sedan misslyckades med att köra den schemalagda fsck? Så denna eventuella random reboot kan ha skapat fel på filsystemet. Behövs mer info än det där för att veta exakt, men kolla i /var/logs/ och läs alla filer där.

  • Medlem
  • 2011-03-11 21:56

Jag har noterat att sidan ligger nere varje dag på morgonen. När jag ska kolla läget innan jag åker till jobbet runt 05:30 så ligger sidan alltid nere. Vad kan detta bero på? Det har varit så ett par veckor nu.

Ursprungligen av Dalle:

Jag har noterat att sidan ligger nere varje dag på morgonen. När jag ska kolla läget innan jag åker till jobbet runt 05:30 så ligger sidan alltid nere. Vad kan detta bero på? Det har varit så ett par veckor nu.

Det har "alltid" varit så skulle jag säga. Det är backupscripten av databasen som låser tabeller och gör att inloggningen inte fungerar.
Vi har hittat en lösning för detta genom att gå över till replikerande databaser där man kör backupen på slaven men har inte gått över till den lösningen ännu (lite mer komplicerat).

Detta är första gången någon ens tar upp ämnet på 99mac så det kan inte vara ett superstort problem. Vi skulle kunna köra backuperna tidigare - 04.00?

  • Medlem
  • 2011-03-12 09:53
Ursprungligen av Björnström:

Det har "alltid" varit så skulle jag säga. Det är backupscripten av databasen som låser tabeller och gör att inloggningen inte fungerar.
Vi har hittat en lösning för detta genom att gå över till replikerande databaser där man kör backupen på slaven men har inte gått över till den lösningen ännu (lite mer komplicerat).

Detta är första gången någon ens tar upp ämnet på 99mac så det kan inte vara ett superstort problem. Vi skulle kunna köra backuperna tidigare - 04.00?

Det är inget superstort problem för mig heller. Jag kan lika gänra ögna igenom forumet på jobbet.

Ursprungligen av Björnström:

Det har "alltid" varit så skulle jag säga. Det är backupscripten av databasen som låser tabeller och gör att inloggningen inte fungerar.
Vi har hittat en lösning för detta genom att gå över till replikerande databaser där man kör backupen på slaven men har inte gått över till den lösningen ännu (lite mer komplicerat).

Detta är första gången någon ens tar upp ämnet på 99mac så det kan inte vara ett superstort problem. Vi skulle kunna köra backuperna tidigare - 04.00?

Det är så man brukar lösa det Hoppas ni får igång det snart! Jag jobbar natt ibland och då har jag upptäckt att forumet inte går att nå.

Kolla med leverantören först och främst. Har varit med om liknande två ggr, ena gången var det schemalagda backuper som sög så mycket bandbredd (eller vad det du var) att övriga requests ignorerades eller timeade ut. Inte så bra backupssystem om du frågar mig I det andra fallet då en sida alltid var nere en viss tid visade det sig att levelrantören helt enkelt hade ställt in att servern skulle boota om kl 6 varje morgon. Gissa om det tog tid att komma på varför vissa interna nattliga databasscript osv avbröts till synes helt utan orsak..

1
Bevaka tråden