Just nu i M3-nätverket
Gå till innehåll

Erfarenheter från överhettning?


Neoromancer

Rekommendera Poster

Neoromancer

Är det nån här som har erfarenheter av vad som händer med diskar och annan hårdvara efter en överhettning?

Katastrof på jobbet igår nämligen. Kylaggregatet i serverhallen stannade och någon klåpare på fastighetsbolaget hade stängt av larmet utan att meddela oss :thumbsup: Så det var HETT där inne kan jag säga. mätutrustningen vi har går till 85 grader och den hade gått i topp! Rena bastun med andra ord.

Peppar peppar...det enda vi vet som har gått sönder än så länge är 4 st fiberkort (typiskt nog satt dessa fyra i 2 clustrade maskiner som hanterar en del av vårt SAN)

 

Frågan är nu...hur mycket kommer att krascha i efterhand pga värmen.

Nån som har erfarenheter från liknande händelser? Hur mycket havererade för er?

Vi har redan börjat beställa diskar och lägga på lager. Vad mer kan vara bra att ha på hyllan?

 

/Neo

There can be only one...

 

Länk till kommentar
Dela på andra webbplatser

Frågan är hur länge det varit så hett och om det varit så hett inne i servrarna.

En disk som är 85 grader snurrar inte bra eller inte alls. Jag har mest erfarenhet av diskar som gått varmt (50+ grader) under en längre period, då kan diskar paja efter några månader.

 

Processorerna har ju inbyggt värmeskydd och borde ha klarat sig sen har väl troligtvis hela datorn hängt sig pga värmen och det har väl skyddat många komponenter.

 

Länk till kommentar
Dela på andra webbplatser

Neoromancer

Det tog väl c:a en kvart från att första servern började skicka larm tills vi hade stängt av allting...sen tog det närmare en timme att få ner värmen och få igång kylanläggningen igen.

 

/Neo

 

There can be only one...

 

Länk till kommentar
Dela på andra webbplatser

Som Andreas skrev det är mest diskar som du kan förvänta dig minskad livslängd på.

Man kan även förvänta sig att kraftelektronik kan få mindre livslängd, dvs nätdelar.

Vi har uppleft en liknande incident där temperaturen gick upp till ca 40grader. Vad jag vet så var det bara disk vi hade problem med. Men vi har även haft en del nätdelar som gått sönder lång tid efter det. Om de nätdelarna skulle ha gått sönder ivilket fal som helst är svårt att sia om.

 

Vi har numera dublerade kylsystem i våra serverrum.

Det kostar bara ca 20-40k för ett standard kylsystem så det kan vara en bra investering.

 

//deBug

 

Länk till kommentar
Dela på andra webbplatser

Neoromancer

Vi har också dubbla kylsystem och det håller på att utredas hur båda kunde stå stilla samtidigt. Tempen steg med 2 grader i minuten när båda stog still.

 

/Neo

 

 

There can be only one...

 

[inlägget ändrat 2005-03-11 14:04:02 av Neoromancer]

Länk till kommentar
Dela på andra webbplatser

johan pålsson

Jag har varit med om liknande (fast i mycket mindre skala), två servrar med 8 diskar (Samsung Spinpoint IDE, ca 3 månader gamla) vardera blev utan kylaggregat i ca. 5 timmar, gissar att det blev ca. 40-45 grader i rummet.

 

Jag kan säga att jag blev tvungen att byta samtliga diskar inom ett halvår, kullagren i diskarna dog tydligen.

 

Men, du har ju haft mer än 85 grader..

Risken är ju att allt möjligt tagit skada, kullager i diskar och fläktar, kondensatorer på moderkort och inuti kraftförsörjning osv..

Du hade förmodligen tur att det inte började brinna också.

 

Det finns tydligen formler hur mycket livslängden på elektronik förkortas vid ökad temperatur, har aldrig sett någon själv men har hört stordatorkillar prata om sådana.

Kolla om du hittar någon sådan, kan vara bra vid kontakter mot försäkringsbolag exempelvis.

 

 

/Johan

 

 

Länk till kommentar
Dela på andra webbplatser

Även fast ni har två kylaggregat så kanske det kan vara värt att satsa på ett varningssystem som svarar lite tidigare. Det kanske blir lite mer spring men så är det ju dyra kapitalvaror som står på spel.

 

/Jetmoon

 

 

Länk till kommentar
Dela på andra webbplatser

Neoromancer

Vi har ett varningssystem som ska larma om kylanläggningen går ner men som sagt, det var nån klåpare från fastighetsbolaget som hade stängt av det utan att meddela oss.

Men vi håller på att kolla på om det behöver kompleteras med nåt eget som vi har full koll på.

 

/Neo

 

Länk till kommentar
Dela på andra webbplatser

johan pålsson

Ni kanske kan koppla det så att temperaturlarmen går till samma larmcentral som inbrottslarmen ?

 

Då får ni ju dels en säkrare larmöverföring som funkar oberoende av ström och internetförbindelse, dels att larmet hamnar hos proffs istället för nån trött vaktmästare som bara tycker det är jobbigt när det piper.

 

Om inte annat, kolla om det inte går att koppla till nån nödstopp.

Det är ju förmodligen bättre att all inkommande ström försvinner och UPS:n tar ner servrarna än att de långsamts steks innifrån..

 

 

/Johan

 

 

 

Länk till kommentar
Dela på andra webbplatser

Neoromancer

Ska larmen gå nånstanns så ska det gå till oss sysadmins via SMS el liknande. Flera av oss bor hyffsat nära jobbet så vi kan vara här inom en kvart. Idén att larmet slår av strömmen är inte så dum. Frågan är om det hjälper med tanke på att våra UPS:er klarar en bra stunds strömavbrott och tempen stiger med 2 grader/minut om kylan stannar. Men idéen ska framföras till resten av gänget.

 

/Neo

 

Länk till kommentar
Dela på andra webbplatser

johan pålsson
Ska larmen gå nånstanns så ska det gå till oss sysadmins via SMS el liknande.

 

Jo, det ena utesluter ju inte det andra, inget problem tekniskt.

Däremot kan man få svårare att få ihop det personellt, det kräver att någon alltid finns inom området, dvs. även under långhelger och semestrar.

 

En larmcentral är ju i tjänst dygnet runt, och när de får ett larm kan de dels skicka ut folk till företaget oavsett tidpunkt (som kan göra åtgärder enligt vad man bestämt), dels börjar ringa runt tills de får tag i någon på företaget (vem beroende på vilken typ av larm det är)

 

 

Frågan är om det hjälper med tanke på att våra UPS:er klarar en bra stunds strömavbrott och tempen stiger med 2 grader/minut om kylan stannar.

 

Man kan kanske minska ner tiden från strömavbrott till nedtagning (ex. 5 minuter) ?

 

I regel rekommenderar man väl en så snabb nedtagning som möjligt ?, mest för att UPS:en ska ha kraft över ifall det blir fler avbrott inom exempelvis en timme.

 

 

 

/Johan

 

 

 

Länk till kommentar
Dela på andra webbplatser

Vi har också dubbla kylsystem och det håller på att utredas hur båda kunde stå stilla samtidigt.

 

De kanske ligger på samma fas ?

Bara en tanke.

 

/deBug

 

[inlägget ändrat 2005-03-15 16:55:50 av de Bug]

Länk till kommentar
Dela på andra webbplatser

Jag kan säga att jag blev tvungen att byta samtliga diskar inom ett halvår, kullagren i diskarna dog tydligen.

Jepp, det verkar vara kullagren som förstörs.

Skulle tro att det är fettet/oljan i lagret som förångas vid temperaturhöjning.

 

/deBug

 

 

[inlägget ändrat 2005-03-15 17:02:22 av de Bug]

Länk till kommentar
Dela på andra webbplatser

Neoromancer
De kanske ligger på samma fas ?

 

Självklart ligger dom på olika faser och har dessutom UPS, tydligen hade vi en strömspik som slog ut UPS:en till kylsystemet (enligt fastighetsbolaget)

 

/Neo

 

Länk till kommentar
Dela på andra webbplatser

johan pålsson
Självklart ligger dom på olika faser och har dessutom UPS, tydligen hade vi en strömspik som slog ut UPS:en till kylsystemet (enligt fastighetsbolaget)

 

Ett tips, ta kontakt med någon oberoende elkonsult (dvs. inte den elektriker som normalt brukar vara i fastigheten), han/hon kan värdera sannolikheten för att det uttalandet stämmer och även mäta upp elnätet (övertoner, snedbelastningar osv..).

 

Hade det varit åskväderstider kanske ett direktnedslag skulle döda en UPS.., men mitt i vintern ?

 

Det finns nästan ingen bättre ursäkt än strömspikar när man behöver skylla ifrån sig och det är jättesvårt för en lekman (som jag) att värdera om det är sant.

Men, en duktig elkonsult brukar kunna sortera ut vad som är troligt och vad som är båg och kan vara till god hjälp när ni och fastighetsbolaget ska börja dividera om vem som ska betala självrisken för maskinskadorna.

 

/Johan

 

 

Länk till kommentar
Dela på andra webbplatser

Neoromancer
Men, en duktig elkonsult brukar kunna sortera ut vad som är troligt och vad som är båg och kan vara till god hjälp när ni och fastighetsbolaget ska börja dividera om vem som ska betala självrisken för maskinskadorna.

 

Självrisken kommer fastighetsbolaget ta verkar det som. Jag är personligen inte inblandad så mycket i just den biten.

 

/Neo

 

Länk till kommentar
Dela på andra webbplatser

Kan ni inte ha ett tredje panikkylare som kan hålla nere tempen i den kvart det tar för er att komma till jobbet. Ju snabbare man gör en insatts ju mer går att rädda.

 

Det finns även skydd att köpa som motverkar strömspikar även om det är otroligt att något sådant har hänt. Visserligen är jag för dåligt påläst i trefas för att yttra mig men det låter ologiskt.

 

Du får hålla oss uppdaterad på vilka förändringar ni gör så man kan dra lärdom av det. ;)

 

 

/Jetmoon

 

Länk till kommentar
Dela på andra webbplatser

Arkiverat

Det här ämnet är nu arkiverat och är stängt för ytterligare svar.

×
×
  • Skapa nytt...