停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
於是今天整區停電
2 C9 b7 s; R: l- N- |辦公室柴油發電機自動發電
可能是過熱，將配電設施的變壓器烤到燒起而爆炸
/ H0 e; P6 R4 t/ a或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
; h9 V) n& K7 F1 w8 l' i# ~: z  p6 |北市府消防車近7輛來救助
整個大樓全員疏散
許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
- G7 c) P; s( u5 |) E雖然下午外電已接上，但是配電設備已毀
市電無法橋接，縱使有電也是枉然
全天停班

, p' G) e5 S; l+ E另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
但或許使用壽命較長，所以實際上無法支撐15分鐘
由於系統複雜，關機程序冗繁，
找到關機SOP時，運作的時間也不夠完成程序作業
1 r0 X3 ^/ h9 Y, I; Q於是系統在無保護狀態下直接切機(硬著陸)
- |; U5 A$ y+ E; Z: n* \就算能供電，系統啟動的損害也是難以估算
( }& N. |/ @" ~# z
/ q# Q6 P5 ~# j( K從以上經驗，可以反省我們社區大樓的緊急發電系統
雖然有定期演習發動，
" V5 P9 W- R% U" }& E4 f但很少有在高溫且長時發電的實戰測試
尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
3 N2 d4 m4 O, r: H% D" k作業溫度會較高
在惡質環境的實際演練才能發現一般無由發現的突發狀況
最近室外溫度持續偏高，或許是主因之一
1 [3 l2 E, X( k* {) q& I+ @7 z許多在常溫下所驗測的設施規格，可能都會受到挑戰
) I, j; n: b- f& K+ @! Y另外也不要全然相信資訊設備的最高規格
寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
尤其UPS的電池會隨時間的充放電而減損容量
這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

6 R5 a9 d' H5 Z7 u+ a- A

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

' J% Q' W. C& H( E+ F! x1 Z
想必同仁們都受驚了......


希望貴單位的資料都有確實backup....
* }7 Z; l  A0 l3 C- M, U1 |; \現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.
& n5 ~; O3 R% K, W  {: q' L! U
敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

7 `9 G8 y; x$ d0 L& |
& E  f9 _1 C  F  W+ Q% C桂格兄內行.

9 D$ I6 m, \% w! i3 ~; kUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.

災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

1 j! g- a- t- W" e
6 R, {. B3 ]7 U資料庫除local外並在深坑及台中存有異地備援
由於機房資料庫量大，
只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
' L1 w) E( B5 w; s" X機房就約80坪。不易移出委外或雲端

w5719w

阿慌

7 q# F- Q, w; i( R

文兒 發表於 2012-7-18 09:08
; f1 \, A/ }1 D& A3 B7 O/ [3 G6 a所以緊急發電設備跟ups都要吹冷氣^^

! G8 r' G! h7 C! ?
事後檢討
1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
/ _: e' Q2 s& i" Q1 C# C* w0 X! B3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
0 X5 W6 H5 H& s3 y! ?  M% g1 X桂格兄內行.

1 K! A5 [1 F  G! i7 e7 yUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

平常沒有危機意識
, h( N+ f# V7 C/ U# y; ^& B# z# b相關危機處理雖有SOP
但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
* F) S' i0 _% U所以緊急發電設備跟ups都要吹冷氣^^

- J! m& O: A" V1 _; h由於緊急發電設備大多位於地下室
; ], l3 F: n9 u( p6 ~通風及散熱機制很重要
尤其長時運作，更要能安全持久