停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
於是今天整區停電
辦公室柴油發電機自動發電
可能是過熱，將配電設施的變壓器烤到燒起而爆炸
或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
0 h" r" w9 r: E1 y北市府消防車近7輛來救助
整個大樓全員疏散
許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
9 H: [/ k0 A4 \7 U( b: y6 C雖然下午外電已接上，但是配電設備已毀
& _* k5 ~' I/ l0 ^. H市電無法橋接，縱使有電也是枉然
全天停班

另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
/ t! B8 F# w; x' m' \# H! I但或許使用壽命較長，所以實際上無法支撐15分鐘
4 @; \# s/ O; ~% z' y& ]由於系統複雜，關機程序冗繁，
找到關機SOP時，運作的時間也不夠完成程序作業
8 m6 b( H  P& R. g# m% c於是系統在無保護狀態下直接切機(硬著陸)
; `: m, n0 b$ O" ~9 E+ k& z. G就算能供電，系統啟動的損害也是難以估算

/ v/ z5 k9 K  N  ]9 O2 G( j9 Z  X從以上經驗，可以反省我們社區大樓的緊急發電系統
3 ^2 O7 W$ M4 T4 K  L雖然有定期演習發動，
但很少有在高溫且長時發電的實戰測試
尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
( ~- b3 P( K& d# ~, r) s作業溫度會較高
在惡質環境的實際演練才能發現一般無由發現的突發狀況
6 v! d, _0 Y/ ~' h* ], d- O最近室外溫度持續偏高，或許是主因之一
許多在常溫下所驗測的設施規格，可能都會受到挑戰
! `/ @! V) S1 V/ v( G" `* |9 ^  _另外也不要全然相信資訊設備的最高規格
寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
尤其UPS的電池會隨時間的充放電而減損容量
9 Q/ U2 F0 ~/ l/ E這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

- C5 B6 o5 j, Q. z. _/ }; D3 ~
5 {0 |/ L' d0 e! m4 Q1 ~) H& x想必同仁們都受驚了......
1 r3 S% W# C+ S0 s

* \# D# Y* p, }7 n' T. Y希望貴單位的資料都有確實backup....
現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.

6 k6 U7 q: h( j9 f) ~8 s敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

1 |+ Z% V* l' O9 C
桂格兄內行.

8 O3 u8 ]+ M0 ?, B7 n0 e1 k( ?UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
5 {2 y: Z- k5 T
" T$ J4 a- O" @- v& P災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

桂格 發表於 2012-7-18 07:36
1 s( R' a& {# x. o& U, v: \7 |想必同仁們都受驚了......

0 ]" ?6 R+ l( w# m+ r/ }, V5 d
' Y. _# Q: O) U, p$ |* b. v
8 K+ U' r1 ]0 }" ^5 J2 l- D資料庫除local外並在深坑及台中存有異地備援
' [# g) A; t" v$ R% V4 m由於機房資料庫量大，
* t3 y1 o. u3 x/ S$ C1 J6 q只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
0 M7 F5 ^' k1 F) i機房就約80坪。不易移出委外或雲端

w5719w

阿慌

' b5 n4 A: s# c! T9 C, h' h

文兒 發表於 2012-7-18 09:08
7 S2 z- Z; ?- A6 X; a所以緊急發電設備跟ups都要吹冷氣^^

, p+ h, C) P4 E9 m( \事後檢討
' A- ]& U3 \( E7 v$ j* |* w0 S- k1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
7 P2 B( Z! Z  A9 l3 r/ d) R( J2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
桂格兄內行.
: h5 w! ]4 v0 P6 P; f
UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

平常沒有危機意識
相關危機處理雖有SOP
但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
' b7 k& C0 j' r* b: m1 i所以緊急發電設備跟ups都要吹冷氣^^

由於緊急發電設備大多位於地下室
: A0 a; M) H  @4 J通風及散熱機制很重要
2 N1 t: a( M& T0 o6 P% n( i' P5 V, f尤其長時運作，更要能安全持久