停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
7 t1 n0 E9 A* V/ {, Z' }+ G9 l! V於是今天整區停電
辦公室柴油發電機自動發電
可能是過熱，將配電設施的變壓器烤到燒起而爆炸
% u# }0 x9 _' G5 G* i8 Q' G或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
9 y4 m& F9 r1 ^9 \$ e9 v北市府消防車近7輛來救助
整個大樓全員疏散
許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
( {6 j- b, O$ H3 N$ e" T雖然下午外電已接上，但是配電設備已毀
市電無法橋接，縱使有電也是枉然
全天停班

4 I! w( g# S  Z( D0 T" |# Q另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
, n# j- k1 R( P1 h但或許使用壽命較長，所以實際上無法支撐15分鐘
由於系統複雜，關機程序冗繁，
# b5 E1 A) b9 i6 N2 V9 ?/ {' X找到關機SOP時，運作的時間也不夠完成程序作業
於是系統在無保護狀態下直接切機(硬著陸)
8 q: x$ O' g0 e1 Y1 }就算能供電，系統啟動的損害也是難以估算
# \; f5 B1 |" w6 }3 @
  S* Y, b" r8 d% `從以上經驗，可以反省我們社區大樓的緊急發電系統
1 _0 Q9 ?6 J+ u& b$ b  A: _5 e雖然有定期演習發動，
& K8 O8 J* `4 P9 o/ J/ P. U% s但很少有在高溫且長時發電的實戰測試
' N0 O% p" ^! i8 [# }尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
( ]/ W* D: Y5 {作業溫度會較高
+ ~1 p; K* s5 d, ]1 w在惡質環境的實際演練才能發現一般無由發現的突發狀況
. T' j1 l6 l; }& {最近室外溫度持續偏高，或許是主因之一
6 d" {2 T  F/ w+ Y許多在常溫下所驗測的設施規格，可能都會受到挑戰
另外也不要全然相信資訊設備的最高規格
寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
" w7 q" A, X# h, |尤其UPS的電池會隨時間的充放電而減損容量
這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

1 j! a9 [  ?6 s- g! T9 S7 i

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

* O0 y3 b+ {; j, H* ?4 f) {; p
/ v' R9 y# i  @想必同仁們都受驚了......
8 B) p$ }6 ~- l+ ^  O
% W! y: l3 G/ R7 Q5 G
, S! ~) B0 Z. b! y希望貴單位的資料都有確實backup....
現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.
( Z6 N0 P9 W2 O, ^* Z) U1 Z! m
6 Z+ e. k0 u' s敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

桂格兄內行.
5 I4 W3 `9 X1 i$ W7 Q: j
UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.

  t3 W- a, w* d1 L2 l* j. `災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

桂格 發表於 2012-7-18 07:36
. M& }, }) A) l$ B! ?* x/ A! e想必同仁們都受驚了......

& L3 G  k0 S" s; R) d' n' T( K
) K3 a3 `4 D1 T) K9 N; ]3 B7 Y
6 T' R) d, Q; \資料庫除local外並在深坑及台中存有異地備援
由於機房資料庫量大，
只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
機房就約80坪。不易移出委外或雲端

w5719w

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

* o: j- Y+ u& m
2 l* y1 B( a) m$ D! p4 G% L, g事後檢討
1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
* ~& Q# R& e  F& u" B* h7 s, r桂格兄內行.
) Z5 Z, s1 B7 G7 J' X0 Q
" u+ o5 v) k) p, o* G, I/ jUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

平常沒有危機意識
相關危機處理雖有SOP
- u$ ]" R0 q% Z; h: ^6 ]& t* _但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
2 p9 u! H  M/ ]( _所以緊急發電設備跟ups都要吹冷氣^^

由於緊急發電設備大多位於地下室
通風及散熱機制很重要
尤其長時運作，更要能安全持久