停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
/ G4 f5 |0 U, k1 v於是今天整區停電
辦公室柴油發電機自動發電
  H2 V1 b* \4 b- Z可能是過熱，將配電設施的變壓器烤到燒起而爆炸
或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
$ Q  q  C4 @$ a; q9 m) y$ ?9 U北市府消防車近7輛來救助
整個大樓全員疏散
" u& `8 r, W; l/ C& A許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
雖然下午外電已接上，但是配電設備已毀
市電無法橋接，縱使有電也是枉然
全天停班
! ?- J" r  c, ?2 G
$ P  d/ r$ Z6 }8 D* Z另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
但或許使用壽命較長，所以實際上無法支撐15分鐘
3 `& b3 ~4 h; f! K由於系統複雜，關機程序冗繁，
$ A# Y# T, T, W4 F: A找到關機SOP時，運作的時間也不夠完成程序作業
, \: c# E6 J$ e- f$ n- ?於是系統在無保護狀態下直接切機(硬著陸)
# s" E7 o7 A- w# i* a" I就算能供電，系統啟動的損害也是難以估算
% ~# M* \0 }/ }' N$ D0 j( T3 r. Q1 d
從以上經驗，可以反省我們社區大樓的緊急發電系統
  j- s# Q. G: F2 N! E( c0 o雖然有定期演習發動，
但很少有在高溫且長時發電的實戰測試
尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
作業溫度會較高
* J" A8 W8 i4 }$ V3 T& S在惡質環境的實際演練才能發現一般無由發現的突發狀況
. D) L' n+ K9 c+ K( ^/ w最近室外溫度持續偏高，或許是主因之一
許多在常溫下所驗測的設施規格，可能都會受到挑戰
另外也不要全然相信資訊設備的最高規格
寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
3 L9 z" C+ [) z8 p$ k: H) }& W4 Z尤其UPS的電池會隨時間的充放電而減損容量
這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

: k3 N' I$ v3 Q, k3 E

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

' o4 L/ O- G1 l1 S
: y5 T& u0 g! q7 O想必同仁們都受驚了......

* U( m7 g9 F" \) i8 N8 i8 E
希望貴單位的資料都有確實backup....
; I) Z7 U% w7 P7 j4 L現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.
, h! W0 H3 ~, v
敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

& y0 e: k' |% v) u$ Q

桂格 發表於 2012-7-18 07:36
; H. P+ y; p+ K* H# O! L1 `想必同仁們都受驚了......

4 w+ C" j; h7 N) K+ \& x桂格兄內行.

0 T% \& s4 \% _& `0 v) SUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
0 X7 L1 M! E( O0 @% j, w
災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

3 I& V2 @% h8 E% r" F

桂格 發表於 2012-7-18 07:36
* N( k/ _9 L9 ?" A% ?6 A' l想必同仁們都受驚了......

資料庫除local外並在深坑及台中存有異地備援
由於機房資料庫量大，
只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
; V6 v. _% y$ M% E' ]機房就約80坪。不易移出委外或雲端

w5719w

阿慌

) h$ Q. @4 y1 h" i7 t/ ~

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

! l5 @5 T  L, |+ K/ \
事後檢討
2 Q) A& S" f  o) b1 d% R1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
桂格兄內行.

- ]' q8 W5 c6 ?! `0 ^UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

  m. a0 C* h  w$ J- X6 ~: E平常沒有危機意識
* }% ?( Z- @1 G8 S2 y相關危機處理雖有SOP
) p! O; k' E* s9 ^但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

由於緊急發電設備大多位於地下室
通風及散熱機制很重要
尤其長時運作，更要能安全持久