停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
' L( `* M- l  x於是今天整區停電
辦公室柴油發電機自動發電
可能是過熱，將配電設施的變壓器烤到燒起而爆炸
( {, \# B7 ]. z( J或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
北市府消防車近7輛來救助
8 b5 o- P7 l0 o' M8 H, J" }3 d5 B整個大樓全員疏散
許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
雖然下午外電已接上，但是配電設備已毀
2 V3 c9 k0 i1 A' i* U市電無法橋接，縱使有電也是枉然
全天停班
* [1 B) h) _- S
另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
+ W' _# k$ j1 B6 ~* @但或許使用壽命較長，所以實際上無法支撐15分鐘
) F% I& z) S8 P9 |由於系統複雜，關機程序冗繁，
; a' Z( O0 @+ v找到關機SOP時，運作的時間也不夠完成程序作業
於是系統在無保護狀態下直接切機(硬著陸)
就算能供電，系統啟動的損害也是難以估算
8 o1 h( d/ C2 X9 [
$ z0 ?5 G3 ^& E0 Y8 h3 I/ f0 S' @從以上經驗，可以反省我們社區大樓的緊急發電系統
% U8 l% L/ F# v$ ^: x, r! P雖然有定期演習發動，
2 M/ R% o+ x8 R1 b0 b* x5 P但很少有在高溫且長時發電的實戰測試
尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
作業溫度會較高
在惡質環境的實際演練才能發現一般無由發現的突發狀況
最近室外溫度持續偏高，或許是主因之一
許多在常溫下所驗測的設施規格，可能都會受到挑戰
! u8 w- l2 o) \4 [3 }& z5 v- U另外也不要全然相信資訊設備的最高規格
/ G8 s3 o) t9 r: C/ a寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
% A# s" T* q9 O# i  A" M6 w# k尤其UPS的電池會隨時間的充放電而減損容量
6 i8 i6 [& K+ p7 M. Z, ^這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

% {' Z/ {$ n  W; o

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

8 }6 u3 c/ \! A
8 i2 g! i" y; m# n( q0 X想必同仁們都受驚了......
* D4 A" d1 B' U; O

* u! v! W" B3 ?3 Y8 N( d  {希望貴單位的資料都有確實backup....
. I- _* T0 A/ V  _/ H現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.

$ K+ D& _* r! s5 [( z5 i敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

桂格兄內行.
, i3 x8 H: K+ M: i
( I. L4 Q) w- v4 YUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
" ]$ L2 m9 _: i7 w
災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

& u' k5 ~0 _8 k8 C. w" T

桂格 發表於 2012-7-18 07:36
0 b. ?) G! Q( I  P* f! _* d想必同仁們都受驚了......

資料庫除local外並在深坑及台中存有異地備援
由於機房資料庫量大，
$ {3 m0 W5 U0 A! i只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
0 W8 h: d; P7 w& V5 s; h機房就約80坪。不易移出委外或雲端

w5719w

阿慌

文兒 發表於 2012-7-18 09:08
( I  g$ R% N0 U, W3 A! x所以緊急發電設備跟ups都要吹冷氣^^

9 l! R; d( V9 S0 p" Q9 F! X
事後檢討
( P) p$ I# @5 L1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
0 R5 M* C6 L: Z1 A8 @- m# ?3 |" w桂格兄內行.
) H$ T6 a1 R4 k1 f
$ a7 u  \) ?. r" bUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

3 H; R  L3 t. h平常沒有危機意識
  q+ h  i  m7 n* k相關危機處理雖有SOP
% e: D& m, v' h) b( _4 k3 R& o但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

由於緊急發電設備大多位於地下室
: F' c; }) B4 o, K# X通風及散熱機制很重要
( G  ~( t7 h2 e/ b尤其長時運作，更要能安全持久