停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
! C7 k& }' v1 i7 q5 E4 V$ D於是今天整區停電
辦公室柴油發電機自動發電
可能是過熱，將配電設施的變壓器烤到燒起而爆炸
或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
北市府消防車近7輛來救助
3 D* Y) t3 |4 Q  i2 K- y整個大樓全員疏散
# _! W7 ~3 C0 H. m, _& e許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
雖然下午外電已接上，但是配電設備已毀
$ ]' B/ {9 o$ t+ o6 w市電無法橋接，縱使有電也是枉然
全天停班

# d: O/ V+ q3 _/ G5 ?/ Q另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
! q6 S1 J6 R: R% [但或許使用壽命較長，所以實際上無法支撐15分鐘
( R# S5 f0 z, W由於系統複雜，關機程序冗繁，
找到關機SOP時，運作的時間也不夠完成程序作業
5 h( J  K, O# W% v2 P( x於是系統在無保護狀態下直接切機(硬著陸)
就算能供電，系統啟動的損害也是難以估算
) _. l9 s6 G3 m  i
從以上經驗，可以反省我們社區大樓的緊急發電系統
雖然有定期演習發動，
. Z- ~2 U% G- W/ H; K- L$ T但很少有在高溫且長時發電的實戰測試
) _3 B1 F; i6 a& i4 w) g6 L尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
; f8 c5 _2 i- w5 ?9 r作業溫度會較高
在惡質環境的實際演練才能發現一般無由發現的突發狀況
最近室外溫度持續偏高，或許是主因之一
) `, v7 w) {: g5 q& a/ l  x許多在常溫下所驗測的設施規格，可能都會受到挑戰
另外也不要全然相信資訊設備的最高規格
" I- k, Y9 v, z, N: \# S) T- m% |寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
尤其UPS的電池會隨時間的充放電而減損容量
& J2 l* S% X3 F這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

; p7 h' B% f/ b' K+ ]; F! D想必同仁們都受驚了......

# U( l: q* f  m8 H* ~; p0 m0 L
希望貴單位的資料都有確實backup....
現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.

& F/ x1 X( {  y( \0 {敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

桂格兄內行.

% N6 o" m6 q7 S/ ~$ CUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.

災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

  q! M! y8 j8 k$ `# p( m& G

桂格 發表於 2012-7-18 07:36
" X2 |9 D' q4 K3 ^想必同仁們都受驚了......

資料庫除local外並在深坑及台中存有異地備援
由於機房資料庫量大，
+ q7 C) s8 B: O! H/ F' m只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
機房就約80坪。不易移出委外或雲端

w5719w

阿慌

6 e2 r7 R+ D9 j. Y( t

文兒 發表於 2012-7-18 09:08
5 Y9 u( k- L& v; _$ z; d6 f: T所以緊急發電設備跟ups都要吹冷氣^^

9 w. e* p" S4 h6 {! N: S
事後檢討
1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
5 ]$ K# i! k, D: O# M# h3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
% E  ]6 q5 z# D2 l" C桂格兄內行.
) u1 v+ O" |- V4 [, Z1 f7 G7 i
) t# R- K) j/ X& ^6 N( \UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

, i$ ~. h! [2 d$ ]; [! i* l平常沒有危機意識
相關危機處理雖有SOP
1 |2 G8 I- Z2 u1 ^4 t但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

由於緊急發電設備大多位於地下室
通風及散熱機制很重要
尤其長時運作，更要能安全持久