停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
- q- t& L) }. I9 X" H+ g) x於是今天整區停電
8 L* n: P7 U! b辦公室柴油發電機自動發電
1 C0 H/ d# L) p9 `8 E( I& X$ M可能是過熱，將配電設施的變壓器烤到燒起而爆炸
或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
% z- C; q# b3 e, m+ A/ w$ S$ q5 G北市府消防車近7輛來救助
整個大樓全員疏散
許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
雖然下午外電已接上，但是配電設備已毀
市電無法橋接，縱使有電也是枉然
' v# U, M, I/ r. Q/ F2 b全天停班
3 P1 G3 F& u- }
6 Y3 L+ b5 K1 u& l2 P另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
但或許使用壽命較長，所以實際上無法支撐15分鐘
由於系統複雜，關機程序冗繁，
  ?1 R% R: x" r+ W/ a# \* d找到關機SOP時，運作的時間也不夠完成程序作業
於是系統在無保護狀態下直接切機(硬著陸)
+ q; i) c0 Y1 ]就算能供電，系統啟動的損害也是難以估算

從以上經驗，可以反省我們社區大樓的緊急發電系統
: K& s2 ?2 H' z  _- [* ^$ D; g雖然有定期演習發動，
但很少有在高溫且長時發電的實戰測試
  S( L" L. }  d4 J尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
作業溫度會較高
在惡質環境的實際演練才能發現一般無由發現的突發狀況
& P* M: K% A: n& x4 k最近室外溫度持續偏高，或許是主因之一
許多在常溫下所驗測的設施規格，可能都會受到挑戰
/ d1 \" g; V, f1 N; i另外也不要全然相信資訊設備的最高規格
1 P$ g3 J5 h  X/ B8 }寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
; L4 {8 `! [, _+ G! c1 V) n" D尤其UPS的電池會隨時間的充放電而減損容量
/ k. G% z0 ]1 e0 i. t# q1 ?這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

& e# [; h3 u" j( M* Z4 m$ P4 O想必同仁們都受驚了......


2 L+ Y5 u2 Q" \6 f8 D/ A希望貴單位的資料都有確實backup....
, ], C% h7 V5 G5 K  ]& s9 t2 V現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.

敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

" d. ]3 X2 {7 x* M/ {

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

9 o) U) z" e; j) t, i  w7 {5 V7 a
6 y! Q0 p' b* {$ Q桂格兄內行.

, D3 `" j- y' E* U, d2 lUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
, F! K! {; F! X" a4 x0 x
災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

: m( S* E! }" h" e+ ?% D# f
資料庫除local外並在深坑及台中存有異地備援
4 C, y' V8 e6 o由於機房資料庫量大，
只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
' q- d$ h% g, A* ~% Y機房就約80坪。不易移出委外或雲端

w5719w

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

2 E+ F6 s: S1 T, j6 E% y
事後檢討
1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
( A- e1 O! B: s2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
8 f2 u0 m2 g8 T5 {: u; x" O3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
! G- K# a3 |+ }& L5 ^桂格兄內行.
1 H- Q" ^& z3 R
UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

平常沒有危機意識
% k; x: r# x$ a! v- y1 c相關危機處理雖有SOP
) m& s: h( F6 b5 E  r但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
1 n5 _' o# E4 a8 Q所以緊急發電設備跟ups都要吹冷氣^^

" m* A6 n+ F: N9 Z) S5 N2 d由於緊急發電設備大多位於地下室
通風及散熱機制很重要
尤其長時運作，更要能安全持久