停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
於是今天整區停電
( V) O$ m- J6 n" Y0 d) M辦公室柴油發電機自動發電
可能是過熱，將配電設施的變壓器烤到燒起而爆炸
( l/ }- m$ f; M+ E' M$ o1 Q或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
" i- ?! l. K3 B% O北市府消防車近7輛來救助
* w5 G! _# m& O$ r. S整個大樓全員疏散
許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
7 F8 l4 `$ g4 Z  ]8 w4 e( B+ ?雖然下午外電已接上，但是配電設備已毀
. n4 c: c% Y: L) c6 D$ F市電無法橋接，縱使有電也是枉然
! o3 @* ~3 `7 |全天停班
5 j/ m$ g% r8 T. y8 b7 n6 n4 ~
$ [) c/ B) N0 U. P2 _0 v3 H8 M另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
但或許使用壽命較長，所以實際上無法支撐15分鐘
由於系統複雜，關機程序冗繁，
* p9 w; x8 T6 z找到關機SOP時，運作的時間也不夠完成程序作業
於是系統在無保護狀態下直接切機(硬著陸)
就算能供電，系統啟動的損害也是難以估算
1 B2 R% e5 A. _6 K& w% c
從以上經驗，可以反省我們社區大樓的緊急發電系統
雖然有定期演習發動，
但很少有在高溫且長時發電的實戰測試
尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
作業溫度會較高
  f3 P$ W6 C* \& H- r7 R在惡質環境的實際演練才能發現一般無由發現的突發狀況
最近室外溫度持續偏高，或許是主因之一
許多在常溫下所驗測的設施規格，可能都會受到挑戰
另外也不要全然相信資訊設備的最高規格
寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
尤其UPS的電池會隨時間的充放電而減損容量
這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

3 V+ Z) m  u3 p; _5 J

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

5 j; R. u% c) p1 r3 W. J# a
想必同仁們都受驚了......


希望貴單位的資料都有確實backup....
現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.
! g! P! Q: U5 ~- S* z8 o
敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

桂格 發表於 2012-7-18 07:36
/ y1 R* b8 g1 g! T想必同仁們都受驚了......

桂格兄內行.
+ p/ }" p1 g; a/ N9 Q0 x4 }% a
6 R: z3 E; @' P/ i( v* Y5 l+ \3 @UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.

% r& m1 p) j  S) E2 z災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

# v0 f% m1 \! P  c$ v

2 [( ^/ [: D7 `. Z5 v& a資料庫除local外並在深坑及台中存有異地備援
由於機房資料庫量大，
& q+ \$ l, R7 l7 z- D; b* N1 _只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
( M5 a+ p' F5 ~5 g7 v5 q7 e機房就約80坪。不易移出委外或雲端

w5719w

阿慌

" O6 I; {$ T" d& k$ G

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

2 c' D9 D+ s3 h; a& u0 u+ R
5 V) N  z7 T  o  s事後檢討
. S8 J. ]6 x) I/ H4 |1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
' J/ z2 \) A1 u2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
桂格兄內行.

UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

$ L7 L, A! e  i7 k- M' _平常沒有危機意識
+ I" n2 z. X4 S* M相關危機處理雖有SOP
* N; P) H4 b1 R9 k) G但無實際演練及確認機會
" S, k! {, w8 s# R- M! U+ H0 {# \這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
& P( l8 ~1 Z/ }# N. z所以緊急發電設備跟ups都要吹冷氣^^

8 S. Y2 V; j: C  H由於緊急發電設備大多位於地下室
通風及散熱機制很重要
尤其長時運作，更要能安全持久