停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
於是今天整區停電
辦公室柴油發電機自動發電
+ h# Z& b2 e( |% z% `. z可能是過熱，將配電設施的變壓器烤到燒起而爆炸
! g5 F  h( m2 |: B' {+ v3 C或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
. }, g/ _' m% z+ _/ i北市府消防車近7輛來救助
- }2 Q! G9 b! z8 _" i整個大樓全員疏散
許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
雖然下午外電已接上，但是配電設備已毀
4 t5 U# O  r& K% j% L3 t市電無法橋接，縱使有電也是枉然
全天停班
! S( j3 r4 R. W8 E$ ^2 l- L
另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
但或許使用壽命較長，所以實際上無法支撐15分鐘
由於系統複雜，關機程序冗繁，
找到關機SOP時，運作的時間也不夠完成程序作業
於是系統在無保護狀態下直接切機(硬著陸)
1 ?8 I. S, Y7 \2 _. i; ^就算能供電，系統啟動的損害也是難以估算
8 p; |9 m7 @3 J; K4 a
從以上經驗，可以反省我們社區大樓的緊急發電系統
( U8 N: {# [1 ]- @1 T, l, K( I# v雖然有定期演習發動，
但很少有在高溫且長時發電的實戰測試
2 k) s+ _6 M$ |! T" t8 P3 B4 ?尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
+ d$ `& X# H# g; ~( Y作業溫度會較高
在惡質環境的實際演練才能發現一般無由發現的突發狀況
. c7 P( ]. {7 l# Q, V4 z/ r最近室外溫度持續偏高，或許是主因之一
許多在常溫下所驗測的設施規格，可能都會受到挑戰
& n- y# i; g9 K4 i另外也不要全然相信資訊設備的最高規格
, _% y2 H/ [  \寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
' g. [; C. c; V) p1 Z尤其UPS的電池會隨時間的充放電而減損容量
6 e1 X$ g- J4 }0 }' k# w2 b7 R; l5 ~這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

5 q2 a7 }0 d% J, X0 g

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

" Z6 A+ X4 J5 @4 _想必同仁們都受驚了......


希望貴單位的資料都有確實backup....
現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.
. l  }, U0 Z3 \* Y" O: P. h
" `! b( X2 K* `0 p敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

! w) Z; _- f" L3 N; M/ P

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

) i. W) E+ P* J' G8 y; G* K  @桂格兄內行.
9 K; X0 y, E4 J4 U: m
8 f" n1 F, J  B. W& C  P$ D; lUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
* n0 X* |7 Z% M; w
' s8 ^# ]) D5 N6 a) y災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

. A9 H1 n- ]( M3 h5 }* }

桂格 發表於 2012-7-18 07:36
; x: R$ H6 W. \+ q想必同仁們都受驚了......

- F& a6 K. K$ c9 e# M
資料庫除local外並在深坑及台中存有異地備援
由於機房資料庫量大，
# W0 y8 K" i4 C: D, G' J7 N只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
) u1 ~) Q" l" m# V機房就約80坪。不易移出委外或雲端

w5719w

阿慌

% c4 o' v' ?8 H4 S# u2 T; N

文兒 發表於 2012-7-18 09:08
0 A8 s3 t  g5 x3 o! [$ K1 Q1 w- X所以緊急發電設備跟ups都要吹冷氣^^

事後檢討
$ ^9 K4 F- |2 A" N+ V9 O/ j1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
0 z) o! t9 U) _- a* ~) E: t2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
( p& H, K8 F. X: H3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
5 C6 |( r& u0 N9 ^; d* \桂格兄內行.

UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

平常沒有危機意識
. P- I9 S  ^3 ?相關危機處理雖有SOP
* P  @( K4 |* K/ j; f( {但無實際演練及確認機會
# S9 U' U  P3 y9 z# V2 x( d  t) b這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

3 P! ~2 m0 y4 \/ D- @# X由於緊急發電設備大多位於地下室
通風及散熱機制很重要
尤其長時運作，更要能安全持久