停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
5 |- t+ _# L4 I* g於是今天整區停電
辦公室柴油發電機自動發電
5 f+ }, A& Q: x) u  p% r可能是過熱，將配電設施的變壓器烤到燒起而爆炸
或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
/ v! D4 {! m) ^5 o! }北市府消防車近7輛來救助
* R* H1 v  j5 j- L. W4 \整個大樓全員疏散
6 h1 p$ c- l" u) X3 ]許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
雖然下午外電已接上，但是配電設備已毀
市電無法橋接，縱使有電也是枉然
9 G4 z- R7 C+ ^0 S% a6 v全天停班

/ w* k: e9 h0 ^2 V另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
$ D% \  Z' @3 g+ \: |9 v) _* Y但或許使用壽命較長，所以實際上無法支撐15分鐘
; c( s. H7 G0 z6 M由於系統複雜，關機程序冗繁，
8 L/ j- b5 |, z2 l找到關機SOP時，運作的時間也不夠完成程序作業
9 Z8 r) g% s  B- D# P$ S" W於是系統在無保護狀態下直接切機(硬著陸)
就算能供電，系統啟動的損害也是難以估算
4 p. H5 i0 F9 N! D/ L2 ]
; y7 ?# C; g' O. M5 L5 f從以上經驗，可以反省我們社區大樓的緊急發電系統
: y2 y; _: M# x! b8 ^雖然有定期演習發動，
但很少有在高溫且長時發電的實戰測試
: G* I4 g$ I$ R+ O4 g尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
& W" R6 `3 v1 j- _" u3 Z作業溫度會較高
在惡質環境的實際演練才能發現一般無由發現的突發狀況
) h- W3 T& r7 o8 f最近室外溫度持續偏高，或許是主因之一
許多在常溫下所驗測的設施規格，可能都會受到挑戰
: d/ d3 w' r+ ?& I# X另外也不要全然相信資訊設備的最高規格
寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
尤其UPS的電池會隨時間的充放電而減損容量
這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

想必同仁們都受驚了......

" ^* ~: m" L- j( Q+ r
希望貴單位的資料都有確實backup....
* a& `" H0 K2 ?+ j, w現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.

" B8 T, @. ]  }) c6 h敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

桂格 發表於 2012-7-18 07:36
# e% {+ q/ D% ]4 k4 ^/ [" O3 I) ~想必同仁們都受驚了......

9 d  W- y- f- h* j( M. v桂格兄內行.

UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
) h9 G: M  d6 s% b( Z- ^
災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

桂格 發表於 2012-7-18 07:36
! y2 y8 @. g, J& _/ t1 M+ a; e9 S1 N想必同仁們都受驚了......

0 N- @. Q3 t( s' Y- I* ]' i
資料庫除local外並在深坑及台中存有異地備援
# r7 A2 r' ?, @$ e; \2 d3 M/ ^由於機房資料庫量大，
只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
機房就約80坪。不易移出委外或雲端

w5719w

阿慌

+ ~6 M3 I5 A) m

文兒 發表於 2012-7-18 09:08
/ S, [: f0 f  a所以緊急發電設備跟ups都要吹冷氣^^

事後檢討
" c: \8 ^$ [$ x. g8 l/ @1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
* V& d! s( _  [1 w: {3 ?2 W2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
桂格兄內行.

; j% \1 n# q6 h8 S7 J& ^% pUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

7 u7 G- @1 a8 g: R平常沒有危機意識
相關危機處理雖有SOP
+ |1 z7 ~2 W+ J4 `7 x2 ?/ Z  H4 u但無實際演練及確認機會
7 S7 R% x. d3 f8 P這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

- ~' O4 _: ~) D& p, G1 W由於緊急發電設備大多位於地下室
. `; [8 G9 v: ?( B/ |! B通風及散熱機制很重要
0 M' S' Y0 e& \2 o- C尤其長時運作，更要能安全持久