停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
於是今天整區停電
辦公室柴油發電機自動發電
" `9 @! A. e1 n/ D" A8 l5 Z可能是過熱，將配電設施的變壓器烤到燒起而爆炸
( N8 F  I( Z( o$ j/ P4 t2 S或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
$ M3 j5 `: s6 {! x2 U$ J5 d北市府消防車近7輛來救助
) ^! t4 ?0 V+ A1 S. B整個大樓全員疏散
* ^6 }( p' w( P( }: B8 N許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
! e* t* n9 Q8 p. E% \3 s雖然下午外電已接上，但是配電設備已毀
6 q5 X! f# H1 L% e市電無法橋接，縱使有電也是枉然
, o1 G# n$ U2 z) K$ A5 q全天停班
$ s" J% x" H- D1 v7 L" w$ F# y3 g
# V9 r/ @2 f. n- D4 ?: c另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
2 n% h# q6 o6 {* @& S: @% c. P3 M1 x但或許使用壽命較長，所以實際上無法支撐15分鐘
0 K8 j$ E+ Y" y由於系統複雜，關機程序冗繁，
$ ?- p. |. i' y8 N, R4 e6 D. k找到關機SOP時，運作的時間也不夠完成程序作業
$ W4 g: i( c6 a3 }7 u' ~6 S" @. Y於是系統在無保護狀態下直接切機(硬著陸)
- k! I# |; ~) E5 Z0 C3 }就算能供電，系統啟動的損害也是難以估算

' N2 u7 ~! A- x" T+ P8 p6 k從以上經驗，可以反省我們社區大樓的緊急發電系統
雖然有定期演習發動，
& I3 ~3 W8 K& j) ?5 }, P5 M但很少有在高溫且長時發電的實戰測試
尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
( K5 c7 _% c6 G5 f作業溫度會較高
在惡質環境的實際演練才能發現一般無由發現的突發狀況
; m4 T6 A) {8 M, d, J- D最近室外溫度持續偏高，或許是主因之一
許多在常溫下所驗測的設施規格，可能都會受到挑戰
4 `/ u8 c1 v: e( ]0 Y8 C0 S另外也不要全然相信資訊設備的最高規格
* e& i/ v& A% F* f- s5 I7 }寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
尤其UPS的電池會隨時間的充放電而減損容量
; t& I6 ^% g0 j1 R這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

4 I; i$ J3 t; m3 K4 l& }
' _5 {& _$ w5 r! @想必同仁們都受驚了......

- [* s; U+ b; K, S/ |
希望貴單位的資料都有確實backup....
現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.

敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

" }3 ~; N: h9 b8 y! b# y1 C/ ^桂格兄內行.

UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
5 o5 E/ @8 J4 k+ l" i5 v! ]
# o4 B. K/ t+ q( U災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

資料庫除local外並在深坑及台中存有異地備援
# p$ `$ {, C5 g/ L+ \! h由於機房資料庫量大，
只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
/ Z) @, k4 Z% D0 Z1 Y7 Z機房就約80坪。不易移出委外或雲端

w5719w

阿慌

9 s" \' ^. o6 n2 s, X

文兒 發表於 2012-7-18 09:08
9 _2 L9 n& x" I$ d/ Y, m所以緊急發電設備跟ups都要吹冷氣^^

事後檢討
1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
桂格兄內行.
0 Y0 x, V2 }, _1 n- f# A: J
. k0 q% H5 S1 k) z5 b* ?/ AUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

8 K8 E3 h7 T% ?' m( l; L0 G- ^平常沒有危機意識
1 t/ u! V" s6 {相關危機處理雖有SOP
但無實際演練及確認機會
2 s. v& j5 R/ C/ i5 m7 d) i& k# E3 w3 Z這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
$ M7 B8 ]6 e* \! k所以緊急發電設備跟ups都要吹冷氣^^

2 C5 x7 _" i+ @6 R由於緊急發電設備大多位於地下室
' Q: }  B' F3 s通風及散熱機制很重要
尤其長時運作，更要能安全持久