停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
於是今天整區停電
辦公室柴油發電機自動發電
可能是過熱，將配電設施的變壓器烤到燒起而爆炸
) a) q: O, R' ]( y* f或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
北市府消防車近7輛來救助
整個大樓全員疏散
; {; ~1 T, b  Z, |許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
$ l$ T2 R( _: Q/ n; `雖然下午外電已接上，但是配電設備已毀
4 R. J+ G# q0 ]3 q6 J) {市電無法橋接，縱使有電也是枉然
; h7 T9 _3 [( U全天停班
4 P9 H8 B* o% N5 Z8 z1 S+ m& V
另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
但或許使用壽命較長，所以實際上無法支撐15分鐘
由於系統複雜，關機程序冗繁，
8 x$ |$ A% n& z7 X找到關機SOP時，運作的時間也不夠完成程序作業
9 s2 l5 k! J% K! Z於是系統在無保護狀態下直接切機(硬著陸)
就算能供電，系統啟動的損害也是難以估算
7 _. y4 O6 U# S+ L. M$ a( e
! j2 E8 g, }; O/ Q! t0 A7 W從以上經驗，可以反省我們社區大樓的緊急發電系統
雖然有定期演習發動，
4 y9 l9 |: }& J  i1 I但很少有在高溫且長時發電的實戰測試
$ ~  ~$ S+ ~: y+ b/ S2 x8 v9 ^尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
作業溫度會較高
在惡質環境的實際演練才能發現一般無由發現的突發狀況
9 B6 w: Q% p5 x) S最近室外溫度持續偏高，或許是主因之一
許多在常溫下所驗測的設施規格，可能都會受到挑戰
8 z0 n/ Y% A8 \* s$ q5 t. ~另外也不要全然相信資訊設備的最高規格
寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
尤其UPS的電池會隨時間的充放電而減損容量
這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

6 J4 G/ W7 w! Y. \- Y想必同仁們都受驚了......

& k4 `( l7 ^8 l4 n
希望貴單位的資料都有確實backup....
現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.

- v- {! j& ?: @5 t1 R7 J敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

' \% R/ {" |6 e: Z+ \5 d4 W9 g- c

桂格 發表於 2012-7-18 07:36
; v% \4 Y* y3 ~  L+ f$ h4 L想必同仁們都受驚了......

; A5 @6 G$ b5 s% N
桂格兄內行.
$ }5 I/ k9 ~7 ]9 Q1 r
UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
9 C" t! o2 N, m% X, S, l3 Y5 b3 E9 v
9 t" k- w  J5 f1 h災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

桂格 發表於 2012-7-18 07:36
0 D9 N$ [4 Y1 u( I+ a/ m# N想必同仁們都受驚了......

. z9 A& d& `; y" `3 o2 B  u
$ X" H1 t1 V. \* \9 p% [* Y資料庫除local外並在深坑及台中存有異地備援
+ q; x- Y. z0 @) L1 ]由於機房資料庫量大，
只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
機房就約80坪。不易移出委外或雲端

w5719w

阿慌

  K  D, e/ t) ?$ d0 [! F. E

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

事後檢討
- E4 B" F' V' H% [. C: C1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
# V* m3 \9 Y) r4 d) Z2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
桂格兄內行.
# O' x$ Z; K3 q+ n0 v$ x5 U
UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

! m3 ?- [' W. z' O- `+ s平常沒有危機意識
( k0 r2 c1 W( M) ~" B相關危機處理雖有SOP
但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

由於緊急發電設備大多位於地下室
通風及散熱機制很重要
7 M: g9 r/ v* h( W' J7 l尤其長時運作，更要能安全持久