停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
於是今天整區停電
辦公室柴油發電機自動發電
可能是過熱，將配電設施的變壓器烤到燒起而爆炸
0 U! Q  O' Y* V& y5 k+ Z或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
3 r/ [- A. S/ N$ J# Q/ M2 K北市府消防車近7輛來救助
. o" r, n: @+ E0 X+ r: s; d) a整個大樓全員疏散
- ]. K7 `! S' w9 Q4 N許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
+ ?! c# z: R" I) M9 C4 `/ e; h雖然下午外電已接上，但是配電設備已毀
市電無法橋接，縱使有電也是枉然
全天停班
: U& @8 [+ q" V- k( s  i0 F
另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
& z# C0 U# b2 v- E2 K但或許使用壽命較長，所以實際上無法支撐15分鐘
. A+ ~0 ^/ J9 _* u8 l$ r由於系統複雜，關機程序冗繁，
找到關機SOP時，運作的時間也不夠完成程序作業
! b1 I6 j- Q; B4 a) e( v於是系統在無保護狀態下直接切機(硬著陸)
就算能供電，系統啟動的損害也是難以估算
( K& h, y" H! A& S
從以上經驗，可以反省我們社區大樓的緊急發電系統
* R5 e/ j! u6 ?' C雖然有定期演習發動，
但很少有在高溫且長時發電的實戰測試
尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
作業溫度會較高
在惡質環境的實際演練才能發現一般無由發現的突發狀況
最近室外溫度持續偏高，或許是主因之一
4 y0 W; g" q, U3 Z* _4 A許多在常溫下所驗測的設施規格，可能都會受到挑戰
/ M* e& m, q' z4 O$ a2 C另外也不要全然相信資訊設備的最高規格
寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
尤其UPS的電池會隨時間的充放電而減損容量
這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

8 I- f* K5 r5 Z( a0 t9 i, f

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

3 ~; J+ I" f, p! r& B想必同仁們都受驚了......


希望貴單位的資料都有確實backup....
- k5 a1 g/ I3 R9 |: j% P( G% k現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.
# U$ c- Q8 K5 n; M4 P
9 O% H+ G0 w4 D, Y% j敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

8 `9 g) h6 v7 T9 k- m( h桂格兄內行.
" J* Z  i3 `, H+ O
UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
9 V9 @! t8 a7 V: w
! Z( @% w: b  `" S! l4 x; J災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

. O; U& R7 A, X9 b& m

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

; D( S% h) ]; [: \3 }( I6 K: g
: L# ~" G: I3 l  B) T4 w
" U0 k* y9 M' O% F* O% B資料庫除local外並在深坑及台中存有異地備援
, ]& h9 j, L/ `/ A" Q, @$ J) }由於機房資料庫量大，
只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
( x* X0 y$ l8 l機房就約80坪。不易移出委外或雲端

w5719w

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

事後檢討
4 G2 f: t8 |7 t2 r: S1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
; x( W) T% q5 O9 e3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
  z3 H6 V% x* [% G$ l$ V' U  ]桂格兄內行.

UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

平常沒有危機意識
: S1 t% W  w9 \$ @5 j) m$ W" K相關危機處理雖有SOP
6 C  f' c+ j& d6 c2 x但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
所以緊急發電設備跟ups都要吹冷氣^^

7 h4 p5 a$ I6 m$ H" ]8 O; r% N由於緊急發電設備大多位於地下室
通風及散熱機制很重要
0 p9 O+ }- ^5 p/ Z尤其長時運作，更要能安全持久