停電備援系統的問題--以我們辦公室大樓為鑑

阿慌

由於辦公室附近挖地，挖斷電纜
於是今天整區停電
/ z1 w4 [% T  G# S辦公室柴油發電機自動發電
0 \  n7 ?2 _% s  T2 F( u$ A可能是過熱，將配電設施的變壓器烤到燒起而爆炸
或許在近日的高溫下，冷卻系統會不堪負荷，無能降溫所致
北市府消防車近7輛來救助
整個大樓全員疏散
許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能
( j+ S  D( m5 P% O雖然下午外電已接上，但是配電設備已毀
市電無法橋接，縱使有電也是枉然
全天停班

另因龐大的資料庫有UPS做備援，原規格可挺30分鐘
但或許使用壽命較長，所以實際上無法支撐15分鐘
8 k$ A8 r1 |6 k$ j0 K由於系統複雜，關機程序冗繁，
; s2 v6 G% q! _- F) s/ I找到關機SOP時，運作的時間也不夠完成程序作業
1 r# {2 ~: L( p) [5 @* x( B於是系統在無保護狀態下直接切機(硬著陸)
就算能供電，系統啟動的損害也是難以估算
0 O3 x1 ~1 d* Q/ R* n4 e5 t0 ?
2 f& s% a5 j" y2 W7 H3 }! G+ |5 b從以上經驗，可以反省我們社區大樓的緊急發電系統
雖然有定期演習發動，
但很少有在高溫且長時發電的實戰測試
尤其平常只是啟動發電的功能測試，這樣短時間的運作，會累積汽缸的積碳
作業溫度會較高
6 x4 Q4 P3 Z/ E5 S) R* X在惡質環境的實際演練才能發現一般無由發現的突發狀況
最近室外溫度持續偏高，或許是主因之一
0 T0 ^" ]7 `" T許多在常溫下所驗測的設施規格，可能都會受到挑戰
" i4 q% e) ?4 p, i: V) h另外也不要全然相信資訊設備的最高規格
  t2 e3 x% v9 F寧可打5折來抓安全係數，否則可能無法可靠的達成預定功能
- e- P( i8 A. K' C) D* }尤其UPS的電池會隨時間的充放電而減損容量
! z+ @4 c4 D- T' L3 X; z這次辦公室大樓的斷電經驗，或許可以作為社區設施的借鏡

雲淡風也清

謝謝分享！

桂格

5 q& q& Q1 |; y9 Q* X# \; C

許多同仁在30層的高度摸索著沿梯而行，於暗黑中手機的照明發揮了很大的功能

1 Y- Q- N  k* r+ h6 P想必同仁們都受驚了......
  b$ ^) {9 T( j* B' ~5 F

2 I' h' g2 U" V2 R9 z希望貴單位的資料都有確實backup....
現在頻寬越來越便宜, 異地備援或往雲端送應該是趨勢了.

! N( T- o- @5 L3 O$ S4 p6 A( s/ Q敝公司也已經把全球各據點的資料Centralized 到台灣了.

LSP000

5 Q. y: w! T' B

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

7 q& z) h  M1 a  U1 p& @桂格兄內行.

; O8 f3 \4 ~" {; YUPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.
- h; x7 @- J9 e. [0 [4 W3 X; n
災害難以避免, infrastructure team 能夠做的就是讓災難一旦發生時的損害儘量減到最小.

文兒

所以緊急發電設備跟ups都要吹冷氣^^

阿慌

( ~9 ]# N/ e( j3 k. b

桂格 發表於 2012-7-18 07:36
想必同仁們都受驚了......

" x/ y) F# H. p4 P

資料庫除local外並在深坑及台中存有異地備援
( i- ]5 o9 }! f. r. Z! c由於機房資料庫量大，
7 ?. p+ N1 |) q4 C2 C只我們這一部門(資訊室除外)當初建置硬軟體系統就好幾個E
機房就約80坪。不易移出委外或雲端

w5719w

阿慌

  y  g* T, j2 H

文兒 發表於 2012-7-18 09:08
0 s9 m' d. }) s5 V) u1 n所以緊急發電設備跟ups都要吹冷氣^^

事後檢討
1.發電機散熱不夠，機件沒有定期更新(發電機冷卻風散故障)
2.發電機機房周遭堆放閒雜物品，影響散熱及易燃
) T0 d9 B& y) [2 r8 k; O( U4 @4 w3.發電排煙不順暢，地上出口未清理(部分排管阻塞)

阿慌

LSP000 發表於 2012-7-18 08:58
7 u6 h% W# d! y桂格兄內行.

UPS 問題應該不是造成 [資料難以復原的損失] 的唯一原因.  

平常沒有危機意識
8 [: D- c3 Q& L8 U7 ~" [9 X+ e相關危機處理雖有SOP
但無實際演練及確認機會
這次正好做個檢驗

阿慌

文兒 發表於 2012-7-18 09:08
/ Y1 l/ l3 N6 r所以緊急發電設備跟ups都要吹冷氣^^

由於緊急發電設備大多位於地下室
通風及散熱機制很重要
& g  D9 m$ \# k; l尤其長時運作，更要能安全持久