隨著醫(yī)院信息化建設逐年深入,，應用范圍越來越廣,，配套的服務器、存儲和網絡設備也越來越多。IT設備的快速增長,，使信息系統(tǒng)的管理面臨很大的運維壓 力,，傳統(tǒng)的人工巡檢和排錯的方式,，已經無法滿足業(yè)務系統(tǒng)對高可用性的需求,。在近年來發(fā)生的醫(yī)院信息系統(tǒng)宕機事故中，因為不能及時發(fā)現和排除故障而導致的UPS起火,、空調宕機,、數據庫崩潰的情況，占了很大的比例,。

“工 欲善其事,，必先利其器”，最近幾年,，越來越多的醫(yī)院開始采用了機房監(jiān)控系統(tǒng),、網管系統(tǒng),、數據庫監(jiān)控等技術手段,，在不同層面上保障了醫(yī)院信息系統(tǒng)的安全穩(wěn) 定。以上這些軟件我們統(tǒng)稱IT運行監(jiān)控系統(tǒng),，其作用是自動化的采集,、分析 IT設備的運行狀態(tài)數據,，通過圖形化的方式進行展示，并對超出設置閾值的指標進行報警,。

同時我們也發(fā)現了這樣的問題：

一方面是產品本身“魚龍混雜”,，有的產品似乎功能上很強大，但可靠性不高,，實際應用過程中常出現設備故障時不報警,，設備正常運行時卻會誤報的狀況。

另一方面是實施結果“中看不中用”,，有的醫(yī)院監(jiān)控大屏做的很漂亮,，但后臺的配置沒有細化，并不能真正監(jiān)控到日常發(fā)生的故障,。如果說產品本身的差異需要廠商的進一步改進,，那么如何物盡其用，用好管好IT運行監(jiān)控系統(tǒng)就是醫(yī)院信息部門的責任了,。

我 院自2008年自主開發(fā)機房溫濕度監(jiān)控系統(tǒng)開始,，逐步上線了機房監(jiān)控、網絡監(jiān)控,、服務器數據監(jiān)控,、虛擬化監(jiān)控等多個監(jiān)控模塊，并對界面和報警進行了整合,。 基本做到了“早于用戶發(fā)現故障,，早于故障消滅隱患”，同時結合基于ITIL的日常IT運維管理流程,，有效地保障了信息系統(tǒng)的高可用性,。

系統(tǒng)設計

根據以往的經驗，我們將醫(yī)院信息系統(tǒng)的運行環(huán)境包括機房環(huán)境,、網絡,、服務器、數據庫,、應用系統(tǒng)客戶端五部分,，關系如圖1所示。

圖示主要說明了兩個問題：（1）下層的運行環(huán)境為上層的運行環(huán)境提供支撐,；（2）作為用戶界面的業(yè)務軟件客戶端位于最上層,。

由 此可知，當下層的運行環(huán)境出現問題時,，將逐層向上產生影響,，如能及時發(fā)現和處理，就可以消除故障隱患,，從而避免事故隱患蔓延到用戶界面,，減少造成業(yè)務中斷 的幾率,。因此，逐層分析可能產生故障的因素,，建立一組較為全面的監(jiān)控指標體系,，是設計IT運行監(jiān)控系統(tǒng)的關鍵。這些指標應包括以下方面,。

1,、機房監(jiān)控

醫(yī)院信息系統(tǒng)機房是服務器、網絡及其附屬設備運行的環(huán)境和場所,，在國家標準GB50174-2008 《電子信息系統(tǒng)機房設計規(guī)范》中,，對其建設和運行指標有詳細的約定，其中應進行監(jiān)控的重點是配電系統(tǒng)和環(huán)境溫濕度,。

（1）配電系統(tǒng)

配電系統(tǒng)包括市電供應,、不間斷電源和發(fā)電機三部分。

對市電供應應監(jiān)控電能質量,，主要指標包括開關狀態(tài),、電流、電壓,、有功功率,、功率因數、諧波含量,。

不 間斷電源就是常說的UPS（UninterruptiblePower System）,，其主要監(jiān)控指標為：監(jiān)控輸入和輸出功率、電壓,、頻率,、電流、功率因數,、負荷率,；電池輸入電壓、電流,、容量,；同步/不同步狀態(tài)、不間斷電源 系統(tǒng)/旁路供電狀態(tài),、市電故障,、不間斷電源系統(tǒng)故障；監(jiān)控蓄電池的電壓,、阻抗和故障,。

對發(fā)電機系統(tǒng)應監(jiān)控：油箱（罐）油位、柴油機 轉速、輸出功率,、頻率、電壓,、功率因數,。此外，機房的PUE（ P o w e r Us a g e Effectiveness）值是評價機房能耗的一個重要指標,，它表示機房總設備能耗與IT設備能耗的比值,。在監(jiān)控系統(tǒng)中，我們可以通過采集到的電壓電流 數據,，計算出實時的PUE值,。

（2）環(huán)境溫濕度

環(huán) 境溫濕度指標是機房環(huán)境中最重要的指標，業(yè)內有“溫度每升高10度,，設備使用壽命減半”的說法,，因此維持機房溫濕度恒定是對機房環(huán)境的基本要求。對空調系 統(tǒng)應監(jiān)控開關,、制冷,、加熱、加濕,、除濕的運行狀態(tài),；相對溫度、相對濕度,、傳感器故障,、壓縮機壓力、加濕器水位,、風量設置閥值,，超出報警。在空調,、水管,、窗 戶等易產生水源泄露的部位，應安裝漏水感應裝置,，并監(jiān)控其狀態(tài),。對機房環(huán)境，應監(jiān)控房間各區(qū)域以及機柜內部的溫度,、濕度數據以及變化趨勢,。監(jiān)控探頭應放置 在被監(jiān)控設備的入風口位置，如：對于下送風上回風,，設置冷熱通道的機房,，應監(jiān)控其冷通道頂部的溫度。

2、主機系統(tǒng)監(jiān)控

絕 大多數的主機系統(tǒng)監(jiān)控是基于SNMP協議（Simple NetworkManagement Protocol/簡單網絡管理協議）的,。SNMP是應用最為廣泛的TCP/IP 協議,，采用了Server/ Client的模式，通過管理端與SNMP代理間的交互工作完成對設備的管理,；而 MIB（Management Information Base 管理信息庫）包是解讀SNMP消息內容的字典,，MIB包以文本形式保存樹狀的代碼信息，每個分支代表一種類型的統(tǒng)計信息或狀態(tài)信息,。通過SNMP代理可以 響應管理端關于MIB信息的各種查詢,，如：get，getnext,，set等,。被管設備還可以通過發(fā)送TRAP包的形式主動向管理端發(fā)送緊急報警信息，從 而實現對設備的監(jiān)控,。

（1）存儲系統(tǒng)

對 于存儲系統(tǒng),，除了通用的基于SNMP協議的監(jiān)控，還可以通過SMI-S協議（ StorageManagement Initiative Speci?cation,，主動存儲管理規(guī)范）獲取更多的設備信息,。SMI-S協議是SNIA （StorageNetworking Industry Association，美國存儲網絡工業(yè)協會）提出的存儲管理的接口標準,，它使存儲管理可以真正實現與廠商無關,，從而降低管理成本，提高管理效率,。當前 主流的存儲設備廠商,，如：IBM、博科,、EMC,、NetAPP、浪潮,、 HP等都支持該協議,。基于SMI-S協議,，監(jiān)控軟件可以自動獲取HBA 主機,、FC交換機、FC數據存儲設備以及光纖通道狀態(tài),，并生成存儲拓撲,，以圖形化的方式實現對存儲設備資源的統(tǒng)一管理。

（2）服務器

對 硬件故障的監(jiān)控可以采用基于IPMI （Intelligent Platform Management Interface,，智能平臺管理接口）的數據采集方式,。IPMI是管理基于 Intel結構的企業(yè)系統(tǒng)中所使用的外圍設備采用的一種工業(yè)標準,，該標準由英特爾、惠普,、NEC,、美國戴爾電腦和SuperMicro等公司制定，用戶可 以利用IPMI監(jiān)視服務器的物理健康特征,，如溫度,、電壓、風扇工作狀態(tài),、電源狀態(tài)等,。如用戶可以通過IBM X系列服務器的控制網口連接主板的集成管理模塊,，收集服務器硬件物理狀態(tài),。對于服務器性能監(jiān)控最主要的3個指標是CPU利用率、內存利用率和文件系統(tǒng)使用 率,。系統(tǒng)管理員應經常對以上指標的歷史數據進行分析,，如有利用率過高的情況，應結合應用場景分析,，及時處理,。

（3）虛擬化監(jiān)控

VMware 虛擬化解決方案是當前最常用的虛擬化技術，其自帶的vCenter管理工具可以很方便的監(jiān)控和管理vSphere運行環(huán)境,。不少監(jiān)控軟件也包括類似 vCenter的虛擬化管理模塊,，甚至可以通過 API接口對不同品牌的虛擬化管理平臺進行整合，接收從虛擬化設備發(fā)出SNMP TRAP信息,，生成自己的監(jiān)控界面,，方便系統(tǒng)管理員進行管理。

（4）服務與日志監(jiān)控

監(jiān) 控軟件還應支持對操作系統(tǒng)進程的監(jiān)控,，判斷其所使用的資源比例和健康狀況,，還應對基礎應用服務的核心端口、HTTP,、FTP,、POP3、SMTP,、 DNS,、NTP等服務可用性和響應時間的監(jiān)控。日志監(jiān)控是指對windows日志,、syslog日志或其他文本類型的日志監(jiān)控管理,，對接收到的日志信息進 行存儲、分析并報警,。對日志的監(jiān)控主要通過關鍵字檢索或事件ID識別來實現,，日志報警應支持邏輯判斷，設置不同的級別，對不需產生報警的事件進行例外排 除,。

3,、數據庫監(jiān)控

保證數據可靠安全是保證信息系統(tǒng)高可用性的最終目的。

進 行數據庫的調優(yōu)和管理數據備份是 DBA的主要職責,。對數據庫的監(jiān)控主要關注可用狀態(tài),、性能和空間容量三個方面?？捎脿顟B(tài)是指被監(jiān)控的數據庫是否能正常訪問,，特定進程或服務是否狀態(tài)正常； 性能指標包括連接數是否過大,、讀緩存命中率是否過低,、寫緩存命中率是否過低、死鎖數量是否過大,、回滾數是否過高等,；空間容量是指監(jiān)測表空間和數據文件的大 小、狀態(tài)和使用率,、數據庫碎片比率等,。以Oralce數據庫為例，我們在實際工作中監(jiān)控了以下指標：

（1）Session數

（2）后臺進程狀態(tài)（SMON,、PMON,、DBWn、LGWR,、CKPT等）

（3）PGA狀況（內存爭用比,、PGA使用率、 PGA命中率）

（4）SGA狀況（Buffercache命中率,、庫緩存命中率,、數據字典命中率、共享池命中率,、回滾段爭用比）

（5）表空間利用率,、日志使用情況

另外，檢查數據備份是否成功是系統(tǒng)管理員的日常工作,，常用的備份軟件有IBM的TSM,、 Symantec的Veritas Netbackup等，監(jiān)控系統(tǒng)應可集成其狀態(tài)和報警,。

4,、網絡監(jiān)控

網絡相當于醫(yī)院信息系統(tǒng)的神經中樞，各種網絡設備分布于各樓層配線間中,，最難于管理,。采用人工巡檢時,，只能觀察到某個時點的設備通斷狀況和有無報警信息，無法實時全面的了解整個網絡的運行情況,。

采 用IT運行監(jiān)控系統(tǒng),，可以從以下幾個方面著手，對網絡運行狀況進行全面的監(jiān)控：通過網絡拓撲圖,，網絡管理員可以直觀的查看網絡邏輯拓撲圖和網絡物理拓撲 圖,，及時發(fā)現網絡的邏輯和物理問題。拓撲圖通過使用不同的圖標來表示不同網絡對象,，用不同的顏色來表示不同的設備運行狀況,。

網絡故 障通常會影響到一片而不是一個信息節(jié)點，網絡拓撲圖上數據和信息有助于管理員快速的確定故障影響范圍,，從而進一步判斷故障產生的原因,。在實時顯示網絡運行 狀況信息的同時，運行監(jiān)控系統(tǒng)可以將這些運行數據（如：設備CPU,、內存利用率,；設備各端口出入流量,、平均包長及丟包,、錯包率等）記錄下來，用于以后的數 據分析,。

通過歷史曲線比對,，TOP N數據分析等手段，可以了解設備的利用情況以及網絡性能的瓶頸,。IP地址管理工具可以自動發(fā)現網絡上在用的設備的IP地址,，幫助網絡工程師發(fā)現網絡上有哪 些IP 地址可用。通過與基準表中IP地址范圍和子網設置信息的對比,，判定IP地址的在線,、未登記或非法接入狀態(tài)，并以不同的圖標進行展示,，支持IP地址登記管 理,，查看在線IP地址的登記狀態(tài)，根據條件批量的變更IP地址的登記狀態(tài),。

IP地址管理工具還可以自動發(fā)現IP地址和MAC地址的 對應關系,，建立MAC地址IP地址的綁定關系，并根據設置的策略進行阻斷或報警,。此外,，有的監(jiān)控軟件還可以實現自動巡檢功能，定期自動采集設備運行參數,， 形成巡檢報告,；還有的監(jiān)控軟件可以對網絡設備的配置信息自動備份,、批量更新配置信息；在無線網絡管理方面,，有的監(jiān)控軟件可以圖形化的展示建筑物中的AP節(jié) 點和信號強度,，掃描用戶數量、位置等,，也是一個值得探索的方向,。

5、業(yè)務拓撲視圖

對 IT基礎設施的監(jiān)控是為了保障業(yè)務軟件的運行,，監(jiān)控系統(tǒng)應提供所見即所得的業(yè)務和資源建模能力,，從業(yè)務角度出發(fā)，將組成業(yè)務系統(tǒng)的IT資源按照其關聯關 系,、權重等組成業(yè)務邏輯模型進行監(jiān)控,，建立從業(yè)務視角出發(fā)的監(jiān)控視圖。當業(yè)務應用出現故障時,，能清晰展現所影響的服務及部門,；每個業(yè)務服務對應一張業(yè)務拓 撲視圖，能從客戶端,、業(yè)務軟件,、IT基礎設施不同層面展現關聯關系，當 IT資源產生異常時,，能夠高亮顯示報警及故障的傳遞關系,。

如 圖2所示的的OA系統(tǒng)，配備有中間件和數據庫服務器兩組主機,，數據庫主機上又運行著數據庫監(jiān)控,，中間件主機做了Windows集群，上面還有相應的 Weblogic的進程,。以上信息都可以以OA系統(tǒng)為索引,，展示在同一業(yè)務拓撲視圖中。推而廣之,，對于業(yè)務本身的一些指標,，如當日掛號數、已就診人數,、處 方數,、檢查檢驗申請等也可納入業(yè)務拓撲圖，并對數據在不同業(yè)務系統(tǒng)中的流向進行配置和標識,，這樣的從業(yè)務負載到IT基礎設施保障情況的一體化視圖,，就可以 清晰地反映出整個醫(yī)院信息系統(tǒng)的運營狀況。

6,、報警管理

在信息部門的辦公區(qū)應設置監(jiān)控大屏,，播放IT運行監(jiān)控系統(tǒng)的運維門戶視圖,，集中顯示信息系統(tǒng)整體運行狀況，包括：IT資產統(tǒng)計,、報警列表,、機房環(huán)境監(jiān)控圖、服務器位置及拓撲,、全院網絡拓撲,、數據庫狀態(tài)、應用系統(tǒng)定期作業(yè)執(zhí)行情況等,。

對 于故障報警,，應包括但不限于聲光電、短信,、郵件,、手機App等多種方式。如：當IT運行監(jiān)控系統(tǒng)收到 SNMP TRAP報警信息或檢測到超過了預先設定的閥值時,，會通過短信模塊向管理員手機發(fā)送短信報警,，同時監(jiān)控大廳的報警燈閃爍并蜂鳴報警，運維門戶的拓撲圖上標 示出故障位置,。故障等級設為三檔,，正常、提醒和警告,。系統(tǒng)通過撥測自檢,，確保自身運轉正常,；當發(fā)現異常數據但不影響系統(tǒng)正常使用時生成提示信息,，當判斷故 障需要緊急處理時顯示為警告。此外還需注意避免報警風暴的產生,，如：同樣內容的報警30分鐘只有顯示一次,，同類型的報警整合成一條等。

人防,、技防要并重

正如著名的海恩法則所描述的——“每一起嚴重事故的背后,，必然有29次輕微事故，300起未遂先兆,，以及1000起事故隱患,。”

對 于一個龐大而復雜的醫(yī)院信息系統(tǒng)體系而言，如果不借助工具,，進行事故隱患排查和早期處理似乎是個不可能完成的任務,，而通過IT運行監(jiān)控系統(tǒng)可以讓系統(tǒng)管理 員可以一目了然地了解到信息系統(tǒng)各個環(huán)節(jié)的運行狀況，圖形化的展示方式可以幫助各個專業(yè)的工程師在同一個平臺下進行合作和管理,。

對 于上面所設計和期望達到的監(jiān)控覆蓋范圍,，雖然我們至今仍未能完全實現,，但系統(tǒng)投入使用以來，顯著減輕了IT運維人員的巡檢壓力,；在幾次硬件故障發(fā)生時,，均 能及時報警，未造成進一步的事故,；通過對歷史數據分析,，還可以再現事故發(fā)生的過程，排查類似隱患,，避免同類情況再次發(fā)生,。同時我們也意識到，在IT運維管 理方面需要人防和技防并重,，技術只是輔助手段,，如果IT運維人員責任心不強，不能重視并及時處理報警,，IT運行監(jiān)控系統(tǒng)也不能發(fā)揮作用,。

另一方面，對報警參數的配置是一個動態(tài)調整和完善的過程,，需要在使用過程中,，盡可能將所有軟硬件報警信息都納入其中，根據實際情況調整閾值,，持續(xù)改進,。

來源：機房監(jiān)控機房環(huán)境監(jiān)控機房監(jiān)控系統(tǒng)http://youring.cn  本文采集于網絡，如有問題有聯系刪除