隨著WDM光傳輸技術的飛速發展,光傳送網由點到點網絡、環網逐步向網狀網演變,光傳送網的管理已成為電信網絡管理的重要研究課題。目前,光傳送網的管理技術尚處于發展階段,能否構建出一種智能的、開放的管理系統以便對光傳送網實施有效的控制和管理是所有光網絡運營者十分關注的問題。本文將數據挖掘技術引入光傳送網管理領域,構建了一套基于數據挖掘技術的光傳送網管理系統,把一種科學、快捷、方便的思想應用于光傳送網管理領域,使光傳送網管理系統具有智能性、自動性和遠程性,在光傳送網管理領域具有突出的優越性和廣泛的應用前景。
2 數據挖掘在光傳送網管理系統中應用的必要性
數據挖掘是指從大量的、不完全的、有噪聲的、模糊的、隨機的實際數據中,提取隱含在其中的、人們事先不知道的、但又是有用的信息和知識的過程。在光傳送網管理系統中采用數據挖掘技術有以下3方面必要性:
(1)在知識獲取方面,數據挖掘技術可以通過對案例庫中的實例進行學習,自動從實例中獲取知識,然后將其存放于知識庫中。這種知識的獲取方式是自動的,不需要知識工程師和領域專家之間的直接對話,這在一定程度上克服了傳統光傳送網管理系統中存在的知識獲取“瓶頸”問題和知識的“窄臺階效應”問題。
(2)在推理機制方面,數據挖掘技術運用數據挖掘算法進行全方位推理,即在推理時根據不同需要將不同維度里的運行狀態參數綜合起來進行分析計算,這可以克服傳統推理機制具有單一方面的精度高而忽視了其他方面影響的缺點。
(3)在知識表示方面,數據挖掘技術可以把從系統外得到并用數據輸入系統的知識推廣,知識表達很明確,是一種可以讓專家識別的形式,所以容易證實。
3 基于數據挖掘的光傳送網管理系統的設計
光傳送網的管理應當建立在與現有的網絡管理系統平臺(如SDH網)兼容的基礎上,同時應向自動化、智能化方向發展?;跀祿诰蚣夹g構建的光傳送網管理系統,可以實現這方面的功能,從而對光網絡實施有效的管理和監控。
3.1 系統的體系結構
光傳送網與網管系統處在不同地理位置,通過計算機網絡進行互連,網管系統可以遠程地、自動地、智能地監控光傳送網,并將監控結果上報管理人員。網管系統的體系結構主要包括以下3個模塊,如圖1所示。
![]() |
數據采集模塊 數據采集模塊向診斷中心提供大量網絡信息,包括設備類型、設備工作狀態、設備位置狀況、時間信息、告警信息以及性能指標等。數據采集模塊主要通過以下兩種途徑收集信息:從專業網管的標準接口或私有數據庫接口實現告警、性能等數據的采集;在客戶端或局端上部署硬件探針完成網絡告警和性能數據的采集。
智能診斷模塊 智能診斷模塊集中了光傳送網中幾乎所有的信息,擁有與用戶共享的知識庫、案例庫、資源庫和方法庫,供用戶隨時調用。采用數據挖掘軟件對光網絡信息進行實時挖掘,并采用推理機制對實際問題進行推理,將挖掘結果以友好的界面上報給管理人員。該模塊具有專家級水平,能夠自動地對光網絡信息進行分析處理,是光傳送網管理系統的核心模塊。
計算機通信網絡 計算機通信網絡是連接光傳送網、診斷子系統和管理人員的橋梁。光傳送網信息通過Internet傳至診斷中心,診斷中心對這些信息進行預處理,然后選擇挖掘算法進行數據挖掘,并將結果通過Internet傳輸至管理人員。
3.2 系統的功能模型
基于數據挖掘技術的光傳送網管理系統的功能模型,是對光傳送網管理系統的結構、功能和應用的集中描述。系統的功能模型分4個層次:采集適配層、數據支撐層、應用層、表示層,如圖2所示。
采集適配層 采集適配層包括網元設備、網絡通信、探針系統、領域專家等,它們是信息、知識的來源,為采集子系統服務,其變化將會引起數據支撐層、應用層、表示層中相關數據、信息和知識的變化。
數據支撐層 數據支撐層包括資源庫、知識庫、案例庫和方法庫,它們為應用層提供數據支撐。資源庫存放與網絡監測有關的信息,如網元設備狀態信息,性能參數、歷史數據等,為智能診斷提供原始數據支持;知識庫存放領域專家的經驗、知識以及利用數據挖掘技術挖掘出的新規則,庫中的知識能被智能診斷中的推理機制采用;案例庫存放一些實例以及診斷過程中產生的新實例;方法庫存放整個系統協調工作的方法和策略,是系統的控制中心。
應用層 應用層主要包括5個功能區:故障管理、配置管理、性能管理、安全管理和會計管理。故障管理是指對光網絡進行故障診斷、故障定位、故障隔離、故障校正以及故障預測;配置管理是指通過對網元設備信息的實時挖掘,實現光連接的建立、保護倒換、資源調度,以及管理用戶信號進入光學層的適配性;性能管理是指通過監控和管理各種估量網絡性能的參數,對光網絡實行性能監視、性能控制和性能分析;安全管理是指通過分析性能參數和安全告警,識別各種非法入侵行為;會計管理是一種負責記費和開發網絡元器件的壽命歷史記錄的功能。
表示層 表示層負責把管理人員熟悉的信息表示手段,如自然語言、表格、圖形等轉換成內部表示形式,再交給智能診斷系統去處理,同時把診斷系統輸出的信息轉換成管理人員能理解的形式顯示給管理人員。
![]() |
4 光傳送網管理系統應用數據挖掘的具體流程
在光傳送網管理系統中,數據挖掘技術主要應用于智能診斷子系統,通過對資源庫和案例庫中的數據進行高效快速的信息挖掘,尋找出隱含的、有意義的知識,并將其存入知識庫,以便管理人員使用。光傳送網管理系統應用數據挖掘的具體流程,包括:業務和數據理解、數據預處理、建立挖掘模型、評價和實施,如圖3所汞。。
(1)業務和數據理解。光傳送網管理人員應該從技術的角度進行需求分析,并把業務領域的目標轉換成相應的數據挖掘目標,同時對數據挖掘所需的數據進行全面調查,利用數據采集子系統收集所需宴的數據。例如,業務目標是“對光傳送網中出現的故障進行定位”,相應的數據挖掘目標則是“網元及鏈路的告警信息和性能參數,正常行為的規則庫,已知的故障類型及其規則庫,預測故障出現的位置”,收集的數據有“網絡中出現的告警,有關網絡運行狀況的數據”。
![]() |
(2)數據預處理。包括數據清洗、數據構建、數據集成和數據格式化,這些處理可交叉反復進行,從而將原始數據轉化為適合數據挖掘工具處理的終目標數據。數據清洗的任務是將數據質量提高到滿足分析精度的要求,保證數據值的正確性和一致性,解決字段值的缺失問題;數據構建是指從一個或幾個已知屬性構建新屬性、生成新記錄;數據集成是將來自不同表或記錄的數據合并起來產生新的記錄或屬性值;數據格式化是對數據進行語法上的修改,使數據滿足建模工具的需要。
(3)建立挖掘模型。光傳送網管理人員首先將數據分成訓練集和測試集,在訓練集上運行建模工具,選擇合適的數據挖掘算法建立模型,并調整參數使模型達到,然后在測試集上對模型進行評估。其中數據挖掘算法包括決策樹、神經網絡、粗糙集、遺傳算法等。
(4)評價。評價階段是指將挖掘模型以可視化技術和知識表示技術展示給管理人員,由管理人員根據領域知識和數據挖掘成功標準來解釋所得到的模型,并對模型進行全面評價,以確定是否完全達到了業務目標,終做出是否應用數據挖掘結果的決策。如果結果不能令管理人員滿意,需要重復以上數據挖掘過程。該步驟可能導致回到前面任何一步,從而使后續步驟或若干個后續步驟反復進行。
(5)實施。光傳送網管理人員根據挖掘結果對光傳送網進行維護,同時將數據挖掘產生的知識存入知識庫,該實例存入案例庫,并將有關數據存入資源庫。
5 結語
數據挖掘技術是一種新興的數據分析手段,到目前為止,一些商業數據挖掘產品已得到應用,但數據挖掘結合光傳送網的特點應用到該領域的研究還未展開。隨著光傳送網的進一步發展,在光傳送網管理系統的各項應用中對數據分析的要求也越來越高,適時地將數據挖掘技術引入光傳送網管理系統中,對于解決現有問題必將起到積極作用。本文利用數據挖掘技術建立的光傳送網管理系統,具有智能性、自動性和遠程性等優點,該系統能夠從大量的網絡數據中自動產生精確的、實用的管理模型,適用于任何計算環境,更加符合網絡動態實際情況,對光傳送網管理系統的研究起到了一定的推動作用。本文只是對數據挖掘技術在光傳送網管理系統中的應用做了初步探索,進一步研究工作還在繼續中。