前言：本站為你精心整理了數(shù)字圖書(shū)館網(wǎng)絡(luò)監(jiān)管研究范文，希望能為你的創(chuàng)作提供參考價(jià)值，我們的客服老師可以幫助你提供個(gè)性化的參考范文，歡迎咨詢(xún)。

本文作者：黎九平作者單位：武漢交通職業(yè)學(xué)院圖書(shū)館

基于數(shù)據(jù)挖掘的數(shù)字圖書(shū)館網(wǎng)絡(luò)安全管理模型

1數(shù)據(jù)采集

由于多源異構(gòu)安全系統(tǒng)中的數(shù)據(jù)資源豐富，對(duì)數(shù)據(jù)源的采集借助Agent自動(dòng)程序進(jìn)行。Agent肩負(fù)雙重任務(wù)：一是自動(dòng)采集目標(biāo)系統(tǒng)數(shù)據(jù)，并提交給Sever端進(jìn)行處理；二是自動(dòng)監(jiān)控目標(biāo)系統(tǒng)的變化，并及時(shí)更新變化。Agent自動(dòng)程序采用多種數(shù)據(jù)采集策略（日志、Web、Syslog、命令行等）對(duì)多源異構(gòu)安全系統(tǒng)中的數(shù)據(jù)（安全日志、報(bào)警、信息等）進(jìn)行采集和標(biāo)準(zhǔn)化。這些安全系統(tǒng)在網(wǎng)絡(luò)中往往是分布式的，并且具有不同的日志格式，Agent能夠?qū)λ鼈冞M(jìn)行統(tǒng)一信息提取，并將其標(biāo)準(zhǔn)化后以事件類(lèi)型或XML封裝的IDMEF格式發(fā)往Server端，以方便Server端進(jìn)行挖掘。為了能夠支持更多的安全系統(tǒng)，Agent使用配置文件采集信息，因而具有良好的擴(kuò)展能力，能夠動(dòng)態(tài)添加新的數(shù)據(jù)源。

2數(shù)據(jù)整合與預(yù)處理

由于網(wǎng)絡(luò)安全管理工具中包含了不同種類(lèi)和廠商的安全產(chǎn)品，Agent從這些異構(gòu)產(chǎn)品中收集到的數(shù)據(jù)大部分為多源性、分布性、異構(gòu)性的數(shù)據(jù)，必須對(duì)其進(jìn)行整合和預(yù)處理操作，以便進(jìn)行智能分析，這是安全管理需要解決的首要問(wèn)題。它不僅關(guān)系到管理系統(tǒng)能夠支持的安全產(chǎn)品的種類(lèi)和數(shù)量，還關(guān)系到分析結(jié)果的準(zhǔn)確性，并且能夠?yàn)樘岣邤?shù)據(jù)挖掘引擎的效能和健壯性打下良好的基礎(chǔ)。（1）報(bào)警格式標(biāo)準(zhǔn)化。由于各安全系統(tǒng)產(chǎn)生的安全事件的格式不盡相同，可能會(huì)對(duì)同一入侵事件同時(shí)產(chǎn)生多個(gè)報(bào)警，導(dǎo)致了冗余事件的產(chǎn)生，故需要用統(tǒng)一的格式對(duì)安全事件進(jìn)行標(biāo)準(zhǔn)化處理。將報(bào)警格式統(tǒng)一。（2）報(bào)警字段規(guī)范化。每一個(gè)屬性字段里的內(nèi)容的表述規(guī)范化，如源地址和目的地址的表達(dá)（IP、主機(jī)名、MAC地址），時(shí)間屬性值的取定和同步，攻擊名稱(chēng)的統(tǒng)一等。這些處理主要是為了規(guī)范報(bào)警消息的表達(dá)，使之能夠獨(dú)立于具體的系統(tǒng)而識(shí)別報(bào)警并進(jìn)行進(jìn)一步的分析。（3）數(shù)據(jù)預(yù)處理。針對(duì)異構(gòu)安全設(shè)備提交的各種報(bào)警信息，依據(jù)設(shè)定的時(shí)間段，消除冗余事件后并進(jìn)行錯(cuò)誤檢測(cè)以確保報(bào)警不包含明顯錯(cuò)誤的報(bào)警數(shù)據(jù)庫(kù)，漏洞信息庫(kù)和資產(chǎn)庫(kù)。包括重復(fù)的同一報(bào)警歸一化；錯(cuò)誤檢測(cè)以確保報(bào)警不包含明顯錯(cuò)誤的信息，如非法的時(shí)間戳；冗余報(bào)警消除，即如果兩個(gè)安全事件除了產(chǎn)生時(shí)間和安全系統(tǒng)號(hào)兩個(gè)字段不同外其余字段完全相同，而產(chǎn)生時(shí)間的差異不超過(guò)某固定的閾值，則判斷產(chǎn)生了冗余事件。對(duì)于冗余的安全事件，將其合并為一個(gè)事件，將事件的產(chǎn)生時(shí)間設(shè)為諸冗余事件中最小的產(chǎn)生時(shí)間，而將各冗余事件對(duì)應(yīng)的安全系統(tǒng)號(hào)均添加到合并后安全事件的安全系統(tǒng)號(hào)數(shù)組中。

3數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是整個(gè)安全管理模型的動(dòng)力所在，通過(guò)定義數(shù)據(jù)挖掘模型語(yǔ)言，采用合適的數(shù)據(jù)挖掘算法和工具，對(duì)事件進(jìn)行統(tǒng)計(jì)、關(guān)聯(lián)分析、聚類(lèi)、序列分析，形成對(duì)事件的判斷，識(shí)別威脅和產(chǎn)生報(bào)警。（1）關(guān)聯(lián)分析。關(guān)聯(lián)分析是從網(wǎng)絡(luò)告警信息中發(fā)現(xiàn)告警與告警之間、告警與故障之間、告警與業(yè)務(wù)之間的相關(guān)性，即在某一告警信息發(fā)生之后，另一告警、故障、業(yè)務(wù)發(fā)生的概率。采用基于協(xié)同和時(shí)序因果關(guān)聯(lián)的多級(jí)報(bào)警分析技術(shù)能夠有效地關(guān)聯(lián)了這些報(bào)警日志及相關(guān)的背景知識(shí)，把真正潛在的危險(xiǎn)的報(bào)警從海量日志中提取出，呈現(xiàn)給管理者。通過(guò)多種報(bào)警分析方式實(shí)現(xiàn)大量分散單一報(bào)警的關(guān)聯(lián)，有效地識(shí)別出真實(shí)的入侵行為；并通過(guò)輔助決策系統(tǒng)和安全專(zhuān)家知識(shí)庫(kù)為用戶(hù)提供針對(duì)具體威脅的輔助決策建議。關(guān)聯(lián)分析能夠?qū)崿F(xiàn)報(bào)警信息的精煉化，提高報(bào)警信息的可用信息量，減少報(bào)警信息中的無(wú)用信息，降低安全設(shè)備的虛警和誤警。（2）聚類(lèi)分析。聚類(lèi)分析采用特征聚合和模糊聚類(lèi)兩種技術(shù)來(lái)實(shí)時(shí)地壓縮重復(fù)報(bào)警，去除冗余。特征聚合是通過(guò)比較報(bào)警的屬性特征，快速地辨別和合并重復(fù)的報(bào)警；模糊聚類(lèi)是通過(guò)計(jì)算報(bào)警之間的相似度，來(lái)構(gòu)造模糊等價(jià)矩陣進(jìn)行聚類(lèi)分析，以區(qū)分和歸并難以發(fā)現(xiàn)的重復(fù)報(bào)警。特征聚合和模糊聚類(lèi)兩種技術(shù)合理結(jié)合，相互補(bǔ)充，不僅縮短了壓縮時(shí)間，保證了實(shí)時(shí)性，而且提高了壓縮效率。聚類(lèi)分析減少了在異構(gòu)分布環(huán)境下相似事件的數(shù)量，突出相似安全事件的屬性特征。（3）序列分析。序列分析把報(bào)警數(shù)據(jù)之間的關(guān)聯(lián)性與時(shí)間性聯(lián)系起來(lái)，通過(guò)時(shí)間序列搜索出重復(fù)發(fā)生且概率較高的規(guī)則，其目的是為了挖掘數(shù)據(jù)之間的聯(lián)系。序列分析把告警序列作為以時(shí)間為主線的有序序列，在一定的時(shí)間間隔內(nèi)挖掘知識(shí)，注重告警信息的時(shí)效性，為了提高分析的效率，一般只對(duì)告警類(lèi)型和告警時(shí)間兩類(lèi)謂詞進(jìn)行挖掘，從中發(fā)現(xiàn)告警信息發(fā)生的趨勢(shì)，提高用戶(hù)的自我防范和預(yù)測(cè)能力。產(chǎn)生的序列規(guī)則主要描述告警之間在時(shí)間上的關(guān)系，即如果某些告警信息的組合在一個(gè)時(shí)間段內(nèi)發(fā)生，那么在另外的一個(gè)時(shí)間段內(nèi)會(huì)有另外一些告警信息的組合發(fā)生。

4用戶(hù)接口

用戶(hù)接口的作用是將數(shù)據(jù)挖掘的結(jié)果以可視化的方式提供給系統(tǒng)分析員，系統(tǒng)分析員根據(jù)挖掘結(jié)果來(lái)預(yù)測(cè)此網(wǎng)絡(luò)行為的發(fā)展態(tài)勢(shì)和可能影響，并作出相應(yīng)的決策。挖掘結(jié)果分為3類(lèi)：（1）信息類(lèi)。對(duì)應(yīng)于最低級(jí)的告警，挖掘結(jié)果保存入數(shù)據(jù)庫(kù)中供下次再分析。（2）警告類(lèi)。對(duì)中等級(jí)別的告警，挖掘結(jié)果除送入數(shù)據(jù)庫(kù)外，還要進(jìn)一步分析，并做出相應(yīng)的決策。（3）嚴(yán)重類(lèi)。對(duì)應(yīng)于高級(jí)別的告警，根據(jù)預(yù)先設(shè)定的閥值采取特定的動(dòng)作，例如防火墻規(guī)則的添加，IDS系統(tǒng)的報(bào)警等。

5信息庫(kù)

信息庫(kù)由資產(chǎn)信息庫(kù)和知識(shí)庫(kù)組成，其中資產(chǎn)信息庫(kù)包括主機(jī)信息庫(kù)、漏洞信息庫(kù)和網(wǎng)絡(luò)信息庫(kù)，知識(shí)庫(kù)主要包括攻擊知識(shí)庫(kù)和背景知識(shí)庫(kù)。主機(jī)信息庫(kù)包含各個(gè)主機(jī)的相關(guān)信息；漏洞信息庫(kù)是獨(dú)立的數(shù)據(jù)庫(kù)；網(wǎng)絡(luò)信息庫(kù)主要由兩部分組成，一是利用網(wǎng)絡(luò)管理工具進(jìn)行流量分析和拓?fù)浒l(fā)現(xiàn)得到的相關(guān)網(wǎng)絡(luò)信息，二是對(duì)防火墻中的日志進(jìn)行分析得到的信息。信息庫(kù)的使用極大提高了挖掘引擎的工作效率和智能性。

實(shí)驗(yàn)與分析

1實(shí)驗(yàn)環(huán)境與實(shí)驗(yàn)數(shù)據(jù)來(lái)源

（1）實(shí)驗(yàn)環(huán)境：①內(nèi)部網(wǎng)絡(luò)環(huán)境包括運(yùn)行OpenNMS網(wǎng)絡(luò)管理系統(tǒng)的DebianLinux主機(jī)，安裝MySQL數(shù)據(jù)庫(kù)的主機(jī)，運(yùn)行客戶(hù)端（安裝Nessus漏洞掃描系統(tǒng)、Nmap網(wǎng)絡(luò)拓?fù)鋻呙韫ぞ撸￤indows主機(jī)，系統(tǒng)服務(wù)器（agent+server，安裝了SnortIDS，P0f，Pads，SSH，Iptable等插件）DebianLinux主機(jī)。②采取Cisco-PIX防火墻、入侵檢測(cè)系統(tǒng)等硬件安全設(shè)備及交換機(jī)、集線器等網(wǎng)絡(luò)設(shè)備。③來(lái)自外網(wǎng)的攻擊主機(jī)。（2）實(shí)驗(yàn)數(shù)據(jù)來(lái)源：實(shí)驗(yàn)中的原始網(wǎng)絡(luò)數(shù)據(jù)包括正常的網(wǎng)絡(luò)流量和攻擊數(shù)據(jù)流，測(cè)試數(shù)據(jù)是DARPA2000數(shù)據(jù)集LLDOS1.0。該數(shù)據(jù)集包含大量的正常背景數(shù)據(jù)和各種攻擊數(shù)據(jù)，其中包括DDoS攻擊，測(cè)試目標(biāo)是檢測(cè)模型精簡(jiǎn)報(bào)警的效率及識(shí)別DDoS攻擊場(chǎng)景的能力，這些攻擊通過(guò)從外部攻擊主機(jī)重放來(lái)模擬來(lái)自外網(wǎng)的攻擊。同時(shí)在攻擊過(guò)程中，要有一部分正常Internet的網(wǎng)絡(luò)流量。實(shí)驗(yàn)過(guò)程中，我們收集了來(lái)自下列安全設(shè)備的報(bào)警或數(shù)據(jù)：Snort入侵檢測(cè)系統(tǒng)、Iptables防火墻、Apache服務(wù)器日志、IIS服務(wù)器日志、Nmap網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)掃描工具、Ntop網(wǎng)絡(luò)流量檢測(cè)工具、Nessus網(wǎng)絡(luò)漏洞掃描系統(tǒng)。利用Netpoke（Tcpdump文件重放工具）對(duì)數(shù)據(jù)進(jìn)行重放，由Snort2.0入侵檢測(cè)系統(tǒng)、Cisco-PIX防火墻等其他插件檢測(cè)和產(chǎn)生報(bào)警數(shù)據(jù)，并對(duì)其進(jìn)行報(bào)警整合和挖掘。

2實(shí)驗(yàn)結(jié)果分析

通過(guò)實(shí)驗(yàn)，我們收集了以下的實(shí)驗(yàn)項(xiàng)目：報(bào)警3865次，聚合120次，驗(yàn)證124次，攻擊12次，場(chǎng)景分析4次。通過(guò)計(jì)算，實(shí)時(shí)壓縮率為94.56%，誤報(bào)率為2.22%，攻擊構(gòu)造率為0.31%，場(chǎng)景檢測(cè)率為0.103%。從實(shí)驗(yàn)結(jié)果看，實(shí)時(shí)壓縮率達(dá)到94.56%，主要聚合了ICMPPing端口掃描和DDoS產(chǎn)生的報(bào)警。由于數(shù)據(jù)集本身沒(méi)有提供被保護(hù)網(wǎng)絡(luò)的資源配置信息，存在一定程度的誤報(bào)，因而需要對(duì)壓縮后的報(bào)警進(jìn)行報(bào)警驗(yàn)證。將驗(yàn)證后的報(bào)警分別進(jìn)行因果關(guān)聯(lián)，構(gòu)造攻擊場(chǎng)景圖，其中的12條報(bào)警互相關(guān)聯(lián)在一起構(gòu)成了DDoS攻擊場(chǎng)景；再根據(jù)動(dòng)態(tài)關(guān)聯(lián)規(guī)則進(jìn)行動(dòng)態(tài)關(guān)聯(lián)，實(shí)時(shí)匹配了4個(gè)攻擊場(chǎng)景，包括RPCsadmindbufferoverflow、Webattack、DDoS、attack等。因此，基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)安全模型能夠有效地從大量安全事件中準(zhǔn)確識(shí)別出真實(shí)的攻擊行為，從而實(shí)現(xiàn)報(bào)警信息的精煉化，提高報(bào)警信息的可用信息量，減少報(bào)警信息中的無(wú)用信息，降低安全設(shè)備的虛警和誤警。實(shí)驗(yàn)結(jié)果表明，本文提出的基于數(shù)據(jù)挖掘的數(shù)字圖書(shū)館網(wǎng)絡(luò)安全管理模型能夠有效地提高數(shù)字圖書(shū)館網(wǎng)絡(luò)安全防護(hù)能力。該模型智能性好、自動(dòng)化程度高、檢測(cè)效果好、自適應(yīng)能力強(qiáng)，能夠滿(mǎn)足新的安全形勢(shì)的需要。