前言：本站為你精心整理了交通管理大數(shù)據(jù)研判分析范文，希望能為你的創(chuàng)作提供參考價(jià)值，我們的客服老師可以幫助你提供個(gè)性化的參考范文，歡迎咨詢。

1、研判平臺(tái)總體架構(gòu)公安交通管理研判分析

平臺(tái)總體架構(gòu)包括數(shù)據(jù)源、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)應(yīng)用及數(shù)據(jù)管理5部分。

1.1數(shù)據(jù)源

數(shù)據(jù)源是指由公安交通管理綜合平臺(tái)、交通指揮平臺(tái)及機(jī)動(dòng)車緝查布控平臺(tái)等公安交通管理信息系統(tǒng)采集匯總的交通管理大數(shù)據(jù)。

1.2數(shù)據(jù)倉(cāng)

庫(kù)數(shù)據(jù)倉(cāng)庫(kù)是為各級(jí)交通管理決策制定過(guò)程提供支持的所有類型數(shù)據(jù)的戰(zhàn)略集合，是在整合多個(gè)交通管理數(shù)據(jù)源的基礎(chǔ)上形成的單個(gè)數(shù)據(jù)存儲(chǔ)，出于分析性報(bào)告和決策支持目的而創(chuàng)建。數(shù)據(jù)倉(cāng)庫(kù)包括明細(xì)層和輕度匯總層兩個(gè)層面。其中，明細(xì)層基于數(shù)據(jù)源、采用鏡像復(fù)制和增量同步技術(shù)建立；輕度匯總層在明細(xì)層基礎(chǔ)上，參照研判分析實(shí)際需求，對(duì)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、清洗后建立。

1.3數(shù)據(jù)集市

數(shù)據(jù)集市是根據(jù)不同專業(yè)用戶群體在分析、內(nèi)容、表現(xiàn)及易用性等方面的特殊需求，從數(shù)據(jù)倉(cāng)庫(kù)歷史數(shù)據(jù)中抽取的一個(gè)針對(duì)性數(shù)據(jù)子集，用以滿足特定部門(mén)、團(tuán)隊(duì)、客戶或應(yīng)用程序分析和報(bào)告需求。

1.4數(shù)據(jù)應(yīng)用

在數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市基礎(chǔ)上，采用聚類、關(guān)聯(lián)分析、時(shí)序分析、分類、值預(yù)測(cè)等挖掘技術(shù)，有效提取交通管理大數(shù)據(jù)中固有的、以前未知的潛在有效信息，并進(jìn)行多維度、個(gè)性化集成、查詢和展現(xiàn)。

1.5數(shù)據(jù)管理

對(duì)數(shù)據(jù)處理流程、數(shù)據(jù)質(zhì)量檢查及元數(shù)據(jù)進(jìn)行有效管理，確保數(shù)據(jù)研判分析工作順利開(kāi)展。

2、數(shù)據(jù)流向及處理來(lái)源

豐富、內(nèi)容完整、及時(shí)準(zhǔn)確的信息資源是有效開(kāi)展分析研判的必要基礎(chǔ)。因此，分析研判系統(tǒng)建設(shè)的首要任務(wù)是收集匯總信息應(yīng)用所需的各類來(lái)源數(shù)據(jù)，通過(guò)數(shù)據(jù)整合處理形成分析研判分析數(shù)據(jù)庫(kù)。

2.1數(shù)據(jù)流向

公安內(nèi)部綜合應(yīng)用平臺(tái)所采集形成、開(kāi)展信息工作所需的業(yè)務(wù)信息，包括各級(jí)公安機(jī)關(guān)交通管理部門(mén)采集形成的數(shù)據(jù)，如駕駛?cè)斯芾?、機(jī)動(dòng)車登記、違法處理、事故處理、交警隊(duì)信息平臺(tái)、危險(xiǎn)化學(xué)品運(yùn)輸管理等業(yè)務(wù)信息和異常業(yè)務(wù)預(yù)警信息。緝查布控系統(tǒng)產(chǎn)生車輛通行信息及主干公路監(jiān)控?cái)?shù)據(jù)在部級(jí)平臺(tái)中直接獲取；氣象信息等跨行業(yè)數(shù)據(jù)通過(guò)互聯(lián)網(wǎng)服務(wù)接口獲取，并通過(guò)邊界接入平臺(tái)或人工方式轉(zhuǎn)入公安網(wǎng)。

（1）綜合應(yīng)用平臺(tái)、主干公路監(jiān)控?cái)?shù)據(jù)通過(guò)數(shù)據(jù)采集器按分類寫(xiě)入數(shù)據(jù)倉(cāng)庫(kù)與分布式文件系統(tǒng)。

（2）氣象信息通過(guò)程序調(diào)用數(shù)據(jù)訪問(wèn)接口寫(xiě)入數(shù)據(jù)倉(cāng)庫(kù)。

（3）分布式文件系統(tǒng)通過(guò)批處理的形式，將數(shù)據(jù)清洗轉(zhuǎn)換后寫(xiě)入數(shù)據(jù)倉(cāng)庫(kù)。

（4）數(shù)據(jù)倉(cāng)庫(kù)采用實(shí)時(shí)復(fù)制技術(shù)，按方案將數(shù)據(jù)復(fù)制至內(nèi)存數(shù)據(jù)庫(kù)。

（5）內(nèi)存數(shù)據(jù)庫(kù)為COGNOS、SPSS分析平臺(tái)提供分析數(shù)據(jù)來(lái)源。

（6）內(nèi)存數(shù)據(jù)庫(kù)、分布式文件系統(tǒng)同時(shí)為數(shù)據(jù)檢索分析平臺(tái)提供數(shù)據(jù)。

2.2數(shù)據(jù)整合處理流程

數(shù)據(jù)整合處理時(shí)以ETL工具為核心，包括數(shù)據(jù)抽取、過(guò)濾清洗、轉(zhuǎn)換、整合加工等功能的數(shù)據(jù)提取處理工具，主要用于按照預(yù)先設(shè)計(jì)的數(shù)據(jù)抽取整合處理方案，執(zhí)行從各種數(shù)據(jù)來(lái)源上提取新鮮數(shù)據(jù)、比對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、傳輸、整合加工，并裝載數(shù)據(jù)到目標(biāo)數(shù)據(jù)庫(kù)、記錄問(wèn)題數(shù)據(jù)、記錄處理日志等一系列數(shù)據(jù)加工處理工作過(guò)程。數(shù)據(jù)整合處理過(guò)程應(yīng)具有較好的可監(jiān)控、可維護(hù)能力，可支持處理任務(wù)的安排調(diào)度管理，并可接受信息資源管理應(yīng)用的運(yùn)行監(jiān)測(cè)。業(yè)務(wù)信息綜合分析研判系統(tǒng)建設(shè)中，數(shù)據(jù)整合處理主要用于將各種來(lái)源數(shù)據(jù)經(jīng)抽取整合處理進(jìn)入信息綜合數(shù)據(jù)庫(kù)群，并可用于根據(jù)專題應(yīng)用建設(shè)需求，將分析數(shù)據(jù)庫(kù)中已有的相關(guān)數(shù)據(jù)進(jìn)行抽取整合處理，形成數(shù)據(jù)集市數(shù)據(jù)。數(shù)據(jù)整合處理所執(zhí)行的數(shù)據(jù)抽取整合處理方案應(yīng)根據(jù)應(yīng)用的需求，利用信息資源管理應(yīng)用上的信息資源注冊(cè)信息、標(biāo)準(zhǔn)信息、結(jié)合相關(guān)數(shù)據(jù)的特點(diǎn)及有關(guān)信息化標(biāo)準(zhǔn)規(guī)范進(jìn)行定制設(shè)計(jì)。分析數(shù)據(jù)庫(kù)建設(shè)中用于實(shí)現(xiàn)數(shù)據(jù)抽取整合工作的工具主要需要負(fù)責(zé)從源業(yè)務(wù)數(shù)據(jù)庫(kù)提取新鮮數(shù)據(jù)、對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、問(wèn)題數(shù)據(jù)記錄、轉(zhuǎn)換日志記錄，錯(cuò)誤處理與異常日志記錄等工作。

（1）數(shù)據(jù)抽取和標(biāo)準(zhǔn)代碼庫(kù)創(chuàng)建：產(chǎn)生的數(shù)據(jù)是轉(zhuǎn)儲(chǔ)數(shù)據(jù)和標(biāo)準(zhǔn)代碼庫(kù)。

（2）數(shù)據(jù)清洗：對(duì)轉(zhuǎn)儲(chǔ)的業(yè)務(wù)數(shù)據(jù)，根據(jù)定義的數(shù)據(jù)清洗規(guī)則進(jìn)行清洗。產(chǎn)生的數(shù)據(jù)是問(wèn)題數(shù)據(jù)庫(kù)。

（3）數(shù)據(jù)轉(zhuǎn)換：定義好數(shù)據(jù)轉(zhuǎn)換的規(guī)則，對(duì)經(jīng)過(guò)第一步清洗的數(shù)據(jù)，進(jìn)行轉(zhuǎn)換。產(chǎn)生的數(shù)據(jù)是經(jīng)過(guò)轉(zhuǎn)換的數(shù)據(jù)。

（4）數(shù)據(jù)集成：對(duì)轉(zhuǎn)換完成的數(shù)據(jù)去查找關(guān)聯(lián)，同時(shí)把數(shù)據(jù)按照要素和層次進(jìn)行組織。

（5）數(shù)據(jù)裝載：把完成前面步驟的數(shù)據(jù)裝載到分析數(shù)據(jù)庫(kù)中。

（6）數(shù)據(jù)校驗(yàn)：對(duì)完成整合的綜合數(shù)據(jù)通過(guò)校驗(yàn)器定義好校驗(yàn)規(guī)則進(jìn)行數(shù)據(jù)校驗(yàn)，找出第二批的問(wèn)題數(shù)據(jù)，使得數(shù)據(jù)的質(zhì)量進(jìn)一步提高。

3、關(guān)鍵技術(shù)研判平臺(tái)

總體功能包括數(shù)據(jù)處理、數(shù)據(jù)管理、統(tǒng)計(jì)研判、挖掘研判、多維度展現(xiàn)、應(yīng)用管理、安全管理等功能，其中數(shù)據(jù)處理、數(shù)據(jù)管理、多維度展現(xiàn)作為基礎(chǔ)性工作顯得尤為重要，這關(guān)系到平臺(tái)建設(shè)的可行性及可用性。

3.1數(shù)據(jù)處理包括數(shù)據(jù)鏡像復(fù)制、數(shù)據(jù)抽取/清洗/加載、數(shù)據(jù)建模等功能。

（1）數(shù)據(jù)鏡像復(fù)制

通過(guò)全庫(kù)鏡像及增量數(shù)據(jù)同步，將各數(shù)據(jù)源數(shù)據(jù)加載至數(shù)據(jù)倉(cāng)庫(kù)明細(xì)層。

（2）據(jù)抽取/清洗/轉(zhuǎn)換/加載

將分布、異構(gòu)的多個(gè)交通管理數(shù)據(jù)源中的數(shù)據(jù)抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。

（3）數(shù)據(jù)建模

數(shù)據(jù)挖掘建模是指為特定的交通管理數(shù)據(jù)挖掘目的，做出一些重要簡(jiǎn)化和假設(shè)，運(yùn)用適當(dāng)?shù)臄?shù)據(jù)挖掘工具獲得模型，然后利用該模型來(lái)解釋特定現(xiàn)象的現(xiàn)實(shí)形態(tài)，并預(yù)測(cè)對(duì)象的未來(lái)狀況，提供處理對(duì)象的優(yōu)化決策和控制。數(shù)據(jù)挖掘的過(guò)程是一個(gè)不斷探索數(shù)據(jù)特征、建立和檢驗(yàn)?zāi)Ｐ?，利用適合的模型來(lái)解決實(shí)際問(wèn)題的連續(xù)過(guò)程。建模是數(shù)據(jù)挖掘工作的核心環(huán)節(jié)，數(shù)據(jù)挖掘中具體使用哪一種算法建模，取決于數(shù)據(jù)集市的特征和需要實(shí)現(xiàn)的目標(biāo)，在應(yīng)用中，往往是對(duì)多種建模方法的比較和綜合。

3.2數(shù)據(jù)管理包括數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)處理流程管理、元數(shù)據(jù)管理。

（1）數(shù)據(jù)質(zhì)量管理

通過(guò)探查數(shù)據(jù)內(nèi)容、結(jié)構(gòu)和異常，建立數(shù)據(jù)質(zhì)量度量并明確目標(biāo)，設(shè)計(jì)和實(shí)施數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則、檢查異常并完善規(guī)則等，消除數(shù)據(jù)中存在的重復(fù)屬性、錯(cuò)誤的值、錯(cuò)誤的數(shù)據(jù)依賴、錯(cuò)誤的計(jì)算、錯(cuò)誤的范圍、缺少數(shù)據(jù)、缺乏引用完整性、稀少的實(shí)體解釋、多種數(shù)據(jù)源中缺乏數(shù)據(jù)對(duì)應(yīng)、主鍵重復(fù)、源數(shù)據(jù)和目標(biāo)缺乏同步、沒(méi)有理由的關(guān)聯(lián)、違反規(guī)則、不標(biāo)準(zhǔn)的格式等質(zhì)量問(wèn)題，切實(shí)提高數(shù)據(jù)真實(shí)性、完備性、自洽性。

（2）數(shù)據(jù)處理流程管理

數(shù)據(jù)處理對(duì)數(shù)據(jù)（包括數(shù)值的和非數(shù)值的）進(jìn)行分析和加工的技術(shù)過(guò)程。數(shù)據(jù)處理包括數(shù)據(jù)采集、存儲(chǔ)、檢索、加工、變換和傳輸?shù)冗^(guò)程。數(shù)據(jù)處理流程管理是指對(duì)數(shù)據(jù)處理過(guò)程進(jìn)行規(guī)范化和科學(xué)化管理，確保數(shù)據(jù)處理工作高效性。

（3）元數(shù)據(jù)管理

采用集中管理方式，對(duì)技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)進(jìn)行管理。技術(shù)元數(shù)據(jù)主要用來(lái)描述數(shù)據(jù)實(shí)體和數(shù)據(jù)處理過(guò)程中的技術(shù)細(xì)節(jié)和處理規(guī)則。如表結(jié)構(gòu)、ETL映射關(guān)系等，技術(shù)元數(shù)據(jù)使用人員包括技術(shù)人員。業(yè)務(wù)元數(shù)據(jù)主要是對(duì)數(shù)據(jù)實(shí)體和數(shù)據(jù)處理的業(yè)務(wù)化描述，包括業(yè)務(wù)規(guī)則、業(yè)務(wù)術(shù)語(yǔ)、統(tǒng)計(jì)口徑、信息分類等。如KPI定義和報(bào)表統(tǒng)計(jì)規(guī)則等，業(yè)務(wù)元數(shù)據(jù)使用人員包括業(yè)務(wù)人員、決策領(lǐng)導(dǎo)等。

3.3多維度展現(xiàn)包括即席查詢、專業(yè)報(bào)表、多維分析、事件處理和門(mén)戶整合等。

（1）即席查詢

提供自助式即席查詢功能，用戶可以基于業(yè)務(wù)邏輯、按照個(gè)性化需要通過(guò)鼠標(biāo)拖拽的方式查詢自己關(guān)心的內(nèi)容，設(shè)置查詢條件，設(shè)置過(guò)濾，定義格式，套用模版，提高個(gè)性化信息查詢速度。

（2）專業(yè)報(bào)表

提供專業(yè)報(bào)表功能。報(bào)表支持多頁(yè)設(shè)計(jì)，支持多查詢，每個(gè)查詢支持多數(shù)據(jù)源。報(bào)表的制作、、共享、權(quán)限控制等采用純?yōu)g覽器方式。用戶只需要在瀏覽器中通過(guò)簡(jiǎn)單的鼠標(biāo)拖拽、屬性設(shè)置等操作就能進(jìn)行各種報(bào)表的制作，如列表、交叉表、圖表、儀表盤(pán)報(bào)表、KPI報(bào)表、復(fù)雜嵌套表頭的非平衡報(bào)表等。

（3）多維分析

提供多維立方體和關(guān)系型數(shù)據(jù)庫(kù)多維分析功能（MOLAP和ROLAP）。用戶在Web界面中通過(guò)簡(jiǎn)單的鼠標(biāo)拖拽等操作，就可以進(jìn)行各種OLAP分析，如上鉆、下鉆、切片、旋轉(zhuǎn)、切塊等，同時(shí)支持用戶進(jìn)行混合粒度的分析，支持用戶自定義子集，支持混合維度的分析，支持多維立方體之間的相互鉆取，多維立方體和關(guān)系型數(shù)據(jù)庫(kù)之間的鉆取，能夠使用用戶從宏觀到微觀的決策思路和過(guò)程。

（4）事件處理

提供系統(tǒng)自動(dòng)監(jiān)控和管理管理功能，并通過(guò)門(mén)戶新聞等方式通知和提醒用戶，能夠自動(dòng)啟動(dòng)業(yè)務(wù)處理，觸發(fā)各種任務(wù)的執(zhí)行，如報(bào)表執(zhí)行、新聞、數(shù)據(jù)庫(kù)刷新、系統(tǒng)備份等。

（5）門(mén)戶整合

提供將后臺(tái)分散的應(yīng)用和信息在用戶界面上的整合功能，使用戶得到統(tǒng)一的入口。同時(shí)用戶可以方便地進(jìn)行個(gè)性化定制，形成自己的門(mén)戶界面。

4、結(jié)論

研判分析平臺(tái)通過(guò)整理綜合應(yīng)用平臺(tái)的相關(guān)數(shù)據(jù)和技術(shù)，為緝查布控及交通指揮等信息的接入提供兼容支持，進(jìn)一步發(fā)揮信息在公安交通管理工作中的作用，提高了公安機(jī)關(guān)交通管理部門(mén)的數(shù)據(jù)分析能力和效率，降低了數(shù)據(jù)分析員的工作強(qiáng)度，節(jié)省了警力，為各級(jí)管理部門(mén)的科學(xué)決策提供理論依據(jù)和數(shù)據(jù)支持，具有廣闊的應(yīng)用前景。

作者：劉偉祥 崔林山 單位：公安部交通管理科學(xué)研究所