前言：本站為你精心整理了教育培訓(xùn)大數(shù)據(jù)分析與應(yīng)用探究范文，希望能為你的創(chuàng)作提供參考價值，我們的客服老師可以幫助你提供個性化的參考范文，歡迎咨詢。

摘要：以數(shù)據(jù)輔助領(lǐng)導(dǎo)決策、以數(shù)據(jù)驅(qū)動業(yè)務(wù)發(fā)展已成為企業(yè)數(shù)字化轉(zhuǎn)型的必然選擇。文章介紹了中郵網(wǎng)院大數(shù)據(jù)分析平臺的系統(tǒng)架構(gòu)、系統(tǒng)功能以及應(yīng)用領(lǐng)域，探討了中郵網(wǎng)院大數(shù)據(jù)分析應(yīng)用的未來發(fā)展方向。

關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)倉庫；智能問答機器人；知識服務(wù)體系

2006年Hadoop技術(shù)的出現(xiàn)標志著大數(shù)據(jù)技術(shù)時代的開始，10多年來，大數(shù)據(jù)在宏觀政策、技術(shù)創(chuàng)新、產(chǎn)業(yè)體系和應(yīng)用場景等方面都得到了蓬勃發(fā)展。大數(shù)據(jù)的應(yīng)用正在向全行業(yè)、全領(lǐng)域、全鏈條滲透，覆蓋智慧政府、城市大腦、金融風控、健康醫(yī)療、疫情防控、精準營銷等眾多領(lǐng)域。大數(shù)據(jù)時代，企業(yè)教育培訓(xùn)也走向了新的發(fā)展階段，以“數(shù)據(jù)驅(qū)動業(yè)務(wù)發(fā)展”的數(shù)字化、精準化智能學習成為未來的發(fā)展趨勢。本文探討了作為中國郵政數(shù)字化培訓(xùn)平臺，中國郵政網(wǎng)絡(luò)學院（以下簡稱“中郵網(wǎng)院”）大數(shù)據(jù)分析平臺的構(gòu)建，旨在提供企業(yè)級一站式大數(shù)據(jù)采集、存儲、計算、分析和應(yīng)用的整體解決方案，并開展了相關(guān)的大數(shù)據(jù)和人工智能的應(yīng)用研究和項目建設(shè)。

1中郵網(wǎng)院大數(shù)據(jù)分析與處理平臺架構(gòu)

中郵網(wǎng)院大數(shù)據(jù)分析與處理平臺集成數(shù)據(jù)采集、數(shù)據(jù)遷移、數(shù)據(jù)治理、數(shù)據(jù)存儲、數(shù)據(jù)計算和數(shù)據(jù)應(yīng)用等服務(wù)，涵蓋了數(shù)據(jù)全生命周期，構(gòu)建了大數(shù)據(jù)分析的技術(shù)路線，大數(shù)據(jù)分析平臺架構(gòu)如圖1所示。

2中郵網(wǎng)院大數(shù)據(jù)分析與處理平臺功能

中郵網(wǎng)院大數(shù)據(jù)平臺的核心價值體現(xiàn)在數(shù)據(jù)采得多、存得下、算得了、管得住和用得好，主要包含3個方面的功能：數(shù)據(jù)倉庫、數(shù)據(jù)智能分析、數(shù)據(jù)可視化。

2.1數(shù)據(jù)倉庫

平臺基于一站式大數(shù)據(jù)平臺構(gòu)建企業(yè)級數(shù)據(jù)倉庫和數(shù)據(jù)集市，實現(xiàn)數(shù)據(jù)存儲、檢索、分析、計算，打通生產(chǎn)系統(tǒng)與大數(shù)據(jù)分析平臺的數(shù)據(jù)連接，實現(xiàn)郵政業(yè)務(wù)、郵儲銀行等多板塊，學員數(shù)據(jù)、培訓(xùn)數(shù)據(jù)、考試數(shù)據(jù)、學習數(shù)據(jù)和資源數(shù)據(jù)等多業(yè)務(wù)系統(tǒng)全量數(shù)據(jù)和增量數(shù)據(jù)的定時調(diào)度，可以進行海量數(shù)據(jù)的歸集和存儲。數(shù)據(jù)倉庫開發(fā)的兩個核心環(huán)節(jié)是數(shù)據(jù)遷移和任務(wù)調(diào)度。2.1.1數(shù)據(jù)遷移生產(chǎn)系統(tǒng)產(chǎn)生的多源異構(gòu)的業(yè)務(wù)數(shù)據(jù)，需要定時遷移到大數(shù)據(jù)分析平臺，遷移策略分為批處理和流處理兩種。批處理類似于電梯中的直梯，當一部分人員進入直梯后將其運送到相應(yīng)樓層。批處理包括全量更新和增量更新，全量更新是將生產(chǎn)系統(tǒng)數(shù)據(jù)一次性同步到大數(shù)據(jù)平臺開展數(shù)據(jù)分析，適合數(shù)據(jù)量較小的表，一般為100萬以內(nèi)的數(shù)據(jù)量。增量更新是在一定周期內(nèi)，根據(jù)數(shù)據(jù)變化將增量數(shù)據(jù)同步到大數(shù)據(jù)平臺中。不同的源數(shù)據(jù)庫增量同步策略不同，比如源端為Oracle數(shù)據(jù)庫時，適合用OracleGoldenGate（簡稱OGG）做增量更新，需要在源端和目標端同時進行OGG配置，原理是讀取Oracle日志實現(xiàn)數(shù)據(jù)同步，增加、修改和刪除等DDL操作的數(shù)據(jù)均可在目標端實現(xiàn)同步；源端為MySQL數(shù)據(jù)庫時，適合用Canal，原理是通過時間戳或標識列等自增長列實現(xiàn)增量日志更新，源端增加數(shù)據(jù)可以同步到目標端，而源端修改和刪除數(shù)據(jù)時，不會在目標端體現(xiàn)。流處理類似于電梯中的扶梯，一旦運行就不停止，一直處于運行狀態(tài)，不斷地運送人員。流處理需要分布式消息系統(tǒng)和流處理引擎結(jié)合使用，分布式消息系統(tǒng)一般采用kafka，其優(yōu)勢在于實現(xiàn)與業(yè)務(wù)系統(tǒng)的解耦，同時具有消峰和抗壓的作用，即數(shù)據(jù)量過大時可通過消息隊列進行消費。開源的流處理引擎包括Storm、SparkStreaming、Flink等。2.1.2任務(wù)調(diào)度針對不同的數(shù)據(jù)遷移方案，任務(wù)調(diào)度策略也分為兩種。一種是通過調(diào)度時間配置，以及設(shè)置調(diào)度模式和依賴關(guān)系，實現(xiàn)周期性工作流自動調(diào)度。調(diào)度模式分為順序調(diào)度和聚合調(diào)度：順序調(diào)度是A工作流在調(diào)度周期內(nèi)未執(zhí)行完成時，在下個調(diào)度時間會按照順序依次執(zhí)行被延遲的調(diào)度；聚合調(diào)度是A工作流在調(diào)度周期內(nèi)未執(zhí)行完成時，在下個調(diào)度時間合并執(zhí)行被延遲的調(diào)度。另一種是通過實時流程引擎，實現(xiàn)數(shù)據(jù)實時同步到大數(shù)據(jù)分析平臺。

2.2數(shù)據(jù)智能分析

支撐商業(yè)智能的大數(shù)據(jù)平臺，融合事件驅(qū)動機制和復(fù)雜SQL編程模型的流處理引擎，具備全圖形化的工具部署、運維和開發(fā)。提供數(shù)據(jù)導(dǎo)入、數(shù)據(jù)探索、數(shù)據(jù)預(yù)處理、特征工程、模型訓(xùn)練、性能驗證、模型部署等全流程可視化建模能力，支持大規(guī)模分布式訓(xùn)練和自動化模型生成，實現(xiàn)不同業(yè)務(wù)場景的創(chuàng)建和管理，實現(xiàn)模型全生命周期管理，可以對海量數(shù)據(jù)進行大數(shù)據(jù)和人工智能分析與處理，有效挖掘數(shù)據(jù)中隱含的特點和規(guī)律。2.3數(shù)據(jù)可視化中郵網(wǎng)院大數(shù)據(jù)平臺支持30余種圖表類型，可以將數(shù)據(jù)分析的結(jié)果以圖形化的形式展示，提供強大敏捷的多維度分析功能，方便業(yè)務(wù)人員分析和使用。

3中郵網(wǎng)院大數(shù)據(jù)分析的應(yīng)用領(lǐng)域

3.1智能問答機器人

針對郵政員工自助服務(wù)App中事務(wù)咨詢模塊問題重復(fù)率高、內(nèi)容回復(fù)時間長、內(nèi)容回復(fù)缺乏專業(yè)性和規(guī)范性的問題，中郵網(wǎng)院利用大數(shù)據(jù)技術(shù)，對事務(wù)咨詢模塊的問題進行聚類和語義分析，提取出共性問題，構(gòu)建郵政員工人力資源知識庫，并研發(fā)了智能問答機器人，通過中郵網(wǎng)院移動學習App向?qū)W員提供服務(wù)。智能問答機器人的上線應(yīng)用，有效提升了員工的使用便捷性，員工在日常工作中遇到的難題、與員工切身利益相關(guān)的政策、與員工生產(chǎn)行為相關(guān)的制度等，都可以在知識服務(wù)體系中找到答案，答案形式不僅包括文字，還有圖片、視頻、音頻和鏈接等非結(jié)構(gòu)化數(shù)據(jù)，上線三個月，員工問題量從每月500條提升到2000條。員工輸入問題的形式更加多元化，不僅可以通過文字輸入，還可以通過語音方式輸入，系統(tǒng)通過語義分析匹配出最優(yōu)答案，即時進行回復(fù)，回復(fù)效率提升數(shù)十倍。在平臺交互方面，智能問答機器人集成了評分、滿意、不滿意、常見問題推薦等功能，在不明確用戶真實意圖的情況下，還可以通過多輪對話逐步挖掘需求進行答復(fù)，提升了用戶體驗。

3.2基于大數(shù)據(jù)的智能化推薦

隨著遠程培訓(xùn)資源在數(shù)量和規(guī)模上的不斷擴大，網(wǎng)絡(luò)上的資源呈爆炸式增長，員工在享受網(wǎng)絡(luò)便利的同時，也受到信息過載和信息迷航的困擾，員工找不到最想要的課程資源，優(yōu)質(zhì)資源也無法觸達員工，員工和學習資源之間沒有形成有效的連接，導(dǎo)致員工能力脫節(jié)無法支撐企業(yè)高速發(fā)展。中郵網(wǎng)院利用大數(shù)據(jù)分析技術(shù)，對2億余條學習記錄進行了分析，深入挖掘?qū)W員潛在的學習需求、學習規(guī)律和特征偏好，結(jié)合崗位能力要求，研發(fā)了智能化的推薦算法模型，解決了推薦模型的召回、選取、排序、冷啟動等關(guān)鍵技術(shù)，構(gòu)建了系統(tǒng)推薦、自主選擇和新課推薦三位一體的推薦體系，最終在中郵網(wǎng)院移動學習App上線運行，基于學員真實的學習行為數(shù)據(jù)，實現(xiàn)了智能化資源推薦服務(wù)，有效提升了培訓(xùn)學習的個性化、科學化、針對性和體驗性。智能化推薦算法模型和推薦系統(tǒng)功能是根據(jù)企業(yè)培訓(xùn)實際，完全自主研發(fā)，具有可擴展性強、數(shù)據(jù)實時更新、用戶操作簡單等特點。系統(tǒng)提供了多維度推薦場景，并與業(yè)務(wù)深度融合，實現(xiàn)了員工學習需求、崗位能力要求和資源內(nèi)容之間的智能化匹配，真正實現(xiàn)了以數(shù)據(jù)為導(dǎo)向的智能化學習，使得培訓(xùn)從“千人一面”轉(zhuǎn)變?yōu)椤扒饲妗保瑔T工所學即所需，提升了培訓(xùn)學習效能，賦能了員工職業(yè)發(fā)展。智能化推薦系統(tǒng)面向郵政業(yè)務(wù)板塊代理金融專業(yè)支局（所）經(jīng)理和綜合柜員2個崗位進行試點應(yīng)用，覆蓋人員6.7萬人。智能化推薦系統(tǒng)的上線運行，一是有效解決了員工迫切反映的培訓(xùn)缺乏針對性、學習效率不高、學習體驗不好等問題；二是有效連接了員工和學習資源，較大程度上避免了信息過載和信息迷航的困擾；三是將優(yōu)質(zhì)資源直達員工，促進了員工從被動培訓(xùn)向主動學習的轉(zhuǎn)變。通過開展?jié)M意度調(diào)研，員工對推薦內(nèi)容的整體滿意度達93.3%，系統(tǒng)的研發(fā)和上線為企業(yè)培訓(xùn)數(shù)字化轉(zhuǎn)型進行了積極探索。

3.3基于大數(shù)據(jù)的知識服務(wù)體系構(gòu)建

目前中郵網(wǎng)院學員獲取業(yè)務(wù)知識的主要手段是參加培訓(xùn)，學員的主動性不高，不能滿足學員隨時隨地學習的需求。同時，培訓(xùn)內(nèi)容還存在以下問題：知識資源主要是視頻課件，呈現(xiàn)形式單調(diào)；知識載體主要以整個課件、整篇文檔為單位向?qū)W員進行展示，而不是以知識點的形式存儲，導(dǎo)致知識顆粒度較粗；知識以孤島方式存在，知識之間沒有建立聯(lián)系，沒有形成網(wǎng)狀的知識體系等。中郵網(wǎng)院利用大數(shù)據(jù)、人工智能和知識圖譜等信息化技術(shù)，以問題為導(dǎo)向，通過NLP自然語言處理，對大量非結(jié)構(gòu)化文本數(shù)據(jù)進行分句和分詞處理，實現(xiàn)知識的抽??；通過圖數(shù)據(jù)庫技術(shù)，實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的存儲。通過知識抽取、知識融合、知識推理和知識更新，構(gòu)建基于實體—關(guān)系—屬性的高級語義知識服務(wù)體系，實現(xiàn)知識推理、知識搜索、知識問答、知識推薦等功能，賦能郵政企業(yè)百萬員工，滿足員工對業(yè)務(wù)知識和管理知識實時獲取的需要，為員工提供精準、立體的知識服務(wù)。知識服務(wù)系統(tǒng)的構(gòu)建，一是改變了傳統(tǒng)的以培訓(xùn)為載體的知識灌輸形式，構(gòu)建了模式更新、粒度更細、服務(wù)更智能的知識服務(wù)解決方案；二是改變了傳統(tǒng)問答模式中問一答一的方式，答復(fù)的內(nèi)容以網(wǎng)狀形式進行關(guān)聯(lián)；三是最大程度細化答復(fù)內(nèi)容的顆粒度，以知識點形式進行呈現(xiàn)，而不是以整個課程的內(nèi)容向用戶進行展示，目前針對支局（所）經(jīng)理和綜合柜員2個崗位梳理了15000余個知識點。知識服務(wù)體系的推廣和利用，可以顯著提高員工的工作效率，是知識傳播的有力工具和企業(yè)文化傳承的重要載體。

3.4培訓(xùn)學習大數(shù)據(jù)分析

中郵網(wǎng)院在日常生產(chǎn)運營過程中，對培訓(xùn)學習開展情況進行數(shù)據(jù)統(tǒng)計是一項非常繁重的工作，有來自郵政集團人力資源部的要求，有來自郵儲銀行和中郵保險等各板塊的需求，也有來自各省分公司對各省培訓(xùn)開展情況的訴求，而中郵網(wǎng)院培訓(xùn)系統(tǒng)的多樣性和多態(tài)性，增加了企業(yè)信息化架構(gòu)的復(fù)雜度。目前，郵政業(yè)務(wù)、郵儲銀行、中郵保險等各分院相互獨立，各分院的業(yè)務(wù)培訓(xùn)、課程學習、考試競賽、資格認證等后臺數(shù)據(jù)又相互分隔，在企業(yè)內(nèi)部形成諸多數(shù)據(jù)孤島，每次數(shù)據(jù)統(tǒng)計分析工作都要從最底層的各業(yè)務(wù)數(shù)據(jù)庫開始抽取數(shù)據(jù)，費時費力，無法高效支撐企業(yè)經(jīng)營決策，也無法應(yīng)對快速變化的業(yè)務(wù)發(fā)展，底層數(shù)據(jù)的互聯(lián)互通成為困擾企業(yè)發(fā)展的痛點之一。中郵網(wǎng)院利用大數(shù)據(jù)技術(shù)和平臺，通過對培訓(xùn)學習產(chǎn)生的12.6億海量數(shù)據(jù)進行采集、存儲、計算、管理、挖掘和應(yīng)用，整合郵政業(yè)務(wù)、郵儲銀行、中郵保險等各分院的多源數(shù)據(jù)，打破各系統(tǒng)的數(shù)據(jù)孤島，進行可視化展示，轉(zhuǎn)變?yōu)閿?shù)據(jù)資產(chǎn)，快速形成數(shù)據(jù)服務(wù)能力。一是實現(xiàn)對學員培訓(xùn)學習行為的深入挖掘，發(fā)現(xiàn)學員最喜歡學習的時間集中在上午9:00～11:00、下午14:00～16:00和晚上19:00～21:00，全天24小時均有學員在學習，學習隨時在發(fā)生。二是進行了全方位的業(yè)務(wù)運行情況分析，包括移動學習App運行情況、培訓(xùn)運行情況、課程學習情況、考試開辦情況、直播運行情況等，年訪問量超過6000萬人次，學習人次達7000萬，學習時長1500萬小時，年直播量1200多場。三是了解用戶群體特征，分析了各崗位群體、黨員群體、三級領(lǐng)導(dǎo)等群體的培訓(xùn)開展情況，洞察不同群體的學習特點和規(guī)律，發(fā)現(xiàn)黨員群體的學習積極性是非黨員群體的2倍以上。四是構(gòu)建了“人、培、學、考”多元化預(yù)警分析體系，使得管理人員在了解業(yè)務(wù)運行情況的前提下，根據(jù)預(yù)警分析結(jié)果及時發(fā)現(xiàn)業(yè)務(wù)開展過程中存在的問題和風險。通過多維度大數(shù)據(jù)的深度分析，為企業(yè)管理者提供經(jīng)營決策服務(wù)，為企業(yè)精細化運營提供數(shù)據(jù)支撐。

4中郵網(wǎng)院大數(shù)據(jù)分析的未來方向

目前，中郵網(wǎng)院大數(shù)據(jù)分析平臺的應(yīng)用主要集中在結(jié)構(gòu)化數(shù)據(jù)的分析上，今后一段時間要將重點從結(jié)構(gòu)化數(shù)據(jù)逐漸轉(zhuǎn)向非結(jié)構(gòu)化數(shù)據(jù)，結(jié)合人工智能算法，實現(xiàn)對圖片、音頻和視頻等信息的分析，例如基于大量的音視頻課件，利用深度學習對音視頻進行場景分類、人物識別、語音識別、文字識別等多維度分析，形成層次化的分類標簽，支撐準確高效的視頻搜索，使用戶根據(jù)關(guān)鍵詞即可搜索出相關(guān)的音頻和視頻內(nèi)容，內(nèi)容可以具體定位到知識點，提升搜索體驗。中郵網(wǎng)院大數(shù)據(jù)分析平臺可通過有效洞察數(shù)據(jù)價值，從多個維度挖掘新的業(yè)務(wù)增長點，分析學員學習行為，挖掘?qū)W員學習特點和規(guī)律，提供智能問答機器人、智能推薦、知識服務(wù)體系服務(wù)，以有效應(yīng)對快速變化的業(yè)務(wù)發(fā)展，為管理者提供企業(yè)經(jīng)營決策支持，賦能企業(yè)數(shù)字化轉(zhuǎn)型。

作者:劉樹軍 朱德軍 柴立巖 單位:石家莊郵電職業(yè)技術(shù)學院