數(shù)據(jù)挖掘論文精品[15篇]
無論是在學(xué)校還是在社會中,大家都嘗試過寫論文吧,論文的類型很多,包括學(xué)年論文、畢業(yè)論文、學(xué)位論文、科技論文、成果論文等。還是對論文一籌莫展嗎?下面是小編為大家收集的數(shù)據(jù)挖掘論文,歡迎大家借鑒與參考,希望對大家有所幫助。
數(shù)據(jù)挖掘論文1
[1]劉瑩.基于數(shù)據(jù)挖掘的商品銷售預(yù)測分析[J].科技通報.20xx(07)
[2]姜曉娟,郭一娜.基于改進(jìn)聚類的電信客戶流失預(yù)測分析[J].太原理工大學(xué)學(xué)報.20xx(04)
[3]李欣海.隨機(jī)森林模型在分類與回歸分析中的應(yīng)用[J].應(yīng)用昆蟲學(xué)報.20xx(04)
[4]朱志勇,徐長梅,劉志兵,胡晨剛.基于貝葉斯網(wǎng)絡(luò)的客戶流失分析研究[J].計算機(jī)工程與科學(xué).20xx(03)
[5]翟健宏,李偉,葛瑞海,楊茹.基于聚類與貝葉斯分類器的網(wǎng)絡(luò)節(jié)點(diǎn)分組算法及評價模型[J].電信科學(xué).20xx(02)
[6]王曼,施念,花琳琳,楊永利.成組刪除法和多重填補(bǔ)法對隨機(jī)缺失的二分類變量資料處理效果的比較[J].鄭州大學(xué)學(xué)報(醫(yī)學(xué)版).20xx(05)
[7]黃杰晟,曹永鋒.挖掘類改進(jìn)決策樹[J].現(xiàn)代計算機(jī)(專業(yè)版).20xx(01)
[8]李凈,張范,張智江.數(shù)據(jù)挖掘技術(shù)與電信客戶分析[J].信息通信技術(shù).20xx(05)
[9]武曉巖,李康.基因表達(dá)數(shù)據(jù)判別分析的隨機(jī)森林方法[J].中國衛(wèi)生統(tǒng)計.20xx(06)
[10]張璐.論信息與企業(yè)競爭力[J].現(xiàn)代情報.20xx(01)
[11]楊毅超.基于Web數(shù)據(jù)挖掘的`作物商務(wù)平臺分析與研究[D].湖南農(nóng)業(yè)大學(xué)20xx
[12]徐進(jìn)華.基于灰色系統(tǒng)理論的數(shù)據(jù)挖掘及其模型研究[D].北京交通大學(xué)20xx
[13]俞馳.基于網(wǎng)絡(luò)數(shù)據(jù)挖掘的客戶獲取系統(tǒng)研究[D].西安電子科技大學(xué)20xx
[14]馮軍.數(shù)據(jù)挖掘在自動外呼系統(tǒng)中的應(yīng)用[D].北京郵電大學(xué)20xx
[15]于寶華.基于數(shù)據(jù)挖掘的高考數(shù)據(jù)分析[D].天津大學(xué)20xx
[16]王仁彥.數(shù)據(jù)挖掘與網(wǎng)站運(yùn)營管理[D].華東師范大學(xué)20xx
[17]彭智軍.數(shù)據(jù)挖掘的若干新方法及其在我國證券市場中應(yīng)用[D].重慶大學(xué)20xx
[18]涂繼亮.基于數(shù)據(jù)挖掘的智能客戶關(guān)系管理系統(tǒng)研究[D].哈爾濱理工大學(xué)20xx
[19]賈治國.數(shù)據(jù)挖掘在高考填報志愿上的應(yīng)用[D].內(nèi)蒙古大學(xué)20xx
[20]馬飛.基于數(shù)據(jù)挖掘的航運(yùn)市場預(yù)測系統(tǒng)設(shè)計及研究[D].大連海事大學(xué)20xx
[21]周霞.基于云計算的太陽風(fēng)大數(shù)據(jù)挖掘分類算法的研究[D].成都理工大學(xué)20xx
[22]阮偉玲.面向生鮮農(nóng)產(chǎn)品溯源的基層數(shù)據(jù)庫建設(shè)[D].成都理工大學(xué)20xx
[23]明慧.復(fù)合材料加工工藝數(shù)據(jù)庫構(gòu)建及數(shù)據(jù)集成[D].大連理工大學(xué)20xx
[24]陳鵬程.齒輪數(shù)控加工工藝數(shù)據(jù)庫開發(fā)與數(shù)據(jù)挖掘研究[D].合肥工業(yè)大學(xué)20xx
[25]岳雪.基于海量數(shù)據(jù)挖掘關(guān)聯(lián)測度工具的設(shè)計[D].西安財經(jīng)學(xué)院20xx
[26]丁翔飛.基于組合變量與重疊區(qū)域的SVM-RFE方法研究[D].大連理工大學(xué)20xx
[27]劉士佳.基于MapReduce框架的頻繁項集挖掘算法研究[D].哈爾濱理工大學(xué)20xx
[28]張曉東.全序模塊模式下范式分解問題研究[D].哈爾濱理工大學(xué)20xx
[29]尚丹丹.基于虛擬機(jī)的Hadoop分布式聚類挖掘方法研究與應(yīng)用[D].哈爾濱理工大學(xué)20xx
[30]王化楠.一種新的混合遺傳的基因聚類方法[D].大連理工大學(xué)20xx
[31]楊毅超.基于Web數(shù)據(jù)挖掘的作物商務(wù)平臺分析與研究[D].湖南農(nóng)業(yè)大學(xué)20xx
[32]徐進(jìn)華.基于灰色系統(tǒng)理論的數(shù)據(jù)挖掘及其模型研究[D].北京交通大學(xué)20xx
[33]俞馳.基于網(wǎng)絡(luò)數(shù)據(jù)挖掘的客戶獲取系統(tǒng)研究[D].西安電子科技大學(xué)20xx
[34]馮軍.數(shù)據(jù)挖掘在自動外呼系統(tǒng)中的應(yīng)用[D].北京郵電大學(xué)20xx
[35]于寶華.基于數(shù)據(jù)挖掘的高考數(shù)據(jù)分析[D].天津大學(xué)20xx
[36]王仁彥.數(shù)據(jù)挖掘與網(wǎng)站運(yùn)營管理[D].華東師范大學(xué)20xx
[37]彭智軍.數(shù)據(jù)挖掘的若干新方法及其在我國證券市場中應(yīng)用[D].重慶大學(xué)20xx
[38]涂繼亮.基于數(shù)據(jù)挖掘的智能客戶關(guān)系管理系統(tǒng)研究[D].哈爾濱理工大學(xué)20xx
[39]賈治國.數(shù)據(jù)挖掘在高考填報志愿上的應(yīng)用[D].內(nèi)蒙古大學(xué)20xx
[ 40]馬飛.基于數(shù)據(jù)挖掘的航運(yùn)市場預(yù)測系統(tǒng)設(shè)計及研究[D].大連海事大學(xué)20xx
數(shù)據(jù)挖掘論文2
題目:大數(shù)據(jù)挖掘在智游應(yīng)用中的探究
摘要:大數(shù)據(jù)和智游都是當(dāng)下的熱點(diǎn), 沒有大數(shù)據(jù)的智游無從談“智慧”, 數(shù)據(jù)挖掘是大數(shù)據(jù)應(yīng)用于智游的核心, 文章探究了在智游應(yīng)用中, 目前大數(shù)據(jù)挖掘存在的幾個問題。
關(guān)鍵詞:大數(shù)據(jù); 智游; 數(shù)據(jù)挖掘;
1引言
隨著人民生活水平的進(jìn)一步提高, 旅游消費(fèi)的需求進(jìn)一步上升, 在云計算、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)以及移動智能終端等信息通訊技術(shù)的飛速發(fā)展下, 智游應(yīng)運(yùn)而生。大數(shù)據(jù)作為當(dāng)下的熱點(diǎn)已經(jīng)成了智游發(fā)展的有力支撐, 沒有大數(shù)據(jù)提供的有利信息, 智游無法變得“智慧”。
2大數(shù)據(jù)與智游
旅游業(yè)是信息密、綜合性強(qiáng)、信息依存度高的產(chǎn)業(yè)[1], 這讓其與大數(shù)據(jù)自然產(chǎn)生了交匯。2010年, 江蘇省鎮(zhèn)江市首先提出“智游”的概念, 雖然至今國內(nèi)外對于智游還沒有一個統(tǒng)一的學(xué)術(shù)定義, 但在與大數(shù)據(jù)相關(guān)的描述中, 有學(xué)者從大數(shù)據(jù)挖掘在智游中的作用出發(fā), 把智游描述為:通過充分收集和管理所有類型和來源的旅游數(shù)據(jù), 并深入挖掘這些數(shù)據(jù)的潛在重要價值信息, 然后利用這些信息為相關(guān)部門或?qū)ο筇峁┓⻊?wù)[2]。這一定義充分肯定了在發(fā)展智游中, 大數(shù)據(jù)挖掘所起的至關(guān)重要的作用, 指出了在智游的.過程中, 數(shù)據(jù)的收集、儲存、管理都是為數(shù)據(jù)挖掘服務(wù), 智游最終所需要的是利用挖掘所得的有用信息。
3大數(shù)據(jù)挖掘在智游中存在的問題
2011年, 我國提出用十年時間基本實(shí)現(xiàn)智游的目標(biāo)[3], 過去幾年, 國家旅游局的相關(guān)動作均為了實(shí)現(xiàn)這一目標(biāo)。但是, 在借助大數(shù)據(jù)推動智游的可持續(xù)性發(fā)展中, 大數(shù)據(jù)所產(chǎn)生的價值卻亟待提高, 原因之一就是在收集、儲存了大量數(shù)據(jù)后, 對它們深入挖掘不夠, 沒有發(fā)掘出數(shù)據(jù)更多的價值。
3.1 信息化建設(shè)
智游的發(fā)展離不開移動網(wǎng)絡(luò)、物聯(lián)網(wǎng)、云平臺。隨著大數(shù)據(jù)的不斷發(fā)展, 國內(nèi)許多景區(qū)已經(jīng)實(shí)現(xiàn)Wi-Fi覆蓋, 部分景區(qū)也已實(shí)現(xiàn)人與人、人與物、人與景點(diǎn)之間的實(shí)時互動, 多省市已建有旅游產(chǎn)業(yè)監(jiān)測平臺或旅游大數(shù)據(jù)中心以及數(shù)據(jù)可視化平臺, 從中進(jìn)行數(shù)據(jù)統(tǒng)計、行為分析、監(jiān)控預(yù)警、服務(wù)質(zhì)量監(jiān)督等。通過這些平臺, 已基本能掌握跟游客和景點(diǎn)相關(guān)的數(shù)據(jù), 可以實(shí)現(xiàn)更好旅游監(jiān)控、產(chǎn)業(yè)宏觀監(jiān)控, 對該地的旅游管理和推廣都能發(fā)揮重要作用。
但從智慧化的發(fā)展來看, 我國的信息化建設(shè)還需加強(qiáng)。雖然通訊網(wǎng)絡(luò)已基本能保證, 但是大部分景區(qū)還無法實(shí)現(xiàn)對景區(qū)全面、透徹、及時的感知, 更為困難的是對平臺的建設(shè)。在數(shù)據(jù)共享平臺的建設(shè)上, 除了必備的硬件設(shè)施, 大數(shù)據(jù)實(shí)驗平臺還涉及大量部門, 如政府管理部門、氣象部門、交通、電子商務(wù)、旅行社、旅游網(wǎng)站等。如此多的部門相關(guān)聯(lián), 要想建立一個完整全面的大數(shù)據(jù)實(shí)驗平臺, 難度可想而知。
3.2 大數(shù)據(jù)挖掘方法
大數(shù)據(jù)時代缺的不是數(shù)據(jù), 而是方法。大數(shù)據(jù)在旅游行業(yè)的應(yīng)用前景非常廣闊, 但是面對大量的數(shù)據(jù), 不懂如何收集有用的數(shù)據(jù)、不懂如何對數(shù)據(jù)進(jìn)行挖掘和利用, 那么“大數(shù)據(jù)”猶如礦山之中的廢石。旅游行業(yè)所涉及的結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù), 通過云計算技術(shù), 對數(shù)據(jù)的收集、存儲都較為容易, 但對數(shù)據(jù)的挖掘分析則還在不斷探索中。大數(shù)據(jù)的挖掘常用的方法有關(guān)聯(lián)分析, 相似度分析, 距離分析, 聚類分析等等, 這些方法從不同的角度對數(shù)據(jù)進(jìn)行挖掘。其中, 相關(guān)性分析方法通過關(guān)聯(lián)多個數(shù)據(jù)來源, 挖掘數(shù)據(jù)價值。但針對旅游數(shù)據(jù), 采用這些方法挖掘數(shù)據(jù)的價值信息, 難度也很大, 因為旅游數(shù)據(jù)中冗余數(shù)據(jù)很多, 數(shù)據(jù)存在形式很復(fù)雜。在旅游非結(jié)構(gòu)化數(shù)據(jù)中, 一張圖片、一個天氣變化、一次輿情評價等都將會對游客的旅行計劃帶來影響。對這些數(shù)據(jù)完全挖掘分析, 對游客“行前、行中、行后”大數(shù)據(jù)的實(shí)時性挖掘都是很大的挑戰(zhàn)。
3.3 數(shù)據(jù)安全
2017年, 數(shù)據(jù)安全事件屢見不鮮, 伴著大數(shù)據(jù)而來的數(shù)據(jù)安全問題日益凸顯出來。在大數(shù)據(jù)時代, 無處不在的數(shù)據(jù)收集技術(shù)使我們的個人信息在所關(guān)聯(lián)的數(shù)據(jù)中心留下痕跡, 如何保證這些信息被合法合理使用, 讓數(shù)據(jù)“可用不可見”[4], 這是亟待解決的問題。同時, 在大數(shù)據(jù)資源的開放性和共享性下, 個人隱私和公民權(quán)益受到嚴(yán)重威脅。這一矛盾的存在使數(shù)據(jù)共享程度與數(shù)據(jù)挖掘程度成反比。此外, 經(jīng)過大數(shù)據(jù)技術(shù)的分析、挖掘, 個人隱私更易被發(fā)現(xiàn)和暴露, 從而可能引發(fā)一系列社會問題。
大數(shù)據(jù)背景下的旅游數(shù)據(jù)當(dāng)然也避免不了數(shù)據(jù)的安全問題。如果游客“吃、住、行、游、娛、購”的數(shù)據(jù)被放入數(shù)據(jù)庫, 被完全共享、挖掘、分析, 那游客的人身財產(chǎn)安全將會受到嚴(yán)重影響, 最終降低旅游體驗。所以, 數(shù)據(jù)的安全管理是進(jìn)行大數(shù)據(jù)挖掘的前提。
3.4 大數(shù)據(jù)人才
大數(shù)據(jù)背景下的智游離不開人才的創(chuàng)新活動及技術(shù)支持, 然而與專業(yè)相銜接的大數(shù)據(jù)人才培養(yǎng)未能及時跟上行業(yè)需求, 加之創(chuàng)新型人才的外流, 以及數(shù)據(jù)統(tǒng)計未來3~5年大數(shù)據(jù)行業(yè)將面臨全球性的人才荒, 國內(nèi)智游的構(gòu)建還缺乏大量人才。
4解決思路
在信息化建設(shè)上, 加大政府投入, 加強(qiáng)基礎(chǔ)設(shè)施建設(shè), 整合結(jié)構(gòu)化數(shù)據(jù), 抓取非結(jié)構(gòu)化數(shù)據(jù), 打通各數(shù)據(jù)壁壘, 建設(shè)旅游大數(shù)據(jù)實(shí)驗平臺;在挖掘方法上, 對旅游大數(shù)據(jù)實(shí)時性數(shù)據(jù)的挖掘應(yīng)該被放在重要位置;在數(shù)據(jù)安全上, 從加強(qiáng)大數(shù)據(jù)安全立法、監(jiān)管執(zhí)法及強(qiáng)化技術(shù)手段建設(shè)等幾個方面著手, 提升大數(shù)據(jù)環(huán)境下數(shù)據(jù)安全保護(hù)水平。加強(qiáng)人才的培養(yǎng)與引進(jìn), 加強(qiáng)產(chǎn)學(xué)研合作, 培養(yǎng)智游大數(shù)據(jù)人才。
參考文獻(xiàn)
[1]翁凱.大數(shù)據(jù)在智游中的應(yīng)用研究[J].信息技術(shù), 2015, 24:86-87.
[2]梁昌勇, 馬銀超, 路彩虹.大數(shù)據(jù)挖掘, 智游的核心[J].開發(fā)研究, 2015, 5 (180) :134-139.
[3]張建濤, 王洋, 劉力剛.大數(shù)據(jù)背景下智游應(yīng)用模型體系構(gòu)建[J].企業(yè)經(jīng)濟(jì), 2017, 5 (441) :116-123.
[4]王竹欣, 陳湉.保障大數(shù)據(jù), 從哪里入手?[N].人民郵電究, 2017-11-30.
數(shù)據(jù)挖掘論文3
摘要:主要通過對數(shù)據(jù)挖掘技術(shù)的探討,對職教多年累積的教學(xué)數(shù)據(jù)運(yùn)用分類、決策樹、關(guān)聯(lián)規(guī)則等技術(shù)進(jìn)行分析,從分析的結(jié)果中發(fā)現(xiàn)有價值的數(shù)據(jù)模式,科學(xué)合理地實(shí)現(xiàn)教學(xué)評估,讓教學(xué)管理者能夠從中發(fā)現(xiàn)教學(xué)活動中存在的主要問題以便及時改進(jìn),進(jìn)而輔助管理者決策做好教學(xué)管理。
關(guān)鍵詞:教學(xué)評估;數(shù)據(jù)挖掘;教學(xué)評估體系;層次分析法
1概述
近年來國家對中等職業(yè)教育的發(fā)展高度重視,在政策扶持與職教工作者的努力下,職業(yè)教育獲得了蓬勃的發(fā)展。如何提高教學(xué)質(zhì)量、培養(yǎng)合格的高技術(shù)人才成為職教工作者研究的課題。各種調(diào)查研究結(jié)果表明:加強(qiáng)師資隊伍的建設(shè),強(qiáng)化教師教學(xué)評估對教學(xué)質(zhì)量的提高尤為重要。
所謂教學(xué)評估,就是運(yùn)用系統(tǒng)科學(xué)的方法對教學(xué)活動或教育行為的價值、效果作出科學(xué)的判斷過程。教學(xué)評估方式要靈活多樣,要多途徑、多方位、多形式的發(fā)揮評估的導(dǎo)學(xué)作用,以鼓勵評估為主,充分發(fā)揮評估的激勵功能,促進(jìn)教學(xué)的健康發(fā)展。
在中等職業(yè)學(xué)校多年的教育教學(xué)工作中積累了大量的教務(wù)管理數(shù)據(jù)、教師檔案數(shù)據(jù)等,怎樣從龐雜大量的數(shù)據(jù)中挖掘出有效提高教學(xué)質(zhì)量的關(guān)鍵因素是個難題。數(shù)據(jù)挖掘技術(shù)卻可以從人工智能的角度很好地解決這一課題。通過數(shù)據(jù)挖掘技術(shù),得到隱藏在教學(xué)數(shù)據(jù)背后的有用信息,在一定程度上為教學(xué)部門提供決策支持信息促使更好地開展教學(xué)工作,提高教學(xué)質(zhì)量和教學(xué)管理水平,使之能在功能上更加清晰地認(rèn)識教師教與學(xué)生學(xué)的關(guān)系及促進(jìn)教育教學(xué)改革。
2數(shù)據(jù)挖掘技術(shù)
2.1數(shù)據(jù)挖掘的含義
數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中,提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。數(shù)據(jù)挖掘應(yīng)該更正確地命名為“從數(shù)據(jù)中挖掘知識”。即數(shù)據(jù)挖掘是對巨大的數(shù)據(jù)集進(jìn)行尋找和分析的計算機(jī)輔助處理過程,在這一過程中顯現(xiàn)先前未曾發(fā)現(xiàn)的模式,然后從這些數(shù)據(jù)中發(fā)掘某些內(nèi)涵信息,包括描述過去和預(yù)測未來趨勢的信息。人工智能領(lǐng)域習(xí)慣稱知識發(fā)現(xiàn),而數(shù)據(jù)庫領(lǐng)域習(xí)慣將其稱為數(shù)據(jù)挖掘。
2.2數(shù)據(jù)挖掘的基本過程
數(shù)據(jù)挖掘過程包括對問題的理解和提出、數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)變換、數(shù)據(jù)挖掘、模式評估、知識表示等過程,以上的過程不是一次完成的,其中某些步驟或者全過程可能要反復(fù)進(jìn)行。對問題的理解和提出在開始數(shù)據(jù)挖掘之前,最基礎(chǔ)的工作就是理解數(shù)據(jù)和實(shí)際的業(yè)務(wù)問題,在這個基礎(chǔ)之上提出問題,對目標(biāo)作出明確的定義。
2.3數(shù)據(jù)挖掘常用的算法
2.3.1分類分析方法:是通過分析訓(xùn)練集中的數(shù)據(jù),為每個類別做出準(zhǔn)確的描述或建立分析模型或挖掘出分類規(guī)則,以便以后利用這個分類規(guī)則對其它數(shù)據(jù)庫中的記錄進(jìn)行分類的方法。2.3.2決策樹算法:是一種常用于分類、預(yù)測模型的算法,它通過將大量數(shù)據(jù)有目的的分類,從而找到一些有價值的、潛在的信息。它的主要優(yōu)點(diǎn)是描述簡單,分類速度快,特別適合大規(guī)模的數(shù)據(jù)處理。2.3.3聚類算法:聚類分析處理的.數(shù)據(jù)對象的類是未知的。聚類分析就是將對象集合分組為由類似的對象組成的多個簇的過程。在同一個簇內(nèi)的對象之間具有較高的相似度,而不同簇內(nèi)的對象差別較大。2.3.4關(guān)聯(lián)規(guī)則算法:側(cè)重于確定數(shù)據(jù)中不同領(lǐng)域之間的關(guān)系,即尋找給定數(shù)據(jù)集中的有趣聯(lián)系。提取描述數(shù)據(jù)庫中數(shù)據(jù)項之間所存在的潛在關(guān)系的規(guī)則,找出滿足給定支持度和置信度閾值的多個域之間的依賴關(guān)系。
在以上各種算法的研究中,比較有影響的是關(guān)聯(lián)規(guī)則算法。
3教學(xué)評估體系
評價指標(biāo)體系是教學(xué)評估的基礎(chǔ)和依據(jù),對評估起著導(dǎo)向作用,因此制定一個科學(xué)全面的評價指標(biāo)體系就成為改革、完善評價的首要目標(biāo)。評價指標(biāo)應(yīng)以指導(dǎo)教學(xué)實(shí)踐為目的,通過評價使教師明確教學(xué)過程中應(yīng)該肯定的和需要改進(jìn)的地方;以及給出設(shè)計評價指標(biāo)的導(dǎo)向問題。
3.1教學(xué)評估體系的構(gòu)建方法
層次分析法(簡稱AHP法)是美國運(yùn)籌學(xué)家T·L·Saaty教授在20世紀(jì)70年代初期提出的一種簡便、靈活而又實(shí)用的多準(zhǔn)則決策的系統(tǒng)分析方法,其原理是把一個復(fù)雜問題分解、轉(zhuǎn)化為定量分析的方法。它需要建立關(guān)于系統(tǒng)屬性的各因素多級遞階結(jié)構(gòu),然后對每一層次上的因素逐一進(jìn)行比較,得到判斷矩陣,通過計算判斷矩陣的特征值和特征向量,得到其關(guān)于上一層因素的相對權(quán)重,并可自上而下地用上一層次因素的相對權(quán)重加權(quán)求和,求出各層次因素關(guān)于系統(tǒng)整體屬性(總目標(biāo)層)的綜合重要度。
3.2構(gòu)建教學(xué)評估指標(biāo)體系的作用
3.2.1構(gòu)建的教學(xué)評估指標(biāo),作為挖掘庫選擇教學(xué)信息屬性的依據(jù)。
3.2.2通過AHP方法,能篩選出用來評價教學(xué)質(zhì)量的相關(guān)重要屬性,從而入選為挖掘庫字段,這樣就減去了挖掘庫中對于挖掘目標(biāo)來說影響較小的屬性,進(jìn)而大大減少了挖掘的工作量,提高挖掘效率。3.2.3通過構(gòu)建教學(xué)評估指標(biāo),減少了挖掘?qū)ο蟮淖侄危瑥亩苊庖蛲诰蜃侄芜^多,導(dǎo)致建立的決策樹過大,出現(xiàn)過度擬合挖掘?qū)ο螅M(jìn)而造成挖掘規(guī)則不具有很好的評價效果的現(xiàn)象。3.2.4提高教學(xué)質(zhì)量評估實(shí)施工作的效率。
4數(shù)據(jù)挖掘在教學(xué)評估中的應(yīng)用
4.1學(xué)習(xí)效果評價學(xué)習(xí)評價是教育工作者的重要職責(zé)之一。評價學(xué)生的學(xué)習(xí)情況,既對學(xué)生起到信息反饋和激發(fā)學(xué)習(xí)動機(jī)的作用,又是檢查課程計劃、教學(xué)程序以至教學(xué)目的的手段,也是考查學(xué)生個別差異、便于因材施教的途徑。評價要遵循“評價內(nèi)容要全面、評價方式要多元化、評價次數(shù)要多次化,注重自評與互評的有機(jī)結(jié)合”的原則。利用數(shù)據(jù)挖掘工具,對教師業(yè)務(wù)檔案數(shù)據(jù)庫、行為記錄數(shù)據(jù)庫、獎勵處罰數(shù)據(jù)庫等進(jìn)行分析處理,可以即時得到教師教學(xué)的評價結(jié)果,對教學(xué)過程出現(xiàn)的問題進(jìn)行及時指正。
另外,這種系統(tǒng)還能夠克服教師主觀評價的不公正、不客觀的弱點(diǎn),減輕教師的工作量。
4.2課堂教學(xué)評價
課堂教學(xué)評價不僅對教學(xué)起著調(diào)節(jié)、控制、指導(dǎo)和推動作用,而且有很強(qiáng)的導(dǎo)向性,是學(xué)校教學(xué)管理的重要組成部分,是評價教學(xué)工作成績的主要手段。實(shí)現(xiàn)對任課教師及教學(xué)組織工作效果做出評價,但是更重要的目的是總結(jié)優(yōu)秀的教學(xué)經(jīng)驗,為教學(xué)質(zhì)量的穩(wěn)定提高制定科學(xué)的規(guī)范。學(xué)校每學(xué)期都要搞課堂教學(xué)評價調(diào)查,積累了大量的數(shù)據(jù)。利用數(shù)據(jù)挖掘技術(shù),從教學(xué)評價數(shù)據(jù)中進(jìn)行數(shù)據(jù)挖掘,將關(guān)聯(lián)規(guī)則應(yīng)用于教師教學(xué)評估系統(tǒng)中,探討教學(xué)效果的好壞與老師的年齡、職稱、學(xué)歷之間的聯(lián)系;確定教師的教學(xué)內(nèi)容的范圍和深度是否合適,選擇的教學(xué)媒體是否適合所選的教學(xué)內(nèi)容和教學(xué)對象;講解的時間是否恰到好處;教學(xué)策略是否得當(dāng)?shù)取亩梢约皶r地將挖掘出的規(guī)則信息反饋給教師。管理部門據(jù)此能合理配置班級的上課教師,使學(xué)生能夠較好地保持良好的學(xué)習(xí)態(tài)度,從而為教學(xué)部門提供了決策支持信息,促使教學(xué)工作更好地開展。
結(jié)束語
數(shù)據(jù)挖掘作為一種工具,其技術(shù)日趨成熟,在許多領(lǐng)域取得了廣泛的應(yīng)用。在教育領(lǐng)域里,隨著數(shù)據(jù)的不斷累積,把數(shù)據(jù)挖掘技術(shù)應(yīng)用到教學(xué)評價系統(tǒng)中,讓領(lǐng)導(dǎo)者能夠從中發(fā)現(xiàn)教師教學(xué)活動中的主要問題,以便及時改進(jìn),進(jìn)而輔助領(lǐng)導(dǎo)決策做好學(xué)校管理,提高學(xué)校管理能力和水平,同時通過建立有效的教學(xué)激勵機(jī)制來達(dá)到提高教學(xué)質(zhì)量的目的。這一研究對發(fā)展中的職業(yè)教育教學(xué)管理提出了很好的建議,為教學(xué)管理工作的計算機(jī)輔助決策增添了新的內(nèi)容。將數(shù)據(jù)挖掘技術(shù)應(yīng)用于中職教學(xué)評估,設(shè)計開發(fā)一套行之有效的課堂教學(xué)評價系統(tǒng),是下一步要做的工作,必將有力推動職業(yè)教育的快速發(fā)展。
數(shù)據(jù)挖掘論文4
摘要:數(shù)據(jù)挖掘是一種特殊的數(shù)據(jù)分析過程,其不僅在功能上具有多樣性,同時還具有著自動化、智能化處理以及抽象化分析判斷的特點(diǎn),對于計算機(jī)犯罪案件中的信息取證有著非常大的幫助。本文結(jié)合數(shù)據(jù)挖掘技術(shù)的概念與功能,對其在計算機(jī)犯罪取證中的應(yīng)用進(jìn)行了分析。
關(guān)鍵詞:數(shù)據(jù)挖掘技術(shù);計算機(jī);犯罪取證
隨著信息技術(shù)與互聯(lián)網(wǎng)的不斷普及,計算機(jī)犯罪案件變得越來越多,同時由于計算機(jī)犯罪的隱蔽性、復(fù)雜性特點(diǎn),案件偵破工作也具有著相當(dāng)?shù)碾y度,而數(shù)據(jù)挖掘技術(shù)不僅能夠?qū)τ嬎銠C(jī)犯罪案件中的原始數(shù)據(jù)進(jìn)行分析并提取出有效信息,同時還能夠?qū)崿F(xiàn)與其他案件的對比,而這些對于計算機(jī)犯罪案件的偵破都是十分有利的。
1數(shù)據(jù)挖掘技術(shù)的功能與應(yīng)用分析
1.1數(shù)據(jù)挖掘技術(shù)的概念
數(shù)據(jù)挖掘技術(shù)是針對當(dāng)前信息時代下海量的網(wǎng)絡(luò)數(shù)據(jù)信息而言的,簡單來說,就是從大量的、不完全的、有噪聲的、模糊的隨機(jī)數(shù)據(jù)中對潛在的有效知識進(jìn)行自動提取,從而為判斷決策提供有利的信息支持。同時,從數(shù)據(jù)挖掘所能夠的得到的知識來看,主要可以分為廣義型知識、分類型知識、關(guān)聯(lián)性知識、預(yù)測性知識以及離型知識幾種。
1.2數(shù)據(jù)挖掘技術(shù)的功能
根據(jù)數(shù)據(jù)挖掘技術(shù)所能夠提取的不同類型知識,數(shù)據(jù)挖掘技術(shù)也可以在此基礎(chǔ)上進(jìn)行功能分類,如關(guān)聯(lián)分析、聚類分析、孤立點(diǎn)分析、時間序列分析以及分類預(yù)測等都是數(shù)據(jù)挖掘技術(shù)的重要功能之一,而其中又以關(guān)聯(lián)分析與分類預(yù)測最為主要。大量的數(shù)據(jù)中存在著多個項集,各個項集之間的取值往往存在著一定的規(guī)律性,而關(guān)聯(lián)分析則正是利用這一點(diǎn),對各項集之間的關(guān)聯(lián)關(guān)系進(jìn)行挖掘,找到數(shù)據(jù)間隱藏的關(guān)聯(lián)網(wǎng),主要算法有FP-Growth算法、Apriori算法等。在計算機(jī)犯罪取證中,可以先對犯罪案件中的特征與行為進(jìn)行深度的挖掘,從而明確其中所存在的聯(lián)系,同時,在獲得審計數(shù)據(jù)后,就可以對其中的審計信息進(jìn)行整理并中存入到數(shù)據(jù)庫中進(jìn)行再次分析,從而達(dá)到案件樹立的效果,這樣,就能夠清晰的判斷出案件中的行為是否具有犯罪特征[1]。而分類分析則是對現(xiàn)有數(shù)據(jù)進(jìn)行分類整理,以明確所獲得數(shù)據(jù)中的相關(guān)性的一種數(shù)據(jù)挖掘功能。在分類分析的過程中,已知數(shù)據(jù)會被分為不同的數(shù)據(jù)組,并按照具體的數(shù)據(jù)屬性進(jìn)行明確分類,之后再通過對分組中數(shù)據(jù)屬性的具體分析,最終就可以得到數(shù)據(jù)屬性模型。在計算機(jī)犯罪案件中,可以將按照這種數(shù)據(jù)分類、分析的方法得到案件的數(shù)據(jù)屬性模型,之后將這一數(shù)據(jù)屬性模型與其他案件的數(shù)據(jù)屬性模型進(jìn)行對比,這樣就能夠判斷嫌疑人是否在作案動機(jī)、發(fā)生規(guī)律以及具體特征等方面與其他案件模型相符,也就是說,一旦這一案件的'數(shù)據(jù)模型屬性與其他案件的數(shù)據(jù)模型屬性大多相符,那么這些數(shù)據(jù)就可以被確定為犯罪證據(jù)。此外,在不同案件間的共性與差異的基礎(chǔ)上,分類分析還可以實(shí)現(xiàn)對于未知數(shù)據(jù)信息或類似數(shù)據(jù)信息的有效預(yù)測,這對于計算機(jī)犯罪案件的處理也是很有幫助的。此外,數(shù)據(jù)挖掘分類預(yù)測功能的實(shí)現(xiàn)主要依賴決策樹、支持向量機(jī)、VSM、Logisitic回歸、樸素貝葉斯等幾種,這些算法各有優(yōu)劣,在實(shí)際應(yīng)用中需要根據(jù)案件的實(shí)際情況進(jìn)行選擇,例如支持向量機(jī)具有很高的分類正確率,因此適合用于特征為線性不可分的案件,而決策樹更容易理解與解釋。
2數(shù)據(jù)挖掘技術(shù)在計算機(jī)犯罪取證中的具體應(yīng)用思路
對于數(shù)據(jù)挖掘技術(shù),目前的計算機(jī)犯罪取證工作并未形成一個明確而統(tǒng)一的應(yīng)用步驟,因此,我們可以根據(jù)數(shù)據(jù)挖掘技術(shù)的特征與具體功能,對數(shù)據(jù)挖掘技術(shù)在計算機(jī)犯罪取證中的應(yīng)用提供一個較為可行的具體思路[2]。首先,當(dāng)案件發(fā)生后,一般能夠獲取到海量的原始數(shù)據(jù),面對這些數(shù)據(jù),可以利用FP-Growth算法、Apriori算法等算法進(jìn)行關(guān)聯(lián)分析,找到案件相關(guān)的潛在有用信息,如犯罪嫌疑人的犯罪動機(jī)、案發(fā)時間、作案嫌疑人的基本信息等等。在獲取這些基本信息后,雖然能夠?qū)Π讣幕咎卣饔幸欢ǖ牧私猓缸锵右扇藚s難以通過這些簡單的信息進(jìn)行確定,因此還需利用決策樹、支持向量機(jī)等算法進(jìn)行分類預(yù)測分析,通過對原始信息的準(zhǔn)確分類,可以得到案件的犯罪行為模式(數(shù)據(jù)屬性模型),而通過與其他案件犯罪行為模式的對比,就能夠?qū)Ψ缸锵右扇说木唧w特征進(jìn)行進(jìn)一步的預(yù)測,如經(jīng)常活動的場所、行為習(xí)慣、分布區(qū)域等,從而縮小犯罪嫌疑人的鎖定范圍,為案件偵破工作帶來巨大幫助。此外,在計算機(jī)犯罪案件處理完畢后,所建立的嫌疑人犯罪行為模式以及通過關(guān)聯(lián)分析、分類預(yù)測分析得到的案件信息仍具有著很高的利用價值,因此不僅需要將這些信息存入到專門的數(shù)據(jù)庫中,同時還要根據(jù)案件的結(jié)果對數(shù)據(jù)進(jìn)行再次分析與修正,并做好犯罪行為模式的分類與標(biāo)記工作,為之后的案件偵破工作提供更加豐富、詳細(xì)的數(shù)據(jù)參考。
3結(jié)束語
總而言之,數(shù)據(jù)挖掘技術(shù)自計算機(jī)犯罪取證中的應(yīng)用是借助以各種算法為基礎(chǔ)的關(guān)聯(lián)、分類預(yù)測功能來實(shí)現(xiàn)的,而隨著技術(shù)的不斷提升以及數(shù)據(jù)庫中的犯罪行為模式會不斷得到完善,在未來數(shù)據(jù)挖掘技術(shù)所能夠起到的作用也必將越來越大。
參考文獻(xiàn)
[1]李艷花.數(shù)據(jù)挖掘在計算機(jī)動態(tài)取證技術(shù)中的應(yīng)用[J].信息與電腦(理論版),20xx(02):174-176.
作者:周永杰 單位:河南警察學(xué)院信息安全系
數(shù)據(jù)挖掘論文5
1、數(shù)據(jù)挖掘技術(shù)的概念和實(shí)用價值
1.1 數(shù)據(jù)挖掘的概念
所謂數(shù)據(jù)挖掘,其實(shí)就是從大量繁雜的數(shù)據(jù)中找出對自己發(fā)展有益的數(shù)據(jù)、模型及規(guī)律。主要依據(jù)事先確定好的商業(yè)目標(biāo),深入分析和研究各種企業(yè)數(shù)據(jù),發(fā)掘里面隱藏的商業(yè)內(nèi)容,還要在工作中不斷提高其科學(xué)性。數(shù)據(jù)挖掘的綜合型較強(qiáng),需要使用諸多專業(yè)理論以及技術(shù)工具,主要有數(shù)據(jù)庫技術(shù)、統(tǒng)計學(xué)、機(jī)器學(xué)習(xí)、模型識別、人工智能、神經(jīng)網(wǎng)絡(luò)等。
1.1.1 分類
其實(shí)質(zhì)就是對數(shù)據(jù)進(jìn)行分門別類。先從數(shù)據(jù)中挑選出分類完的訓(xùn)練集,然后將其作為依據(jù)來設(shè)置一個科學(xué)的分類模型,還要將雜亂的數(shù)據(jù)進(jìn)行綜合整理。
1.1.2 估值
估值和分類有很多相同點(diǎn),其差異在于:分散是對離散型變量進(jìn)行輸出,但估值輸出的是連續(xù)值,且分類的類別是有數(shù)目規(guī)定的,但估值卻是隨意的。
1.1.3 預(yù)測
一般情況下,預(yù)測要借助分類或估值才能發(fā)揮效果,具體說來,就是用分類及估值期間使用的模型來預(yù)估未知的變量。檢測的目的與其大同小異,但而其結(jié)果必須經(jīng)時間驗證,也就是說在很長一段時間后,才可以評估其準(zhǔn)確性。
1.1.4 相關(guān)性分組或關(guān)聯(lián)規(guī)則
要記錄好時間類型及發(fā)生日期,這樣可以為后續(xù)的施工提供借鑒。
1.1.5 聚類
就是對各種數(shù)據(jù)進(jìn)行整理并且分類,以聚集為類別。兩者的主要區(qū)別是聚類不需要事先定義好類別,不用借助訓(xùn)練集。
1.1.6 描述和可視化
用歸約、概括、圖形表示等方式來表示數(shù)據(jù)。
1.2 數(shù)據(jù)挖掘在電力企業(yè)的使用價值
商業(yè)領(lǐng)域?qū)τ跀?shù)據(jù)挖掘技術(shù)的需求較大,因此數(shù)據(jù)挖掘在多個商業(yè)領(lǐng)域得到了大范圍的應(yīng)用。下文便依據(jù)電力企業(yè)的行業(yè)特征來論述一下數(shù)據(jù)挖掘技術(shù)在電力企業(yè)中的重要作用。
1.2.1 指導(dǎo)設(shè)備更新
在發(fā)生了下述兩種情況時就要對設(shè)備進(jìn)行更新:首先,電力設(shè)施意外毀壞,這便要第一時間更換,一般電力設(shè)備監(jiān)控設(shè)施可以檢測出這類故障,這樣也能夠在第一時間進(jìn)行維修。其次是更換老化的設(shè)備,這就需要以經(jīng)驗為依據(jù),例如檢查設(shè)備的使用年限等,但這種方式并不具有多大的科學(xué)性,因為很多設(shè)備可能由于保養(yǎng)得當(dāng)而延長使用年限,如果貿(mào)然更換會產(chǎn)生巨大的浪費(fèi);還有些設(shè)備的使用時間可能不長,但是其性能卻已經(jīng)不滿足標(biāo)準(zhǔn),若不及時更換也會產(chǎn)生巨大的浪費(fèi)。一般情況下,我們可以借助故障保修、電力耗費(fèi)及相關(guān)電力參數(shù)等各種數(shù)據(jù)來確定電力設(shè)備的故障及老化狀況,最終確定是否更換設(shè)備。
1.2.2 業(yè)績評估
我國的電力企業(yè)一直沒有一套標(biāo)準(zhǔn)的體系來評價集團(tuán)公司分公司的成績。若只評估其所創(chuàng)造的經(jīng)濟(jì)利潤,則會因各地區(qū)的發(fā)展有所誤差,并且電力行業(yè)是與我們的生產(chǎn)生活息息相關(guān)的,安全性及其它性能的重要意義遠(yuǎn)大于利潤。但數(shù)據(jù)挖掘技術(shù)卻能夠綜合分析諸多影響因素,通過分析由利潤、利潤增長率、同行對比、投訴舉報、生產(chǎn)成本等數(shù)據(jù)組成的主題倉庫來研究區(qū)域或者是自公司的運(yùn)營情況,并用圖表等簡潔明了的方式體現(xiàn)出來,為決策提供依據(jù)。
1.2.3 指導(dǎo)電力企業(yè)的建設(shè)規(guī)劃
最近,我國的廣東頻繁發(fā)生電力供不應(yīng)求的情況,其主要原因便是沒能很好的掌握市場進(jìn)步的趨勢,在電廠的建設(shè)及電網(wǎng)建設(shè)方面都沒能滿足市場的需求,這時數(shù)據(jù)挖掘工作的重要性便得到了很好的體現(xiàn)。將新增用戶(報裝)、現(xiàn)有用戶、用戶位置、用戶用電量、國家的建設(shè)計劃等相關(guān)資料實(shí)行認(rèn)真的研究分析便可以制定出電力企業(yè)的發(fā)展計劃,有此為指導(dǎo),才能促進(jìn)電力行業(yè)的飛速發(fā)展。
1.2.4 指導(dǎo)電力的生產(chǎn)和購買
我國推出電力企業(yè)改革方案后,廣東省電力集團(tuán)便在積極的踐行,到01年底已大體完成廠網(wǎng)分離。改革的逐步深化,而言使得我們面臨了一些新的問題。例如在電力購買方面,傳統(tǒng)的電廠和電網(wǎng)屬一個單位,電廠會供給電網(wǎng)充足的電力。可在如今,電網(wǎng)用電時一定要提前購買,但因為電力的鮮明特征即買多少用多少,使得購買時間和購買量無法準(zhǔn)確的確定。而借助數(shù)據(jù)挖掘技術(shù)可以很好的解決這一問題。對有關(guān)的主體車庫進(jìn)行深入挖掘便可確定需購買的電力總量,并對發(fā)電企業(yè)的生產(chǎn)計劃進(jìn)行指導(dǎo)。
1.2.5 減少電力損耗,改善電力質(zhì)量,減少設(shè)備損耗
電力產(chǎn)品具有自身的顯著特征,主要體現(xiàn)在它不能進(jìn)行儲存,只有按需供給。可是,發(fā)電和用電是有著很大差異的,要想保證電力的質(zhì)量,就必須不斷提高設(shè)施的安全性,并對其實(shí)施科學(xué)的調(diào)整。現(xiàn)今使用的主要方式是建設(shè)蓄能電廠,若電力有多余則要保存起來,等電力供應(yīng)不足時則用這部分電力,將其進(jìn)行安排調(diào)度并制定合理的疾患,便能實(shí)現(xiàn)電力儲存技術(shù)的靈活調(diào)節(jié),實(shí)現(xiàn)降低電力浪費(fèi),提高電力質(zhì)量,避免設(shè)備的耗損。
2、使用數(shù)據(jù)挖掘的必要性和可行性
2.1 我國電力企業(yè)信息化現(xiàn)狀使采用數(shù)據(jù)挖掘技術(shù)成為可能
觀察以廣電企業(yè)的現(xiàn)狀可以知道,電網(wǎng)的信息化已經(jīng)有了很大的進(jìn)步,也就是不再僅僅借助計算機(jī)完成統(tǒng)計報表,管理信息也不是單機(jī)單項應(yīng)用工作的時期,其正處在信息化的中級發(fā)展環(huán)節(jié),企業(yè)有自己的局域網(wǎng),廣電集團(tuán)也已經(jīng)實(shí)現(xiàn)了光纖網(wǎng)的全省覆蓋,企業(yè)完成信息化之后,能夠使內(nèi)部的管理工作更加高效,如MIS、OA、物資管理、財務(wù)管理以及客戶服務(wù)中心等。能夠獲得企業(yè)的許多基本數(shù)據(jù),并使應(yīng)用平臺更加的科學(xué),而企業(yè)在進(jìn)行數(shù)據(jù)挖掘工作時,便可以將這眾多數(shù)據(jù)作為有效依據(jù)。
2.2 我國電力企業(yè)改革的趨勢使采用數(shù)據(jù)挖掘技術(shù)成為必然
我國黨政領(lǐng)導(dǎo)集團(tuán)在積極的轉(zhuǎn)變行業(yè)壟斷的現(xiàn)狀,促進(jìn)競爭方式的合理化。我國電力企業(yè)中已經(jīng)使用了“廠網(wǎng)分家”模式,這使得發(fā)電競爭有了科學(xué)的模式,廣電集團(tuán)也已經(jīng)結(jié)束了這部分的工作。接下來便是向電網(wǎng)運(yùn)轉(zhuǎn)方向轉(zhuǎn)變。為在將來的競爭中保持優(yōu)勢,電力企業(yè)一定要盡可能的降低生產(chǎn)經(jīng)營的成本,這樣有利于更好的為客戶提供服務(wù),并熟悉自己及競爭企業(yè)的實(shí)際情況。上述的所有事情,都要使用現(xiàn)代信息技術(shù)來解決,而數(shù)據(jù)挖掘技術(shù)又起著極其重要的作用。
3、展望
作為智能系統(tǒng)的心臟,信息通信系統(tǒng)在今后電網(wǎng)業(yè)的進(jìn)步中有著非常積極的意義。現(xiàn)今,我國電網(wǎng)業(yè)早已設(shè)立了在國內(nèi)、國際都很先進(jìn)的'集成系統(tǒng)。三地集中式數(shù)據(jù)也開始慢慢運(yùn)轉(zhuǎn)起來,各企業(yè)的一級業(yè)務(wù)面也越來越廣,各種數(shù)據(jù)中心也都開始運(yùn)轉(zhuǎn)起來,我國電網(wǎng)的數(shù)據(jù)和種類都開始步入正軌。其“量類時”特征,也在海量、實(shí)時的電網(wǎng)業(yè)務(wù)內(nèi)有了更大的作用,所以必須對其進(jìn)行深入研究。
現(xiàn)今,我們通常把電網(wǎng)業(yè)務(wù)數(shù)據(jù)歸為三種:首先,單位生產(chǎn)的資料,有發(fā)電量、電壓穩(wěn)定性等指標(biāo)等;其次,單位工作中的數(shù)據(jù),包括交易價格、用戶的需求方面的數(shù)據(jù)等;最后是單位的管理資料,如ERP、一體化平臺、協(xié)同辦公等方面的數(shù)據(jù)。我們要熟練了解這諸多數(shù)據(jù)的特征,然后開展深入的探究,還能推出很多高附加值的服務(wù),這也能促進(jìn)電網(wǎng)安全性檢測的順利進(jìn)行,還可以更好的掌控企業(yè)的經(jīng)營、滿足用戶的需求,使企業(yè)的管理水平得到提高。
比如,在設(shè)立電力企業(yè)的“大營銷”模式時,要以滿足顧客需求為目標(biāo),建立各種服務(wù)平臺以第一時間滿足客戶各種需求,如:95588、114等。為了完善服務(wù)模式,提高服務(wù)質(zhì)量,應(yīng)該詳細(xì)的分析各種數(shù)據(jù),使得服務(wù)水平和營銷能力得到大幅度的提升和改善;分析型數(shù)據(jù)是進(jìn)行服務(wù)和開展?fàn)I銷的必要前提和重要基礎(chǔ),應(yīng)該得到足夠的重視,對原有的營銷組織模式進(jìn)行查漏補(bǔ)缺,通過借鑒其他單位的成功經(jīng)驗來彌補(bǔ)自己的不不足和缺陷,對各種服務(wù)資源進(jìn)行合理的配置,盡可能讓大多數(shù)人滿意,為了更好的利用數(shù)據(jù)并提高營銷能力,要建立數(shù)據(jù)監(jiān)控分析模型;營銷數(shù)據(jù)之間是存在著隱藏關(guān)系的,顯而易見,這些隱藏信息不容易被發(fā)現(xiàn),為了增強(qiáng)分析數(shù)據(jù)的全面性、系統(tǒng)性、直觀性、便捷性,建立各種系統(tǒng)性算法模型庫不僅是極其有必要的,而且是相當(dāng)重要的,當(dāng)然這種系統(tǒng)性的算法模型庫是針對營銷制定的,這樣做可以增強(qiáng)把握市場動態(tài)的及時性,我們知道,任何類型的營銷必定離不開市場,市場是開展?fàn)I銷主要遵循的依據(jù),脫離了市場,營銷就會抓不住頭腦,因而,算法模型庫的建立可以為企業(yè)單位創(chuàng)造更多的經(jīng)濟(jì)效益和社會效益,增強(qiáng)企業(yè)的核心競爭力,擴(kuò)大企業(yè)單位的市場份額,使企業(yè)更穩(wěn)的立足于競爭激烈的市場之上,甚至是處于領(lǐng)頭羊的地位,促進(jìn)國民經(jīng)濟(jì)建設(shè),為人民提供更好的服務(wù)。
數(shù)據(jù)有著很好的增值價值,其他的服務(wù)也可以通過數(shù)據(jù)增值價值得到衍生。所以,加大對數(shù)據(jù)的利用與研究勢在必行。把數(shù)據(jù)當(dāng)中重要的依據(jù)、基礎(chǔ)甚至是紐帶,沿著這個紐帶進(jìn)行研究與利用。將數(shù)據(jù)研究和使用的成果合理的運(yùn)用起來,例如,將其轉(zhuǎn)化為新型的支付方式和消費(fèi)形態(tài),使客戶感受到非同一般的感覺,突破了以往的業(yè)務(wù)系統(tǒng)僅僅專注于自己內(nèi)容的方式,電網(wǎng)的生產(chǎn)效率會得到提高,企業(yè)的管理水平也會因此得到大幅度的改善與提高。
數(shù)據(jù)挖掘論文6
摘 要:高度開放的中國金融市場,特別是中國銀行業(yè)市場受到日趨激烈的國外銀行沖擊和挑戰(zhàn),大多數(shù)銀行企業(yè)都在構(gòu)建以客戶為中心的客戶關(guān)系管理體系,這一經(jīng)營體系理念的構(gòu)建,不僅僅能提高企業(yè)的知名度和顧客的滿意度,而且能提高企業(yè)的經(jīng)濟(jì)效益。但是,隨著網(wǎng)絡(luò)技
關(guān)鍵詞:客戶關(guān)系管理畢業(yè)論文
高度開放的中國金融市場,特別是中國銀行業(yè)市場受到日趨激烈的國外銀行沖擊和挑戰(zhàn),大多數(shù)銀行企業(yè)都在構(gòu)建以客戶為中心的客戶關(guān)系管理體系,這一經(jīng)營體系理念的構(gòu)建,不僅僅能提高企業(yè)的知名度和顧客的滿意度,而且能提高企業(yè)的經(jīng)濟(jì)效益。但是,隨著網(wǎng)絡(luò)技術(shù)和信息技術(shù)的發(fā)展,客戶關(guān)系管理如何能結(jié)合數(shù)據(jù)挖掘技術(shù)和數(shù)據(jù)倉庫技術(shù),增強(qiáng)企業(yè)的核心競爭力已經(jīng)成為企業(yè)亟待解決的問題。因為,企業(yè)的數(shù)據(jù)挖掘技術(shù)的運(yùn)用能夠解決客戶的矛盾,為客戶設(shè)計獨(dú)立的、擁有個性化的數(shù)據(jù)產(chǎn)品和數(shù)據(jù)服務(wù),能夠真正意義上以客戶為核心,防范企業(yè)風(fēng)險,創(chuàng)造企業(yè)財富。
關(guān)鍵詞:客戶關(guān)系管理畢業(yè)論文
一、數(shù)據(jù)挖掘技術(shù)與客戶關(guān)系管理兩者的聯(lián)系
隨著時代的發(fā)展,銀行客戶關(guān)系管理的發(fā)展已經(jīng)越來越依賴數(shù)據(jù)挖掘技術(shù),而數(shù)據(jù)挖掘技術(shù)是在數(shù)據(jù)倉庫技術(shù)的基礎(chǔ)上應(yīng)運(yùn)而生的,兩者有機(jī)的結(jié)合能夠收集和處理大量的客戶數(shù)據(jù),通過數(shù)據(jù)類型與數(shù)據(jù)特征,進(jìn)行整合,挖掘具有特殊意義的潛在客戶和消費(fèi)群體,能夠觀察市場變化趨勢,這樣的技術(shù)在國外的銀行業(yè)的客戶關(guān)系管理廣泛使用。而作為國內(nèi)的銀行企業(yè),受到國外銀行業(yè)市場的大幅度沖擊,顯得有些捉襟見肘,面對大量的數(shù)據(jù)與快速發(fā)展的互聯(lián)網(wǎng)金融體系的沖擊,銀行業(yè)缺乏數(shù)據(jù)分析和存儲功能,往往造成數(shù)據(jù)的流逝,特別是在數(shù)據(jù)的智能預(yù)測與客戶關(guān)系管理還處于初步階段。我國的銀行業(yè)如何能更完善的建立客戶關(guān)系管理體系與數(shù)據(jù)挖掘技術(shù)相互融合,這樣才能使得企業(yè)獲得更強(qiáng)的企業(yè)核心競爭力。
二、數(shù)據(jù)挖掘技術(shù)在企業(yè)客戶關(guān)系管理實(shí)行中存在的問題
現(xiàn)今,我國的金融業(yè)發(fā)展存在著數(shù)據(jù)數(shù)量大,數(shù)據(jù)信息混亂等問題,無法結(jié)合客戶關(guān)系管理的需要,建立統(tǒng)一而行之有效的數(shù)據(jù)歸納,并以客戶為中心實(shí)行客戶關(guān)系管理。
1.客戶信息不健全
在如今的銀行企業(yè),雖然已經(jīng)實(shí)行實(shí)名制戶籍管理制度,但由于實(shí)行的年頭比較短,特別是以前的數(shù)據(jù)匱乏。重點(diǎn)體現(xiàn)在,銀行的客戶信息采集主要是姓名和身份證號碼,而對于客戶的職業(yè)、學(xué)歷等相關(guān)信息一概不知,極大的影響了客戶關(guān)系管理體系的構(gòu)建。另外,數(shù)據(jù)還不能統(tǒng)一和兼容,每個系統(tǒng)都是獨(dú)立的系統(tǒng),比如:信貸系統(tǒng)、儲蓄系統(tǒng)全部分離。這樣存在交叉、就不能掌握出到底擁有多少客戶,特別是那些需要服務(wù)的目標(biāo)客戶,無法享受到銀行給予的高質(zhì)量的優(yōu)質(zhì)服務(wù)。
2.數(shù)據(jù)集中帶來的差異化的憂慮
以客戶為中心的客戶關(guān)系管理體系,是建立在客戶差異化服務(wù)的基礎(chǔ)上的,而作為銀行大多數(shù)以數(shù)據(jù)集中,全部有總行分配,這樣不僅不利于企業(yè)的差異化服務(wù),給顧客提供優(yōu)質(zhì)得到個性化業(yè)務(wù),同時,分行也很難對挖掘潛在客戶和分析客戶成分提供一手的數(shù)據(jù),損失客戶的利益,做到數(shù)據(jù)集中,往往是不明智的選擇。
3.經(jīng)營管理存在弊端
從組織結(jié)構(gòu)上,我國的銀行體系設(shè)置機(jī)構(gòu)龐雜,管理人員與生產(chǎn)服務(wù)人員脫節(jié)現(xiàn)象極其普遍,管理人員不懂業(yè)務(wù),只是一味的`抓市場,而沒有有效的營銷手段,更別說以市場為導(dǎo)向,以客戶為核心,建立客戶關(guān)系管理體系。大多數(shù)的人完全是靠關(guān)系而非真正意義上靠能力,另外,業(yè)務(wù)流程繁瑣,不利于客戶享受更多的星級待遇,這與數(shù)據(jù)發(fā)掘的運(yùn)用背道而馳,很難體現(xiàn)出客戶關(guān)系管理的價值。
三、數(shù)據(jù)挖掘技術(shù)在企業(yè)的應(yīng)用和實(shí)施
如何能更好的利用數(shù)據(jù)挖掘技術(shù)與客戶關(guān)系管理進(jìn)行合理的搭配和結(jié)合是現(xiàn)今我們面臨的最大問題。所有我們對客戶信息進(jìn)行分析,利用模糊聚類分析方法對客戶進(jìn)行分類,通過建立個性化的信息服務(wù)體系,真正意義的提高客戶的價值。
1.優(yōu)化客戶服務(wù)
以客戶為中心提高服務(wù)質(zhì)量是銀行發(fā)展的根源。要利用數(shù)據(jù)挖掘技術(shù)的優(yōu)勢,發(fā)現(xiàn)信貸趨勢,及時掌握客戶的需求,為客戶提高網(wǎng)上服務(wù),網(wǎng)上交易,網(wǎng)上查詢等功能,高度體現(xiàn)互聯(lián)網(wǎng)的作用,動態(tài)挖掘數(shù)據(jù),通過智能化的信貸服務(wù),拓寬銀行業(yè)務(wù)水平,保證客戶的滿意度。
2.利用數(shù)據(jù)挖掘技術(shù)建立多渠道客戶服務(wù)系統(tǒng)
利用數(shù)據(jù)挖掘技術(shù)整合銀行業(yè)務(wù)和營銷環(huán)節(jié)為客戶提供綜合性的服務(wù)。采用不同的渠道實(shí)現(xiàn)信息共享,針對目標(biāo)客戶推薦銀行新產(chǎn)品,拓寬新領(lǐng)域,告別傳統(tǒng)的柜臺服務(wù)體系,實(shí)行互聯(lián)網(wǎng)與柜臺體系相結(jié)合的多渠道服務(wù)媒介體系。優(yōu)化客戶關(guān)系管理理念,推進(jìn)營銷戰(zhàn)略的執(zhí)行。提高企業(yè)的美譽(yù)度。
四、數(shù)據(jù)挖掘技術(shù)是銀行企業(yè)客戶關(guān)系管理體系構(gòu)建的基礎(chǔ)
隨著信息技術(shù)的不斷發(fā)展,網(wǎng)絡(luò)技術(shù)的快速推進(jìn),客戶關(guān)系管理體系要緊跟時代潮流,緊密圍繞客戶為中心,利用信息優(yōu)勢,自動獲取客戶需求,打造出更多的個性化、差異化客戶服務(wù)理念,使得為企業(yè)核心競爭能力得到真正意義的提高。
數(shù)據(jù)挖掘論文7
【摘要】目的:分析HIS數(shù)據(jù)的挖掘與統(tǒng)計對醫(yī)院管理決策的意義。方法:首先對我院的管理人員和臨床一線醫(yī)護(hù)人員進(jìn)行調(diào)查,并對HIS數(shù)據(jù)的挖掘統(tǒng)計實(shí)施前和實(shí)施后的評價進(jìn)行統(tǒng)計,最后記錄各項數(shù)據(jù)結(jié)果。結(jié)果:通過調(diào)查后發(fā)現(xiàn),實(shí)施HIS數(shù)據(jù)的挖掘統(tǒng)計后,管理人員對醫(yī)院管理的評分較比實(shí)施前更高,組間數(shù)據(jù)經(jīng)驗檢驗P<0.05差異具有統(tǒng)計學(xué)意義。比對工作人員對醫(yī)院管理的評分,實(shí)施后較比實(shí)施前更高,組間數(shù)據(jù)經(jīng)驗檢驗P<0.05差異具有統(tǒng)計學(xué)意義。另外,比對實(shí)施前和實(shí)施后的優(yōu)良率,前者低于后者,組間數(shù)據(jù)經(jīng)驗檢驗P<0.05差異具有統(tǒng)計學(xué)意義。結(jié)論:HIS數(shù)據(jù)的挖掘統(tǒng)計可以使醫(yī)院的管理決策得以改善,醫(yī)院整體水平也會明顯提升,可進(jìn)一步實(shí)踐和普及。
【關(guān)鍵詞】HIS數(shù)據(jù)挖掘與統(tǒng)計;醫(yī)院管理決策;意義分析
近年來,醫(yī)院信息系統(tǒng)被廣泛應(yīng)用,同時將諸多歷史重要信息進(jìn)行回顧與收集,這些信息在醫(yī)院日常工作中起著舉足輕重的作用,同時也是醫(yī)院管理決策的重要資源。通常情況下,人們通過分析大量的數(shù)據(jù)信息,對其進(jìn)行整理和歸類,在結(jié)果中找出醫(yī)院經(jīng)營與醫(yī)療業(yè)務(wù)的規(guī)律,在一定程度上對醫(yī)院管理者決策有著重要意義[1]。鑒于此,此研究分析HIS數(shù)據(jù)的挖掘統(tǒng)計的價值,對我院的管理人員和工作人員進(jìn)行調(diào)查,現(xiàn)將具體流程和研究結(jié)果進(jìn)行以下表述。
1對象與方法
1.1基礎(chǔ)信息選擇20xx年5月至20xx年5月的各部門領(lǐng)導(dǎo)和工作人員作為此次研究調(diào)查對象,調(diào)查方式以調(diào)查問卷為主,20xx年5月至20xx年5月期間為HIS數(shù)據(jù)的挖掘統(tǒng)計實(shí)施前,20xx年6月至20xx年5月為HIS數(shù)據(jù)的挖掘統(tǒng)計實(shí)施后。調(diào)查研究人員中,院領(lǐng)導(dǎo)5名,職能科室負(fù)責(zé)人5名,臨床醫(yī)技科室主任6名,臨床醫(yī)技科室護(hù)士長5名,臨床醫(yī)技科室主治醫(yī)師職稱20名,護(hù)理人員30名。1.2方法HIS數(shù)據(jù)的挖掘統(tǒng)計主要流程為:①明確挖掘的最終目的,同時對醫(yī)學(xué)領(lǐng)域和相關(guān)知識經(jīng)驗進(jìn)行掌握。隨后明確需要處理的問題,利用用戶的角度,制定醫(yī)學(xué)數(shù)據(jù)挖掘的最終目的,同時還需將結(jié)論的'判定依據(jù)進(jìn)行擬定。②掌握數(shù)據(jù)挖掘所需的內(nèi)容,同時將醫(yī)院包含對象的基本情況進(jìn)行查閱,將數(shù)據(jù)的初步收集過程予以實(shí)施。在此期間,還需將原始數(shù)據(jù)的實(shí)施情況予以保留,并對數(shù)據(jù)的屬性予以明確[2]。③數(shù)據(jù)的準(zhǔn)備。通常情況下,醫(yī)學(xué)的數(shù)據(jù)較多,且具有復(fù)雜性,因此需事先整理原始數(shù)據(jù),隨后進(jìn)行分析。對數(shù)據(jù)不同種類實(shí)施針對性方法進(jìn)行預(yù)處理,隨后依據(jù)數(shù)據(jù)挖掘的最終目的和自身特征將適宜的模型進(jìn)行選擇,讓數(shù)據(jù)之間進(jìn)行相互轉(zhuǎn)換。④數(shù)據(jù)的挖掘。首先分析數(shù)據(jù),利用科學(xué)合理的算法進(jìn)行,同時該步驟在醫(yī)學(xué)相關(guān)知識的探索中至關(guān)重要。實(shí)施該流程需事先描述相關(guān)概念,隨后采用關(guān)聯(lián)分析進(jìn)行分類和預(yù)測,隨后采用聚類分析和趨勢分析,還可以利用孤立點(diǎn)分析和偏差分析等。值的注意的是,需證實(shí)挖掘的數(shù)據(jù)結(jié)果,讓其合理性得以保證。⑤總結(jié)結(jié)果。首先講述搜索到的醫(yī)學(xué)知識,將其和最初的目標(biāo)進(jìn)行比較,這樣可以保證實(shí)施期間的合理性。⑥知識的同化和具體應(yīng)用。首先整理挖掘到的相關(guān)結(jié)果,并運(yùn)用到HIS醫(yī)學(xué)中,在此期間需進(jìn)行計劃性實(shí)施,并加以控制。1.3判定依據(jù)[3]將管理人員和臨床一線醫(yī)護(hù)人員對醫(yī)院的管理評分進(jìn)行評價。結(jié)果超過90分,表示評價結(jié)果為優(yōu),結(jié)果介于70至89分之間,表示評價結(jié)果為良,結(jié)果低于70分,表示評價結(jié)果為差。1.4數(shù)據(jù)檢驗及分析此次研究中涉及的所有數(shù)據(jù)均選擇(SPSS19.0)進(jìn)行檢驗和分析,各項管理評分以均數(shù)(±)表示,組間行T值檢驗,管理效果以(%)表示,組間行卡方檢驗,組間數(shù)據(jù)經(jīng)驗檢驗P<0.05差異具有統(tǒng)計學(xué)意義。
2實(shí)驗結(jié)果
2.1實(shí)施前和實(shí)施后管理人員對醫(yī)院管理的評價結(jié)果比對實(shí)施前和實(shí)施后不同管理人員對醫(yī)院管理的評價,實(shí)施后的各項評分較比實(shí)施前明顯較高,組間數(shù)據(jù)經(jīng)驗檢驗P<0.05差異具有統(tǒng)計學(xué)意義。2.2臨床工作人員對醫(yī)院管理的評價結(jié)果比對實(shí)施前和實(shí)施后臨床一線醫(yī)護(hù)人員對醫(yī)院管理的評價,實(shí)施后的各項評分較比實(shí)施前明顯較高,組間數(shù)據(jù)經(jīng)驗檢驗P<0.05差異具有統(tǒng)計學(xué)意義。詳情數(shù)據(jù)結(jié)果由表2所示。2.3實(shí)施前和實(shí)施后的管理效果評價結(jié)果實(shí)施前,管理效果評價優(yōu)良率經(jīng)統(tǒng)計后為84.5%,實(shí)施HIS數(shù)據(jù)的挖掘統(tǒng)計后,管理效果評價優(yōu)良率經(jīng)統(tǒng)計后為98.6%,兩組間數(shù)據(jù)經(jīng)驗檢驗P<0.05差異具有統(tǒng)計學(xué)意義。詳情數(shù)據(jù)結(jié)果由表3所示。
3討論
近幾年,HIS系統(tǒng)的應(yīng)運(yùn)而生,對醫(yī)院的管理和工作起到促進(jìn)作用,不僅使醫(yī)院各個崗位的工作效果進(jìn)行提高,同時加強(qiáng)了衛(wèi)生資源的使用水平[4]。與此同時,HIS系統(tǒng)還可以使醫(yī)療差錯的幾率顯著降低,患者的就醫(yī)體檢得以改善,規(guī)范醫(yī)院的各項管理,從而使百姓對醫(yī)院的信任度提升。除此之外,該系統(tǒng)的運(yùn)用可以優(yōu)化工作流程,加大醫(yī)院管理力度的同時提升管理水平,從而提高醫(yī)院核心競爭力[5]。決策系統(tǒng)屬于全新的管理系統(tǒng),其主要是解決半結(jié)構(gòu)化決策問題,提升管理者的決策能力,使決策的質(zhì)量進(jìn)一步加強(qiáng),將信息資源充分利用后將醫(yī)院的整體管理水平得以改善[6]。從此次數(shù)據(jù)結(jié)果可以看出,通過實(shí)施HIS數(shù)據(jù)的挖掘統(tǒng)計后,不同管理人員和臨床一線醫(yī)護(hù)人員的各項評分較比實(shí)施前更高,組間數(shù)據(jù)經(jīng)驗檢驗P<0.05差異具有統(tǒng)計學(xué)意義。這一研究結(jié)果說明,通過實(shí)施該系統(tǒng)后,可以將服務(wù)措施變得更加針對性,醫(yī)院的組織結(jié)果也可以進(jìn)行優(yōu)化。與此同時,還可以使醫(yī)院的工作效率進(jìn)行提升,有助于和諧醫(yī)患關(guān)系的構(gòu)建。另外,從管理效果評價結(jié)果來看,實(shí)施后的優(yōu)良率98.6%明顯優(yōu)于實(shí)施前的84.5%,這一研究結(jié)果充分體現(xiàn)了HIS數(shù)據(jù)的挖掘統(tǒng)計的應(yīng)用可行性和優(yōu)勢。綜上可知,HIS數(shù)據(jù)的挖掘統(tǒng)計可以使醫(yī)院的管理決策得以改善,醫(yī)院水平也會明顯提升,具有較高的實(shí)踐意義。
參考文獻(xiàn)
[1]于樹新,劉素溫,鄒向坤等.HIS數(shù)據(jù)的挖掘統(tǒng)計對醫(yī)院管理決策的意義[J].中國醫(yī)藥導(dǎo)報,20xx(25):141-143,159.
[2]王瑞.基于HIS的門診醫(yī)療數(shù)據(jù)倉庫構(gòu)建及多維分析和挖掘[D].南開大學(xué),20xx.
[3]吳騁,羅虹,何倩等.對醫(yī)療數(shù)據(jù)為醫(yī)院管理與臨床診療提供支持的研究[J].中國數(shù)字醫(yī)學(xué),20xx,07(2):41-43.
[4]呂學(xué)明.數(shù)據(jù)挖掘在醫(yī)務(wù)管理中的應(yīng)用[D].山西大學(xué),20xx.
[5]郭慶,谷巖.數(shù)據(jù)挖掘技術(shù)在醫(yī)院信息系統(tǒng)的統(tǒng)計分析與決策中的應(yīng)用[J].中國醫(yī)療設(shè)備,20xx,25(5):64-67.
[6]沈明霞,林雨芳,章光華等.中醫(yī)院HIS系統(tǒng)數(shù)據(jù)的挖掘和應(yīng)用[J].中國數(shù)字醫(yī)學(xué),20xx,06(4):81-82,85.
作者:陳帥 單位:滄州市人民醫(yī)院醫(yī)務(wù)部
數(shù)據(jù)挖掘論文8
摘要:隨著計算機(jī)信息網(wǎng)絡(luò)的快速發(fā)展,數(shù)據(jù)挖掘在軟件工程中的地位越來越突出。軟件工程數(shù)據(jù)挖掘是在冗余的數(shù)據(jù)中發(fā)現(xiàn)有用的數(shù)據(jù),從而得到更好地利用。社會的發(fā)展,科技的進(jìn)步使得社會進(jìn)入了網(wǎng)絡(luò)信息熱時代,隨之計算機(jī)軟件也不斷增加,人們獲取的信息大部分是人手動操作軟件獲得的,這樣的信息量具有一定的局限性。因此,為了滿足當(dāng)今社會的需要,必須借助于軟件工程數(shù)據(jù)挖掘的手段。
關(guān)鍵詞:軟件工程;數(shù)據(jù)挖掘;研究現(xiàn)狀
中圖分類號:TP311 文獻(xiàn)標(biāo)識碼:A 文章編號:1009-3044(20xx)26-0020-02
利用數(shù)據(jù)挖掘技術(shù)對大量冗余的數(shù)據(jù)進(jìn)行篩選從而得到少量精確的信息。冗余的數(shù)據(jù)是指既包含有用信息有包含無用信息,利用數(shù)據(jù)挖掘技術(shù)剔除掉多余的無用信息留下有用信息,這樣既可以提高手機(jī)數(shù)據(jù)的質(zhì)量又可以提高工作效率。所以,數(shù)據(jù)挖掘技術(shù)在當(dāng)前的軟件工程中起著越來越重要的作用。數(shù)據(jù)挖掘技術(shù)提取、篩選、分析和整理數(shù)據(jù)比人工操作軟件獲得的數(shù)據(jù)更精確更高效。同時,使用這種技術(shù)為軟件開發(fā)者提供了有利的條件,它可以給軟件開發(fā)者提供一些對其開發(fā)軟件有用的信息。軟件開發(fā)者想要更有效率的開發(fā)出更高質(zhì)量的軟件,就必須獲得更多的更有用的數(shù)據(jù),而想要收集和整理出有用數(shù)據(jù)就需要借助數(shù)據(jù)挖掘技術(shù)來實(shí)現(xiàn),進(jìn)而提高工作效率。
1 數(shù)據(jù)挖掘的基本概述
軟件工程數(shù)據(jù)主要是指開發(fā)軟件過程中所涉及的各類數(shù)據(jù),如需求分析、可行性分析、設(shè)計等文檔,開發(fā)商通信、軟件注釋、代碼、版本、測試用例和結(jié)果、使用說明、用戶反饋等信息數(shù)據(jù),一般情況下其是軟件開發(fā)者獲取軟件數(shù)據(jù)的唯一來源;而數(shù)據(jù)挖掘是指在海量數(shù)據(jù)中集中發(fā)現(xiàn)有用知識或信息的過程。
軟件工程數(shù)據(jù)挖掘的工作原理 主要包括數(shù)據(jù)預(yù)處理階段、挖掘階段以及評估階段三個方面。在挖掘階段主要是運(yùn)用分類、統(tǒng)計、關(guān)聯(lián)、聚類、異常檢測等一系列算法的過程。在評估階段數(shù)據(jù)挖掘的意義主要在于其結(jié)果應(yīng)易被用戶理解,其結(jié)果評估主要有兩個環(huán)節(jié)分別是模式過濾和模式表示。
數(shù)據(jù)挖掘在計算機(jī)軟件工程中的研究相當(dāng)多,它是分析數(shù)據(jù)的一種新穎方式。目前,隨著社會工作的復(fù)雜度,需要更加完善的軟件,因此對于軟件代碼的數(shù)量也在急劇增加進(jìn)而導(dǎo)致了數(shù)據(jù)量的快速增長。而傳統(tǒng)的`數(shù)據(jù)計算方式已經(jīng)不能滿足目前對于大量數(shù)據(jù)進(jìn)行分析的要求,所以,研究者希望能夠發(fā)掘出一種新的數(shù)據(jù)分析方式更高效的整理出有用的數(shù)據(jù)信息。軟件開發(fā)中會積累大量的數(shù)據(jù),比如說文本數(shù)據(jù),測試數(shù)據(jù),用戶信息數(shù)據(jù)以及用戶體驗反饋數(shù)據(jù)等等,軟件開發(fā)者為了開發(fā)出更好的軟件就必須分析和整理這些數(shù)據(jù)。但是,目前軟件工程開發(fā)的軟件越來越大,其數(shù)據(jù)越累越復(fù)雜對于數(shù)據(jù)的處理已經(jīng)超出了人工處理的能力的范疇,所以說繼續(xù)使用傳統(tǒng)數(shù)據(jù)處理的方式來收集,整理和分析數(shù)據(jù)已經(jīng)不可能實(shí)現(xiàn)。因此,推動了人們對于新的數(shù)據(jù)處理方式的研究,所以才提出了軟件工程數(shù)據(jù)挖掘技術(shù)。
2 軟件工程數(shù)據(jù)挖掘的應(yīng)用
隨著計算機(jī)軟件工程的發(fā)展,可以發(fā)現(xiàn)傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)具有很多的不足,存在一定的缺陷。傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)的定位系統(tǒng)不完善,定位不精確,并沒有體現(xiàn)出數(shù)據(jù)挖掘技術(shù)的高性能,它不足以滿足當(dāng)代對于數(shù)據(jù)處理的要求,因此需要對傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)進(jìn)行改進(jìn)和完善,這是我們目前的首要任務(wù)之一。為了迎合現(xiàn)代化網(wǎng)絡(luò)信息技術(shù)的快速發(fā)展,需要發(fā)掘出新的數(shù)據(jù)處理模式,就是在這樣的背景條件下,誕生了軟件工程數(shù)據(jù)挖掘技術(shù)。相比于存在很多缺陷與不足的傳統(tǒng)軟件工程而言,軟件工程數(shù)據(jù)挖掘技術(shù)更加簡單、方便、高效以及精確。軟件工程數(shù)據(jù)挖掘技術(shù)并不需要特定的技術(shù)平臺,體現(xiàn)了其普適性。當(dāng)前,我國已經(jīng)開始深入的研究軟件工程數(shù)據(jù)挖掘技術(shù),但是,仍然需要更深的開發(fā)其性能以便更好地滿足社會的需求。
3 軟件工程數(shù)據(jù)挖掘面臨的挑戰(zhàn)
軟件工程數(shù)據(jù)相比于普通數(shù)據(jù)更加復(fù)雜,所以對于軟件工程數(shù)據(jù)進(jìn)行處理具有很大的挑戰(zhàn)性。處理軟件工程的大量數(shù)據(jù)具有:軟件工程數(shù)據(jù)復(fù)雜性,軟件工程的數(shù)據(jù)處理非傳統(tǒng)以及需要嚴(yán)格精確的軟件工程數(shù)據(jù)的分析結(jié)果等三方面的困難。
3.1 對數(shù)據(jù)復(fù)雜性的分析
軟件工程數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。軟件工程中所產(chǎn)生的缺陷報告以及各種版本信息構(gòu)成了結(jié)構(gòu)化數(shù)據(jù)信息;而軟件工程處理過程中所產(chǎn)生的代碼信息和文本文檔信息構(gòu)成了非結(jié)構(gòu)化數(shù)據(jù)信息。由于這兩類數(shù)據(jù)包含的具體內(nèi)容不同,所以需要分別處理這兩種數(shù)據(jù),需要使用不同的算法對他們進(jìn)行處理。雖然說需要不同方式處理這兩種數(shù)據(jù)但是并不表示這兩種數(shù)據(jù)之間沒有任何聯(lián)系,事實(shí)上,它們之間存在著重要的對應(yīng)關(guān)系。例如:代碼中存在著缺陷報告,版本信息中存在著對應(yīng)的文檔信息,由于它們之間存在著這樣的對應(yīng)關(guān)系,所以使得人們不能很好地對其進(jìn)行整體分析,這就促使了人們開發(fā)出一種新的算法,新的數(shù)據(jù)分析技術(shù)能夠同時將結(jié)構(gòu)化信息和非結(jié)構(gòu)化信息這兩種對應(yīng)數(shù)據(jù)一起挖掘出來。
3.2 對數(shù)據(jù)處理非傳統(tǒng)的分析
分析和評估軟件工程數(shù)據(jù)挖掘出來的信息,這是數(shù)據(jù)挖掘過程的最后一步。客戶是軟件工程數(shù)據(jù)挖掘數(shù)據(jù)處理的最后宿體,軟件開發(fā)者需要對最終挖掘出來的數(shù)據(jù)進(jìn)行轉(zhuǎn)變,格式轉(zhuǎn)變是為了滿足廣大客戶對于數(shù)據(jù)不同的要求。但是,由于需要對數(shù)據(jù)進(jìn)行格式轉(zhuǎn)變,相當(dāng)于增加了一定的工作量,那么軟件工程數(shù)據(jù)挖掘的效率則會被大大降低。對于客戶而言,他們需要的信息各種各樣并不單一,比如說客戶可能會同時需要具體的例子和編程代碼等;或者說需要具體例子和缺陷報告等;或者三者皆需要。由此可見,我們?nèi)匀恍枰倪M(jìn)和完善軟件工程數(shù)據(jù)挖掘技術(shù)來提高其效率。怎樣才能做到讓客戶得到滿意的數(shù)據(jù)挖掘結(jié)果呢?那么就需要高效的數(shù)據(jù)挖掘技術(shù)將各類信息進(jìn)行歸納總結(jié),改變其格式。這樣的技術(shù),不僅僅可以滿足客戶需求而且還可以使軟件開發(fā)者從中得到更大的利益。
3.3 對數(shù)據(jù)挖掘結(jié)果好壞的評價標(biāo)準(zhǔn)
對于傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)而言,它也有一套自己的對于數(shù)據(jù)結(jié)果處理好壞的分析標(biāo)準(zhǔn),而這個標(biāo)準(zhǔn)對于傳統(tǒng)數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)處理的分析較準(zhǔn)確。但是,在當(dāng)前的軟件工程所要處理的數(shù)據(jù)量很大,傳統(tǒng)的評價標(biāo)準(zhǔn)已經(jīng)不能滿足現(xiàn)在的數(shù)據(jù)分析要求;使用不同的數(shù)據(jù)結(jié)果評價標(biāo)準(zhǔn)來評判不同的數(shù)據(jù)挖掘結(jié)果。然而不同的評價標(biāo)準(zhǔn)之間的聯(lián)系并不緊密,因此就需要開發(fā)者針對不同的數(shù)據(jù)類型做出不同的評價分析標(biāo)準(zhǔn)以便滿足客戶需求。想要對數(shù)據(jù)分析結(jié)果是否準(zhǔn)確,數(shù)據(jù)挖掘的信息是否合理等等這些不同的問題進(jìn)行更加深刻的了解,就要求開發(fā)者有獨(dú)特的見解,對于數(shù)據(jù)結(jié)果是否精確有一定的判斷能力。總之,獲取準(zhǔn)確的信息就是軟件工程數(shù)據(jù)挖掘的目的。所以,最后獲得的數(shù)據(jù)是否滿足要求就是評判軟件工程數(shù)據(jù)挖掘結(jié)果是否完美的標(biāo)準(zhǔn)。endprint
4 對軟件工程數(shù)據(jù)挖掘應(yīng)用進(jìn)行分析
4.1 對軟件數(shù)據(jù)挖掘技術(shù)進(jìn)行分析
在軟件開發(fā)的過程中,數(shù)據(jù)挖掘技術(shù)包括兩個方面:(1)程序編寫;(2)程序成果。在這個過程中,程序結(jié)構(gòu)和程序功能技術(shù)的主要作用就是檢索出有效的信息。提升信息的有效性需要聯(lián)系到客戶的實(shí)際需要,同時也需要對程序編寫過程進(jìn)行智能化培訓(xùn)。將調(diào)用、重載和多重繼承等關(guān)系家合起來進(jìn)行有效的記錄各種相關(guān)信息,重視靜態(tài)規(guī)則的同時利用遞歸測試的方式來分配工作,從而更有效的掌握關(guān)聯(lián)度之間的可信性。
4.2 做好軟件維護(hù)中的軟件工程數(shù)據(jù)挖掘工作
在軟件維護(hù)的過程中,軟件修復(fù)和軟件改善工作依賴于數(shù)據(jù)挖掘技術(shù)。數(shù)據(jù)挖掘技術(shù)在軟件缺陷以及軟件結(jié)構(gòu)等也起到了重要的作用。軟件修復(fù)即維護(hù)者通過依據(jù)缺陷分派進(jìn)行有效的評估并改善缺陷程序進(jìn)而確定修復(fù)級別或者維護(hù)者可以選擇缺陷修復(fù)方式,無論哪種方式最終目的都是進(jìn)行軟件修復(fù)來保證數(shù)據(jù)挖掘的高效性。缺陷分派即將缺陷轉(zhuǎn)化為文本類型,采取有效措施來進(jìn)行修復(fù)。但是,這樣的方式它的實(shí)際準(zhǔn)確率并不高,因而需要利用強(qiáng)化檢測來完善缺陷報告技術(shù)。
4.3 注重高性能數(shù)據(jù)挖掘技術(shù)開發(fā)工作
數(shù)據(jù)挖掘技術(shù)體現(xiàn)在軟件開發(fā)工作中的創(chuàng)新性不可或缺,在實(shí)際的工作過程中,目前的軟件工程數(shù)據(jù)挖掘更加重視兩個工作:(1)規(guī)則分析方式;(2)項目檢索工作。總而言之,想要高效快速地尋找病毒,并對其進(jìn)行全方位分析和評估得到準(zhǔn)確的病毒數(shù)據(jù)需要高性能數(shù)據(jù)挖掘技術(shù)。只有提升數(shù)據(jù)分析的可行性,提升軟件開發(fā)安全性能,才能更好地實(shí)現(xiàn)軟件工程的良好發(fā)展。
5 總結(jié)
綜上所述,數(shù)據(jù)挖掘技術(shù)的應(yīng)用非常廣泛,比如說分析代碼、軟件故障檢測以及軟件項目管理等三個方面應(yīng)用較多。值得關(guān)注的是,當(dāng)前對于數(shù)據(jù)挖掘技術(shù)的研究還不夠成熟。因此,研究者需要對軟件工程數(shù)據(jù)挖掘技術(shù)進(jìn)行深入的研究,從而能夠促進(jìn)軟件更好地開發(fā)和管理。相信在不久的將來,我們一定可以在數(shù)據(jù)挖掘方面取得非常好的優(yōu)化效果。
參考文獻(xiàn):
[1] 江義晟.軟件工程數(shù)據(jù)挖掘研究進(jìn)展[J].電子技術(shù)與軟件工程,20xx(22).
[2] 胡金萍.探析軟件工程數(shù)據(jù)挖掘研究進(jìn)展[J].電腦知識與技術(shù),20xx(34).
[3] 馬保平.關(guān)于對軟件工程中的數(shù)據(jù)挖掘技術(shù)的探討[J].電子技術(shù)與軟件工程,20xx(19).
[4] 徐琳,王寧.數(shù)據(jù)挖掘技術(shù)在軟件工程中的應(yīng)用分析[J].數(shù)字通信世界,20xx(8).
數(shù)據(jù)挖掘論文9
1電子商務(wù)中的數(shù)據(jù)挖掘簡介
電子商務(wù)中的數(shù)據(jù)挖掘即Web挖掘,是利用數(shù)據(jù)挖掘技術(shù)從www的資源(即Web文檔)和行為(即Web服務(wù))中自動發(fā)現(xiàn)并提取感興趣的、有用的模式和隱含的信息,它是一項綜合技術(shù),涉及到Internet技術(shù)學(xué)、人工智能等多個領(lǐng)域。當(dāng)電子商務(wù)在企業(yè)中得到應(yīng)用時,企業(yè)信息系統(tǒng)將產(chǎn)生大量數(shù)據(jù),并且迫切需要將這些數(shù)據(jù)轉(zhuǎn)換成有用的信息,為企業(yè)創(chuàng)造更多潛在的利潤,數(shù)據(jù)挖掘概念就是從這樣的商業(yè)角度開發(fā)出來的。
2Web數(shù)據(jù)挖掘的流程
Web數(shù)據(jù)挖掘是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理,從中提取商業(yè)決策的關(guān)鍵性數(shù)據(jù),可以使企業(yè)把數(shù)據(jù)轉(zhuǎn)化為有用的信息幫助決策,從而在市場競爭中獲得優(yōu)勢地位。在電子商務(wù)環(huán)境下,Web數(shù)據(jù)挖掘主要分為以下幾步:(1)數(shù)據(jù)收集。首先數(shù)據(jù)收集主要針對web數(shù)據(jù)中的服務(wù)器數(shù)據(jù)、用戶數(shù)據(jù)。其中服務(wù)器數(shù)據(jù)是Web挖掘中的主要對象。服務(wù)器中承載著用戶訪問時產(chǎn)生的對應(yīng)的服務(wù)數(shù)據(jù),其中包括了:日志文件、cookie文件、數(shù)據(jù)流。將這些數(shù)據(jù)進(jìn)行初步收集,再針對這些數(shù)據(jù)進(jìn)行深度分析挖掘。(2)數(shù)據(jù)選擇和預(yù)處理。通過數(shù)據(jù)收集將數(shù)據(jù)進(jìn)行分類,根據(jù)所需的信息主題對收集的數(shù)據(jù)進(jìn)行選擇,通過選擇相關(guān)的數(shù)據(jù)項縮小數(shù)據(jù)處理的范圍,挑選其中的有效數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理能夠提高挖掘效率,為之后的`數(shù)據(jù)分析提供有效的數(shù)據(jù)。Web數(shù)據(jù)中大多數(shù)都是半結(jié)構(gòu)或非結(jié)構(gòu)化的,所以對web數(shù)據(jù)進(jìn)行直接處理是不可行的。數(shù)據(jù)預(yù)處理能夠把半結(jié)構(gòu)或非結(jié)構(gòu)化的數(shù)據(jù)處理成標(biāo)準(zhǔn)的數(shù)據(jù)集方便后期處理。(3)模式發(fā)現(xiàn)。模式發(fā)現(xiàn)是運(yùn)用各種方法,發(fā)現(xiàn)數(shù)據(jù)中隱藏的模式和規(guī)則。通過模式發(fā)現(xiàn)技術(shù)對預(yù)處理之后的數(shù)據(jù)進(jìn)行處理得到相應(yīng)的事務(wù)數(shù)據(jù)庫,利用模式發(fā)現(xiàn)對數(shù)據(jù)進(jìn)行初步挖掘,將預(yù)處理下的事務(wù)數(shù)據(jù)轉(zhuǎn)換成可被挖掘的存儲方式,通過數(shù)據(jù)挖掘模式算法對其中有效的、新奇的、有用的及最終可以理解的信息和知識進(jìn)行挖掘與總結(jié)。(4)模式分析。模式分析主要是采用合適的技術(shù)和工具,對挖掘結(jié)果進(jìn)行模式的分析,其目的是根據(jù)實(shí)際應(yīng)用,通過觀察和選擇,把發(fā)現(xiàn)的統(tǒng)計結(jié)果、規(guī)則和模型轉(zhuǎn)換為知識,經(jīng)過篩選后來指導(dǎo)實(shí)際的電子商務(wù)行為。
3電子商務(wù)中的數(shù)據(jù)挖掘技術(shù)
(1)路徑分析技術(shù)。路徑分析主要是對web訪問路徑進(jìn)行搜索分析,對于頻繁訪問的路徑進(jìn)行總結(jié)。利用Web服務(wù)器的日志文件進(jìn)行數(shù)據(jù)分析,對訪客次數(shù)以及對應(yīng)路徑進(jìn)行分析挖掘出頻繁訪問路徑。通過數(shù)據(jù)可以分析出大多數(shù)訪問者的共同喜好,從而能夠幫助電子商務(wù)改進(jìn)web設(shè)計以及提供更好更符合客戶的服務(wù)。(2)關(guān)聯(lián)分析技術(shù)。關(guān)聯(lián)技術(shù)是通過對數(shù)據(jù)進(jìn)行分析尋找出隱藏的數(shù)據(jù)聯(lián)系,關(guān)聯(lián)分析可是對單純的web數(shù)據(jù)與對應(yīng)的電子商務(wù)進(jìn)行聯(lián)系。從而可以在web數(shù)據(jù)挖掘中得到該商務(wù)網(wǎng)站的關(guān)聯(lián)原則和信息。從而更好的使得客戶和網(wǎng)站數(shù)據(jù)有之間的相互聯(lián)系。(3)聚類分析技術(shù)。聚類分析是根據(jù)對象進(jìn)行數(shù)據(jù)分析了之后,對數(shù)據(jù)的信息和客戶對象之間的關(guān)系進(jìn)行總結(jié)。對數(shù)據(jù)對象進(jìn)行分組成為多個類或簇,按照數(shù)據(jù)對象之間的相似度進(jìn)行劃分。(4)分類分析技術(shù)。分類分析是通過對數(shù)據(jù)庫中樣本數(shù)據(jù)的分析,對每個類別做出準(zhǔn)確的描述或分析模型或挖掘分類規(guī)則。分類分析是電子商務(wù)中一個非常重要的任務(wù),也是應(yīng)用最廣泛的技術(shù)。通過分類自動推導(dǎo)給定數(shù)據(jù)的廣義描述,以便對未來數(shù)據(jù)進(jìn)行預(yù)測。
4Web數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用
(1)制定優(yōu)質(zhì)個性化服務(wù)。電子商務(wù)的發(fā)展給了人們更多元化的選擇,同時,電商網(wǎng)站經(jīng)營的商品也在不斷增加,在這樣多元化的網(wǎng)站結(jié)構(gòu)中想要快速找到符合自己的商品必定會是一個繁瑣的過程。然而通過數(shù)據(jù)挖掘?qū)g覽量、購買力、搜索強(qiáng)度進(jìn)行合理應(yīng)用,針對數(shù)據(jù)分析結(jié)果對網(wǎng)站進(jìn)行制定優(yōu)質(zhì)的個性化服務(wù)設(shè)計,更合理的安排網(wǎng)站中的物品擺放,從而為用戶提供更個性化的服務(wù)。(2)優(yōu)化站點(diǎn)設(shè)計。Web設(shè)計者可通過挖掘用戶的Web日志文件,對Web站點(diǎn)的結(jié)構(gòu)和外觀進(jìn)行設(shè)計和修改。網(wǎng)站網(wǎng)頁的內(nèi)容設(shè)置直接影響網(wǎng)站的訪問效率。網(wǎng)站管理員按照大多數(shù)訪問者的瀏覽模式對網(wǎng)站進(jìn)行組織,盡量為大多數(shù)訪問者的瀏覽提供方便,給客戶留下好的印象,增加下次訪問的機(jī)率。(3)聚類客戶。在電子商務(wù)中,聚類客戶就是主要的運(yùn)營策略,可以對客戶瀏覽的信息等內(nèi)容出發(fā),對客戶的共性進(jìn)行分類,從而讓電子商務(wù)的運(yùn)營者能更加全面的了解客戶的需要,對網(wǎng)頁的內(nèi)容進(jìn)行適當(dāng)?shù)恼{(diào)整,并在多方面滿足客戶的內(nèi)在需要,盡最大限度的為客戶提供優(yōu)質(zhì)的、合適的服務(wù)。(4)營銷效益分析。利用web數(shù)據(jù)挖掘?qū)ι唐吩L問和銷售情況進(jìn)行有效分析,這樣能夠確定一些營銷及消費(fèi)的生命周期。再者結(jié)合目前的市場變化,針對不同的產(chǎn)品進(jìn)行定制獨(dú)特的營銷策略。數(shù)據(jù)挖掘能夠有助于提高電商的營銷效益。
5結(jié)語
綜上所述,web數(shù)據(jù)挖掘在電子商務(wù)的應(yīng)用越來越廣泛,web數(shù)據(jù)挖掘能夠在海量數(shù)據(jù)里挖掘出有用的信息。通過數(shù)據(jù)處理把握客戶動態(tài)、追蹤市場變化,在激烈的市場競爭中,做出正確的決策。Web數(shù)據(jù)挖掘在電子商務(wù)領(lǐng)域中一定會有廣闊的應(yīng)用前景,它將帶領(lǐng)電子商務(wù)系統(tǒng)走向更加智能化、使客戶服務(wù)走向更加個性化。
參考文獻(xiàn):
[1]袁鴻雁.Web數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用研究[J].電腦與電信,20xx(3):23~24.
[2]葉小榮.WEB數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用研究[J].北京電力高等專科學(xué)校學(xué)報,20xx.
[3]馬宗亞,張會彥.Web數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用研究[J].現(xiàn)代經(jīng)濟(jì)信息,20xx(6X):395.
[4]邰宇.Web數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用研究[J].中國新技術(shù)新產(chǎn)品,20xx(2):21.
數(shù)據(jù)挖掘論文10
[摘 要]目前,隨著現(xiàn)代科技的發(fā)展,互聯(lián)網(wǎng)已成為當(dāng)代主流,互聯(lián)網(wǎng)技術(shù)的應(yīng)用已經(jīng)是任何一個國家所不能脫離的,經(jīng)濟(jì)全球化已成為一個必然的趨勢,在這樣的一個大數(shù)據(jù)時代,人民對信息的獲取需求呈直線上升的狀態(tài)。21世紀(jì)作為一個信息時代,網(wǎng)絡(luò)信息的安全防范也顯得尤為重要,而Web數(shù)據(jù)的數(shù)據(jù)技術(shù),對于網(wǎng)絡(luò)信息安全防范來說,是一個新的技術(shù)運(yùn)用。本文從Web數(shù)據(jù)挖掘技術(shù)的基本概述入手,分析我國企業(yè)在網(wǎng)絡(luò)信息安全方面存在的問題,最后提出將網(wǎng)絡(luò)信息安全防范與Web數(shù)據(jù)挖掘技術(shù)進(jìn)行整合運(yùn)用。
[關(guān)鍵詞]Web數(shù)據(jù)挖掘技術(shù);網(wǎng)絡(luò)信息;安全防范
doi:10.3969/j.issn.1673 - 0194.20xx.22.091
[中圖分類號]TP393 [文獻(xiàn)標(biāo)識碼]A [文章編號]1673-0194(20xx)22-0-02
引 言
世界是發(fā)展的,事物是不斷變化的,21世紀(jì)是一個大數(shù)據(jù)時代,互聯(lián)網(wǎng)技術(shù)顯得越來越重要。在科技發(fā)展的同時,互聯(lián)網(wǎng)也在家家戶戶普及,然而網(wǎng)絡(luò)安全問題卻隨之而來,人們在運(yùn)用科技時也在擔(dān)心網(wǎng)絡(luò)技術(shù)的安全性。鑒于此,本文探討利用Web數(shù)據(jù)挖掘技術(shù)來控制網(wǎng)絡(luò)安全,以提高網(wǎng)絡(luò)信息安全度。
1 Web數(shù)據(jù)挖掘技術(shù)概述
Web使用記錄挖掘方式是挖掘網(wǎng)絡(luò)上的瀏覽記錄,然后進(jìn)行分析,同時還可以獲取其他企業(yè)的信息。通過使用Web數(shù)據(jù)挖掘技術(shù),企業(yè)可以進(jìn)行復(fù)雜的操作,然后從網(wǎng)頁瀏覽記錄分析出自身企業(yè)的受關(guān)注度,并了解同行競爭企業(yè)的詳細(xì)信息,尋找自身的不足。
1.1 Web數(shù)據(jù)挖掘技術(shù)的含義
Web數(shù)據(jù)挖掘技術(shù),指的是通過自身的技術(shù),在獲取網(wǎng)上資源的同時,尋找到企業(yè)感興趣的信息資料。圖1為Web數(shù)據(jù)發(fā)掘技術(shù)工作流程。
Web數(shù)據(jù)發(fā)掘技術(shù)可以涉及多個領(lǐng)域,通過多種數(shù)據(jù)挖掘方式,為企業(yè)找到有用的`信息資源。整體來說,Web挖掘技術(shù)有兩種類型,一是建立在人工智能模型的基礎(chǔ)上來實(shí)現(xiàn),類似于決策樹、分類等;二是建立在統(tǒng)計模型基礎(chǔ)上來實(shí)現(xiàn),類似于神經(jīng)網(wǎng)絡(luò)、自然計算法等。
1.2 Web數(shù)據(jù)挖掘技術(shù)的兩種方式
Web數(shù)據(jù)挖掘技術(shù)整體上來說有兩種方式,分別為內(nèi)容挖掘和使用記錄挖掘。Web內(nèi)容挖掘指的是企業(yè)可以通過Web挖掘技術(shù),自己從網(wǎng)上尋找對企業(yè)有用的信息資源,同時對后臺設(shè)置進(jìn)行監(jiān)控,減少某些重要交易內(nèi)容的丟失、泄露。企業(yè)還可以通過Web挖掘技術(shù),查詢某些用戶的操作記錄,對企業(yè)的網(wǎng)絡(luò)信息安全進(jìn)行檢查審核,從而降低企業(yè)信息被不法分子竊取的風(fēng)險。由于其他企業(yè)也有同樣的Web數(shù)據(jù)挖掘技術(shù),因此,企業(yè)也不能深入地去探索同行企業(yè)的內(nèi)部信息,但其通過該技術(shù),可以分析其他企業(yè)的基本信息資源,然后整合出對自身有用的資源,從而制定企業(yè)市場戰(zhàn)略。
2 我國企業(yè)在網(wǎng)絡(luò)信息安全方面存在的問題
目前,科技的發(fā)展,使全球的政治、經(jīng)濟(jì)一體化趨勢越來越明顯,互聯(lián)網(wǎng)的進(jìn)步也使國家企業(yè)面臨著更多的挑戰(zhàn)。我國企業(yè)在網(wǎng)絡(luò)信息安全方面存在的問題也逐步顯現(xiàn),而網(wǎng)絡(luò)信息安全技術(shù)人才緊缺是較為明顯的一個問題。
2.1 人才緊缺問題
21世紀(jì)是一個互聯(lián)網(wǎng)的世紀(jì),我國目前正在積極地吸收、引進(jìn)人才,同時也在不斷地走出去,各行各業(yè)面臨的壓力也在逐漸變大,要想在快速發(fā)展的世界潮流中占據(jù)一席之地,我國必須積極發(fā)展自己的科技產(chǎn)業(yè)。目前,我國的計算機(jī)信息技術(shù)水平,在總體上還落后于其他很多國家,而在該方面的人才緊缺問題,是目前一個很明顯的現(xiàn)象。我國在該領(lǐng)域常常要引進(jìn)國外技術(shù),受制于人,這也就間接地將自己的弊端暴露于人前,因此,我國要積極培養(yǎng)具有計算機(jī)網(wǎng)絡(luò)技術(shù)的高端人員,從而促進(jìn)該領(lǐng)域不斷實(shí)現(xiàn)創(chuàng)新。
2.2 自身安全技術(shù)漏洞問題
除了人才緊缺,我國的網(wǎng)絡(luò)產(chǎn)品自身還存在許多的安全技術(shù)漏洞。從近幾年的市場經(jīng)濟(jì)發(fā)展現(xiàn)狀來看,我國很多的電子產(chǎn)品被國外壟斷,如蘋果、微軟等高端電子產(chǎn)品,在我國占有很大的市場份額。我國要想重新將自己的電子產(chǎn)品推向市場,就目前的形勢來看,還需要很大的努力,國民崇尚國外產(chǎn)品,不是為了標(biāo)榜自己的地位,更多的是國外產(chǎn)品的性能確實(shí)比我國的要好。因此,通過我國網(wǎng)絡(luò)產(chǎn)品自身存在的安全技術(shù)漏洞可以看出,我國在網(wǎng)絡(luò)安全技術(shù)方面存在許多的不足。
3 網(wǎng)絡(luò)信息安全防范與Web數(shù)據(jù)挖掘技術(shù)的整合
近幾年,網(wǎng)絡(luò)信息安全問題一直是國民較為關(guān)注的一個話題,我國也在該方面加大了防范力度。國家在發(fā)展創(chuàng)新互聯(lián)網(wǎng)技術(shù)的同時,也不能忽略其安全問題。網(wǎng)絡(luò)信息安全,關(guān)乎我國企業(yè)的發(fā)展,是企業(yè)重要資料不外漏的重要保護(hù)屏障,本文將網(wǎng)絡(luò)信息安全防范與Web數(shù)據(jù)挖掘技術(shù)進(jìn)行整合(見圖2),旨在提高網(wǎng)絡(luò)信息環(huán)境的安全度,提高我國網(wǎng)絡(luò)信息安全防范能力。
本文初探Web數(shù)據(jù)挖掘技術(shù)與網(wǎng)絡(luò)信息安全防范的整合,將分別從4個方面來提高我國的網(wǎng)絡(luò)信息安全性能。
首先,將存在于網(wǎng)絡(luò)數(shù)據(jù)間的關(guān)聯(lián)尋找出來,然后整合交給企業(yè)進(jìn)行分析,企業(yè)通過這些關(guān)聯(lián)數(shù)據(jù),分析提煉出對自己企業(yè)有用的信息,繼而制定企業(yè)戰(zhàn)略,防范風(fēng)險。
其次,使用Web數(shù)據(jù)挖掘技術(shù)對網(wǎng)絡(luò)信息進(jìn)行分類分析。企業(yè)應(yīng)將所有的信息進(jìn)行綜合,然后按照一定的指標(biāo)分出類別,并對這些不同類別的信息進(jìn)行整理,方便后續(xù)的檢索。該項功能主要依靠人工智能來完成,以保證資料能夠得到完整的利用。
再次,使用Web數(shù)據(jù)挖掘技術(shù)對網(wǎng)絡(luò)信息進(jìn)行聚類分析。企業(yè)應(yīng)將這些具有共同點(diǎn)的信息進(jìn)行分類,將這些數(shù)據(jù)分成各個小組,但每一個小組都要有一個共同的類似點(diǎn),以便于從整體對局部進(jìn)行分析。
最后,利用Web數(shù)據(jù)挖掘技術(shù),根據(jù)收集到的資源信息的不同點(diǎn)進(jìn)行分類,分類后根據(jù)這些不同點(diǎn)的特征,分析出對自身企業(yè)有用的信息。從整體上說,Web數(shù)據(jù)挖掘技術(shù)通過運(yùn)用其強(qiáng)大的分析能力,可對網(wǎng)絡(luò)信息進(jìn)行篩選、整合,企業(yè)可再根據(jù)這些整合出來的資源信息,為自身制定戰(zhàn)略,為企業(yè)發(fā)展提供一個良好的網(wǎng)絡(luò)信息環(huán)境。
4 結(jié) 語
網(wǎng)絡(luò)技術(shù)在給用戶帶來便利的同時,也給用戶的信息安全造成了極大的威脅,科技進(jìn)步,技術(shù)也在不斷進(jìn)步,為了使信息得到最大的保護(hù),網(wǎng)絡(luò)信息的安全技術(shù)要隨著科技的進(jìn)步不斷發(fā)展,為互聯(lián)網(wǎng)的運(yùn)用提供一個完善安全的網(wǎng)絡(luò)系統(tǒng)。本文通過Web數(shù)據(jù)挖掘技術(shù),將網(wǎng)絡(luò)信息安全防范與該技術(shù)進(jìn)行有效整合,提高了我國企業(yè)的網(wǎng)絡(luò)信息安全度,以為我國企業(yè)的發(fā)展提供一個良好的環(huán)境。
主要參考文獻(xiàn)
[1]劉波.淺談數(shù)據(jù)挖掘技術(shù)在臨床醫(yī)學(xué)領(lǐng)域中的應(yīng)用[J].電子世界,20xx(12).
[2]趙炬紅,陳坤彥.基于數(shù)據(jù)挖掘技術(shù)的茶葉營銷策略分析[J].福建茶葉,20xx(5).
[3]崔道江,陳琳,李勇.智能檢索引擎中的網(wǎng)絡(luò)數(shù)據(jù)挖掘技術(shù)優(yōu)化研究[J].計算機(jī)測量與控制,20xx(6).
[4]王珣.基于Spark平臺的大數(shù)據(jù)挖掘技術(shù)研究[J].微型電腦應(yīng)用,20xx(6)
數(shù)據(jù)挖掘論文11
進(jìn)入信息時代以來,世界電子商務(wù)呈現(xiàn)飛速發(fā)展的勢頭。站在長遠(yuǎn)的角度,企業(yè)能否在新經(jīng)濟(jì)的背景下生存,關(guān)鍵在于企業(yè)能否利用電子商務(wù)的優(yōu)勢,但是電子商務(wù)在發(fā)展的同時也使得企業(yè)暴露了一些問題,其中企業(yè)的數(shù)據(jù)量大,而真正有用的信息卻很少。所以現(xiàn)代企業(yè)急需解決的問題是如何在大量數(shù)據(jù)中發(fā)現(xiàn)有用數(shù)據(jù),獲得利于企業(yè)的商業(yè)運(yùn)作的數(shù)據(jù),從而提高企業(yè)的競爭力。要解決這些問題,傳統(tǒng)的數(shù)據(jù)分析已經(jīng)不能適應(yīng)企業(yè)的發(fā)展需求,傳統(tǒng)的數(shù)據(jù)分析工具對數(shù)據(jù)的內(nèi)在信息無法提取,而是對指定的數(shù)據(jù)進(jìn)行簡單的處理。信息管理系統(tǒng)的運(yùn)用以及信息量的加大,企業(yè)希望有人可以創(chuàng)新及提高數(shù)據(jù)分析功能,只有擁有了高層次的數(shù)據(jù)分析功能,才能對企業(yè)決策工作提供有效的支持。所以,數(shù)據(jù)挖掘技術(shù)呈現(xiàn)在人們的眼前。
一、數(shù)據(jù)挖掘技術(shù)的發(fā)展背景
在近幾十年中,人們在利用信息技術(shù)生產(chǎn)和搜集數(shù)據(jù)的能力上有了很大提升。商業(yè)管理、政府辦公以及科學(xué)研究等等都應(yīng)用了大量的數(shù)據(jù)庫。并且仍在繼續(xù)發(fā)展,所以人們?yōu)榇藢⒚媾R一個新的挑戰(zhàn),在信息爆炸的今天,我們都需面對地問題是信息過量,那么我們將如何在大量的信息庫當(dāng)中獲取有用的知識,提高信息利用率呢?要想讓數(shù)據(jù)成為企業(yè)的有效資源,并使它為企業(yè)的戰(zhàn)略發(fā)展及業(yè)務(wù)決策提供有效保障。否則,大量的數(shù)據(jù)將會阻礙公司的發(fā)展。因此,數(shù)據(jù)挖掘技術(shù)在人們被數(shù)據(jù)淹沒且急需知識的境地中帶來了希望,并在發(fā)展過程中顯示了它頑強(qiáng)的生命力。
人們長期對數(shù)據(jù)庫的技術(shù)進(jìn)行研究和開發(fā)而創(chuàng)新出數(shù)據(jù)挖掘技術(shù),剛開始時商業(yè)數(shù)據(jù)一般存于計算機(jī)的數(shù)據(jù)庫里,然后變成了對數(shù)據(jù)庫進(jìn)行訪問并查詢,而數(shù)據(jù)庫技術(shù)進(jìn)入更高的臺階是由于數(shù)據(jù)挖掘技術(shù)的廣泛應(yīng)用,數(shù)據(jù)挖掘技術(shù)給企業(yè)的運(yùn)作和發(fā)展帶來很大便利,它不僅可以對以往的數(shù)據(jù)進(jìn)行查閱,從而可以把各個時期的數(shù)據(jù)進(jìn)行對比分析,利于商業(yè)水平的提高。商業(yè)數(shù)據(jù)庫正呈現(xiàn)空前發(fā)展的態(tài)勢,并且在各種行業(yè)中數(shù)據(jù)倉庫得到了廣泛的應(yīng)用。數(shù)據(jù)挖掘的`核心包括數(shù)據(jù)統(tǒng)計、人工智能以及機(jī)器學(xué)習(xí)等等。且歷經(jīng)了十多年的發(fā)展歷程,使得數(shù)據(jù)挖掘技術(shù)趨向于穩(wěn)定。
二、數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用
1.數(shù)據(jù)挖掘技術(shù)在客戶關(guān)系管理中的應(yīng)用
一種把客戶當(dāng)作核心的經(jīng)營策略就是客戶關(guān)系管理,為了滿足企業(yè)的產(chǎn)品開發(fā)、市場營銷以及管理的決策,而通過現(xiàn)代技術(shù)來滿足。為獲取商業(yè)知識而利用客戶的信息,并以此來提高企業(yè)在市場當(dāng)中的競爭力,采用數(shù)據(jù)挖掘技術(shù),企業(yè)可以充分地利用客戶數(shù)據(jù)資源,并對客戶進(jìn)行分類分析,這樣不僅有利于企業(yè)對客戶的盈利能力進(jìn)行分析,更有利于尋找有潛力的客戶,為企業(yè)帶來發(fā)展。另夕卜,為應(yīng)對商業(yè)數(shù)據(jù)的不斷增多,數(shù)據(jù)挖掘技術(shù)將成為企業(yè)立足的關(guān)鍵技術(shù),這項技術(shù)不僅可以加強(qiáng)企業(yè)對客戶的管理及其跟蹤市場活動,預(yù)測客戶的消費(fèi)方向,并依據(jù)消費(fèi)的趨勢開發(fā)產(chǎn)品。另外,客戶評價模型對客戶進(jìn)行評價,并在分析客戶行為對企業(yè)收益產(chǎn)生的影響,達(dá)到企業(yè)與客戶和企業(yè)利潤最優(yōu)化。同時,在客戶數(shù)據(jù)挖掘技術(shù)應(yīng)用的基礎(chǔ)上,企業(yè)可以依據(jù)重點(diǎn)客戶和評價市場性能。為擴(kuò)大企業(yè)銷售的渠道,制定個性化的營銷策略。通過呼叫中心優(yōu)化及暢通溝通的渠道,強(qiáng)化客戶關(guān)系管理的智能化并提高服務(wù)質(zhì)量。
2.數(shù)據(jù)挖掘技術(shù)在網(wǎng)站運(yùn)營中的應(yīng)用
為提高網(wǎng)站的點(diǎn)擊率,網(wǎng)站的設(shè)計者們在設(shè)計網(wǎng)站時不再完全根據(jù)專家的意見來設(shè)計,而是依據(jù)訪問者在網(wǎng)站當(dāng)中留下的痕跡來設(shè)計網(wǎng)站,其中包括了網(wǎng)站結(jié)構(gòu)的設(shè)計和外觀。在設(shè)計網(wǎng)站時,為節(jié)約客戶的訪問時間,壓縮網(wǎng)站的開支,網(wǎng)站的設(shè)計者會根據(jù)訪問者的訪問路徑,并分析這些路徑。如果可以分析并設(shè)計出最優(yōu)化的捷徑,這樣不僅可以讓訪問者很輕松地訪問,還能給訪問者留下好的印象,利于網(wǎng)站長期發(fā)展。同時,為降低網(wǎng)站的運(yùn)營成本,采用數(shù)據(jù)挖掘技術(shù),可以挖掘有效的市場信息,并預(yù)測客戶的下一步行為,這樣有利于提高電子商務(wù)營銷活動的成功率。企業(yè)為增強(qiáng)廣告的目的性,為公司帶來更大的收益,應(yīng)依據(jù)訪問者瀏覽習(xí)慣安排廣告的位置,為企業(yè)帶來一定的廣告收益。
3.數(shù)據(jù)挖掘技術(shù)在商業(yè)信用評估中的應(yīng)用
目前,不良的商業(yè)秩序受低劣信用狀況影響,網(wǎng)上詐騙的事件屢見不鮮及企業(yè)財務(wù)中的造價現(xiàn)象也時有發(fā)生,這些現(xiàn)象的發(fā)生導(dǎo)致了信用危機(jī)的產(chǎn)生,嚴(yán)重制約著電子商務(wù)的發(fā)展和繁榮。發(fā)達(dá)的社會信息水平作為發(fā)展電子商務(wù)的基礎(chǔ),通過偏差分析,控制企業(yè)數(shù)據(jù)的統(tǒng)計和歷史記錄的差別,為構(gòu)建完善的安全體系,采用數(shù)據(jù)挖掘技術(shù)對企業(yè)的經(jīng)營情況進(jìn)行分析,并對企業(yè)進(jìn)行資產(chǎn)的評估以及收益分析等等。另外,為強(qiáng)化網(wǎng)站中的網(wǎng)上交易行為的安全,應(yīng)對網(wǎng)絡(luò)進(jìn)行全程的監(jiān)控。在此基礎(chǔ)上,建立客戶的信譽(yù)記錄,這樣不僅可以有效地防止信用危機(jī),更有利于提升企業(yè)風(fēng)險管理的水平和能力。
三、結(jié)語
在電子商務(wù)點(diǎn)中應(yīng)用數(shù)據(jù)挖掘技術(shù),并對這些數(shù)據(jù)進(jìn)行挖掘,在挖掘當(dāng)中找到有價值的數(shù)據(jù)。所以,將數(shù)據(jù)挖掘技術(shù)應(yīng)用于電子商務(wù),并建立數(shù)據(jù)挖掘為核心的客戶管理系統(tǒng),將使得企業(yè)在市場變化中立于不敗之地。
數(shù)據(jù)挖掘論文12
題目:數(shù)據(jù)挖掘技術(shù)在神經(jīng)根型頸椎病方劑研究中的優(yōu)勢及應(yīng)用進(jìn)展
關(guān)鍵詞:數(shù)據(jù)挖掘技術(shù); 神經(jīng)根型頸椎病; 方劑; 綜述;
1 數(shù)據(jù)挖掘技術(shù)簡介
數(shù)據(jù)挖掘技術(shù)[1] (Knowledge Discovery in Datebase, KKD) , 是一種新興的信息處理技術(shù), 它融匯了人工智能、模式別、模糊數(shù)學(xué)、數(shù)據(jù)庫、數(shù)理統(tǒng)計等多種技術(shù)方法, 專門用于海量數(shù)據(jù)的處理, 從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)集中, 提取隱含在其中的、人們事先不知道的、但又是潛在的有用的信息和知識, 其目的是發(fā)現(xiàn)規(guī)律而不是驗證假設(shè)。數(shù)據(jù)挖掘技術(shù)主要適用于龐大的數(shù)據(jù)庫的研究, 其特點(diǎn)在于:基于數(shù)據(jù)分析方法角度的分類, 其本質(zhì)屬于觀察性研究, 數(shù)據(jù)來源于日常診療工作資料, 應(yīng)用的技術(shù)較傳統(tǒng)研究更先進(jìn), 分析工具、理論模型與傳統(tǒng)研究區(qū)別較大。其操作步驟包括[2]:選擇數(shù)據(jù), 數(shù)據(jù)處理, 挖掘分析, 結(jié)果解釋, 其中結(jié)果解釋是數(shù)據(jù)挖掘技術(shù)研究的關(guān)鍵。其方法包括分類、聚類、關(guān)聯(lián)、序列、決策樹、貝斯網(wǎng)絡(luò)、因子、辨別等分析[3], 其結(jié)果通常表示為概念、規(guī)則、規(guī)律、模式、約束、可視化等形式圖[4]。當(dāng)今數(shù)據(jù)挖掘技術(shù)的方向主要在于:特定數(shù)據(jù)挖掘, 高效挖掘算法, 提高結(jié)果的有效性、確定性和表達(dá)性, 結(jié)果的可視化, 多抽象層上的交互式數(shù)據(jù)挖掘, 多元數(shù)據(jù)挖掘及數(shù)據(jù)的安全性和保密性。因其優(yōu)勢和獨(dú)特性被運(yùn)用于多個領(lǐng)域中, 且結(jié)果運(yùn)用后取得顯著成效, 因此越來越多的中醫(yī)方劑研究者將其運(yùn)用于方劑中藥物的研究。
2 數(shù)據(jù)挖掘術(shù)在神經(jīng)根型頸椎病治方研究中的優(yōu)勢
中醫(yī)對于神經(jīng)根型頸椎病的治療準(zhǔn)則為辨證論治, 從古至今神經(jīng)根型頸椎病的中醫(yī)證型有很多, 其治方是集中醫(yī)之理、法、方、藥為一體的數(shù)據(jù)集合, 具有以“方-藥-證”為核心的多維結(jié)構(gòu)。方劑配伍本質(zhì)上表現(xiàn)為方與方、方與藥、藥與藥、藥與劑量, 以及方藥與證、病、癥交叉錯綜的關(guān)聯(lián)與對應(yīng)[5], 而中醫(yī)方劑講究君臣佐使的配伍, 藥物有升降沉浮, 四氣五味及歸經(jīng)之別, 對于神經(jīng)根型頸椎病的治療, 治方中藥物的種類、炮制方法、用量、用法等都是千變?nèi)f化的, 而這些海量、模糊、看似隨機(jī)的藥物背后隱藏著對臨床有用的信息和規(guī)律, 但這些大數(shù)據(jù)是無法在可承受的時間范圍內(nèi)可用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的, 是需要一個新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力, 而數(shù)據(jù)挖掘技術(shù)有可能從這些海量的的數(shù)據(jù)中發(fā)現(xiàn)新知識, 揭示背后隱藏的關(guān)系和規(guī)則, 并且對未知的情況進(jìn)行預(yù)測[6]。再者, 中醫(yī)辨治充滿非線性思維, “方-藥-證”間的多層關(guān)聯(lián)、序列組合、集群對應(yīng), 形成了整體論的思維方式和原則, 而數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘在技術(shù)線路上與傳統(tǒng)數(shù)據(jù)處理方法不同在于其能對數(shù)據(jù)庫內(nèi)的數(shù)據(jù)以線性和非線性方式解析, 尤善處理模糊的、非量化的數(shù)據(jù)。例如趙睿曦等[7]在研究張氏骨傷治療腰椎間盤突出癥的用藥規(guī)律時, 選取了100張治方, 因該病病因病機(jī)復(fù)雜, 證候不一, 骨傷名師張玉柱先生對該病的治則治法、藥物使用是不同的。因此他們利用Excel建立方證數(shù)據(jù)庫, 采用SPPS Clementine12.0軟件對這些數(shù)據(jù)的用藥頻次、藥物關(guān)聯(lián)規(guī)則及藥物聚類進(jìn)行分析, 最后總結(jié)出張氏骨傷治療腰椎間盤突出癥遵循病從肝治、病從血治、標(biāo)本兼治的原則, 也歸納出治療三種不同證型的腰突癥的三類自擬方。由此看出數(shù)據(jù)挖掘技術(shù)在方劑研究中的應(yīng)用對數(shù)據(jù)背后信息、規(guī)律等的挖掘及名家經(jīng)驗的推廣具有重大意義, 因此數(shù)據(jù)挖掘技術(shù)在神經(jīng)根型頸椎病的治方研究中也同樣發(fā)揮著巨大的作用。
3 數(shù)據(jù)挖掘技術(shù)在神經(jīng)根型頸椎治方中的應(yīng)用進(jìn)展
神經(jīng)根型頸椎病在所有頸椎病中最常見, 約占50%~60%[8], 醫(yī)家對其治方的研究也是不計其數(shù)。近年來數(shù)據(jù)挖掘技術(shù)也被運(yùn)用于其治方研究中, 筆者通過萬方、中國知網(wǎng)等總共檢索出以下幾篇文獻(xiàn), 雖數(shù)量不多但其優(yōu)勢明顯。劉向前等[9]在挖掘古方治療神經(jīng)根型頸椎病的用藥規(guī)律時, 通過檢索《中華醫(yī)典》并從中篩選以治療頸項肩臂痛為主的古方219首并建立數(shù)據(jù)庫, 對不同證治古方的用藥類別、總味數(shù)、單味藥使用頻數(shù)及藥對 (組) 出現(xiàn)頻數(shù)進(jìn)行統(tǒng)計, 總結(jié)出風(fēng)寒濕痹證、痰濕阻痹證、寒濕阻滯證、正虛不足證的用藥特點(diǎn), 得出解表藥、祛風(fēng)濕藥、活血化瘀藥、補(bǔ)虛藥是治療頸項肩臂痛古方組成的主要藥物。古為今用, 該研究對于現(xiàn)代醫(yī)家在治療該病中有很好的借鑒和參考意義。齊兵獻(xiàn)等[10]檢索CNKI (1980-20xx年) 相關(guān)文獻(xiàn)中治療神經(jīng)根型頸椎病的方劑建立數(shù)據(jù)庫, 采用SPSS11.5統(tǒng)計軟件這些治方常用藥物使用頻次頻率、性味頻率、歸經(jīng)頻率分析比較, 治療神經(jīng)根型頸椎病的中藥共計99味, 使用頻次479味次;所用藥物種類依次以補(bǔ)益藥、活血化瘀藥、祛風(fēng)濕藥運(yùn)用最多, 其中藥味以辛、苦為主, 藥性以溫、寒為主, 歸經(jīng)以肝、脾、心為主, 而本病以肝腎虧虛, 氣血瘀滯為主, 臨床以補(bǔ)益藥、活血化瘀藥、祛風(fēng)濕藥等中藥運(yùn)用最多。這對于醫(yī)家治療該病選用藥物的性味、歸經(jīng)等具有指導(dǎo)意義。陳元川等[11]檢索20xx年1月至20xx年3月發(fā)表的以單純口服中藥治療神經(jīng)根型頸椎病的有關(guān)文獻(xiàn), 對其中的方劑和藥物進(jìn)行統(tǒng)計、歸類、分析, 最終納入32首方劑, 涉及111味中藥, 補(bǔ)氣藥、發(fā)散風(fēng)寒藥、活血止痛藥、補(bǔ)血藥等使用頻次較高;葛根、白芍、黃芪、當(dāng)歸、桂枝等藥物使用頻次較高, 證實(shí)與古方桂枝加葛根湯主藥相同, 且該方扶陽解表的.治法與該研究得出的扶正祛邪的結(jié)果相吻合, 同時也證實(shí)石氏傷科強(qiáng)調(diào)治傷科病當(dāng)“以氣為主, 以血為先”等正確性。所以大數(shù)據(jù)背后的規(guī)律和關(guān)系在很多方面古今是一致的, 同時數(shù)據(jù)依據(jù)的支持也為現(xiàn)代神經(jīng)根型頸椎病治療提供有力的保障。謝輝等[12]收集20xx至20xx年10月3日的166張治療神經(jīng)根型頸椎病的治方建立數(shù)據(jù)庫, 采用關(guān)聯(lián)規(guī)則算法、復(fù)雜系統(tǒng)熵聚類等無監(jiān)督數(shù)據(jù)挖掘方法, 利用中醫(yī)傳承輔助平臺 (TCMISS) 軟件分析處方中各種藥物的使用頻次、藥物之間的關(guān)聯(lián)規(guī)則、核心藥物組合和新處方, 從中挖掘出治療該病中醫(yī)中的常用藥物、藥對, 闡明了治療該病以解肌散寒藥、補(bǔ)氣活血藥、祛風(fēng)勝濕藥和溫經(jīng)通絡(luò)藥為主, 治法主要包括解肌舒筋、益氣活血和補(bǔ)益肝腎, 這一方面很清晰明了地展示了藥物使用頻率、藥物之間的聯(lián)系, 證實(shí)其與很多古代經(jīng)典中治療神經(jīng)根型頸椎病的治則、治法及用藥規(guī)律是吻合的, 是臨床用藥的積累和升華, 可有效地指導(dǎo)臨床并提高療效;另一方面也為中藥新藥的創(chuàng)制提供處方來源, 指導(dǎo)新藥研發(fā)[13]。
4 小結(jié)
數(shù)據(jù)挖掘技術(shù)作為一種新型的研究技術(shù), 在神經(jīng)根型頸椎病的治方研究中的運(yùn)用相對于其他領(lǐng)域是偏少的, 并且基本上是研究文獻(xiàn)資料上出現(xiàn)的治方, 在對名老中醫(yī)個人治療經(jīng)驗及用藥規(guī)律的總結(jié)是缺乏的, 因此研究范圍廣而缺乏針對性, 同時使用該技術(shù)的相關(guān)軟件種類往往是單一的。現(xiàn)在研究者在研究中醫(yī)方劑時往往采用傳統(tǒng)的研究方法, 這就導(dǎo)致在大數(shù)據(jù)的研究中耗時、耗力甚則無能為力, 同樣也難以精準(zhǔn)地提取大數(shù)據(jù)背后的隱藏的潛在關(guān)系和規(guī)則及缺乏對未知情況的預(yù)測。產(chǎn)生這樣的現(xiàn)狀, 一方面是很多研究者尚未清楚該技術(shù)在方劑研究中的優(yōu)勢所在, 思維模式尚未更新;另一方面是很多研究者尚未清楚該技術(shù)的操作技能及軟件種類及其應(yīng)用范圍。故以后應(yīng)向更多研究者普及該技術(shù)的軟件種類、其中的優(yōu)勢及操作技能, 讓該技術(shù)在臨床中使用更廣, 產(chǎn)生更大的效益。
參考文獻(xiàn)
[1]舒正渝.淺談數(shù)據(jù)挖掘技術(shù)及應(yīng)用[J].中國西部科技, 20xx, 9 (5) :38-39.
[2]曹毅, 季聰華.臨床科研設(shè)計與分析[M].杭州:浙江科學(xué)技術(shù)出版社, 20xx:189.
[3]王靜, 崔蒙.數(shù)據(jù)挖掘技術(shù)在中醫(yī)方劑學(xué)研究中的應(yīng)用[J].中國中醫(yī)藥信息雜志, 20xx, 15 (3) :103-104.
[4]陳丈偉.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘[M].北京:清華大學(xué)出版社, 20xx:5.
[5]楊玉珠.數(shù)據(jù)挖掘技術(shù)綜述與應(yīng)用[J].河南科技, 20xx, 10 (19) :21.
[6]余侃侃.數(shù)據(jù)挖掘技術(shù)在方劑配伍中的研究現(xiàn)狀及研究方法[J].中國醫(yī)藥指南, 20xx, 6 (24) :310-312.
[7]趙睿曦.方證數(shù)據(jù)挖掘分析張氏骨傷對腰椎間盤突出癥的辨證用藥規(guī)律[J].陜西中醫(yī)藥大學(xué)學(xué)報, 20xx, 39 (6) :44-46.
[8]李曙明, 尹戰(zhàn)海, 王瑩.神經(jīng)根型頸椎病的影像學(xué)特點(diǎn)和分型[J].中國矯形外科雜志, 20xx, 21 (1) :7-11.
[9]劉向前, 陳民, 黃廣平等.頸項肩臂痛內(nèi)治古方常用藥物的統(tǒng)計分析[J].中華中醫(yī)藥學(xué)刊, 20xx, 30 (9) :42-44.
[10]齊兵獻(xiàn), 樊成虎, 李兆和.神經(jīng)根型頸椎病中醫(yī)用藥規(guī)律的文獻(xiàn)研究[J].河南中醫(yī), 20xx, 32 (4) :518-519.
[11]陳元川, 王翔, 龐堅, 等.單純口服中藥治療神經(jīng)根型頸椎病用藥分析[J].上海中醫(yī)藥雜志, 20xx, 48 (6) :78-80.
[12]謝輝, 劉軍, 潘建科, 等.基于數(shù)據(jù)挖掘方法的神經(jīng)根型頸椎病用藥規(guī)律研究[J].世界中西醫(yī)結(jié)合雜志, 20xx, 10 (6) :849-852.
[13]唐仕歡, 楊洪軍.中醫(yī)組方用藥規(guī)律研究進(jìn)展述評[J].中國實(shí)驗方劑學(xué)雜志, 20xx (5) :359-363.
數(shù)據(jù)挖掘論文13
【摘要】企業(yè)精準(zhǔn)營銷服務(wù)是在充分了解客戶的基礎(chǔ)上,針對客戶特點(diǎn)及需求,有針對性地進(jìn)行產(chǎn)品營銷的行為。大數(shù)據(jù)時代數(shù)據(jù)呈現(xiàn)井噴式爆炸性增長,不斷驅(qū)動企業(yè)大數(shù)據(jù)精準(zhǔn)營銷的應(yīng)用,數(shù)據(jù)挖掘成了企業(yè)從海量數(shù)據(jù)中獲取信息知識的必要技術(shù)手段。本文主要探討數(shù)據(jù)挖掘常見方法、挖掘過程及在企業(yè)精準(zhǔn)營銷服務(wù)的應(yīng)用,以實(shí)際案例分析總結(jié)企業(yè)利用數(shù)據(jù)挖掘開展精準(zhǔn)營銷工作更為合理的方法、流程。
【關(guān)鍵詞】數(shù)據(jù)挖掘;方法論;精準(zhǔn)營銷服務(wù);策略
一、引言
大數(shù)據(jù)時代的來臨,數(shù)據(jù)呈現(xiàn)井噴式爆炸性增長。在海量數(shù)據(jù)中,隱藏著無數(shù)商業(yè)機(jī)會,但如何將大數(shù)據(jù)利用起來卻是一項艱巨的工作。在企業(yè)實(shí)施精準(zhǔn)營銷服務(wù)過程中,面臨著客戶在哪?客戶有什么特征?客戶需要什么產(chǎn)品?如何進(jìn)行有效營銷,提升客戶價值?我們在數(shù)據(jù)的海洋里淹死了,卻在知識的海洋里渴死了……而從龐大的數(shù)據(jù)中,借助合適的數(shù)據(jù)挖掘技術(shù)及工具,借助結(jié)合實(shí)際的數(shù)據(jù)挖掘方法,以客觀統(tǒng)計分析和挖掘算法挖掘出企業(yè)精準(zhǔn)營銷服務(wù)的潛在目標(biāo)用戶、用戶特征,同時匹配合適的營銷服務(wù)策略,可以顯著提升企業(yè)營銷服務(wù)精準(zhǔn)度與成功率。
二、數(shù)據(jù)挖掘方法
數(shù)據(jù)挖掘工作本質(zhì)上是一個解決實(shí)際業(yè)務(wù)問題的過程,需要有系統(tǒng)、科學(xué)的數(shù)據(jù)挖掘方法論來指導(dǎo)。業(yè)內(nèi)主流的數(shù)據(jù)挖掘方法論有:歐盟機(jī)構(gòu)聯(lián)合起草的CRISP-DM、SAS公司提出的SEMMA。CRISP-DM將數(shù)據(jù)挖掘分為6個階段,即商業(yè)理解(Busi-nessunderstanding)、數(shù)據(jù)理解(Dataunderstanding)、數(shù)據(jù)準(zhǔn)備(Datapreparation)、建模(Modeling)、評估(Evaluation)、部署(Deployment)。而SEMMA將數(shù)據(jù)挖掘分為5個階段,即數(shù)據(jù)取樣(Sample)、數(shù)據(jù)特征探索、分析和預(yù)處理(Explore)、問題明確化、數(shù)據(jù)調(diào)整和技術(shù)選擇(Modify)、模型的研發(fā)、知識的發(fā)現(xiàn)(Model)、模型和知識的綜合解釋和評價(Assess)。從工作流程來看,CRISP-DM是從項目執(zhí)行角度談的方法論,更關(guān)注與商業(yè)目標(biāo)的結(jié)合,而SEMMA則是從具體數(shù)據(jù)探測和挖掘出發(fā)談的方法論,更關(guān)注數(shù)據(jù)探索的過程。但從具體工作內(nèi)容來看,CRISP-DM和SEMMA本質(zhì)上都是在數(shù)據(jù)挖掘應(yīng)用中提出問題、分析問題和解決問題的過程。因此,CRISP-DM和SEMMA互不矛盾,只是強(qiáng)調(diào)的重點(diǎn)不同而已。結(jié)合企業(yè)實(shí)施數(shù)據(jù)挖掘工作的實(shí)踐經(jīng)驗,經(jīng)常采用PDMA數(shù)據(jù)挖掘方法。PDMA將數(shù)據(jù)挖掘分為4個階段,即定義業(yè)務(wù)問題(Problemdefinition)、數(shù)據(jù)準(zhǔn)備(DataPreparation)、模型構(gòu)建(ModelCreation)、模型應(yīng)用(ModelApplication)。與CRISP-DM、SEMMA等相比,PDMA類似CRISP-DM,但又有較大差異。首先,PDMA將CRISP-DM的數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備做了提煉與分解。PDMA的數(shù)據(jù)準(zhǔn)備是在滿足業(yè)務(wù)目標(biāo)的前提下,確定挖掘建模的數(shù)據(jù)范圍,并構(gòu)建生成寬表數(shù)據(jù)及核查數(shù)據(jù)準(zhǔn)確性。PDMA的模型構(gòu)建是在數(shù)據(jù)準(zhǔn)備后,從數(shù)據(jù)集中采集業(yè)務(wù)問題相關(guān)的樣本數(shù)據(jù)集,探索數(shù)據(jù)的規(guī)律和趨勢,針對數(shù)據(jù)建模的數(shù)據(jù)集數(shù)據(jù)進(jìn)行探索,選擇一種或幾種挖掘算法,進(jìn)行模型構(gòu)建及從技術(shù)和業(yè)務(wù)兩個角度進(jìn)行模型評估。可見,PDMA的數(shù)據(jù)準(zhǔn)備只負(fù)責(zé)建模挖掘?qū)挶頊?zhǔn)備,數(shù)據(jù)探索包括衍生變量的生成、選擇等部分?jǐn)?shù)據(jù)處理工作在模型構(gòu)建階段實(shí)現(xiàn),各階段間的工作分工也更為清晰。其次,PDMA的模型應(yīng)用不僅僅是模型部署,還包括模型評分、模型監(jiān)控與維護(hù),確保當(dāng)市場環(huán)境、用戶數(shù)據(jù)發(fā)生變化時,能及時判別在用的挖掘模型是否還有效、適用。對于不適用的挖掘模型及時調(diào)整優(yōu)化,實(shí)現(xiàn)模型閉環(huán)管理。同時,PDMA的模型應(yīng)用還強(qiáng)調(diào)模型輸出目標(biāo)用戶的細(xì)分,及與市場營銷策略的`匹配建議,幫助業(yè)務(wù)部門更好理解模型輸出及指導(dǎo)后續(xù)工作的開展。PDMA數(shù)據(jù)挖掘方法論是CRISP-DM、SEMMA等方法論的提煉優(yōu)化。
三、數(shù)據(jù)挖掘精準(zhǔn)營銷應(yīng)用
隨著三大運(yùn)營商全業(yè)務(wù)經(jīng)營的迅猛發(fā)展,寬帶市場競爭激烈、市場日益飽和,越發(fā)呈現(xiàn)價格戰(zhàn)的競爭格局。借助大數(shù)據(jù)分析挖掘可精準(zhǔn)識別寬帶營銷服務(wù)潛在目標(biāo)客戶及特征,從而實(shí)現(xiàn)營銷服務(wù)有的放矢。
1、定義業(yè)務(wù)問題
(1)基于歷史數(shù)據(jù)挖掘過往寬帶營銷服務(wù)客戶寬帶使用特征、消費(fèi)水平特征、上網(wǎng)偏好等,剖析營銷服務(wù)用戶的主要特征和原因,輸出潛在目標(biāo)用戶清單。(2)在輸出潛在目標(biāo)用戶清單的基礎(chǔ)上,對目標(biāo)客戶進(jìn)一步深入挖掘分群,剖析出不同人群客戶的寬帶使用、消費(fèi)行為的典型特點(diǎn),提出針對性營銷服務(wù)策略。(3)針對輸出的潛在目標(biāo)用戶清單和分群制定具體的銷售策略,進(jìn)行派單執(zhí)行,跟蹤效果,做好下次模型迭代優(yōu)化。
2、數(shù)據(jù)準(zhǔn)備
數(shù)據(jù)準(zhǔn)備是在滿足業(yè)務(wù)目標(biāo)前提下,確定數(shù)據(jù)建模的數(shù)據(jù)范圍,描述和檢查這些數(shù)據(jù),并構(gòu)建建模寬表。針對寬帶用戶的行為特征,可以選取以下幾個數(shù)據(jù)維度:上網(wǎng)偏好維度、消費(fèi)行為維度、產(chǎn)品及終端結(jié)構(gòu)維度。其中,偏好類別數(shù)據(jù)主要利用DPI數(shù)據(jù)對用戶訪問的目標(biāo)URL地址,進(jìn)行多維度的統(tǒng)計計算后,得出的興趣類別標(biāo)簽。輸入模型的變量要根據(jù)不同區(qū)域和每次預(yù)測的數(shù)據(jù)源動態(tài)調(diào)整。經(jīng)過數(shù)據(jù)清洗、整理、派生,最終確定模型輸入變量時,主要依據(jù)對于模型輸出結(jié)果的影響顯著性選擇。
3、模型構(gòu)建
模型構(gòu)建就是在數(shù)據(jù)準(zhǔn)備后,從數(shù)據(jù)集市中采集業(yè)務(wù)問題相關(guān)的樣本數(shù)據(jù)集,探索數(shù)據(jù)的規(guī)律和趨勢,針對數(shù)據(jù)建模的數(shù)據(jù)集數(shù)據(jù)進(jìn)行修正,選擇一種或幾種挖掘方法,進(jìn)行數(shù)據(jù)模型構(gòu)建,從技術(shù)和業(yè)務(wù)兩個層面進(jìn)行模型評估。通常情況下,主要以邏輯回歸和決策樹等作為建模主要方法,此類模型能輸出具體流失公式和規(guī)則。在進(jìn)行用戶分群時,主要以聚類模型為主要方法,尋找不同類型用戶特征,制定分群針對性維系策略。
4、模型應(yīng)用
在輸出潛在目標(biāo)用戶清單的基礎(chǔ)上,對目標(biāo)客戶進(jìn)行分群。根據(jù)數(shù)據(jù)挖掘模型結(jié)果,寬帶營銷服務(wù)用戶可以分為以下5類:低需求型用戶、供給過剩型用戶、供給不足型用戶、長期高需求型用戶、短期高需求型用戶。基于分群后的目標(biāo)用戶,可以針對性進(jìn)行營銷服務(wù)策略匹配,如低需求型用戶可以采用寬帶資費(fèi)優(yōu)惠(如對上網(wǎng)少用戶采取特定的低資費(fèi)),供給不足型用戶可以采用加快低寬帶客戶向高帶寬的遷移政策。最后進(jìn)行派單執(zhí)行,跟蹤效果。
四、結(jié)束語
大數(shù)據(jù)時代,由于信息技術(shù)的應(yīng)用普及,產(chǎn)生了大量的數(shù)據(jù),每年都以指數(shù)級速度增長。數(shù)據(jù)量大導(dǎo)致數(shù)據(jù)應(yīng)用也會變得越來越困難,而借助合適的數(shù)據(jù)挖掘技術(shù)及工具,結(jié)合實(shí)際的數(shù)據(jù)挖掘方法,可以更加有效地提高數(shù)據(jù)的利用率,更深層次地挖掘出對企業(yè)精準(zhǔn)營銷有價值的信息,實(shí)現(xiàn)對海量信息的掌控,讓企業(yè)實(shí)現(xiàn)更為精準(zhǔn)的營銷服務(wù)。
數(shù)據(jù)挖掘論文14
題目:檔案信息管理系統(tǒng)中的計算機(jī)數(shù)據(jù)挖掘技術(shù)探討
摘要:伴隨著計算機(jī)技術(shù)的不斷進(jìn)步和發(fā)展, 數(shù)據(jù)挖掘技術(shù)成為數(shù)據(jù)處理工作中的重點(diǎn)技術(shù), 能借助相關(guān)算法搜索相關(guān)信息, 在節(jié)省人力資本的同時, 提高數(shù)據(jù)檢索的實(shí)際效率, 基于此, 被廣泛應(yīng)用在數(shù)據(jù)密集型行業(yè)中。筆者簡要分析了計算機(jī)數(shù)據(jù)挖掘技術(shù), 并集中闡釋了檔案信息管理系統(tǒng)計算機(jī)數(shù)據(jù)倉庫的建立和技術(shù)實(shí)現(xiàn)過程, 以供參考。
關(guān)鍵詞:檔案信息管理系統(tǒng); 計算機(jī); 數(shù)據(jù)挖掘技術(shù); 1 數(shù)據(jù)挖掘技術(shù)概述
數(shù)據(jù)挖掘技術(shù)就是指在大量隨機(jī)數(shù)據(jù)中提取隱含信息, 并且將其整合后應(yīng)用在知識處理體系的技術(shù)過程。若是從技術(shù)層面判定數(shù)據(jù)挖掘技術(shù), 則需要將其劃分在商業(yè)數(shù)據(jù)處理技術(shù)中, 整合商業(yè)數(shù)據(jù)提取和轉(zhuǎn)化機(jī)制, 并且建構(gòu)更加系統(tǒng)化的分析模型和處理機(jī)制, 從根本上優(yōu)化商業(yè)決策。借助數(shù)據(jù)挖掘技術(shù)能建構(gòu)完整的數(shù)據(jù)倉庫, 滿足集成性、時變性以及非易失性等需求, 整和數(shù)據(jù)處理和冗余參數(shù), 確保技術(shù)框架結(jié)構(gòu)的完整性。
目前, 數(shù)據(jù)挖掘技術(shù)常用的工具, 如SAS企業(yè)的Enterprise Miner、IBM企業(yè)的Intellient Miner以及SPSS企業(yè)的Clementine等應(yīng)用都十分廣泛。企業(yè)在實(shí)際工作過程中, 往往會利用數(shù)據(jù)源和數(shù)據(jù)預(yù)處理工具進(jìn)行數(shù)據(jù)定型和更新管理, 并且應(yīng)用聚類分析模塊、決策樹分析模塊以及關(guān)聯(lián)分析算法等, 借助數(shù)據(jù)挖掘技術(shù)對相關(guān)數(shù)據(jù)進(jìn)行處理。
2 檔案信息管理系統(tǒng)計算機(jī)數(shù)據(jù)倉庫的建立
2.1 客戶需求單元
為了充分發(fā)揮檔案信息管理系統(tǒng)的優(yōu)勢, 要結(jié)合客戶的實(shí)際需求建立完整的處理框架體系。在數(shù)據(jù)庫體系建立中, 要適應(yīng)迭代式處理特征, 并且從用戶需求出發(fā)整合數(shù)據(jù)模型, 保證其建立過程能按照整體規(guī)劃有序進(jìn)行, 且能按照目標(biāo)和分析框架參數(shù)完成操作。首先, 要確立基礎(chǔ)性的數(shù)據(jù)倉庫對象, 由于是檔案信息管理, 因此, 要集中劃分檔案數(shù)據(jù)分析的主題, 并且有效錄入檔案信息, 確保滿足檔案的數(shù)據(jù)分析需求。其次, 要對日常工作中的用戶數(shù)據(jù)進(jìn)行集中的挖掘處理, 從根本上提高數(shù)據(jù)倉庫分析的完整性。
(1) 確定數(shù)據(jù)倉庫的基礎(chǔ)性用戶, 其中, 主要包括檔案工作人員和使用人員, 結(jié)合不同人員的工作需求建立相應(yīng)的數(shù)據(jù)倉庫。
(2) 檔案工作要利用數(shù)據(jù)分析和檔案用戶特征分析進(jìn)行分類描述。
(3) 確定檔案的基礎(chǔ)性分類主題, 一般而言, 要將文書檔案歸檔情況、卷數(shù)等基礎(chǔ)性信息作為分類依據(jù)。
2.2 數(shù)據(jù)庫設(shè)計單元
在設(shè)計過程中, 要針對不同維度建立相應(yīng)的參數(shù)體系和組成結(jié)構(gòu), 并且有效整合組成事實(shí)表的主鍵項目, 建立框架結(jié)構(gòu)。
第一, 建立事實(shí)表。事實(shí)表是數(shù)據(jù)模型的核心單元, 主要是記錄相關(guān)業(yè)務(wù)和統(tǒng)計數(shù)據(jù)的表, 能整合數(shù)據(jù)倉庫中的信息單元, 并且提升多維空間處理效果, 確保數(shù)據(jù)儲存過程切實(shí)有效。 (1) 檔案管理中文書檔案目錄卷數(shù)事實(shí)表:事實(shí)表主鍵, 字段類型Int, 字段為Id;文書歸檔年份, 字段類型Int, 字段為Gdyear_key;文書歸檔類型, 字段類型Int, 字段為Ajtm_key;文書歸檔單位, 字段類型Int, 字段為Gddw_key;文書檔案生成年份, 字段類型Int, 字段為Ajscsj_key, 以及文書檔案包括的文件數(shù)目。 (2) 檔案管理中文書檔案卷數(shù)事實(shí)表:事實(shí)表主鍵, 字段類型Int, 字段為Id;文書歸檔利用日期, 字段類型Int, 字段為Date_key;文書歸檔利用單位, 字段類型Int, 字段為Dw_key;文書歸檔利用類別, 字段類型Int, 字段為Dalb_key;文書歸檔利用年份, 字段類型Int, 字段為Dayear_key等[1]。
第二, 建立維度表, 在實(shí)際數(shù)據(jù)倉庫建立和運(yùn)維工作中, 提高數(shù)據(jù)管理效果和水平, 確保建立循環(huán)和反饋的系統(tǒng)框架體系, 并且處理增長過程和完善過程, 有效實(shí)現(xiàn)數(shù)據(jù)庫模型設(shè)計以及相關(guān)維護(hù)操作。首先, 要對模式的基礎(chǔ)性維度進(jìn)行分析并且制作相應(yīng)的表, 主要包括檔案年度維表、利用方式維表等。其次, 要建構(gòu)數(shù)據(jù)庫星型模型體系。最后, 要集中判定數(shù)據(jù)庫工具, 保證數(shù)據(jù)庫平臺在客戶管理工作方面具備一定的優(yōu)勢, 集中制訂商務(wù)智能解決方案, 保證集成環(huán)境的穩(wěn)定性和數(shù)據(jù)倉庫建模的效果, 真正提高數(shù)據(jù)抽取以及轉(zhuǎn)換工作的實(shí)際水平。需要注意的是, 在全面整合和分析處理數(shù)據(jù)的過程中, 要分離文書檔案中的數(shù)據(jù), 相關(guān)操作如下:
from dag gd temp//刪除臨時表中的數(shù)據(jù)
Ch count=dag 1.importfile (dbo.u wswj) //將文書目錄中數(shù)據(jù)導(dǎo)出到數(shù)據(jù)窗口
Dag 1.() //將數(shù)據(jù)窗口中的數(shù)據(jù)保存到臨時表
相關(guān)技術(shù)人員要對數(shù)據(jù)進(jìn)行有效處理, 以保證相關(guān)數(shù)據(jù)合并操作、連接操作以及條件性拆分操作等都能按照數(shù)據(jù)預(yù)處理管理要求合理化進(jìn)行, 從根本上維護(hù)數(shù)據(jù)處理效果。
2.3 多維數(shù)據(jù)模型建立單元
在檔案多維數(shù)據(jù)模型建立的過程中, 相關(guān)技術(shù)人員要判定聯(lián)機(jī)分析處理項目和數(shù)據(jù)挖掘方案, 整合信息系統(tǒng)中的數(shù)據(jù)源、數(shù)據(jù)視圖、維度參數(shù)以及屬性參數(shù)等, 保證具體單元能發(fā)揮其實(shí)際作用, 并且真正發(fā)揮檔案維表的穩(wěn)定性、安全性優(yōu)勢。
第一, 檔案事實(shí)表中的數(shù)據(jù)穩(wěn)定, 事實(shí)表是加載和處理檔案數(shù)據(jù)的基本模塊, 按照檔案目錄數(shù)據(jù)表和檔案利用情況表分析和判定其類別和歸檔時間, 從而提高數(shù)據(jù)獨(dú)立分析水平。一方面, 能追加有效的數(shù)據(jù), 保證數(shù)據(jù)倉庫信息的基本質(zhì)量, 也能追加時間判定標(biāo)準(zhǔn), 能在實(shí)際操作中減少掃描整個表浪費(fèi)的時間, 從根本上提高實(shí)際效率。另一方面, 能刪除數(shù)據(jù), 實(shí)現(xiàn)數(shù)據(jù)更新, 檢索相關(guān)關(guān)鍵詞即可。并且也能同時修改數(shù)據(jù), 維護(hù)檔案撤出和檔案追加的動態(tài)化處理效果。
第二, 檔案維表的安全性。在維表管理工作中, 檔案參數(shù)和數(shù)據(jù)的安全穩(wěn)定性十分關(guān)鍵, 由于其不會隨著時間的推移出現(xiàn)變化, 因此, 要對其進(jìn)行合理的處理和協(xié)調(diào)。維表本身的存儲空間較小, 盡管結(jié)構(gòu)發(fā)生變化的概率不大, 但仍會對代表的對象產(chǎn)生影響, 這就會使得數(shù)據(jù)出現(xiàn)動態(tài)的變化。對于這種改變, 需要借助新維生成的方式進(jìn)行處理, 從而保證不同維表能有效連接, 整合正確數(shù)據(jù)的同時, 也能對事實(shí)表外鍵進(jìn)行分析[2]。
3 檔案信息管理系統(tǒng)計算機(jī)數(shù)據(jù)倉庫的實(shí)現(xiàn)
3.1 描述需求
隨著互聯(lián)網(wǎng)技術(shù)和數(shù)據(jù)庫技術(shù)不斷進(jìn)步, 要提高檔案數(shù)字化水平以及完善信息化整合機(jī)制, 加快數(shù)據(jù)庫管控體系的更新, 確保設(shè)備存儲以及網(wǎng)絡(luò)環(huán)境一體化水平能滿足需求, 尤其是在檔案資源重組和預(yù)測項目中, 只有從根本上落實(shí)數(shù)據(jù)挖掘體系, 才能為后續(xù)信息檔案管理項目升級奠定堅實(shí)基礎(chǔ)。另外, 在數(shù)據(jù)表和文書等基礎(chǔ)性數(shù)據(jù)結(jié)構(gòu)模型建立的基礎(chǔ)上, 要按照規(guī)律制定具有個性化的主動性服務(wù)機(jī)制。
3.2 關(guān)聯(lián)計算
在實(shí)際檔案分析工作開展過程中, 關(guān)聯(lián)算法描述十分關(guān)鍵, 能對某些行為特征進(jìn)行統(tǒng)籌整合, 從而制定分析決策。在進(jìn)行關(guān)聯(lián)規(guī)則強(qiáng)度分析時, 要結(jié)合支持度和置信度等系統(tǒng)化數(shù)據(jù)進(jìn)行綜合衡量。例如, 檔案數(shù)據(jù)庫中有A和B兩個基礎(chǔ)項集合, 支持度為P (A∪B) , 則直接表述了A和B在同一時間出現(xiàn)的基礎(chǔ)性概率。若是兩者出現(xiàn)的概率并不大, 則證明兩者之間的關(guān)聯(lián)度較低。若是兩者出現(xiàn)的概率較大, 則說明兩者的關(guān)聯(lián)度較高。另外, 在分析置信度時, 利用Confidence (A→B) = (A|B) , 也能有效判定兩者之間的關(guān)系。在出現(xiàn)置信度A的情況下, B的出現(xiàn)概率則是整體參數(shù)關(guān)系的關(guān)鍵, 若是置信度的數(shù)值達(dá)到100%, 則直接證明A和B能同一時間出現(xiàn)。
3.3 神經(jīng)網(wǎng)絡(luò)算法
除了要對檔案的實(shí)際內(nèi)容進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)庫建構(gòu), 也要對其利用情況進(jìn)行判定, 目前較為常見的利用率分析算法就是神經(jīng)網(wǎng)絡(luò)算法, 其借助數(shù)據(jù)分類系統(tǒng)判定和分析數(shù)據(jù)對象。值得注意的是, 在分類技術(shù)結(jié)構(gòu)中, 要結(jié)合訓(xùn)練數(shù)據(jù)集判定分類模型數(shù)據(jù)挖掘結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)算法類似于人腦系統(tǒng)的運(yùn)行結(jié)構(gòu), 能建立完整的信息處理單元, 并且能夠整合非線性交換結(jié)構(gòu), 確保能憑借歷史數(shù)據(jù)對計算模型和分類體系展開深度分析[3]。
3.4 實(shí)現(xiàn)多元化應(yīng)用
在檔案管理工作中應(yīng)用計算機(jī)數(shù)據(jù)挖掘技術(shù), 能對檔案分類管理予以分析, 保證信息需求分類總結(jié)工作的完整程度。尤其是檔案使用者在對檔案具體特征進(jìn)行差異化分析的過程中, 能結(jié)合不同的元素對具體問題展開深度調(diào)研。一方面, 計算機(jī)數(shù)據(jù)挖掘技術(shù)借助決策樹算法處理規(guī)則化的檔案分析機(jī)制。在差異化訓(xùn)練體系中, 要對數(shù)據(jù)集合中的數(shù)據(jù)進(jìn)行系統(tǒng)化分析以及處理, 確保構(gòu)建要求能適應(yīng)數(shù)據(jù)挖掘的基本結(jié)構(gòu)[4]。例如, 檔案管理人員借助數(shù)據(jù)挖掘技術(shù)能整合檔案使用人員長期瀏覽與關(guān)注的信息, 并且能集中收集和匯總間隔時間、信息查詢停留時間等, 從而建構(gòu)完整的數(shù)據(jù)分析機(jī)制, 有效向其推送或者是提供便捷化查詢服務(wù), 保證檔案管理數(shù)字化水平的提高。另一方面, 在檔案收集管理工作中應(yīng)用數(shù)據(jù)挖掘技術(shù), 主要是對數(shù)據(jù)信息進(jìn)行分析, 結(jié)合基本結(jié)果建立概念模型, 保證模型以及測試樣本之間的比較參數(shù)符合標(biāo)準(zhǔn), 從而真正建立更加系統(tǒng)化的分類框架體系。
4 結(jié)語
總而言之, 在檔案管理工作中應(yīng)用數(shù)據(jù)挖掘技術(shù), 能在準(zhǔn)確判定用戶需求的同時, 維護(hù)數(shù)據(jù)處理效果, 并且減少檔案數(shù)字化的成本, 為后續(xù)工作的進(jìn)一步優(yōu)化奠定堅實(shí)基礎(chǔ)。并且, 數(shù)據(jù)庫的建立, 也能節(jié)省經(jīng)費(fèi)和設(shè)備維護(hù)成本, 真正實(shí)現(xiàn)數(shù)字化全面發(fā)展的目標(biāo), 促進(jìn)檔案信息管理工作的長效進(jìn)步。
參考文獻(xiàn)
[1]曾雪峰.計算機(jī)數(shù)據(jù)挖掘技術(shù)開發(fā)及其在檔案信息管理中的運(yùn)用研究[J].科技創(chuàng)新與應(yīng)用, 20xx (9) :285.
[2]王曉燕.數(shù)據(jù)挖掘技術(shù)在檔案信息管理中的應(yīng)用[J].蘭臺世界, 20xx (23) :25-26.
[3]韓吉義.基于數(shù)據(jù)挖掘技術(shù)的高校圖書館檔案信息管理平臺的構(gòu)筑[J].山西檔案, 20xx (6) :61-63.
[4]哈立原.基于數(shù)據(jù)挖掘技術(shù)的高校圖書館檔案信息管理平臺構(gòu)建[J].山西檔案, 20xx (5) :105-107.
數(shù)據(jù)挖掘論文四: 題目:機(jī)器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的應(yīng)用
摘要:隨著科學(xué)技術(shù)的快速發(fā)展, 各種新鮮的事物和理念得到了廣泛的應(yīng)用。其中機(jī)器學(xué)習(xí)算法就是一則典型案例——作為一種新型的算法, 其廣泛應(yīng)用于各行各業(yè)之中。本篇論文旨在探討機(jī)器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的具體應(yīng)用, 我們利用龐大的移動終端數(shù)據(jù)網(wǎng)絡(luò), 加強(qiáng)了基于GSM網(wǎng)絡(luò)的戶外終端定位, 從而提出了3個階段的定位算法, 有效提高了定位的精準(zhǔn)度和速度。
關(guān)鍵詞:學(xué)習(xí)算法; GSM網(wǎng)絡(luò); 定位; 數(shù)據(jù);
移動終端定位技術(shù)由來已久, 其主要是利用各種科學(xué)技術(shù)手段定位移動物體的精準(zhǔn)位置以及高度。目前, 移動終端定位技術(shù)主要應(yīng)用于軍事定位、緊急救援、網(wǎng)絡(luò)優(yōu)化、地圖導(dǎo)航等多個現(xiàn)代化的領(lǐng)域, 由于移動終端定位技術(shù)可以提供精準(zhǔn)的位置服務(wù)信息, 所以其在市場上還是有較大的需求的, 這也為移動終端定位技術(shù)的優(yōu)化和發(fā)展, 提供了推動力。隨著通信網(wǎng)絡(luò)普及, 移動終端定位技術(shù)的發(fā)展也得到了一些幫助, 使得其定位的精準(zhǔn)度和速度都得到了全面的優(yōu)化和提升。同時, 傳統(tǒng)的定位方法結(jié)合先進(jìn)的算法來進(jìn)行精準(zhǔn)定位, 目前依舊還是有較大的進(jìn)步空間。在工作中我選取機(jī)器學(xué)習(xí)算法結(jié)合數(shù)據(jù)挖掘技術(shù)對傳統(tǒng)定位技術(shù)加以改進(jìn), 取得了不錯的效果, 但也遇到了許多問題, 例如:使用機(jī)器學(xué)習(xí)算法來進(jìn)行精準(zhǔn)定位暫時無法滿足更大的區(qū)域要求, 還有想要利用較低的設(shè)備成本, 實(shí)現(xiàn)得到更多的精準(zhǔn)定位的要求比較困難。所以本文對機(jī)器學(xué)習(xí)算法進(jìn)行了深入的研究, 希望能夠幫助其更快速的定位、更精準(zhǔn)的定位, 滿足市場的需要。
1 數(shù)據(jù)挖掘概述
數(shù)據(jù)挖掘又名數(shù)據(jù)探勘、信息挖掘。它是數(shù)據(jù)庫知識篩選中非常重要的一步。數(shù)據(jù)挖掘其實(shí)指的就是在大量的數(shù)據(jù)中通過算法找到有用信息的行為。一般情況下, 數(shù)據(jù)挖掘都會和計算機(jī)科學(xué)緊密聯(lián)系在一起, 通過統(tǒng)計集合、在線剖析、檢索篩選、機(jī)器學(xué)習(xí)、參數(shù)識別等多種方法來實(shí)現(xiàn)最初的目標(biāo)。統(tǒng)計算法和機(jī)器學(xué)習(xí)算法是數(shù)據(jù)挖掘算法里面應(yīng)用得比較廣泛的兩類。統(tǒng)計算法依賴于概率分析, 然后進(jìn)行相關(guān)性判斷, 由此來執(zhí)行運(yùn)算。
而機(jī)器學(xué)習(xí)算法主要依靠人工智能科技, 通過大量的樣本收集、學(xué)習(xí)和訓(xùn)練, 可以自動匹配運(yùn)算所需的相關(guān)參數(shù)及模式。它綜合了數(shù)學(xué)、物理學(xué)、自動化和計算機(jī)科學(xué)等多種學(xué)習(xí)理論, 雖然能夠應(yīng)用的領(lǐng)域和目標(biāo)各不相同, 但是這些算法都可以被獨(dú)立使用運(yùn)算, 當(dāng)然也可以相互幫助, 綜合應(yīng)用, 可以說是一種可以“因時而變”、“因事而變”的算法。在機(jī)器學(xué)習(xí)算法的領(lǐng)域, 人工神經(jīng)網(wǎng)絡(luò)是比較重要和常見的一種。因為它的優(yōu)秀的數(shù)據(jù)處理和演練、學(xué)習(xí)的能力較強(qiáng)。
而且對于問題數(shù)據(jù)還可以進(jìn)行精準(zhǔn)的識別與處理分析, 所以應(yīng)用的頻次更多。人工神經(jīng)網(wǎng)絡(luò)依賴于多種多樣的建模模型來進(jìn)行工作, 由此來滿足不同的數(shù)據(jù)需求。綜合來看, 人工神經(jīng)網(wǎng)絡(luò)的建模, 它的精準(zhǔn)度比較高, 綜合表述能力優(yōu)秀, 而且在應(yīng)用的過程中, 不需要依賴專家的輔助力量, 雖然仍有缺陷, 比如在訓(xùn)練數(shù)據(jù)的時候耗時較多, 知識的理解能力還沒有達(dá)到智能化的標(biāo)準(zhǔn), 但是, 相對于其他方式而言, 人工神經(jīng)網(wǎng)絡(luò)的優(yōu)勢依舊是比較突出的。
2 以機(jī)器學(xué)習(xí)算法為基礎(chǔ)的GSM網(wǎng)絡(luò)定位
2.1 定位問題的建模
建模的過程主要是以支持向量機(jī)定位方式作為基礎(chǔ), 把定位的位置柵格化, 面積較小的柵格位置就是獨(dú)立的一種類別, 在定位的位置內(nèi), 我們收集數(shù)目龐大的終端測量數(shù)據(jù), 然后利用計算機(jī)對測量報告進(jìn)行分析處理, 測量柵格的距離度量和精準(zhǔn)度, 然后對移動終端柵格進(jìn)行預(yù)估判斷, 最終利用機(jī)器學(xué)習(xí)進(jìn)行分析求解。
2.2 采集數(shù)據(jù)和預(yù)處理
本次研究, 我們采用的模型對象是我國某一個周邊長達(dá)10千米的二線城市。在該城市區(qū)域內(nèi), 我們測量了四個不同時間段內(nèi)的數(shù)據(jù), 為了保證機(jī)器學(xué)習(xí)算法定位的精準(zhǔn)性和有效性, 我們把其中的三批數(shù)據(jù)作為訓(xùn)練數(shù)據(jù), 最后一組數(shù)據(jù)作為定位數(shù)據(jù), 然后把定位數(shù)據(jù)周邊十米內(nèi)的前三組訓(xùn)練數(shù)據(jù)的相關(guān)信息進(jìn)行清除。一旦確定某一待定位數(shù)據(jù), 就要在不同的時間內(nèi)進(jìn)行測量, 按照測量出的數(shù)據(jù)信息的經(jīng)緯度和平均值, 再進(jìn)行換算, 最終, 得到真實(shí)的數(shù)據(jù)量, 提升定位的速度以及有效程度。
2.3 以基站的經(jīng)緯度為基礎(chǔ)的初步定位
用機(jī)器學(xué)習(xí)算法來進(jìn)行移動終端定位, 其復(fù)雜性也是比較大的, 一旦區(qū)域面積增加, 那么模型和分類也相應(yīng)增加, 而且更加復(fù)雜, 所以, 利用機(jī)器學(xué)習(xí)算法來進(jìn)行移動終端定位的過程, 會隨著定位區(qū)域面積的增大, 而耗費(fèi)更多的時間。利用基站的經(jīng)緯度作為基礎(chǔ)來進(jìn)行早期的定位, 則需要以下幾個步驟:要將邊長為十千米的正方形分割成一千米的小柵格, 如果想要定位數(shù)據(jù)集內(nèi)的相關(guān)信息, 就要選擇對邊長是一千米的小柵格進(jìn)行計算, 而如果是想要獲得邊長一千米的大柵格, 就要對邊長是一千米的柵格精心計算。
2.4 以向量機(jī)為基礎(chǔ)的二次定位
在完成初步定位工作后, 要確定一個邊長為兩千米的正方形, 由于第一級支持向量機(jī)定位的區(qū)域是四百米, 定位輸出的是以一百米柵格作為中心點(diǎn)的經(jīng)緯度數(shù)據(jù)信息, 相對于一級向量機(jī)的定位而言, 二級向量機(jī)在定位計算的時候難度是較低的, 更加簡便。后期的預(yù)算主要依賴決策函數(shù)計算和樣本向量機(jī)計算。隨著柵格的變小, 定位的精準(zhǔn)度將越來越高, 而由于增加分類的問題數(shù)量是上升的, 所以, 定位的復(fù)雜度也是相對增加的。
2.5 以K-近鄰法為基礎(chǔ)的三次定位
第一步要做的就是選定需要定位的區(qū)域面積, 在二次輸出之后, 確定其經(jīng)緯度, 然后依賴經(jīng)緯度來確定邊長面積, 這些都是進(jìn)行區(qū)域定位的基礎(chǔ)性工作, 緊接著就是定位模型的訓(xùn)練。以K-近鄰法為基礎(chǔ)的三次定位需要的是綜合訓(xùn)練信息數(shù)據(jù), 對于這些信息數(shù)據(jù), 要以大小為選擇依據(jù)進(jìn)行篩選和合并, 這樣就能夠減少計算的重復(fù)性。當(dāng)然了, 選擇的區(qū)域面積越大, 其定位的速度和精準(zhǔn)性也就越低。
3 結(jié)語
近年來, 隨著我國科學(xué)技術(shù)的不斷發(fā)展和進(jìn)步, 數(shù)據(jù)挖掘技術(shù)愈加重要。根據(jù)上面的研究, 我們證明了, 在數(shù)據(jù)挖掘的過程中, 應(yīng)用機(jī)器學(xué)習(xí)算法具有舉足輕重的作用。作為一門多領(lǐng)域互相交叉的知識學(xué)科, 它能夠幫助我們提升定位的精準(zhǔn)度以及定位速度, 可以被廣泛的應(yīng)用于各行各業(yè)。所以, 對于機(jī)器學(xué)習(xí)算法, 相關(guān)人員要加以重視, 不斷的進(jìn)行改良以及改善, 切實(shí)的發(fā)揮其有利的方面, 將其廣泛應(yīng)用于智能定位的各個領(lǐng)域, 幫助我們解決關(guān)于戶外移動終端的定位的問題。
參考文獻(xiàn)
[1]陳小燕, CHENXiaoyan.機(jī)器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的應(yīng)用[J].現(xiàn)代電子技術(shù), 20xx, v.38;No.451 (20) :11-14.
[2]李運(yùn).機(jī)器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的應(yīng)用[D].北京郵電大學(xué), 20xx.
[3]莫雪峰.機(jī)器學(xué)習(xí)算法在數(shù)據(jù)挖掘中的應(yīng)用[J].科教文匯, 20xx (07) :175-178.
數(shù)據(jù)挖掘論文五: 題目:軟件工程數(shù)據(jù)挖掘研究進(jìn)展
摘要:數(shù)據(jù)挖掘是指在大數(shù)據(jù)中開發(fā)出有價值信息數(shù)據(jù)的過程。計算機(jī)技術(shù)的不斷進(jìn)步, 通過人工的方式進(jìn)行軟件的開發(fā)與維護(hù)難度較大。而數(shù)據(jù)挖掘能夠有效的提升軟件開發(fā)的效率, 并能夠在大量的數(shù)據(jù)中獲得有效的數(shù)據(jù)。文章主要探究軟件工程中數(shù)據(jù)挖掘技術(shù)的任務(wù)和存在的問題, 并重點(diǎn)論述軟件開發(fā)過程中出現(xiàn)的問題和相關(guān)的解決措施。
關(guān)鍵詞:軟件工程; 數(shù)據(jù)挖掘; 解決措施;
在軟件開發(fā)過程中, 為了能夠獲得更加準(zhǔn)確的數(shù)據(jù)資源, 軟件的研發(fā)人員就需要搜集和整理數(shù)據(jù)。但是在大數(shù)據(jù)時代, 人工獲取數(shù)據(jù)信息的難度極大。當(dāng)前, 軟件工程中運(yùn)用最多的就是數(shù)據(jù)挖掘技術(shù)。軟件挖掘技術(shù)是傳統(tǒng)數(shù)據(jù)挖掘技術(shù)在軟件工程方向的其中一部分。但是它具有自身的特征, 體現(xiàn)在以下三個方面:
(1) 在軟件工程中, 對有效數(shù)據(jù)的挖掘和處理;
(2) 挖掘數(shù)據(jù)算法的選擇問題;
(3) 軟件的開發(fā)者該如何選擇數(shù)據(jù)。
1 在軟件工程中數(shù)據(jù)挖掘的主要任務(wù)
在數(shù)據(jù)挖掘技術(shù)中, 軟件工程數(shù)據(jù)挖掘是其中之一, 其挖掘的過程與傳統(tǒng)數(shù)據(jù)的挖掘無異。通常包括三個階段:第一階段, 數(shù)據(jù)的預(yù)處理;第二階段, 數(shù)據(jù)的挖掘;第三階段, 對結(jié)果的評估。第一階段的主要任務(wù)有對數(shù)據(jù)的分類、對異常數(shù)據(jù)的檢測以及整理和提取復(fù)雜信息等。雖然軟件工程的數(shù)據(jù)挖掘和傳統(tǒng)的數(shù)據(jù)挖掘存在相似性, 但是也存在一定的差異, 其主要體現(xiàn)在以下三個方面:
1.1 軟件工程的數(shù)據(jù)更加復(fù)雜
軟件工程數(shù)據(jù)主要包括兩種, 一種是軟件報告, 另外一種是軟件的`版本信息。當(dāng)然還包括一些軟件代碼和注釋在內(nèi)的非結(jié)構(gòu)化數(shù)據(jù)信息。這兩種軟件工程數(shù)據(jù)的算法是不同的, 但是兩者之間又有一定的聯(lián)系, 這也是軟件工程數(shù)據(jù)挖掘復(fù)雜性的重要原因。
1.2 數(shù)據(jù)分析結(jié)果的表現(xiàn)更加特殊
傳統(tǒng)的數(shù)據(jù)挖掘結(jié)果可以通過很多種結(jié)果展示出來, 最常見的有報表和文字的方式。但是對于軟件工程的數(shù)據(jù)挖掘來講, 它最主要的職能是給軟件的研發(fā)人員提供更加精準(zhǔn)的案例, 軟件漏洞的實(shí)際定位以及設(shè)計構(gòu)造方面的信息, 同時也包括數(shù)據(jù)挖掘的統(tǒng)計結(jié)果。所以這就要求軟件工程的數(shù)據(jù)挖掘需要更加先進(jìn)的結(jié)果提交方式和途徑。
1.3 對數(shù)據(jù)挖掘結(jié)果難以達(dá)成一致的評價
我國傳統(tǒng)的數(shù)據(jù)挖掘已經(jīng)初步形成統(tǒng)一的評價標(biāo)準(zhǔn), 而且評價體系相對成熟。但是軟件工程的數(shù)據(jù)挖掘過程中, 研發(fā)人員需要更多復(fù)雜而又具體的數(shù)據(jù)信息, 所以數(shù)據(jù)的表示方法也相對多樣化, 數(shù)據(jù)之間難以進(jìn)行對比, 所以也就難以達(dá)成一致的評價標(biāo)準(zhǔn)和結(jié)果。不難看出, 軟件工程數(shù)據(jù)挖掘的關(guān)鍵在于對挖掘數(shù)據(jù)的預(yù)處理和對數(shù)據(jù)結(jié)果的表示方法。
2 軟件工程研發(fā)階段出現(xiàn)的問題和解決措施
軟件在研發(fā)階段主要的任務(wù)是對軟件運(yùn)行程序的編寫。以下是軟件在編碼和結(jié)果的提交過程中出現(xiàn)的問題和相應(yīng)的解決措施。
2.1 對軟件代碼的編寫過程
該過程需要軟件的研發(fā)人員能夠?qū)ψ约盒枰帉懙拇a結(jié)構(gòu)與功能有充分的了解和認(rèn)識。并能夠依據(jù)自身掌握的信息, 在數(shù)據(jù)庫中搜集到可以使用的數(shù)據(jù)信息。通常情況下, 編程需要的數(shù)據(jù)信息可以分為三個方面:
(1) 軟件的研發(fā)人員能夠在已經(jīng)存在的代碼中搜集可以重新使用的代碼;
(2) 軟件的研發(fā)人員可以搜尋可以重用的靜態(tài)規(guī)則, 比如繼承關(guān)系等。
(3) 軟件的開發(fā)人員搜尋可以重用的動態(tài)規(guī)則。
包括軟件的接口調(diào)用順序等。在尋找以上信息的過程中, 通常是利用軟件的幫助文檔、尋求外界幫助和搜集代碼的方式實(shí)現(xiàn), 但是以上方式在搜集信息過程中往往會遇到較多的問題, 比如:幫助文檔的準(zhǔn)確性較低, 同時不夠完整, 可利用的重用信息不多等。
2.2 對軟件代碼的重用
在對軟件代碼重用過程中, 最關(guān)鍵的問題是軟件的研發(fā)人員必須掌握需要的類或方法, 并能夠通過與之有聯(lián)系的代碼實(shí)現(xiàn)代碼的重用。但是這種方式哦足跡信息將會耗費(fèi)工作人員大量的精力。而通過關(guān)鍵詞在代碼庫中搜集可重用的軟件代碼, 同時按照代碼的相關(guān)度對搜集到的代碼進(jìn)行排序, 該過程使用的原理就是可重用的代碼必然模式基本類似, 最終所展現(xiàn)出來的搜索結(jié)果是以上下文結(jié)構(gòu)的方式展現(xiàn)的。比如:類與類之間的聯(lián)系。其實(shí)現(xiàn)的具體流程如下:
(1) 軟件的開發(fā)人員創(chuàng)建同時具備例程和上下文架構(gòu)的代碼庫;
(2) 軟件的研發(fā)人員能夠向代碼庫提供類的相關(guān)信息, 然后對反饋的結(jié)果進(jìn)行評估, 創(chuàng)建新型的代碼庫。
(3) 未來的研發(fā)人員在搜集過程中能夠按照評估結(jié)果的高低排序, 便于查詢, 極大地縮減工作人員的任務(wù)量, 提升其工作效率。
2.3 對動態(tài)規(guī)則的重用
軟件工程領(lǐng)域內(nèi)對動態(tài)規(guī)則重用的研究已經(jīng)相對成熟, 通過在編譯器內(nèi)安裝特定插件的方式檢驗代碼是否為動態(tài)規(guī)則最適用的, 并能夠?qū)⒉贿m合的規(guī)則反饋給軟件的研發(fā)人員。其操作流程為:
(1) 軟件的研發(fā)人員能夠規(guī)定動態(tài)規(guī)則的順序, 主要表現(xiàn)在:使用某一函數(shù)是不能夠調(diào)用其他的函數(shù)。
(2) 實(shí)現(xiàn)對相關(guān)數(shù)據(jù)的保存, 可以通過隊列等簡單的數(shù)據(jù)結(jié)構(gòu)完成。在利用編譯拓展中檢測其中的順序。
(3) 能夠?qū)㈠e誤的信息反饋給軟件的研發(fā)人員。
3 結(jié)束語
在軟件工程的數(shù)據(jù)挖掘過程中, 數(shù)據(jù)挖掘的概念才逐步被定義, 但是所需要挖掘的數(shù)據(jù)是已經(jīng)存在的。數(shù)據(jù)挖掘技術(shù)在軟件工程中的運(yùn)用能夠降低研發(fā)人員的工作量, 同時軟件工程與數(shù)據(jù)挖掘的結(jié)合是計算機(jī)技術(shù)必然的發(fā)展方向。從數(shù)據(jù)挖掘的過程來講, 在其整個實(shí)施過程和周期中都包括軟件工程。而對數(shù)據(jù)挖掘的技術(shù)手段來講, 它在軟件工程中的運(yùn)用更加普遍。在對數(shù)據(jù)挖掘技術(shù)的研究過程中可以發(fā)現(xiàn), 該技術(shù)雖然已經(jīng)獲得一定的效果, 但是還有更多未被挖掘的空間, 還需要進(jìn)一步的研究和發(fā)現(xiàn)。
參考文獻(xiàn)
[1]王藝蓉.試析面向軟件工程數(shù)據(jù)挖掘的開發(fā)測試技術(shù)[J].電子技術(shù)與軟件工程, 20xx (18) :64.
[2]吳彥博.軟件工程中數(shù)據(jù)挖掘技術(shù)的運(yùn)用探索[J].數(shù)字通信世界, 20xx (09) :187.
[3]周雨辰.數(shù)據(jù)挖掘技術(shù)在軟件工程中的應(yīng)用研究[J].電腦迷, 20xx (08) :27-28.
[4]劉桂林.分析軟件工程中數(shù)據(jù)挖掘技術(shù)的應(yīng)用方式[J].中國新通信, 20xx, 19 (13) :119.
數(shù)據(jù)挖掘論文15
0引言
隨著我國信息化建設(shè)進(jìn)程的不斷推進(jìn),許多高校都已經(jīng)建立起各類基于業(yè)務(wù)的數(shù)據(jù)庫用于日常管理,作為應(yīng)用廣泛的新興學(xué)科,數(shù)據(jù)挖掘技術(shù)在高校教育信息化中的應(yīng)用前景較好,為高校的管理、建設(shè)、服務(wù)過程的絕學(xué)提供了全新而科學(xué)的分析途徑。在新形勢下,高校學(xué)生思政管理工作面臨著巨大挑戰(zhàn),所以適時不斷調(diào)整思想工作的途徑,加強(qiáng)先進(jìn)經(jīng)驗的交流,可以有效的提高高校思政工作的效果,對此,本文借助數(shù)據(jù)挖掘技術(shù)進(jìn)行嘗試,通過聚類結(jié)果分析,所挖掘到的信息對學(xué)生工作具有一定的參考價值。
1數(shù)據(jù)挖掘技術(shù)在思想政治教育中的實(shí)際應(yīng)用
1.1思想政治教育管理隨著高等教育的不斷發(fā)展與普及,給高校思想政治教育帶來一定挑戰(zhàn),在通常情況下,學(xué)校相關(guān)部門會對教育管理工作進(jìn)行數(shù)據(jù)收集,但是目前對這些數(shù)據(jù)的處理還處于底層的查找與簡單分析階段,不能夠挖掘出其中的價值。為了更加具體的了解思政教育工作者的工作情況,學(xué)校每學(xué)期會組織學(xué)生對輔導(dǎo)員的工作進(jìn)行評議,填寫輔導(dǎo)員“工作考核量化表”如何從中提取有價值的信息,對高校思想政治教育有非常重要的意義[1]。1.2解決方案數(shù)據(jù)挖掘?qū)儆谝粋方案得到肯定的過程,是數(shù)據(jù)分析研究的深層系手段,將數(shù)據(jù)挖掘技術(shù)運(yùn)用到輔導(dǎo)員工作考核中具有特別意義。例如:通過數(shù)據(jù)挖掘技術(shù)手段分析“輔導(dǎo)員工作考核量化表”中的數(shù)據(jù),可以了解“某所高校思政管理整體水平”,在管理中“哪些方面做得好,哪些方面做得不到位”等相關(guān)問題。通過這些結(jié)論進(jìn)一步完善高校思政教育管理。本文提出運(yùn)用聚類分析的數(shù)據(jù)挖掘技術(shù)對輔導(dǎo)員的工作成效數(shù)據(jù)進(jìn)行分析,將大批的數(shù)據(jù)轉(zhuǎn)換為聚類結(jié)果,從而更好的對數(shù)據(jù)加以利用。數(shù)據(jù)挖掘過程.步驟1:明確數(shù)據(jù)挖掘的對象和主要目的,通過數(shù)據(jù)挖掘雖然不能預(yù)測最終結(jié)果,但是可以對所研究的問題進(jìn)行預(yù)測,所以挖掘目標(biāo)的確定是數(shù)據(jù)挖掘的關(guān)鍵步驟[2]。步驟2:數(shù)據(jù)采集,該過程的任務(wù)比較繁重,并且需要時間比較多。在品勢的教育管理中,要認(rèn)真的收集數(shù)據(jù)信息,一部分?jǐn)?shù)據(jù)是直接可以拿到的,一部分?jǐn)?shù)據(jù)則需要通過調(diào)研才能獲得。步驟3:數(shù)據(jù)預(yù)處理,將收集到的數(shù)據(jù)轉(zhuǎn)變成可分析的數(shù)據(jù)模型,該模型是根據(jù)算法來準(zhǔn)備的,不同的算法對數(shù)據(jù)模型的要求是不一樣的。步驟4:數(shù)據(jù)類聚挖掘,通過類聚挖掘能夠?qū)?shù)據(jù)模型劃分為相似的多個組,該過程主要為數(shù)據(jù)模型的輸入過程以及聚類算法的選擇進(jìn)行實(shí)現(xiàn)。步驟5:聚類結(jié)果分析,該過程主要分析研究聚類數(shù)據(jù)挖掘之后得到的多個組屬性。步驟6:知識應(yīng)用,將研究所得的信息集成到輔導(dǎo)員的管理教育環(huán)節(jié)中,思政工作者通過該結(jié)論促進(jìn)教學(xué)管理,形成良好的管理方針[3]。
2數(shù)據(jù)挖掘技術(shù)在思政教育工作中具體方案實(shí)施
2.1確定數(shù)據(jù)挖掘?qū)ο笫占⒄砟炒髮W(xué)2017年“輔導(dǎo)員工作考核量化表”,整理其中關(guān)于輔導(dǎo)員教育管理的120張考核量化表,嘗試解答高校思政教育中存在的問題,經(jīng)過對有價值數(shù)據(jù)的挖掘,得出結(jié)論為教學(xué)管理帶來有效的指導(dǎo)價值。2.2數(shù)據(jù)采集從學(xué)校學(xué)生工作處,搜集2017年度“輔導(dǎo)員工作考核量化表”。2.3數(shù)據(jù)預(yù)處理“輔導(dǎo)員工作考核量化表”要求輔導(dǎo)員在“堅持標(biāo)準(zhǔn),獎懲分明,客觀公正的對待每一位學(xué)生。”“認(rèn)真做好勤工助學(xué)活動。”“正確分析學(xué)生的思想動態(tài)”等幾個指標(biāo)項目中,根據(jù)輔導(dǎo)員的實(shí)際工作表現(xiàn),劃分為“優(yōu)秀、良好、合格、較差、差”五等類型等級。最終獲得比較完整的考核記錄工作考核量化表117張。2.4數(shù)據(jù)轉(zhuǎn)換在工作考核量化表中考核等級的`項目共15項,如何將數(shù)據(jù)合成到一個聚類分析的模式中非常關(guān)鍵,按照“管理態(tài)度”“管理能力”“管理方法”“管理效果”四方面屬性來對工作考核量化表中的數(shù)據(jù)進(jìn)行重新組合:其中“管理態(tài)度”=(堅持標(biāo)準(zhǔn)+與同學(xué)之間感情融洽+言談得體+辦事客觀)/4“管理能力”=(準(zhǔn)確掌握貧困生情況+準(zhǔn)確掌握特殊群體+嚴(yán)格教育與查出違紀(jì)學(xué)生+勝任工作+組織學(xué)生做好評優(yōu)工作)/5“管理方法”=(每周3次以上探入班級宿舍+積極參加檢查學(xué)生早操+學(xué)生獎學(xué)金發(fā)放到位+有準(zhǔn)備的與學(xué)生談話+檢查宿舍衛(wèi)生)/5“管理效果”=(積極參加團(tuán)活班會+課下了解學(xué)生思想狀況+評論與建議)/3通過以上處理,可以將工作考核量化表關(guān)系到的十五個考評等級統(tǒng)一演化到四個屬性中。然后針對117份數(shù)據(jù)樣本信息的4個屬性采取聚類挖掘的方法進(jìn)行研究。通過樣本預(yù)處理得到數(shù)據(jù)樣本.2.5數(shù)據(jù)聚類挖掘數(shù)據(jù)的聚類挖掘采用劃分方法中的經(jīng)典算法K均值以及K中心點(diǎn)算法,其中K代表類別個數(shù)(K=3),主要挖掘思路為:將n個對象劃分為K個簇,使同一簇中的對象具有較高的相似度,K均值算法主要是使用簇中對象的平均值作為參考值。K均值算法的復(fù)雜度可以通過進(jìn)一步計算得出O(nkt),n代表簇的數(shù)量,t代表反復(fù)迭代的次數(shù),在一般情況下,k與t都會遠(yuǎn)小于n。針對所要分析的數(shù)據(jù)樣本,四類屬性都是通過數(shù)據(jù)轉(zhuǎn)換而得到的,所要的數(shù)據(jù)都是算術(shù)平均值,所以產(chǎn)生孤立點(diǎn)的可能性非常小,最終選用K均值的算法來運(yùn)用于本研究的數(shù)據(jù)聚類中。一般情況下,K均值算法當(dāng)局部取得最優(yōu)解時會終止,所以一定要對數(shù)據(jù)樣本進(jìn)行改進(jìn),考察數(shù)據(jù)樣本信息的綜合比例分布情況,采取進(jìn)一步措施對K均值算法進(jìn)行改進(jìn)得到三個等級樣本,3數(shù)據(jù)挖掘算法流程3.1算法實(shí)現(xiàn)的流程算法實(shí)現(xiàn)流程。在K均值算法中,函數(shù)LoadPatterns的作用主要是將數(shù)據(jù)信息裝載到程序中,目的是為了從數(shù)據(jù)庫文件中讀取相關(guān)信息,并且將文件中的數(shù)據(jù)轉(zhuǎn)換成樣本數(shù)組。函數(shù)RunK-Means()的作用是算法的主程序,將所有對象同簇中心距離進(jìn)行對比,然后將對象劃分到最近的簇中。函數(shù)Show-Centers()代表算法所描述的聚類中心。函數(shù)ShowClusters()表示樣本的標(biāo)識符號[4]。3.2主控程序RunKMeans()的調(diào)用從而找到最短距離的簇,然后運(yùn)用DistributeSam-ples()將所有對象劃分到最近的簇當(dāng)中,算出所有簇中對象的平均值,作為新的質(zhì)心,如果所有新的質(zhì)心不發(fā)生改變,則聚類結(jié)束。
3聚類結(jié)果分析
本文運(yùn)用K均值算法對120個數(shù)據(jù)通過數(shù)據(jù)轉(zhuǎn)換得到的樣本數(shù)據(jù)進(jìn)行分析,對管理態(tài)度、管理能力、管理方法、管理效果4個屬性進(jìn)行數(shù)據(jù)挖掘聚類,設(shè)置初始k值為3,最終挖掘到的結(jié)果.根據(jù)以上結(jié)果,每個簇所包括的數(shù)據(jù)樣本最后的比例分布范圍如下:簇1(較好)共計36個樣本,刪除定義樣本,剩余35個數(shù)據(jù)樣本,占35/117=30%。簇2(中等)共計74個樣本,刪除一個標(biāo)準(zhǔn)樣本,剩余73個數(shù)據(jù)樣本,占73/117=62%。簇3(較差)共計10個樣本,刪除一個標(biāo)準(zhǔn)樣本,剩余9個數(shù)據(jù)樣本,占9/117=8%“管理態(tài)度”=0.77*30%+0.61*62%+0.31*8%=0.634“管理能力”=0.77*30%+0.57*62%+0.31*8%=0.6092“管理方法”=0.74*30%+0.54*62%+0.28*8%=0.5792“管理效果”=0.79*30%+0.56*62%+0.30*8%=0.6082從總體得分由高到低排序為:管理態(tài)度、管理能力、管理效果、管理方法。總體上證明該校的思政管理水平屬于中等偏上的。
4總結(jié)
數(shù)據(jù)挖掘,主要是通過對原始數(shù)據(jù)的分析、提煉,找到最優(yōu)價值的信息的過程,屬于一類深層次的數(shù)據(jù)分析方法。將數(shù)據(jù)挖據(jù)技術(shù)運(yùn)用在高校思想政治教育中,有利于對思政教育工作者的多項工作指標(biāo)進(jìn)行分析,對其綜合能力進(jìn)行評定,為高校進(jìn)一步完善思想政治教育管理決策,準(zhǔn)確定位人才培養(yǎng)目標(biāo),加強(qiáng)教育團(tuán)隊建設(shè)提供有效的數(shù)據(jù)依據(jù)。
參考文獻(xiàn)
[1]劉強(qiáng)珺,丁養(yǎng)斌.基于數(shù)據(jù)挖掘技術(shù)的高校思政教育管理研究[J].電子測試,2015(1):101-103.
[2]范宸西,韓松洋.思想政治教育在高校內(nèi)涵式發(fā)展中的重新定位[J].中共珠海市委黨校珠海市行政學(xué)院學(xué)報,2015(4):50-54.
[3]吳小龍,張麗麗.大數(shù)據(jù)視角下高校思想政治理論教育創(chuàng)新[J].江西理工大學(xué)學(xué)報,2017(8):20-23.
[4]李平榮.大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術(shù)與應(yīng)用[J].重慶三峽學(xué)院學(xué)報,2014(5):159.
[5]舒正渝.淺談數(shù)據(jù)挖掘技術(shù)及其應(yīng)用[J].中國西部科技,2010(2):148-150.
作者:關(guān)翠玲 單位:陜西財經(jīng)職業(yè)技術(shù)學(xué)院
【數(shù)據(jù)挖掘論文】相關(guān)文章:
數(shù)據(jù)挖掘論文07-15
數(shù)據(jù)挖掘論文07-16
旅游管理下數(shù)據(jù)挖掘運(yùn)用論文11-18
數(shù)據(jù)挖掘論文錦集15篇07-29
旅游管理下數(shù)據(jù)挖掘運(yùn)用論文6篇11-18
旅游管理下數(shù)據(jù)挖掘運(yùn)用論文(6篇)11-18
旅游管理下數(shù)據(jù)挖掘運(yùn)用論文(集合6篇)11-18
旅游管理下數(shù)據(jù)挖掘運(yùn)用論文(匯編6篇)11-18