[實用]數(shù)據(jù)挖掘論文15篇
在日常學習、工作生活中，大家都寫過論文吧，論文是我們對某個問題進行深入研究的文章。那么，怎么去寫論文呢？以下是小編為大家收集的數(shù)據(jù)挖掘論文，歡迎閱讀，希望大家能夠喜歡。
![[實用]數(shù)據(jù)挖掘論文15篇](https://p.9136.com/00/l/c2dbcec42_2.jpg)
數(shù)據(jù)挖掘論文1
1電子商務中的數(shù)據(jù)挖掘簡介
電子商務中的數(shù)據(jù)挖掘即Web挖掘，是利用數(shù)據(jù)挖掘技術從www的資源(即Web文檔)和行為(即Web服務)中自動發(fā)現(xiàn)并提取感興趣的、有用的模式和隱含的信息，它是一項綜合技術，涉及到Internet技術學、人工智能等多個領域。當電子商務在企業(yè)中得到應用時，企業(yè)信息系統(tǒng)將產(chǎn)生大量數(shù)據(jù)，并且迫切需要將這些數(shù)據(jù)轉換成有用的信息，為企業(yè)創(chuàng)造更多潛在的利潤，數(shù)據(jù)挖掘概念就是從這樣的商業(yè)角度開發(fā)出來的。
2Web數(shù)據(jù)挖掘的流程
Web數(shù)據(jù)挖掘是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務數(shù)據(jù)進行抽取、轉換、分析和其他模型化處理，從中提取商業(yè)決策的關鍵性數(shù)據(jù)，可以使企業(yè)把數(shù)據(jù)轉化為有用的信息幫助決策，從而在市場競爭中獲得優(yōu)勢地位。在電子商務環(huán)境下，Web數(shù)據(jù)挖掘主要分為以下幾步:(1)數(shù)據(jù)收集。首先數(shù)據(jù)收集主要針對web數(shù)據(jù)中的服務器數(shù)據(jù)、用戶數(shù)據(jù)。其中服務器數(shù)據(jù)是Web挖掘中的主要對象。服務器中承載著用戶訪問時產(chǎn)生的對應的服務數(shù)據(jù)，其中包括了:日志文件、cookie文件、數(shù)據(jù)流。將這些數(shù)據(jù)進行初步收集，再針對這些數(shù)據(jù)進行深度分析挖掘。(2)數(shù)據(jù)選擇和預處理。通過數(shù)據(jù)收集將數(shù)據(jù)進行分類，根據(jù)所需的信息主題對收集的數(shù)據(jù)進行選擇，通過選擇相關的數(shù)據(jù)項縮小數(shù)據(jù)處理的范圍，挑選其中的有效數(shù)據(jù)進行數(shù)據(jù)預處理。數(shù)據(jù)預處理能夠提高挖掘效率，為之后的數(shù)據(jù)分析提供有效的數(shù)據(jù)。Web數(shù)據(jù)中大多數(shù)都是半結構或非結構化的，所以對web數(shù)據(jù)進行直接處理是不可行的。數(shù)據(jù)預處理能夠把半結構或非結構化的數(shù)據(jù)處理成標準的數(shù)據(jù)集方便后期處理。(3)模式發(fā)現(xiàn)。模式發(fā)現(xiàn)是運用各種方法，發(fā)現(xiàn)數(shù)據(jù)中隱藏的模式和規(guī)則。通過模式發(fā)現(xiàn)技術對預處理之后的數(shù)據(jù)進行處理得到相應的事務數(shù)據(jù)庫，利用模式發(fā)現(xiàn)對數(shù)據(jù)進行初步挖掘，將預處理下的事務數(shù)據(jù)轉換成可被挖掘的存儲方式，通過數(shù)據(jù)挖掘模式算法對其中有效的、新奇的、有用的及最終可以理解的信息和知識進行挖掘與總結。(4)模式分析。模式分析主要是采用合適的技術和工具，對挖掘結果進行模式的分析，其目的是根據(jù)實際應用，通過觀察和選擇，把發(fā)現(xiàn)的統(tǒng)計結果、規(guī)則和模型轉換為知識，經(jīng)過篩選后來指導實際的電子商務行為。
3電子商務中的數(shù)據(jù)挖掘技術
(1)路徑分析技術。路徑分析主要是對web訪問路徑進行搜索分析，對于頻繁訪問的路徑進行總結。利用Web服務器的日志文件進行數(shù)據(jù)分析，對訪客次數(shù)以及對應路徑進行分析挖掘出頻繁訪問路徑。通過數(shù)據(jù)可以分析出大多數(shù)訪問者的共同喜好，從而能夠幫助電子商務改進web設計以及提供更好更符合客戶的服務。(2)關聯(lián)分析技術。關聯(lián)技術是通過對數(shù)據(jù)進行分析尋找出隱藏的數(shù)據(jù)聯(lián)系，關聯(lián)分析可是對單純的web數(shù)據(jù)與對應的電子商務進行聯(lián)系。從而可以在web數(shù)據(jù)挖掘中得到該商務網(wǎng)站的關聯(lián)原則和信息。從而更好的使得客戶和網(wǎng)站數(shù)據(jù)有之間的相互聯(lián)系。(3)聚類分析技術。聚類分析是根據(jù)對象進行數(shù)據(jù)分析了之后，對數(shù)據(jù)的信息和客戶對象之間的關系進行總結。對數(shù)據(jù)對象進行分組成為多個類或簇，按照數(shù)據(jù)對象之間的相似度進行劃分。(4)分類分析技術。分類分析是通過對數(shù)據(jù)庫中樣本數(shù)據(jù)的分析，對每個類別做出準確的描述或分析模型或挖掘分類規(guī)則。分類分析是電子商務中一個非常重要的任務，也是應用最廣泛的技術。通過分類自動推導給定數(shù)據(jù)的廣義描述，以便對未來數(shù)據(jù)進行預測。
4Web數(shù)據(jù)挖掘技術在電子商務中的應用
(1)制定優(yōu)質個性化服務。電子商務的發(fā)展給了人們更多元化的選擇，同時，電商網(wǎng)站經(jīng)營的商品也在不斷增加，在這樣多元化的網(wǎng)站結構中想要快速找到符合自己的商品必定會是一個繁瑣的.過程。然而通過數(shù)據(jù)挖掘對瀏覽量、購買力、搜索強度進行合理應用，針對數(shù)據(jù)分析結果對網(wǎng)站進行制定優(yōu)質的個性化服務設計，更合理的安排網(wǎng)站中的物品擺放，從而為用戶提供更個性化的服務。(2)優(yōu)化站點設計。Web設計者可通過挖掘用戶的Web日志文件，對Web站點的結構和外觀進行設計和修改。網(wǎng)站網(wǎng)頁的內容設置直接影響網(wǎng)站的訪問效率。網(wǎng)站管理員按照大多數(shù)訪問者的瀏覽模式對網(wǎng)站進行組織，盡量為大多數(shù)訪問者的瀏覽提供方便，給客戶留下好的印象，增加下次訪問的機率。(3)聚類客戶。在電子商務中，聚類客戶就是主要的運營策略，可以對客戶瀏覽的信息等內容出發(fā)，對客戶的共性進行分類，從而讓電子商務的運營者能更加全面的了解客戶的需要，對網(wǎng)頁的內容進行適當?shù)恼{整，并在多方面滿足客戶的內在需要，盡最大限度的為客戶提供優(yōu)質的、合適的服務。(4)營銷效益分析。利用web數(shù)據(jù)挖掘對商品訪問和銷售情況進行有效分析，這樣能夠確定一些營銷及消費的生命周期。再者結合目前的市場變化，針對不同的產(chǎn)品進行定制獨特的營銷策略。數(shù)據(jù)挖掘能夠有助于提高電商的營銷效益。
5結語
綜上所述，web數(shù)據(jù)挖掘在電子商務的應用越來越廣泛，web數(shù)據(jù)挖掘能夠在海量數(shù)據(jù)里挖掘出有用的信息。通過數(shù)據(jù)處理把握客戶動態(tài)、追蹤市場變化，在激烈的市場競爭中，做出正確的決策。Web數(shù)據(jù)挖掘在電子商務領域中一定會有廣闊的應用前景，它將帶領電子商務系統(tǒng)走向更加智能化、使客戶服務走向更加個性化。
參考文獻:
�。�1］袁鴻雁．Web數(shù)據(jù)挖掘技術在電子商務中的應用研究［J］．電腦與電信，20xx(3):23～24．
�。�2］葉小榮．WEB數(shù)據(jù)挖掘技術在電子商務中的應用研究［J］．北京電力高等�？茖W校學報，20xx．
�。�3］馬宗亞，張會彥．Web數(shù)據(jù)挖掘技術在電子商務中的應用研究［J］．現(xiàn)代經(jīng)濟信息，20xx(6X):395．
［4］邰宇．Web數(shù)據(jù)挖掘技術在電子商務中的應用研究［J］．中國新技術新產(chǎn)品，20xx(2):21．
數(shù)據(jù)挖掘論文2
[1]劉瑩.基于數(shù)據(jù)挖掘的商品銷售預測分析[J].科技通報.20xx(07)
[2]姜曉娟,郭一娜.基于改進聚類的電信客戶流失預測分析[J].太原理工大學學報.20xx(04)
[3]李欣海.隨機森林模型在分類與回歸分析中的應用[J].應用昆蟲學報.20xx(04)
[4]朱志勇,徐長梅,劉志兵,胡晨剛.基于貝葉斯網(wǎng)絡的客戶流失分析研究[J].計算機工程與科學.20xx(03)
[5]翟健宏,李偉,葛瑞海,楊茹.基于聚類與貝葉斯分類器的網(wǎng)絡節(jié)點分組算法及評價模型[J].電信科學.20xx(02)
[6]王曼,施念,花琳琳,楊永利.成組刪除法和多重填補法對隨機缺失的二分類變量資料處理效果的比較[J].鄭州大學學報(醫(yī)學版).20xx(05)
[7]黃杰晟,曹永鋒.挖掘類改進決策樹[J].現(xiàn)代計算機(專業(yè)版).20xx(01)
[8]李凈,張范,張智江.數(shù)據(jù)挖掘技術與電信客戶分析[J].信息通信技術.20xx(05)
[9]武曉巖,李康.基因表達數(shù)據(jù)判別分析的隨機森林方法[J].中國衛(wèi)生統(tǒng)計.20xx(06)
[10]張璐.論信息與企業(yè)競爭力[J].現(xiàn)代情報.20xx(01)
[11]楊毅超.基于Web數(shù)據(jù)挖掘的作物商務平臺分析與研究[D].湖南農(nóng)業(yè)大學20xx
[12]徐進華.基于灰色系統(tǒng)理論的數(shù)據(jù)挖掘及其模型研究[D].北京交通大學20xx
[13]俞馳.基于網(wǎng)絡數(shù)據(jù)挖掘的客戶獲取系統(tǒng)研究[D].西安電子科技大學20xx
[14]馮軍.數(shù)據(jù)挖掘在自動外呼系統(tǒng)中的應用[D].北京郵電大學20xx
[15]于寶華.基于數(shù)據(jù)挖掘的高考數(shù)據(jù)分析[D].天津大學20xx
[16]王仁彥.數(shù)據(jù)挖掘與網(wǎng)站運營管理[D].華東師范大學20xx
[17]彭智軍.數(shù)據(jù)挖掘的若干新方法及其在我國證券市場中應用[D].重慶大學20xx
[18]涂繼亮.基于數(shù)據(jù)挖掘的智能客戶關系管理系統(tǒng)研究[D].哈爾濱理工大學20xx
[19]賈治國.數(shù)據(jù)挖掘在高考填報志愿上的應用[D].內蒙古大學20xx
[20]馬飛.基于數(shù)據(jù)挖掘的航運市場預測系統(tǒng)設計及研究[D].大連海事大學20xx
[21]周霞.基于云計算的太陽風大數(shù)據(jù)挖掘分類算法的研究[D].成都理工大學20xx
[22]阮偉玲.面向生鮮農(nóng)產(chǎn)品溯源的基層數(shù)據(jù)庫建設[D].成都理工大學20xx
[23]明慧.復合材料加工工藝數(shù)據(jù)庫構建及數(shù)據(jù)集成[D].大連理工大學20xx
[24]陳鵬程.齒輪數(shù)控加工工藝數(shù)據(jù)庫開發(fā)與數(shù)據(jù)挖掘研究[D].合肥工業(yè)大學20xx
[25]岳雪.基于海量數(shù)據(jù)挖掘關聯(lián)測度工具的設計[D].西安財經(jīng)學院20xx
[26]丁翔飛.基于組合變量與重疊區(qū)域的SVM-RFE方法研究[D].大連理工大學20xx
[27]劉士佳.基于MapReduce框架的頻繁項集挖掘算法研究[D].哈爾濱理工大學20xx
[28]張曉東.全序模塊模式下范式分解問題研究[D].哈爾濱理工大學20xx
[29]尚丹丹.基于虛擬機的Hadoop分布式聚類挖掘方法研究與應用[D].哈爾濱理工大學20xx
[30]王化楠.一種新的混合遺傳的基因聚類方法[D].大連理工大學20xx
[31]楊毅超.基于Web數(shù)據(jù)挖掘的作物商務平臺分析與研究[D].湖南農(nóng)業(yè)大學20xx
[32]徐進華.基于灰色系統(tǒng)理論的.數(shù)據(jù)挖掘及其模型研究[D].北京交通大學20xx
[33]俞馳.基于網(wǎng)絡數(shù)據(jù)挖掘的客戶獲取系統(tǒng)研究[D].西安電子科技大學20xx
[34]馮軍.數(shù)據(jù)挖掘在自動外呼系統(tǒng)中的應用[D].北京郵電大學20xx
[35]于寶華.基于數(shù)據(jù)挖掘的高考數(shù)據(jù)分析[D].天津大學20xx
[36]王仁彥.數(shù)據(jù)挖掘與網(wǎng)站運營管理[D].華東師范大學20xx
[37]彭智軍.數(shù)據(jù)挖掘的若干新方法及其在我國證券市場中應用[D].重慶大學20xx
[38]涂繼亮.基于數(shù)據(jù)挖掘的智能客戶關系管理系統(tǒng)研究[D].哈爾濱理工大學20xx
[39]賈治國.數(shù)據(jù)挖掘在高考填報志愿上的應用[D].內蒙古大學20xx
[ 40]馬飛.基于數(shù)據(jù)挖掘的航運市場預測系統(tǒng)設計及研究[D].大連海事大學20xx
數(shù)據(jù)挖掘論文3
摘要:文章首先對數(shù)據(jù)挖掘技術及其具體功能進行簡要分析，在此基礎上對科研管理中數(shù)據(jù)挖掘技術的應用進行論述。期望通過本文的研究能夠對科研管理水平的進一步提升有所幫助。
關鍵詞:科研管理;數(shù)據(jù)挖掘;技術應用
1數(shù)據(jù)挖掘技術及其具體功能分析
所謂的數(shù)據(jù)挖掘具體是指通過相關的算法在大量的數(shù)據(jù)當中對隱藏的、有利用價值的信息進行搜索的過程。數(shù)據(jù)挖掘是一門綜合性較強的科學技術，其中涉及諸多領域的知識，如人工智能、機器學習、數(shù)據(jù)庫、數(shù)理統(tǒng)計等等。數(shù)據(jù)挖掘技術具有如下幾個方面的功能:1．1關聯(lián)規(guī)則分析。這是數(shù)據(jù)挖掘技術較為重要的功能之一，可從給定的數(shù)據(jù)集當中，找到出現(xiàn)比較頻繁的項集，該項集具體是指行形如X-＞Y，在數(shù)據(jù)庫當中，X和Y所代表的均為屬性取值。在關聯(lián)規(guī)則下，只要數(shù)據(jù)滿足X條件，就一定滿足Y條件，數(shù)據(jù)挖掘技術的這個功能在商業(yè)金融等領域中的應用較為廣泛。1．2回歸模式分析回歸模式主要是通過對連續(xù)數(shù)值的預測，來達到挖掘數(shù)據(jù)的目的。例如，已知企業(yè)某個人的教育背景、工作年限等條件，可對其年薪的范圍進行判定，整個分析過程是利用回歸模型予以實現(xiàn)的。在該功能中，已知的條件越多，可進行挖掘的信息就越多。1．3聚類分析聚類具體是指將相似程度較高的.數(shù)據(jù)歸為同一個類別，通過聚類分析能夠從數(shù)據(jù)集中找出類似的數(shù)據(jù)，并組成不同的組。在聚類分析的過程中，需要使用聚類算法，借助該算法對數(shù)據(jù)進行檢測后，可以判斷其隱藏的屬性，并將數(shù)據(jù)庫分為若干個相似的組。
2科研管理中數(shù)據(jù)挖掘技術的應用
科研是科學研究的簡稱，具體是指為認識客觀事物在內在本質及其運動規(guī)律，而借助某些技術手段和設備，開展調查研究、實驗等活動，并為發(fā)明和創(chuàng)造新產(chǎn)品提供理論依據(jù)�？蒲泄芾硎菍蒲许椖咳^程的管理，如課題管理、經(jīng)費管理、成果管理等等。由于科學研究中涉及的內容較多，從而給科研管理工作增添了一定的難度。為進一步提升科研管理水平，可在不同的管理環(huán)節(jié)中，對數(shù)據(jù)挖掘技術進行應用。下面就此展開詳細論述。
2．1在立項及可行性評估中的應用
科研管理工作的開展需要以相關的科研課題作為依托，當課題選定之后，需要對其可行性及合理性進行全面系統(tǒng)地評估，由此使得科研課題的立項及評估成為科研管理的主要工作內容。現(xiàn)階段，國內的科研課題立項采用的是申請審批制，具體的流程是:由科研機構的相關人員負責提出申請，然后再由科技主管部門從申請中進行篩選，經(jīng)過業(yè)內專家的評審論證之后，擇優(yōu)選取科研項目的承接單位。在進行科研課題立項的過程中，涉及諸多方面的內容，具體包括申請單位、課題的研究領域、經(jīng)費安排、主管單位以及評審專家等。通過調查發(fā)現(xiàn)，由于國家宏觀調控政策的缺失，導致科研立項中存在低水平、重復性研究的情況，從而造成大量的研究經(jīng)費浪費，所取得的研究成果也不顯著�？蒲泄芾聿块T雖然建立了相對完善的數(shù)據(jù)庫系統(tǒng)，并且系統(tǒng)也涵蓋與項目申請、審評等方面有關的基本操作流程，如上傳項目申報文件、將文件發(fā)給相關的評審專家、對評審結果進行自動統(tǒng)計等。從本質的角度上講，數(shù)據(jù)庫管理系統(tǒng)所完成的這些工作流程，就是將傳統(tǒng)管理工作轉變?yōu)樾畔⒒�。故此，應當對已有的�?shù)據(jù)進行深入挖掘，從而找出其中更具利用價值的信息，據(jù)此對科研立項進行指導，這樣不但能夠使有限的科技資源得到最大限度地利用，而且還能使科研經(jīng)費的使用效益獲得全面提升。在科研立項階段，可對數(shù)據(jù)挖掘技術進行合理運用，借此來對課題申請中涉及的各種因素進行挖掘，找出其中潛在的規(guī)則，為指標體系的構建和遴選方法的選擇提供可靠依據(jù)，最大限度地降低不合理因素對課題立項帶來的影響，對確需資助的科研項目進行準確選擇，并給予相應的資助。在科研立項環(huán)節(jié)中，對數(shù)據(jù)挖掘技術進行應用時，可以借助改進后的Apriori算法進行數(shù)據(jù)挖掘，從中找出關聯(lián)規(guī)則，在對該規(guī)則進行分析的基礎上，對立項的合理性進行評價。
2．2在項目管理中的應用
項目管理是科研管理的關鍵環(huán)節(jié)，為提高項目管理的效率和水平，可對數(shù)據(jù)挖掘技術進行合理運用。在信息時代到來的今天，計算機技術、網(wǎng)絡技術的普及程度越來越高，國內很多科研機構都紛紛構建起了相關的管理信息系統(tǒng)，其中涵蓋了諸多的信息，如課題、科研人員、研究條件等等，而在這些信息當中，隱藏著諸多具有特定意義的規(guī)則，為找出這些規(guī)則，需要借助數(shù)據(jù)挖掘技術，對信息進行深入分析，進而獲取對科研項目有幫助的信息。由于大部分科研管理部門建立的科研管理信息系統(tǒng)時間較早，從而使得系統(tǒng)本身的功能比較單一，如信息刪減、修改、查詢、統(tǒng)計等等，雖然這些功能可以滿足對科研課題進展、經(jīng)費使用等方面的管理，但其面向的均為數(shù)據(jù)庫管理人員，處理的也都是常規(guī)事務。而從科研課題的管理者與決策者的角度上看，管理信息系統(tǒng)這些功能顯然是有所不足的，因為他們需要對歷史進行分析和提煉，從中獲取相應的數(shù)據(jù)，為決策和管理工作的開展提供支撐。對此，可應用數(shù)據(jù)挖掘技術的OLAP，即數(shù)據(jù)庫聯(lián)機分析處理，由此能夠幫助管理者從不同的方面對數(shù)據(jù)進行觀察，進而深入了解數(shù)據(jù)并獲取所需的信息。利用OLAP可以發(fā)現(xiàn)多種于科研課題有關信息之間的內在聯(lián)系，這樣管理者便能及時發(fā)現(xiàn)其中存在的相關問題，并針對問題采取有效的方法和措施加以應對。運用數(shù)據(jù)挖掘技術能夠對科研項目的相關數(shù)據(jù)進行分析，找出其中存在的矛盾，從而使管理工作的開展更具針對性。
3結論
綜上所述，科研管理是一項較為復雜且系統(tǒng)的工作，其中涵蓋的信息相對較多。為此，可將數(shù)據(jù)挖掘技術在科研管理中進行合理應用，對相關信息進行深入分析，從中挖掘出有利用價值的信息，為科研管理工作的開展提供可靠的依據(jù)，由此除了能夠確保科研項目順利進行之外，還能提高科研管理水平。
參考文獻:
［1］劉占波，王立偉，王曉麗．大數(shù)據(jù)環(huán)境下基于數(shù)據(jù)挖掘技術的高�？蒲泄芾硐到y(tǒng)的設計［J］．電子測試，20xx(1):21-22．
�。�2］史子靜．高�？蒲泄芾硐到y(tǒng)中計算機數(shù)據(jù)挖掘技術的運用研究［J］．科技資訊，20xx(6):65-66．
�。�3］丁磊．數(shù)據(jù)挖掘技術在高校教師科研管理中的應用研究［D］．大連海事大學，20xx．
數(shù)據(jù)挖掘論文4
引言 數(shù)據(jù)挖掘是指從數(shù)據(jù)集合中自動抽取隱藏在數(shù)據(jù)中的那些有用信息的非平凡過程,這些信息的表現(xiàn)形式為:規(guī)則、概念、規(guī)律及模式等。它可幫助決策者分析歷史數(shù)據(jù)及當前數(shù)據(jù),并從中發(fā)現(xiàn)隱藏的關系和模式,進而預測未來可能發(fā)生的行為。數(shù)據(jù)挖掘的過程也叫知識發(fā)現(xiàn)的過程。
一、數(shù)據(jù)挖掘技術 數(shù)據(jù)挖掘就是指
從數(shù)據(jù)庫中發(fā)現(xiàn)知識的過程。包括存儲和處理數(shù)據(jù),選擇處理大量數(shù)據(jù)集的算法、解釋結果、使結果可視化。整個過程中支持人機交互的模式。數(shù)據(jù)挖掘從許多交叉學科中得到發(fā)展,并有很好的前景。這些學科包括數(shù)據(jù)庫技術、機器學習、人工智能、模式識別、統(tǒng)計學、模糊推理、專家系統(tǒng)、數(shù)據(jù)可視化、空間數(shù)據(jù)分析和高性能計算等。數(shù)據(jù)挖掘綜合以上領域的理論、算法和方法,已成功應用在超市、金融、銀行、生產(chǎn)企業(yè)和電信,并有很好的表現(xiàn)。
二、數(shù)據(jù)挖掘的過程
挖掘數(shù)據(jù)過程可以分為3個步驟:數(shù)據(jù)預處理、模式發(fā)現(xiàn)、模式分析。
(1)數(shù)據(jù)預處理。實際系統(tǒng)中的數(shù)據(jù)一般都具有不完全性、冗余性和模糊性。因此,數(shù)據(jù)挖掘一般不對原始數(shù)據(jù)進行挖掘,要通過預處理提供準確、簡潔的數(shù)據(jù)。預處理主要完成以下工作:包括合并數(shù)據(jù),將多個文件或多個數(shù)據(jù)庫中的數(shù)據(jù)進行合并處理;選擇數(shù)據(jù),提取出適合分析的數(shù)據(jù)集合;數(shù)據(jù)清洗、過濾,剔除一些無關記錄,將文件、圖形、圖像及多媒體等文件轉換成可便于數(shù)據(jù)挖掘的格式等。
(2)模式發(fā)現(xiàn)。模式發(fā)現(xiàn)階段就是利用挖掘算法挖掘出有效的、新穎的、潛在的、有用的以及最終可以理解的信息和知識�？捎糜赪eb的挖掘技術有路徑選擇、關聯(lián)分析、分類規(guī)則、聚類分析、序列分析、依賴性建模等等。
(3)模式分析。模式分析是從模式發(fā)現(xiàn)階段獲得的模式、規(guī)則中過濾掉不感興趣的規(guī)則和模式。通過技術手段,對得到的模式進行數(shù)據(jù)分析,得出有意義的結論。常用的技術手段有:關聯(lián)規(guī)則、分類、聚類、序列模式等。
三、數(shù)據(jù)挖掘在電力系統(tǒng)負荷預測中的應用
電力負荷預測是能量管理系統(tǒng)及配電管理系統(tǒng)的重要組成部分,是電力系統(tǒng)規(guī)劃和運行調度的依據(jù),也是電力市場化商業(yè)運營所必需的基本內容。負荷預測工作的關鍵在于收集大量的歷史數(shù)據(jù),建立科學有效的預測模型,采用有效的算法,以歷史數(shù)據(jù)為基礎,進行大量試驗性研究,總結經(jīng)驗,不斷修正模型和算法,以真正反映負荷變化規(guī)律。其過程為:
(1) 調查和選擇歷史負荷數(shù)據(jù)資料
多方面調查收集資料,包括電力企業(yè)內部資料和外部資料,從眾多的.資料中挑選出有用的一小部分,即把資料濃縮到最小量。挑選資料時的標準要直接、可靠并且是最新的資料。如果資料的收集和選擇得不好,會直接影響負荷預測的質量。通過建立計算機數(shù)據(jù)管理系統(tǒng),利用計算機軟件系統(tǒng)來自動管理數(shù)據(jù)。
(2) 負載數(shù)據(jù)預處理
經(jīng)過初步整理,還用于數(shù)據(jù)分析的預處理,平滑異常值的歷史數(shù)據(jù)和缺失數(shù)據(jù)的異常數(shù)據(jù)主要是水平的,垂直的方法附錄。正在分析數(shù)據(jù)之前和之后的兩個時間的負載數(shù)據(jù)作為基準,來設置要處理的數(shù)據(jù)時,要處理的數(shù)據(jù)的范圍中最大的變化的數(shù)據(jù)的處理的水平超過該范圍時,它被認為是壞的數(shù)據(jù),使用平均法平滑變化;垂直負載數(shù)據(jù)預處理中的數(shù)據(jù)處理的考慮其24小時的小循環(huán),即,相同的時間的日期不同的負載應具有相似的,同時負載值應保持在一定范圍內,校正外的范圍內的數(shù)據(jù)進行處理,在最近幾天的壞數(shù)據(jù),力矩載荷的意思。
(3) 歷史資料的整理
一般來說,由于預測的質量不會超過所用資料的質量,所以要對所收集的與負荷有關的統(tǒng)計資料進行審核和必要的加工整理,來保證資料的質量,從而為保證預測質量打下基礎,即要注意資料的完整無缺,數(shù)字準確無誤,反映的都是正常狀態(tài)下的水平,資料中沒有異常的“分離項”,還要注意資料的補缺,并對不可靠的資料加以核實調整。通過建立數(shù)據(jù)完整性、一致性約束模型,來建立海量數(shù)據(jù)集為后面的數(shù)據(jù)挖掘做好充分的準備。
(4) 建立負荷預測模型
負荷預測模型是統(tǒng)計資料軌跡的概括,預測模型是多種多樣的,因此,對于具體資料要選擇恰當?shù)念A測模型,這是負荷預測過程中至關重要的一步。當由于模型選擇不當而造成預測誤差過大時,就需要改換模型,必要時,還可同時采用幾種數(shù)學模型進行運算,以便對比、選擇。
(5) 選擇算法
選擇聚類法又稱聚類分析法,它是對一組負荷影響因素數(shù)據(jù)進行聚類的方法,聚類后的數(shù)據(jù)即構成了一組分類。聚類的標準是以數(shù)據(jù)的表象(即數(shù)據(jù)屬性 值)為依據(jù)的,聚類的工具是將一組數(shù)據(jù)按表象而將相近的歸并成類,最終形成若干個類,在類內數(shù)據(jù)具有表象的相似性,而類間的數(shù)據(jù)具有表象的相異性。聚類的算法也有很多,有遺傳算法,劃分法,層次法,基于密度方法,基于網(wǎng)格方法等。 四、CURE算法在負荷預測中的應用 CURE算法是一種分層聚類算法。典型的數(shù)據(jù)點來表示一個具有固定數(shù)目的聚類。的CURE算法需要作為參數(shù)輸入的群集數(shù)?。由于CURE聚類的代表點的某些有代表性的,可以發(fā)現(xiàn)具有任何尺寸和形狀的聚類。同時,在一個集群代表點的選擇方式的中心“縮水”排除“噪音”。
歷史上第一個數(shù)據(jù)庫負荷預測,數(shù)據(jù)提取樣品。的數(shù)據(jù)樣本聚類,可以分為兩種方法:一個是所有樣本數(shù)據(jù)進行聚類,這個方法會使主內存容量是遠遠不夠的,系統(tǒng)無法掃描一次完成。我們使用所有的樣本數(shù)據(jù)被分成多個區(qū)域,每個區(qū)域的數(shù)據(jù)進行聚類,使每個分區(qū)可以品嘗到所有的數(shù)據(jù)加載到主內存。然后,針對每個分區(qū),使用分層算法的聚類。
電力系統(tǒng)的應用SCADA系統(tǒng)中的數(shù)據(jù)測量、記錄、轉換、傳輸、收集數(shù)據(jù),并可能導致故障和負載數(shù)據(jù)丟失或異常。異常數(shù)據(jù)的生成是隨機的,因此,在數(shù)據(jù)庫中的不確定性的分布,不同類型的異常數(shù)據(jù)出現(xiàn)單獨或在一個特定的時刻,或交叉混合發(fā)生在同一天連續(xù),或在相同的連續(xù)天期的橫分布,以及許多其他場合。異常數(shù)據(jù)的處理的關鍵影響的預測結果的準確性。使用兩種不同的技術,以刪除異常。第一種技術是要刪除的集群增長緩慢。當簇的數(shù)量低于某一閾值,將只包含一個或兩個集群成員的刪除,第二種方法是在集群的最后階段,非常小的集群中刪除。
最后對樣本中的全部數(shù)據(jù)進行聚類,為了保證可以在內存中處理,輸入只包括各個分區(qū)獨自聚類時發(fā)現(xiàn)的簇的代表性點。使用c個點代表每個簇,對磁盤上的整個數(shù)據(jù)庫進行聚類。數(shù)據(jù)庫中的數(shù)據(jù)項被分配到與最近的代表性點表示的簇中。代表性點的集合必須足夠小以適應主存的大小。
結束語
數(shù)據(jù)挖掘技術雖然得到了一定程度的應用,并取得了顯著成效,但仍存在著許多尚未解決的問題。隨著人們對數(shù)據(jù)挖掘技術的深人研究,數(shù)據(jù)挖掘技術必將更加成熟,并取得更加顯著的效果。
數(shù)據(jù)挖掘論文5
題目：檔案信息管理系統(tǒng)中的計算機數(shù)據(jù)挖掘技術探討
摘要：伴隨著計算機技術的不斷進步和發(fā)展, 數(shù)據(jù)挖掘技術成為數(shù)據(jù)處理工作中的重點技術, 能借助相關算法搜索相關信息, 在節(jié)省人力資本的同時, 提高數(shù)據(jù)檢索的實際效率, 基于此, 被廣泛應用在數(shù)據(jù)密集型行業(yè)中。筆者簡要分析了計算機數(shù)據(jù)挖掘技術, 并集中闡釋了檔案信息管理系統(tǒng)計算機數(shù)據(jù)倉庫的建立和技術實現(xiàn)過程, 以供參考。
關鍵詞：檔案信息管理系統(tǒng); 計算機; 數(shù)據(jù)挖掘技術; 1 數(shù)據(jù)挖掘技術概述
數(shù)據(jù)挖掘技術就是指在大量隨機數(shù)據(jù)中提取隱含信息, 并且將其整合后應用在知識處理體系的技術過程。若是從技術層面判定數(shù)據(jù)挖掘技術, 則需要將其劃分在商業(yè)數(shù)據(jù)處理技術中, 整合商業(yè)數(shù)據(jù)提取和轉化機制, 并且建構更加系統(tǒng)化的分析模型和處理機制, 從根本上優(yōu)化商業(yè)決策。借助數(shù)據(jù)挖掘技術能建構完整的數(shù)據(jù)倉庫, 滿足集成性、時變性以及非易失性等需求, 整和數(shù)據(jù)處理和冗余參數(shù), 確保技術框架結構的完整性。
目前, 數(shù)據(jù)挖掘技術常用的工具, 如SAS企業(yè)的Enterprise Miner、IBM企業(yè)的Intellient Miner以及SPSS企業(yè)的Clementine等應用都十分廣泛。企業(yè)在實際工作過程中, 往往會利用數(shù)據(jù)源和數(shù)據(jù)預處理工具進行數(shù)據(jù)定型和更新管理, 并且應用聚類分析模塊、決策樹分析模塊以及關聯(lián)分析算法等, 借助數(shù)據(jù)挖掘技術對相關數(shù)據(jù)進行處理。
2 檔案信息管理系統(tǒng)計算機數(shù)據(jù)倉庫的建立
2.1 客戶需求單元
為了充分發(fā)揮檔案信息管理系統(tǒng)的優(yōu)勢, 要結合客戶的實際需求建立完整的處理框架體系。在數(shù)據(jù)庫體系建立中, 要適應迭代式處理特征, 并且從用戶需求出發(fā)整合數(shù)據(jù)模型, 保證其建立過程能按照整體規(guī)劃有序進行, 且能按照目標和分析框架參數(shù)完成操作。首先, 要確立基礎性的數(shù)據(jù)倉庫對象, 由于是檔案信息管理, 因此, 要集中劃分檔案數(shù)據(jù)分析的主題, 并且有效錄入檔案信息, 確保滿足檔案的數(shù)據(jù)分析需求。其次, 要對日常工作中的用戶數(shù)據(jù)進行集中的挖掘處理, 從根本上提高數(shù)據(jù)倉庫分析的完整性。
(1) 確定數(shù)據(jù)倉庫的基礎性用戶, 其中, 主要包括檔案工作人員和使用人員, 結合不同人員的工作需求建立相應的數(shù)據(jù)倉庫。
(2) 檔案工作要利用數(shù)據(jù)分析和檔案用戶特征分析進行分類描述。
(3) 確定檔案的基礎性分類主題, 一般而言, 要將文書檔案歸檔情況、卷數(shù)等基礎性信息作為分類依據(jù)。
2.2 數(shù)據(jù)庫設計單元
在設計過程中, 要針對不同維度建立相應的參數(shù)體系和組成結構, 并且有效整合組成事實表的主鍵項目, 建立框架結構。
第一, 建立事實表。事實表是數(shù)據(jù)模型的核心單元, 主要是記錄相關業(yè)務和統(tǒng)計數(shù)據(jù)的表, 能整合數(shù)據(jù)倉庫中的信息單元, 并且提升多維空間處理效果, 確保數(shù)據(jù)儲存過程切實有效。 (1) 檔案管理中文書檔案目錄卷數(shù)事實表:事實表主鍵, 字段類型Int, 字段為Id;文書歸檔年份, 字段類型Int, 字段為Gdyear_key;文書歸檔類型, 字段類型Int, 字段為Ajtm_key;文書歸檔單位, 字段類型Int, 字段為Gddw_key;文書檔案生成年份, 字段類型Int, 字段為Ajscsj_key, 以及文書檔案包括的文件數(shù)目。 (2) 檔案管理中文書檔案卷數(shù)事實表:事實表主鍵, 字段類型Int, 字段為Id;文書歸檔利用日期, 字段類型Int, 字段為Date_key;文書歸檔利用單位, 字段類型Int, 字段為Dw_key;文書歸檔利用類別, 字段類型Int, 字段為Dalb_key;文書歸檔利用年份, 字段類型Int, 字段為Dayear_key等[1]。
第二, 建立維度表, 在實際數(shù)據(jù)倉庫建立和運維工作中, 提高數(shù)據(jù)管理效果和水平, 確保建立循環(huán)和反饋的系統(tǒng)框架體系, 并且處理增長過程和完善過程, 有效實現(xiàn)數(shù)據(jù)庫模型設計以及相關維護操作。首先, 要對模式的基礎性維度進行分析并且制作相應的表, 主要包括檔案年度維表、利用方式維表等。其次, 要建構數(shù)據(jù)庫星型模型體系。最后, 要集中判定數(shù)據(jù)庫工具, 保證數(shù)據(jù)庫平臺在客戶管理工作方面具備一定的優(yōu)勢, 集中制訂商務智能解決方案, 保證集成環(huán)境的穩(wěn)定性和數(shù)據(jù)倉庫建模的效果, 真正提高數(shù)據(jù)抽取以及轉換工作的實際水平。需要注意的是, 在全面整合和分析處理數(shù)據(jù)的過程中, 要分離文書檔案中的數(shù)據(jù), 相關操作如下:
from dag gd temp//刪除臨時表中的數(shù)據(jù)
Ch count=dag 1.importfile (dbo.u wswj) //將文書目錄中數(shù)據(jù)導出到數(shù)據(jù)窗口
Dag 1.() //將數(shù)據(jù)窗口中的數(shù)據(jù)保存到臨時表
相關技術人員要對數(shù)據(jù)進行有效處理, 以保證相關數(shù)據(jù)合并操作、連接操作以及條件性拆分操作等都能按照數(shù)據(jù)預處理管理要求合理化進行, 從根本上維護數(shù)據(jù)處理效果。
2.3 多維數(shù)據(jù)模型建立單元
在檔案多維數(shù)據(jù)模型建立的過程中, 相關技術人員要判定聯(lián)機分析處理項目和數(shù)據(jù)挖掘方案, 整合信息系統(tǒng)中的數(shù)據(jù)源、數(shù)據(jù)視圖、維度參數(shù)以及屬性參數(shù)等, 保證具體單元能發(fā)揮其實際作用, 并且真正發(fā)揮檔案維表的穩(wěn)定性、安全性優(yōu)勢。
第一, 檔案事實表中的數(shù)據(jù)穩(wěn)定, 事實表是加載和處理檔案數(shù)據(jù)的基本模塊, 按照檔案目錄數(shù)據(jù)表和檔案利用情況表分析和判定其類別和歸檔時間, 從而提高數(shù)據(jù)獨立分析水平。一方面, 能追加有效的數(shù)據(jù), 保證數(shù)據(jù)倉庫信息的基本質量, 也能追加時間判定標準, 能在實際操作中減少掃描整個表浪費的時間, 從根本上提高實際效率。另一方面, 能刪除數(shù)據(jù), 實現(xiàn)數(shù)據(jù)更新, 檢索相關關鍵詞即可。并且也能同時修改數(shù)據(jù), 維護檔案撤出和檔案追加的動態(tài)化處理效果。
第二, 檔案維表的安全性。在維表管理工作中, 檔案參數(shù)和數(shù)據(jù)的安全穩(wěn)定性十分關鍵, 由于其不會隨著時間的推移出現(xiàn)變化, 因此, 要對其進行合理的處理和協(xié)調。維表本身的存儲空間較小, 盡管結構發(fā)生變化的概率不大, 但仍會對代表的對象產(chǎn)生影響, 這就會使得數(shù)據(jù)出現(xiàn)動態(tài)的變化。對于這種改變, 需要借助新維生成的方式進行處理, 從而保證不同維表能有效連接, 整合正確數(shù)據(jù)的同時, 也能對事實表外鍵進行分析[2]。
3 檔案信息管理系統(tǒng)計算機數(shù)據(jù)倉庫的實現(xiàn)
3.1 描述需求
隨著互聯(lián)網(wǎng)技術和數(shù)據(jù)庫技術不斷進步, 要提高檔案數(shù)字化水平以及完善信息化整合機制, 加快數(shù)據(jù)庫管控體系的更新, 確保設備存儲以及網(wǎng)絡環(huán)境一體化水平能滿足需求, 尤其是在檔案資源重組和預測項目中, 只有從根本上落實數(shù)據(jù)挖掘體系, 才能為后續(xù)信息檔案管理項目升級奠定堅實基礎。另外, 在數(shù)據(jù)表和文書等基礎性數(shù)據(jù)結構模型建立的基礎上, 要按照規(guī)律制定具有個性化的主動性服務機制。
3.2 關聯(lián)計算
在實際檔案分析工作開展過程中, 關聯(lián)算法描述十分關鍵, 能對某些行為特征進行統(tǒng)籌整合, 從而制定分析決策。在進行關聯(lián)規(guī)則強度分析時, 要結合支持度和置信度等系統(tǒng)化數(shù)據(jù)進行綜合衡量。例如, 檔案數(shù)據(jù)庫中有A和B兩個基礎項集合, 支持度為P (A∪B) , 則直接表述了A和B在同一時間出現(xiàn)的基礎性概率。若是兩者出現(xiàn)的概率并不大, 則證明兩者之間的關聯(lián)度較低。若是兩者出現(xiàn)的概率較大, 則說明兩者的關聯(lián)度較高。另外, 在分析置信度時, 利用Confidence (A→B) = (A|B) , 也能有效判定兩者之間的關系。在出現(xiàn)置信度A的情況下, B的出現(xiàn)概率則是整體參數(shù)關系的關鍵, 若是置信度的數(shù)值達到100%, 則直接證明A和B能同一時間出現(xiàn)。
3.3 神經(jīng)網(wǎng)絡算法
除了要對檔案的實際內容進行數(shù)據(jù)分析和數(shù)據(jù)庫建構, 也要對其利用情況進行判定, 目前較為常見的利用率分析算法就是神經(jīng)網(wǎng)絡算法, 其借助數(shù)據(jù)分類系統(tǒng)判定和分析數(shù)據(jù)對象。值得注意的是, 在分類技術結構中, 要結合訓練數(shù)據(jù)集判定分類模型數(shù)據(jù)挖掘結構。神經(jīng)網(wǎng)絡算法類似于人腦系統(tǒng)的運行結構, 能建立完整的信息處理單元, 并且能夠整合非線性交換結構, 確保能憑借歷史數(shù)據(jù)對計算模型和分類體系展開深度分析[3]。
3.4 實現(xiàn)多元化應用
在檔案管理工作中應用計算機數(shù)據(jù)挖掘技術, 能對檔案分類管理予以分析, 保證信息需求分類總結工作的完整程度。尤其是檔案使用者在對檔案具體特征進行差異化分析的過程中, 能結合不同的元素對具體問題展開深度調研。一方面, 計算機數(shù)據(jù)挖掘技術借助決策樹算法處理規(guī)則化的檔案分析機制。在差異化訓練體系中, 要對數(shù)據(jù)集合中的數(shù)據(jù)進行系統(tǒng)化分析以及處理, 確保構建要求能適應數(shù)據(jù)挖掘的基本結構[4]。例如, 檔案管理人員借助數(shù)據(jù)挖掘技術能整合檔案使用人員長期瀏覽與關注的信息, 并且能集中收集和匯總間隔時間、信息查詢停留時間等, 從而建構完整的數(shù)據(jù)分析機制, 有效向其推送或者是提供便捷化查詢服務, 保證檔案管理數(shù)字化水平的提高。另一方面, 在檔案收集管理工作中應用數(shù)據(jù)挖掘技術, 主要是對數(shù)據(jù)信息進行分析, 結合基本結果建立概念模型, 保證模型以及測試樣本之間的比較參數(shù)符合標準, 從而真正建立更加系統(tǒng)化的分類框架體系。
4 結語
總而言之, 在檔案管理工作中應用數(shù)據(jù)挖掘技術, 能在準確判定用戶需求的同時, 維護數(shù)據(jù)處理效果, 并且減少檔案數(shù)字化的成本, 為后續(xù)工作的進一步優(yōu)化奠定堅實基礎。并且, 數(shù)據(jù)庫的建立, 也能節(jié)省經(jīng)費和設備維護成本, 真正實現(xiàn)數(shù)字化全面發(fā)展的目標, 促進檔案信息管理工作的長效進步。
參考文獻
[1]曾雪峰.計算機數(shù)據(jù)挖掘技術開發(fā)及其在檔案信息管理中的運用研究[J].科技創(chuàng)新與應用, 20xx (9) :285.
[2]王曉燕.數(shù)據(jù)挖掘技術在檔案信息管理中的應用[J].蘭臺世界, 20xx (23) :25-26.
[3]韓吉義.基于數(shù)據(jù)挖掘技術的高校圖書館檔案信息管理平臺的構筑[J].山西檔案, 20xx (6) :61-63.
[4]哈立原.基于數(shù)據(jù)挖掘技術的高校圖書館檔案信息管理平臺構建[J].山西檔案, 20xx (5) :105-107.
數(shù)據(jù)挖掘論文四： 題目：機器學習算法在數(shù)據(jù)挖掘中的應用
摘要：隨著科學技術的快速發(fā)展, 各種新鮮的事物和理念得到了廣泛的應用。其中機器學習算法就是一則典型案例——作為一種新型的算法, 其廣泛應用于各行各業(yè)之中。本篇論文旨在探討機器學習算法在數(shù)據(jù)挖掘中的具體應用, 我們利用龐大的移動終端數(shù)據(jù)網(wǎng)絡, 加強了基于GSM網(wǎng)絡的戶外終端定位, 從而提出了3個階段的定位算法, 有效提高了定位的精準度和速度。
關鍵詞：學習算法; GSM網(wǎng)絡; 定位; 數(shù)據(jù);
移動終端定位技術由來已久, 其主要是利用各種科學技術手段定位移動物體的精準位置以及高度。目前, 移動終端定位技術主要應用于軍事定位、緊急救援、網(wǎng)絡優(yōu)化、地圖導航等多個現(xiàn)代化的領域, 由于移動終端定位技術可以提供精準的位置服務信息, 所以其在市場上還是有較大的需求的, 這也為移動終端定位技術的優(yōu)化和發(fā)展, 提供了推動力。隨著通信網(wǎng)絡普及, 移動終端定位技術的發(fā)展也得到了一些幫助, 使得其定位的精準度和速度都得到了全面的優(yōu)化和提升。同時, 傳統(tǒng)的定位方法結合先進的算法來進行精準定位, 目前依舊還是有較大的進步空間。在工作中我選取機器學習算法結合數(shù)據(jù)挖掘技術對傳統(tǒng)定位技術加以改進, 取得了不錯的效果, 但也遇到了許多問題, 例如:使用機器學習算法來進行精準定位暫時無法滿足更大的區(qū)域要求, 還有想要利用較低的設備成本, 實現(xiàn)得到更多的精準定位的要求比較困難。所以本文對機器學習算法進行了深入的研究, 希望能夠幫助其更快速的定位、更精準的定位, 滿足市場的需要。
1 數(shù)據(jù)挖掘概述
數(shù)據(jù)挖掘又名數(shù)據(jù)探勘、信息挖掘。它是數(shù)據(jù)庫知識篩選中非常重要的一步。數(shù)據(jù)挖掘其實指的就是在大量的數(shù)據(jù)中通過算法找到有用信息的行為。一般情況下, 數(shù)據(jù)挖掘都會和計算機科學緊密聯(lián)系在一起, 通過統(tǒng)計集合、在線剖析、檢索篩選、機器學習、參數(shù)識別等多種方法來實現(xiàn)最初的目標。統(tǒng)計算法和機器學習算法是數(shù)據(jù)挖掘算法里面應用得比較廣泛的兩類。統(tǒng)計算法依賴于概率分析, 然后進行相關性判斷, 由此來執(zhí)行運算。
而機器學習算法主要依靠人工智能科技, 通過大量的樣本收集、學習和訓練, 可以自動匹配運算所需的相關參數(shù)及模式。它綜合了數(shù)學、物理學、自動化和計算機科學等多種學習理論, 雖然能夠應用的領域和目標各不相同, 但是這些算法都可以被獨立使用運算, 當然也可以相互幫助, 綜合應用, 可以說是一種可以“因時而變”、“因事而變”的算法。在機器學習算法的領域, 人工神經(jīng)網(wǎng)絡是比較重要和常見的一種。因為它的優(yōu)秀的數(shù)據(jù)處理和演練、學習的能力較強。
而且對于問題數(shù)據(jù)還可以進行精準的識別與處理分析, 所以應用的頻次更多。人工神經(jīng)網(wǎng)絡依賴于多種多樣的建模模型來進行工作, 由此來滿足不同的數(shù)據(jù)需求。綜合來看, 人工神經(jīng)網(wǎng)絡的建模, 它的精準度比較高, 綜合表述能力優(yōu)秀, 而且在應用的過程中, 不需要依賴專家的輔助力量, 雖然仍有缺陷, 比如在訓練數(shù)據(jù)的時候耗時較多, 知識的理解能力還沒有達到智能化的標準, 但是, 相對于其他方式而言, 人工神經(jīng)網(wǎng)絡的優(yōu)勢依舊是比較突出的。
2 以機器學習算法為基礎的GSM網(wǎng)絡定位
2.1 定位問題的建模
建模的過程主要是以支持向量機定位方式作為基礎, 把定位的位置柵格化, 面積較小的柵格位置就是獨立的一種類別, 在定位的位置內, 我們收集數(shù)目龐大的終端測量數(shù)據(jù), 然后利用計算機對測量報告進行分析處理, 測量柵格的距離度量和精準度, 然后對移動終端柵格進行預估判斷, 最終利用機器學習進行分析求解。
2.2 采集數(shù)據(jù)和預處理
本次研究, 我們采用的模型對象是我國某一個周邊長達10千米的二線城市。在該城市區(qū)域內, 我們測量了四個不同時間段內的數(shù)據(jù), 為了保證機器學習算法定位的精準性和有效性, 我們把其中的三批數(shù)據(jù)作為訓練數(shù)據(jù), 最后一組數(shù)據(jù)作為定位數(shù)據(jù), 然后把定位數(shù)據(jù)周邊十米內的前三組訓練數(shù)據(jù)的相關信息進行清除。一旦確定某一待定位數(shù)據(jù), 就要在不同的時間內進行測量, 按照測量出的`數(shù)據(jù)信息的經(jīng)緯度和平均值, 再進行換算, 最終, 得到真實的數(shù)據(jù)量, 提升定位的速度以及有效程度。
2.3 以基站的經(jīng)緯度為基礎的初步定位
用機器學習算法來進行移動終端定位, 其復雜性也是比較大的, 一旦區(qū)域面積增加, 那么模型和分類也相應增加, 而且更加復雜, 所以, 利用機器學習算法來進行移動終端定位的過程, 會隨著定位區(qū)域面積的增大, 而耗費更多的時間。利用基站的經(jīng)緯度作為基礎來進行早期的定位, 則需要以下幾個步驟:要將邊長為十千米的正方形分割成一千米的小柵格, 如果想要定位數(shù)據(jù)集內的相關信息, 就要選擇對邊長是一千米的小柵格進行計算, 而如果是想要獲得邊長一千米的大柵格, 就要對邊長是一千米的柵格精心計算。
2.4 以向量機為基礎的二次定位
在完成初步定位工作后, 要確定一個邊長為兩千米的正方形, 由于第一級支持向量機定位的區(qū)域是四百米, 定位輸出的是以一百米柵格作為中心點的經(jīng)緯度數(shù)據(jù)信息, 相對于一級向量機的定位而言, 二級向量機在定位計算的時候難度是較低的, 更加簡便。后期的預算主要依賴決策函數(shù)計算和樣本向量機計算。隨著柵格的變小, 定位的精準度將越來越高, 而由于增加分類的問題數(shù)量是上升的, 所以, 定位的復雜度也是相對增加的。
2.5 以K-近鄰法為基礎的三次定位
第一步要做的就是選定需要定位的區(qū)域面積, 在二次輸出之后, 確定其經(jīng)緯度, 然后依賴經(jīng)緯度來確定邊長面積, 這些都是進行區(qū)域定位的基礎性工作, 緊接著就是定位模型的訓練。以K-近鄰法為基礎的三次定位需要的是綜合訓練信息數(shù)據(jù), 對于這些信息數(shù)據(jù), 要以大小為選擇依據(jù)進行篩選和合并, 這樣就能夠減少計算的重復性。當然了, 選擇的區(qū)域面積越大, 其定位的速度和精準性也就越低。
3 結語
近年來, 隨著我國科學技術的不斷發(fā)展和進步, 數(shù)據(jù)挖掘技術愈加重要。根據(jù)上面的研究, 我們證明了, 在數(shù)據(jù)挖掘的過程中, 應用機器學習算法具有舉足輕重的作用。作為一門多領域互相交叉的知識學科, 它能夠幫助我們提升定位的精準度以及定位速度, 可以被廣泛的應用于各行各業(yè)。所以, 對于機器學習算法, 相關人員要加以重視, 不斷的進行改良以及改善, 切實的發(fā)揮其有利的方面, 將其廣泛應用于智能定位的各個領域, 幫助我們解決關于戶外移動終端的定位的問題。
參考文獻
[1]陳小燕, CHENXiaoyan.機器學習算法在數(shù)據(jù)挖掘中的應用[J].現(xiàn)代電子技術, 20xx, v.38;No.451 (20) :11-14.
[2]李運.機器學習算法在數(shù)據(jù)挖掘中的應用[D].北京郵電大學, 20xx.
[3]莫雪峰.機器學習算法在數(shù)據(jù)挖掘中的應用[J].科教文匯, 20xx (07) :175-178.
數(shù)據(jù)挖掘論文五： 題目：軟件工程數(shù)據(jù)挖掘研究進展
摘要：數(shù)據(jù)挖掘是指在大數(shù)據(jù)中開發(fā)出有價值信息數(shù)據(jù)的過程。計算機技術的不斷進步, 通過人工的方式進行軟件的開發(fā)與維護難度較大。而數(shù)據(jù)挖掘能夠有效的提升軟件開發(fā)的效率, 并能夠在大量的數(shù)據(jù)中獲得有效的數(shù)據(jù)。文章主要探究軟件工程中數(shù)據(jù)挖掘技術的任務和存在的問題, 并重點論述軟件開發(fā)過程中出現(xiàn)的問題和相關的解決措施。
關鍵詞：軟件工程; 數(shù)據(jù)挖掘; 解決措施;
在軟件開發(fā)過程中, 為了能夠獲得更加準確的數(shù)據(jù)資源, 軟件的研發(fā)人員就需要搜集和整理數(shù)據(jù)。但是在大數(shù)據(jù)時代, 人工獲取數(shù)據(jù)信息的難度極大。當前, 軟件工程中運用最多的就是數(shù)據(jù)挖掘技術。軟件挖掘技術是傳統(tǒng)數(shù)據(jù)挖掘技術在軟件工程方向的其中一部分。但是它具有自身的特征, 體現(xiàn)在以下三個方面:
(1) 在軟件工程中, 對有效數(shù)據(jù)的挖掘和處理;
(2) 挖掘數(shù)據(jù)算法的選擇問題;
(3) 軟件的開發(fā)者該如何選擇數(shù)據(jù)。
1 在軟件工程中數(shù)據(jù)挖掘的主要任務
在數(shù)據(jù)挖掘技術中, 軟件工程數(shù)據(jù)挖掘是其中之一, 其挖掘的過程與傳統(tǒng)數(shù)據(jù)的挖掘無異。通常包括三個階段:第一階段, 數(shù)據(jù)的預處理;第二階段, 數(shù)據(jù)的挖掘;第三階段, 對結果的評估。第一階段的主要任務有對數(shù)據(jù)的分類、對異常數(shù)據(jù)的檢測以及整理和提取復雜信息等。雖然軟件工程的數(shù)據(jù)挖掘和傳統(tǒng)的數(shù)據(jù)挖掘存在相似性, 但是也存在一定的差異, 其主要體現(xiàn)在以下三個方面:
1.1 軟件工程的數(shù)據(jù)更加復雜
軟件工程數(shù)據(jù)主要包括兩種, 一種是軟件報告, 另外一種是軟件的版本信息。當然還包括一些軟件代碼和注釋在內的非結構化數(shù)據(jù)信息。這兩種軟件工程數(shù)據(jù)的算法是不同的, 但是兩者之間又有一定的聯(lián)系, 這也是軟件工程數(shù)據(jù)挖掘復雜性的重要原因。
1.2 數(shù)據(jù)分析結果的表現(xiàn)更加特殊
傳統(tǒng)的數(shù)據(jù)挖掘結果可以通過很多種結果展示出來, 最常見的有報表和文字的方式。但是對于軟件工程的數(shù)據(jù)挖掘來講, 它最主要的職能是給軟件的研發(fā)人員提供更加精準的案例, 軟件漏洞的實際定位以及設計構造方面的信息, 同時也包括數(shù)據(jù)挖掘的統(tǒng)計結果。所以這就要求軟件工程的數(shù)據(jù)挖掘需要更加先進的結果提交方式和途徑。
1.3 對數(shù)據(jù)挖掘結果難以達成一致的評價
我國傳統(tǒng)的數(shù)據(jù)挖掘已經(jīng)初步形成統(tǒng)一的評價標準, 而且評價體系相對成熟。但是軟件工程的數(shù)據(jù)挖掘過程中, 研發(fā)人員需要更多復雜而又具體的數(shù)據(jù)信息, 所以數(shù)據(jù)的表示方法也相對多樣化, 數(shù)據(jù)之間難以進行對比, 所以也就難以達成一致的評價標準和結果。不難看出, 軟件工程數(shù)據(jù)挖掘的關鍵在于對挖掘數(shù)據(jù)的預處理和對數(shù)據(jù)結果的表示方法。
2 軟件工程研發(fā)階段出現(xiàn)的問題和解決措施
軟件在研發(fā)階段主要的任務是對軟件運行程序的編寫。以下是軟件在編碼和結果的提交過程中出現(xiàn)的問題和相應的解決措施。
2.1 對軟件代碼的編寫過程
該過程需要軟件的研發(fā)人員能夠對自己需要編寫的代碼結構與功能有充分的了解和認識。并能夠依據(jù)自身掌握的信息, 在數(shù)據(jù)庫中搜集到可以使用的數(shù)據(jù)信息。通常情況下, 編程需要的數(shù)據(jù)信息可以分為三個方面:
(1) 軟件的研發(fā)人員能夠在已經(jīng)存在的代碼中搜集可以重新使用的代碼;
(2) 軟件的研發(fā)人員可以搜尋可以重用的靜態(tài)規(guī)則, 比如繼承關系等。
(3) 軟件的開發(fā)人員搜尋可以重用的動態(tài)規(guī)則。
包括軟件的接口調用順序等。在尋找以上信息的過程中, 通常是利用軟件的幫助文檔、尋求外界幫助和搜集代碼的方式實現(xiàn), 但是以上方式在搜集信息過程中往往會遇到較多的問題, 比如:幫助文檔的準確性較低, 同時不夠完整, 可利用的重用信息不多等。
2.2 對軟件代碼的重用
在對軟件代碼重用過程中, 最關鍵的問題是軟件的研發(fā)人員必須掌握需要的類或方法, 并能夠通過與之有聯(lián)系的代碼實現(xiàn)代碼的重用。但是這種方式哦足跡信息將會耗費工作人員大量的精力。而通過關鍵詞在代碼庫中搜集可重用的軟件代碼, 同時按照代碼的相關度對搜集到的代碼進行排序, 該過程使用的原理就是可重用的代碼必然模式基本類似, 最終所展現(xiàn)出來的搜索結果是以上下文結構的方式展現(xiàn)的。比如:類與類之間的聯(lián)系。其實現(xiàn)的具體流程如下:
(1) 軟件的開發(fā)人員創(chuàng)建同時具備例程和上下文架構的代碼庫;
(2) 軟件的研發(fā)人員能夠向代碼庫提供類的相關信息, 然后對反饋的結果進行評估, 創(chuàng)建新型的代碼庫。
(3) 未來的研發(fā)人員在搜集過程中能夠按照評估結果的高低排序, 便于查詢, 極大地縮減工作人員的任務量, 提升其工作效率。
2.3 對動態(tài)規(guī)則的重用
軟件工程領域內對動態(tài)規(guī)則重用的研究已經(jīng)相對成熟, 通過在編譯器內安裝特定插件的方式檢驗代碼是否為動態(tài)規(guī)則最適用的, 并能夠將不適合的規(guī)則反饋給軟件的研發(fā)人員。其操作流程為:
(1) 軟件的研發(fā)人員能夠規(guī)定動態(tài)規(guī)則的順序, 主要表現(xiàn)在:使用某一函數(shù)是不能夠調用其他的函數(shù)。
(2) 實現(xiàn)對相關數(shù)據(jù)的保存, 可以通過隊列等簡單的數(shù)據(jù)結構完成。在利用編譯拓展中檢測其中的順序。
(3) 能夠將錯誤的信息反饋給軟件的研發(fā)人員。
3 結束語
在軟件工程的數(shù)據(jù)挖掘過程中, 數(shù)據(jù)挖掘的概念才逐步被定義, 但是所需要挖掘的數(shù)據(jù)是已經(jīng)存在的。數(shù)據(jù)挖掘技術在軟件工程中的運用能夠降低研發(fā)人員的工作量, 同時軟件工程與數(shù)據(jù)挖掘的結合是計算機技術必然的發(fā)展方向。從數(shù)據(jù)挖掘的過程來講, 在其整個實施過程和周期中都包括軟件工程。而對數(shù)據(jù)挖掘的技術手段來講, 它在軟件工程中的運用更加普遍。在對數(shù)據(jù)挖掘技術的研究過程中可以發(fā)現(xiàn), 該技術雖然已經(jīng)獲得一定的效果, 但是還有更多未被挖掘的空間, 還需要進一步的研究和發(fā)現(xiàn)。
參考文獻
[1]王藝蓉.試析面向軟件工程數(shù)據(jù)挖掘的開發(fā)測試技術[J].電子技術與軟件工程, 20xx (18) :64.
[2]吳彥博.軟件工程中數(shù)據(jù)挖掘技術的運用探索[J].數(shù)字通信世界, 20xx (09) :187.
[3]周雨辰.數(shù)據(jù)挖掘技術在軟件工程中的應用研究[J].電腦迷, 20xx (08) :27-28.
[4]劉桂林.分析軟件工程中數(shù)據(jù)挖掘技術的應用方式[J].中國新通信, 20xx, 19 (13) :119.
數(shù)據(jù)挖掘論文6
1理論研究
1.1客戶關系管理
客戶關系管理的目標是依靠高效優(yōu)質的服務吸引客戶，同時通過對業(yè)務流程的全面優(yōu)化和管理，控制企業(yè)運行成本。客戶關系管理是一種管理理念，將企業(yè)客戶視作企業(yè)發(fā)展最重要的企業(yè)資源，采用企業(yè)服務優(yōu)化等手段來管理客戶關系�？蛻絷P系管理并不是單純的信息技術或者管理技術，而是一種企業(yè)生物戰(zhàn)略，通過對企業(yè)客戶的分段充足，強化客戶滿意的行為，優(yōu)化企業(yè)可盈利性，將客戶處理工作上升到企業(yè)級別，不同部門負責與客戶進行交互，但是整個企業(yè)都需要向客戶負責，在信息技術的支持下實現(xiàn)企業(yè)和客戶連接環(huán)節(jié)的自動化管理。
1.2客戶細分
客戶細分由美國學者溫德爾史密斯在20世紀50年代提出，認為客戶細分是根據(jù)客戶屬性將客戶分成集合。現(xiàn)代營銷學中的客戶細分是按照客戶特征和共性將客戶群分為不同等級或者子群體，尋找相同要素，對不同類別客戶心理與需求急性研究和評估，從而指導進行企業(yè)服務資源的分配，是企業(yè)獲得客戶價值的一種理論與方法。因此我們注意到，客戶細分其實是一個分類問題，但是卻有著顯著的特點。
1.2.1客戶細分是動態(tài)的企業(yè)不斷發(fā)展變化，用戶數(shù)據(jù)不斷積累，市場因素的變化，都會造成客戶細分的變化。所以客戶細分工作需要根據(jù)客戶情況的變化進行動態(tài)調整，
減少錯誤分類，提高多次細分中至少有一次是正確分類的可能性。
1.2.2受眾多因素影響
隨著時間的推移，客戶行為和心理會發(fā)生變化，所以不同時間的數(shù)據(jù)會反映出不同的規(guī)律，客戶細分方法需要在變化過程中準確掌握客戶行為的規(guī)律性。
1.2.3客戶細分有不同的分類標準
一般分類問題強調準確性，客戶關系管理則強調有用性，講求在特定限制條件下實現(xiàn)特定目標。
1.3數(shù)據(jù)挖掘
數(shù)據(jù)挖掘就是從大型數(shù)據(jù)庫數(shù)據(jù)中提取有價值的、隱含的、事前未知的潛在有用信息。數(shù)據(jù)挖掘技術不斷發(fā)展，挖掘對象不再是單一數(shù)據(jù)庫，已經(jīng)逐漸發(fā)展到文件系統(tǒng)、數(shù)據(jù)集合以及數(shù)據(jù)倉庫的挖掘分析。
2客戶細分的數(shù)據(jù)挖掘
2.1邏輯模型
客戶數(shù)據(jù)中有著若干離散客戶屬性和連續(xù)客戶屬性，每個客戶屬性為一個維度，客戶作為空間點，全部客戶都能夠形成多為空間，作為客戶的屬性空間，假設A={A1，A2,…Am}是一組客戶屬性，屬性可以是連續(xù)的，也可以離散型，這些屬性就形成了客戶m維屬性空間。同時設g是一個描述客戶屬性的一個指標，f(g)是符合該指標的客戶集合，即為概率外延，則任一確定時刻都是n個互不相交集合。在客戶價值概念維度上，可分為“有價值客戶”“潛在價值客戶”“無價值客戶”三種類型，定義RB如下：(1)顯然RB是一個等價關系，經(jīng)RB可分類屬性空間為若干等價類，每個等價類都是一個概念類，建立客戶細分，就是客戶屬性空間和概念空間映射關系的建立過程。
2.2客戶細分數(shù)據(jù)挖掘實施
通過數(shù)據(jù)庫已知概念類客戶數(shù)據(jù)進行樣本學習和數(shù)據(jù)挖掘，進行客戶屬性空間與概念空間映射的自動歸納。首先確定一組概念類已知客戶集合。首先確定一個映射：p：C→L，使，如果，則。，求p(c)確定所屬概念類。數(shù)據(jù)部分有客戶數(shù)據(jù)存儲和概念維數(shù)據(jù)構成，客戶數(shù)據(jù)存儲有企業(yè)全部內在屬性、外在屬性以及行為屬性等數(shù)據(jù)，方法則主要有關聯(lián)規(guī)則分析、深井網(wǎng)絡分類、決策樹、實例學習等數(shù)據(jù)挖掘方法，通過對客戶數(shù)據(jù)存儲數(shù)據(jù)學習算法來建立客戶數(shù)據(jù)和概念維之間的映射關系。
2.3客戶細分數(shù)據(jù)分析
建立客戶動態(tài)行為描述模型，滿足客戶行為非確定性和非一致性要求，客戶中心的管理體制下，客戶細分影響企業(yè)戰(zhàn)術和戰(zhàn)略級別決策的生成，所以數(shù)據(jù)挖掘要能夠彌補傳統(tǒng)數(shù)據(jù)分析方法在可靠性方面的缺陷。
2.3.1客戶外在屬性
外在屬性有客戶地理分布、客戶組織歸屬情況和客戶產(chǎn)品擁有情況等�？蛻舻慕M織歸屬是客戶社會組織類型，客戶產(chǎn)品擁有情況是客戶是否擁有或者擁有哪些與其他企業(yè)或者其他企業(yè)相關產(chǎn)品。
2.3.2內在屬性
內在屬性有人口因素和心理因素等，人口因素是消費者市場細分的重要變量。相比其他變量，人口因素更加容易測量。心理因素則主要有客戶愛好、性格、信用情況以及價值取向等因素。
2.3.3消費行為
消費行為屬性則重點關注客戶購買前對產(chǎn)品的了解情況，是客戶細分中最客觀和重要的因素。
2.4數(shù)據(jù)挖掘算法
2.4.1聚類算法
按照客戶價值標記聚類結果，通過分類功能，建立客戶特征模型，準確描述高價值客戶的一些特有特征，使得企業(yè)在之后的市場活動中能夠迅速發(fā)現(xiàn)并抓住類似的高價值客戶，全面提高客戶的整體價值水平。通常都采用中心算法進行客戶的聚類分析，分析涉及的`字段主要有客戶的基本信息以及與客戶相關業(yè)務信息，企業(yè)采用中心算法，按照企業(yè)自身的行業(yè)性質以及商務環(huán)境，選擇不同的聚類分析策略，有主屬性聚類分析和全屬性聚類分析兩類。主屬性聚類分析是企業(yè)根據(jù)在企業(yè)標度變量中選擇主要弧形作為聚類分析變量。通常區(qū)間標度變量選用的度量單位會對聚類分析結果產(chǎn)生很大影響，選擇的度量單位越小，就會獲得越大的可能值域，對聚類結果的影響也就越大。
2.4.2客戶分析預測
行業(yè)競爭愈加激烈，新客戶的獲得成本越來越高，在保持原有工作價值的同時，客戶的流失也受到了企業(yè)的重視。為了控制客戶流失，就需要對流失客戶的數(shù)據(jù)進行認真分析，找尋流失客戶的根本原因，防止客戶的持續(xù)流失。數(shù)據(jù)挖掘聚類功能同樣能夠利用在客戶流失數(shù)據(jù)分析工作中，建立基于流失客戶數(shù)據(jù)樣本庫的分類函數(shù)以及分類模式，通過模型分析客戶流失因素，能夠獲得一個最有可能流失的客戶群體，同時編制一個有針對性的挽留方案。之后對數(shù)據(jù)進行分析并利用各種數(shù)據(jù)挖掘技術和方法在多個可供選擇的模型中找出最佳模型。初始階段，模型的擬合程度可能不理想，但是隨著模型的不斷更換和優(yōu)化，最終就有可能找出合適的模型進行數(shù)據(jù)描述并挖掘出流失數(shù)據(jù)規(guī)律。通常模擬模型都通過數(shù)據(jù)分析專業(yè)和業(yè)務專家協(xié)作完成，采用決策樹、貝葉斯網(wǎng)絡、神經(jīng)網(wǎng)絡等流失分析模型，實現(xiàn)客戶行為的預測分析。
3結語
從工業(yè)營銷中的客戶細分觀點出發(fā)，在數(shù)據(jù)挖掘、客戶關系管理等理論基礎上，采用統(tǒng)計學、運籌學和數(shù)據(jù)挖掘技術，對客戶細分的數(shù)據(jù)挖掘方法進行了研究，建立了基于決策樹的客戶細分模型，是一種效率很高的管理工具。
作者:區(qū)嘉良 呂淑儀 單位:中國石化廣東石油分公司
數(shù)據(jù)挖掘論文7
摘要：橡膠是一種重要的戰(zhàn)略物資, 其種植受到土地資源、地理環(huán)境、橡膠機械化的影響, 產(chǎn)量波動很大。本文對農(nóng)墾橡膠產(chǎn)業(yè)種植、生產(chǎn)加工引入數(shù)據(jù)挖掘技術的必要性進行了初步探究, 指出通過提取土壤圖像的特征, 用支持向量機的算法可以發(fā)現(xiàn)橡膠種植、生產(chǎn)加工的規(guī)律, 進而制定精準的橡膠產(chǎn)業(yè)相關策略, 以提高橡膠產(chǎn)量、節(jié)約成本、提高利潤。
關鍵詞：橡膠種植; 數(shù)據(jù)挖掘; 特征提取; 支持向量機.
基金：廣東農(nóng)工商職業(yè)技術學院校級課題“基于數(shù)據(jù)挖掘技術的橡膠產(chǎn)業(yè)的數(shù)字化研究” (xykt1601)橡膠是一種重要的戰(zhàn)略物資, 與石油、鋼鐵、煤炭并稱為四大工業(yè)原料。我國是全球最大的天然橡膠消費國和進口國, 國內天然橡膠長期處于缺口狀態(tài), 需求的2/3依賴進口來滿足[1]。天然橡膠產(chǎn)業(yè)屬于資源約束型、勞動密集型產(chǎn)業(yè), 相對其他農(nóng)作物來說, 具有周期長、收益長等特點。農(nóng)墾橡膠業(yè)的產(chǎn)生、發(fā)展與壯大實際上是中國橡膠業(yè)發(fā)展的一個縮影, 一直是學術界研究的熱點。根據(jù)農(nóng)墾橡膠產(chǎn)業(yè)種植、生產(chǎn)加工的歷史數(shù)據(jù)進行數(shù)據(jù)挖掘, 發(fā)現(xiàn)其種植、生產(chǎn)加工的規(guī)律, 進而制定精準的橡膠產(chǎn)業(yè)相關策略, 以提高橡膠產(chǎn)量、節(jié)約成本、提高利潤的數(shù)字化研究, 目前國內還比較少。
1 引入數(shù)據(jù)挖掘技術的必要性
天然橡膠以其獨具的高彈性、高強度、高伸長率、耐磨、耐撕裂、耐沖擊、耐酸堿、耐油、耐腐蝕、耐高低溫和絕緣性好、粘合性、密封性強等特點, 始終處于不可替代的地位。我國天然橡膠需求量大, 近幾年一直處于供不應求的狀態(tài)。造成這種局面的原因主要有以下兩點:一、國內輪胎工業(yè)迅猛發(fā)展;二、天然橡膠的種植條件苛刻。其種植條件苛刻主要體現(xiàn)在對種植地要求高, 如對土地的含碳、含氮、濕度等要求都很嚴格;容易受到寒害、蟲害、臺風的襲擊。橡膠的供應不足阻礙了我國經(jīng)濟 (特別是輪胎行業(yè)) 的發(fā)展�；诖吮尘跋�, 本文通過數(shù)據(jù)挖掘技術對橡膠樹生長地的土壤進行評價研究, 為尋找出最適合橡膠樹生長的.土壤和尋找橡膠樹種植地提供依據(jù), 一方面可以降低種植橡膠的成本, 另一方面可以讓新的橡膠農(nóng)更容易掌握種植橡膠技巧, 讓更多的人加入種植橡膠的隊伍中。
2 數(shù)字化流程圖
2.1 樣本采集
研究的橡膠林可以分為4種不同林齡膠林:幼林早期 (0~2齡) 、幼林晚期 (2~7齡) 、開割數(shù) (7~16齡) 、老齡即將更新數(shù) (>16齡) 。取土壤樣本的時間要在晴天上午, 如果遇雨天, 則等2個晴天后再進行取樣。每個林齡段中隨機設置n個樣地:每個樣地的面積a (m) ×b (m) , 分0~15cm、15~30cm、30~45cm、45~60cm4個層次拍攝土壤樣品, 每個層次拍攝m張。每張土壤樣品圖片的命名規(guī)則為“膠林-層次.jpg”。
2.2 特征提取
通過拍攝得到的土壤圖像, 由于圖像的維度過大, 不容易分析, 需要從中提取土樣圖像的特征, 提取反應圖像本質的一些關鍵指標, 以達到自動進行圖像識別的目的。
圖像的特征主要包括顏色特征、紋理特征、形狀特征等。本文主要運用圖片的顏色特征和紋理特征建立圖片自動識別模型。
2.2.1 顏色特征
圖片的顏色特征用顏色矩表示�；陬伾靥崛D像特征的數(shù)學基礎在于圖像中任何的顏色分布均可以用它的矩來表示。顏色的矩包含各個顏色通道的一階矩、二階矩和三階矩, 對于一幅RGB顏色空間的圖像, 具有R、G和B三個顏色通道, 共有9個分量。
2.2.2 紋理特征
圖片的紋理特征主要灰度共生矩陣里面中提取。因為紋理是由灰度分布在空間位置上反復交替變化而形成的, 因而在圖像空間中相隔某距離的兩個像素間一定存在一定的灰度關系, 稱為是圖像中灰度的空間相關特性。
其中L表示圖像的灰度級, i, j分別表示像素的灰度。d表示兩個像素間的空間位置關系。不同的d決定了兩個像素間的距離和方向。元素Pd (1, 0) 代表了圖像上位置關系為d的兩個像素灰度分別為1和0的情況出現(xiàn)的次數(shù)。
在建模中一般不直接用圖片的灰度共生矩陣建模, 往往要從灰度共生矩陣中提取它的特征參數(shù)用戶建模。灰度共生矩陣的特征參數(shù)有二階距、對比度、相關、熵。
3 模型構建
特征提取完之后, 用支持向量機算法對圖像進行圖片識別。根據(jù)識別出的結果就可以有針對性的對土壤做些有利于橡膠樹生長的干預工作, 如:如果識別出土壤缺少氮元素, 可以給土壤適當?shù)氖┬┑?如果識別出土壤的水分較少, 就要給土壤澆水, 給農(nóng)墾橡膠產(chǎn)業(yè)提供數(shù)學指導意義。
4 結論
本文分析了橡膠種植中引入數(shù)據(jù)挖掘技術的必要性, 對橡膠種植數(shù)字化研究做了初步闡述。可以給橡膠業(yè)提供一定的參考意義。
參考文獻
[1]黃冠, 吳紅宇.廣東農(nóng)墾天然橡膠種植現(xiàn)狀及“走出去”戰(zhàn)略實踐.中國熱帶農(nóng)業(yè), 20xx, 3 (4) , 18-21.
[2]李煒.廣東農(nóng)墾“走出去”做強做大橡膠產(chǎn)業(yè).今日熱作, 20xx, 19 (1) , 52-53.
[3]Rapepun Wititsuwannakul, Piyaporn Pasitkul, et.al.Hevea latex lectin binding protein in C-serum as an anti-latex coagulating factor and its role in a proposed new model for latex coagulation, Phytochemistry 20xx, 69 (1) , 656–662.
[4]勒碧.數(shù)據(jù)挖掘算法及其生產(chǎn)優(yōu)化應用中的研究.浙江大學碩士學位論文, 20xx.
數(shù)據(jù)挖掘論文8
［摘要］處于大數(shù)據(jù)時代這一環(huán)境內，數(shù)據(jù)生成在方方面面，教育這一行業(yè)也囊括其內，大量原本無法緊抓、量化的教學訊息均變換成了數(shù)據(jù)施以儲藏與處理。新時期起始，是否可以發(fā)掘與運用潛藏在教學相關數(shù)據(jù)中還沒有挖掘出來的價值，促使開放型教育或是成人型教育這類行業(yè)得以革新，關聯(lián)到教學相關工作中對于大數(shù)據(jù)與其潛藏的各類價值與作用的認知、心態(tài)和數(shù)據(jù)發(fā)掘層次。
［關鍵詞］開放教育;大數(shù)據(jù)思維;數(shù)據(jù)挖掘
大數(shù)據(jù)思維即借助大數(shù)據(jù)相關的思想、理念以思索并清除問題的一類方式。大數(shù)據(jù)相應的思想與理念即借助大數(shù)據(jù)以凸顯出事物發(fā)展進程中的各類步驟、因素等，處于這一前提之下，借助構建各式模型、方法施以把控，進而達成精確清除各式問題這一目標。同時，數(shù)據(jù)能夠凸顯出問題，數(shù)據(jù)還能夠引導問題得以清除。借用大數(shù)據(jù)相關的理念，開放型教育相關的工作者可以全方位緊依并發(fā)掘教學本身的潛藏實際，調研教學相應的革新及進步。
一、開放型教育行業(yè)內部教學相關數(shù)據(jù)的運用問題
雖然開放型教育這一行業(yè)早就生成了“大數(shù)據(jù)庫存”，不過，學校內部缺少對于數(shù)據(jù)本身的匯集監(jiān)管及科學運用，對于數(shù)據(jù)相應的運用極為狹隘，許多數(shù)據(jù)僅儲藏在數(shù)據(jù)庫內，極難自其內找出具備規(guī)律與價值的一類訊息，這類狀況大體上囊括了如下幾大模塊:
(一)業(yè)務機構較難予以數(shù)據(jù)相應的正確需要
學校內部的業(yè)務機構對于數(shù)據(jù)本身的搜集、歸整、調研大多由于業(yè)務驅使，業(yè)務進程完成過后，數(shù)據(jù)就會被潛藏，數(shù)據(jù)調研處在被動這一狀況內。另外，許多業(yè)務機構并未知曉大數(shù)據(jù)相應的運用價值與區(qū)域，還沒有生成大數(shù)據(jù)這一觀念以引領各項工作的實施，處于具體的工作內，極難予以大數(shù)據(jù)相應的正確需要:要想改良某一業(yè)務，所需哪類數(shù)據(jù)，這類數(shù)據(jù)要從哪類渠道內獲得，搜集的數(shù)據(jù)應依據(jù)怎樣的規(guī)范施以歸整、發(fā)掘與調研，數(shù)據(jù)本身的可視化操作要開展至哪種程度等，均不具備明晰的規(guī)范。
(二)對數(shù)據(jù)開展運用被渠道與技術所約束
學校內部各個層級與各個種類的學習體系、訊息監(jiān)管體系的數(shù)據(jù)總量極多，然而，對于數(shù)據(jù)本身的儲存與運用卻較低。就數(shù)據(jù)相應的儲藏與歸整而言，存在數(shù)據(jù)種類多元化、數(shù)據(jù)讀取受限、儲藏負擔、體系特性受限、數(shù)據(jù)調研成效較低、數(shù)據(jù)不夠安全等問題。例如，開放型教育相關的教務監(jiān)管體系，大量的學習成績有關數(shù)據(jù)已經(jīng)大于原本體系本身的儲藏與調研一類能力，使得對數(shù)據(jù)相應的歸整留存在簡易的查閱、歸整、打印等步驟內，沒有對數(shù)據(jù)施以深層次調研，也沒有收獲對教學一類工作具備益處的訊息。
(三)現(xiàn)行的數(shù)據(jù)調研極為分散與分裂
處于大數(shù)據(jù)這一時代內，要著眼于生成部門本身各大模塊數(shù)據(jù)、數(shù)據(jù)庫存、多媒體數(shù)據(jù)、各大渠道數(shù)據(jù)、各大訊息媒介數(shù)據(jù)間的關聯(lián)性，力爭最大程度地運用數(shù)據(jù)。然而，現(xiàn)存的教育相關數(shù)據(jù)依舊存在機構化、部門化一類問題，數(shù)據(jù)體現(xiàn)出分裂、分散等狀況，數(shù)據(jù)調研也極少注重數(shù)據(jù)間的關聯(lián)性。例如。教務處會定期歸整每個學期相應的在籍生總量、各大專業(yè)學生總量、設立科目明細、學期選課學生總量、學生上課率、按時畢業(yè)率、學位獲得率、退學率、終結性考試合格率一類數(shù)據(jù)，然而，卻較少發(fā)掘這類數(shù)據(jù)間的關聯(lián)性與干涉關系，也沒有發(fā)掘各個機構數(shù)據(jù)間的關聯(lián)性。
(四)不具備專業(yè)的數(shù)據(jù)調研崗位與人才
大數(shù)據(jù)這一時代予以了大量新興的觀念與技術，具備與原本全然不一的數(shù)據(jù)儲藏與歸整方法，然而，現(xiàn)存的體系監(jiān)管者、數(shù)據(jù)庫監(jiān)管者依舊會運用原本的數(shù)據(jù)庫監(jiān)管體系，短時間內極難配備面對今后的數(shù)據(jù)調研技藝。其原因:其一，學校本身對于數(shù)據(jù)調研有關人才與崗位相應的需要態(tài)度還沒有明晰;其二，新興技術的運用條件極為繁雜，與大量數(shù)據(jù)相關的技術在成熟程度與可查看性方面比原數(shù)據(jù)庫和數(shù)據(jù)監(jiān)管配備更差，能夠運用到輔助體系的監(jiān)管者也極少。
二、大數(shù)據(jù)相關思維對于開放型教育各式數(shù)據(jù)發(fā)掘的啟迪
(一)從高至低生成與教學監(jiān)管相應的數(shù)據(jù)思維
現(xiàn)階段，廣播電視大學等正朝著開放型大學進行轉變，成人學校的辦學類型、辦學面積、專業(yè)構造與總量、師生資源及其所處的環(huán)境均會發(fā)生變化。對于開放型教育相關的數(shù)據(jù)施以發(fā)掘及調研，能夠輔助成人一類學校獲取辦學定位信息，提升教學、監(jiān)管本身的合理性，還給學校改良并增強宏觀方面的監(jiān)管予以了有價值的監(jiān)測方法與評測技術。大數(shù)據(jù)相關思維獲得推行與運用，規(guī)定學校內部的監(jiān)管方法、構造、技術都要與大數(shù)據(jù)這一時代相符。所以，應在地區(qū)或是學校內部生成總體的大數(shù)據(jù)相關戰(zhàn)略，并把此當作學校本身的關鍵目標，借助大數(shù)據(jù)相關的思維把訊息化教學、訊息化監(jiān)管、遠端教育扶持服務及學校平日的各類工作加以歸整，借助調節(jié)化的方法，全部機構一同訓練并提升搜集、儲藏、監(jiān)管、調研與共享大量數(shù)據(jù)需要的技術及思維，逐漸促使數(shù)據(jù)監(jiān)管本身的常態(tài)化、時時化、開放化與網(wǎng)絡化得以實現(xiàn)。
(二)以智慧型校園助推教學監(jiān)管智能化
現(xiàn)如今，物聯(lián)網(wǎng)與云計算得以生成，校園內部的訊息化構建要盡早從數(shù)字型校園朝智慧型校園轉變。構建智慧型校園，需將傳感器融匯至校園內部的各類體系內，把校園監(jiān)管的各式軟件體系渠道融匯至校園云，促使網(wǎng)絡、物聯(lián)網(wǎng)、云得以關聯(lián)與聯(lián)通，據(jù)此能夠促使校園內部時時數(shù)據(jù)的收獲、儲藏與調研得以實現(xiàn)，進而給學校本身的進步與教學運用予以科學的決策憑據(jù)，智慧型校園即教育訊息化構建的一大實體，對于踐行大數(shù)據(jù)本身的價值來說不可或缺。另外，智慧型校園還囊括了大數(shù)據(jù)相關的規(guī)范系統(tǒng)、校園內部的數(shù)字化生態(tài)條件與相關的訊息化組織監(jiān)管系統(tǒng)等模塊的構建。從基本設備構建著手，逐漸實施基于云計算的大數(shù)據(jù)運用，促使教師自身的教學動作、學生遠端的學習動作、學生本身的特性特點等得以調研與評測，給促使學生身心進步予以適宜的引領與輔助，予以學校運作所需的時時動態(tài)數(shù)據(jù)，助推教學監(jiān)管得以合理化與智能化。
(三)全方位發(fā)掘并調研現(xiàn)存的各類數(shù)據(jù)
處于大數(shù)據(jù)這一時代，數(shù)據(jù)種類多元，不單具備構造化數(shù)據(jù)，還摻雜了許多半構造化與非構造化數(shù)據(jù)。把握、調研半構造化與非構造化數(shù)據(jù)本身的能力對于許多學校而言是一項極大的挑戰(zhàn)。學校要把構造化數(shù)據(jù)發(fā)掘當作大數(shù)據(jù)相關思維運用的著眼點，關注搜集并儲藏用戶訊息與動作數(shù)據(jù)，為今后各式運用做好全方位的準備。同時，借用現(xiàn)存的數(shù)據(jù)調研方法，憑借數(shù)據(jù)引領開放型教育本身的進步。處于初始運用時期，應自教學數(shù)據(jù)、監(jiān)管數(shù)據(jù)以對教育數(shù)據(jù)施以發(fā)掘。1．網(wǎng)絡教學這一渠道相關的數(shù)據(jù)發(fā)掘。學習者自身特點辨別:辨別學習者本身的特點，尤其是學習者群體相應的特點，并憑借某類核心特點對學習者群體施以區(qū)分，促使前階段的教學相關設計得以全方位踐行，并給個體化學習的開展予以憑據(jù)。例如，“學生總量歸整及趨向評測”“學生自身的特點歸類及調研”等。學習者在線開展學習動作調研:在網(wǎng)絡教學這一渠道內師生開展學習期間的各類數(shù)據(jù)，對教師與學生自身的動作方法，如登入、查閱資源、發(fā)帖、訓練一類動作與動作生成的時間，加上各式資源、教學模塊的運用狀況施以歸整、可視化與發(fā)掘。例如，“學生登入動作調研”“學生資源查閱方法調研”“師生互動渠道調研”“學生動作干涉要素調研”等等。師生互動調研:對網(wǎng)絡教學相關渠道互動論壇內的數(shù)據(jù)施以調研，輔助教師評判學生對于教學目的的把握狀況，方便對學生隨時施以回饋與引導。2．教育監(jiān)管訊息這一體系相關的數(shù)據(jù)發(fā)掘。教師相關的監(jiān)管:從人事訊息有關的數(shù)據(jù)庫、后勤訊息體系、教師監(jiān)管與評測相關體系內發(fā)掘現(xiàn)存數(shù)據(jù)，對學校處于人才引用、教師成績評測、教師進步、職業(yè)計劃、后勤監(jiān)管、教育決策扶持體系一類模塊予以迅速、正確的決策輔助。學生方面的監(jiān)管:鑒于學籍相關的數(shù)據(jù)庫、招生相關的`數(shù)據(jù)庫實施數(shù)據(jù)發(fā)掘，改良學生方面的監(jiān)管工作，給學校內部的就業(yè)引導、畢業(yè)生跟蹤、科目設立、招生決策等予以優(yōu)良的輔助。例如，發(fā)掘學生自身的修業(yè)成果數(shù)據(jù)、對畢業(yè)生自身的特點施以調研、畢業(yè)成果干涉要素與畢業(yè)時間干涉要素調研、畢業(yè)成果評測規(guī)定與畢業(yè)時間評測規(guī)定等。
(四)全方位開展數(shù)據(jù)式人才準備
處于大數(shù)據(jù)這一時代內，學校內部的監(jiān)管決策、教學相關的決策與對成人學習者相應的學習扶持決策均要依靠大量數(shù)據(jù)的調研成果，數(shù)據(jù)調研及發(fā)掘會逐步變成學校自身的常規(guī)工作，不單應關注增強各大機構相關工作者自身的數(shù)據(jù)調研能力，成人學校還應訓練并準備如下人才:一是大數(shù)據(jù)監(jiān)管方面的人才。處于大數(shù)據(jù)相關教育運用的初始時期，學校對于大數(shù)據(jù)監(jiān)管方面人才需要的急迫性大于對于技術型人才的需要。訊息技術的全方位進步，原本的教學與監(jiān)管相關經(jīng)歷有可能變成現(xiàn)階段的約束。為了應對新時期的各式挑戰(zhàn)，成人學校不單應設定專業(yè)的數(shù)據(jù)監(jiān)管崗位，監(jiān)管者還務必要自行變換思維方法，知曉借助數(shù)據(jù)開展思索與監(jiān)管;務必知曉借助大數(shù)據(jù)相關的方式，以尋求適宜的解決方法。二是大數(shù)據(jù)技術方面的人才。想要對教育相關的數(shù)據(jù)施以全方位發(fā)掘，成人學校就要知曉大數(shù)據(jù)，還要有擅長調研大數(shù)據(jù)、深層次發(fā)掘大數(shù)據(jù)的各式專家。這類人才應總體把握數(shù)據(jù)調研、統(tǒng)計學、數(shù)學、機械學習與自然語言操作一類模塊的知識。具體人才包括:數(shù)據(jù)方面的科學家，即具備數(shù)據(jù)調研能力，擅長各式算法，可以精準地處理數(shù)據(jù);數(shù)據(jù)方面的架構者，即擅長各類開放型教育相關的業(yè)務，把握業(yè)務需要與業(yè)務總體構造，可以將數(shù)據(jù)與業(yè)務施以銜接;數(shù)據(jù)方面的工程者，即可以構建數(shù)據(jù)儲藏、監(jiān)管與處理的一類渠道，并扶持數(shù)據(jù)方面的科學家予以數(shù)學相關模型或是算法的運轉。
三、結語
大數(shù)據(jù)時代對開放型教育與成人型教育相應的理念革新與教學革新予以了大量的機遇。大數(shù)據(jù)不單是一類實用工具，還是一類思維方式。開放型教育務必要自原本的小數(shù)據(jù)相關思維更快地變換成大數(shù)據(jù)相應的思維，進而與這一迅速的革新相符。借助對數(shù)據(jù)本身的收獲、調研與智能化訊息發(fā)掘，給學校內部的監(jiān)管、教學、服務予以具備價值的一類數(shù)據(jù)訊息，輔助學校生成合理的決策，給教學相關活動的改良施以客觀的憑據(jù)。
參考文獻:
［1］呂蘇越．基于大數(shù)據(jù)思維的銀行監(jiān)管數(shù)據(jù)應用初探———以3種數(shù)據(jù)挖掘技術為例［J］．金融科技時代，20xx(5):32-36．
［2］孫力，程玉霞．大數(shù)據(jù)時代網(wǎng)絡教育學習成績預測的研究與實現(xiàn)———以本科公共課程統(tǒng)考英語為例［J］．開放教育研究，20xx(3):74-80．
［3］呂海燕，周立軍，張杰．大數(shù)據(jù)背景下教育數(shù)據(jù)挖掘在學生在線學習行為分析中的應用研究［J］．計算技術與自動化，20xx，36(1):136-140．
�。�4］舒曉靈，陳晶晶．重新認識“數(shù)據(jù)驅動”及因果關系———知識發(fā)現(xiàn)圖譜中的數(shù)據(jù)挖掘研究［J］．中國社會科學評價，20xx(3):28-38．
數(shù)據(jù)挖掘論文9
摘要：本文簡述如何將數(shù)據(jù)挖掘技術應用于圖書館各部門管理中，幫助圖書館管理者依據(jù)數(shù)據(jù)挖掘技術更好地為讀者提供科學化和人性化的服務，促進圖書館事業(yè)的創(chuàng)新與發(fā)展。
關鍵詞：高校圖書館；數(shù)據(jù)挖掘；創(chuàng)新；發(fā)展。
隨著網(wǎng)絡技術、計算機技術的快速發(fā)展，高校圖書館事業(yè)也順應時變，不斷向高科技、高水平領域進展，尤其是當今處于數(shù)字信息發(fā)展的時代。如果利用圖書館現(xiàn)有以及收集的數(shù)據(jù)資源，通過數(shù)據(jù)挖掘技術來分析、篩選對圖書館有用的數(shù)據(jù)信息，依據(jù)提煉的數(shù)據(jù)資源來指導、推進圖書館事業(yè)的創(chuàng)新與發(fā)展，是當今信息時代圖書館亟待研究、探討的一個問題。本文將簡述如何將數(shù)據(jù)挖掘技術應用于圖書館各部門管理之中，幫助圖書館管理者依據(jù)數(shù)據(jù)挖掘技術更好地為讀者提供科學化和人性化的服務，促進圖書館的事業(yè)創(chuàng)新與發(fā)展。
一、數(shù)據(jù)挖掘技術綜述。
數(shù)據(jù)挖掘定義。數(shù)據(jù)挖掘（Data Mining，DM）是一種新的信息處理技術，其主要特點是對單位、企業(yè)數(shù)據(jù)庫中的大量業(yè)務數(shù)據(jù)進行抽取、轉換分析和其他模型化處理，以從中提取輔助管理決策的關鍵性數(shù)據(jù)。數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的和隨機的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的但又是潛在有用的信息和知識的過程。換句話說，數(shù)據(jù)挖掘技術就是從收集的大量、繁雜的數(shù)據(jù)中挖掘出其隱含的、未知的、對決策有潛在價值的關系、模式和趨勢，并用這些知識和規(guī)則建立用于決策支持的模型，提供預測性決策支持的方法、工具和過程。
數(shù)據(jù)挖掘的意義。在當今的競爭時代社會中，隨著計算機的飛速發(fā)展，計算機強大的數(shù)據(jù)處理能力、內存儲存容量和網(wǎng)絡寬帶等價格的持續(xù)快速下降，因此大型的數(shù)據(jù)分析、提取技術不再是一個障礙。面對圖書館每天接收的龐大數(shù)據(jù)源，管理者必須學會從所擁有的大量數(shù)據(jù)信息源中提取并利用隱含在這些數(shù)據(jù)中的有用價值以及有用新信息，從而獲取對圖書館事業(yè)研究領域的本質認知和未來認知，幫助圖書館管理者從傳統(tǒng)的經(jīng)驗管理、主觀管理提升為理性管理和科學管理。
數(shù)據(jù)挖掘的應用分類。目前較常用的一般有分類與回歸、關聯(lián)規(guī)則、聚類分析、時序模式等。
二、數(shù)據(jù)挖掘技術對圖書館事業(yè)創(chuàng)新與發(fā)展的影響。
面對大量數(shù)據(jù)，如何去存儲和收集數(shù)據(jù)，如何利用數(shù)據(jù)挖掘技術將圖書館海量信息數(shù)據(jù)中提取供管理者決策的有價值的數(shù)據(jù)，提取并利用隱藏在這些數(shù)據(jù)中的有用知識的能力變得越來越重要。運用數(shù)據(jù)挖掘技術從數(shù)據(jù)中獲得有用的知識，這在圖書館管理方面顯得尤為重要，本文將簡述如何將數(shù)據(jù)挖掘技術應用于圖書館各部門工作，為今后各部門的創(chuàng)新與發(fā)展提供策略分析。
流通部門。流通部門作為圖書館的一線服務崗位，對圖書館功能的發(fā)揮起著舉足輕重的作用。作為窗口形象崗位，直接體現(xiàn)了圖書館的整體工作狀態(tài)。
要實現(xiàn)從以往的經(jīng)驗管理、主觀管理提升為科學管理和理性管理，數(shù)據(jù)挖掘技術將利用現(xiàn)代技術展現(xiàn)其獨天得厚的優(yōu)勢。圖書館每天都會產(chǎn)生大量的圖書流通數(shù)據(jù)，這些數(shù)據(jù)包含進、出館讀者人數(shù)，借、還書數(shù)量，檢索查詢次數(shù)以及網(wǎng)上咨詢等大量繁雜的數(shù)據(jù)。在流通部門最為常用的數(shù)據(jù)就是借書、還書量，通過借書、還書數(shù)據(jù)的統(tǒng)計，可獲取讀者信息行為、借閱書興趣導向，充分利用數(shù)據(jù)挖掘技術如關聯(lián)規(guī)則、分類、聚類、時間序列分析等，對圖書館蘊含的大量豐富的用戶行為進行建模，從而挖掘出有用的或有興趣的信息和知識。如可利用這些有價值的信息，借鑒“啤酒與尿布”的經(jīng)典商業(yè)案例，嘗試在流通部開辟一塊試驗田地――搭檔書架，即通過借、還書數(shù)據(jù)挖掘，將讀者感興趣、組合搭檔頻率高的書籍挑選出來，開辟一塊搭檔書架，方便讀者在借用專業(yè)書籍的同時順便也借閱自己感興趣的圖書，既學習了自己的專業(yè)知識，同時也順便閱讀了自己感興趣的書籍，充分實現(xiàn)了圖書館“第二課堂”的育人價值。
采編部門。傳統(tǒng)的采編部門在采集書籍時大多數(shù)情況是依據(jù)采集經(jīng)驗或是依據(jù)各院系、讀者反饋的需求書籍進行征訂。大部分購買的圖書還是比較適合讀者所用的，但也會存在一些盲目性，有時會造成采集的偏差，這是采編部門一直比較困惑的問題。如何既將購書經(jīng)費合理利用好，同時又能滿足讀者借閱所需，是采編部門長期探索、研究的問題。如果將數(shù)據(jù)挖掘技術運用到采編部門，通過一線的文獻借閱數(shù)據(jù)，分析、挖掘、提煉讀者借、還書的信息量，且一直追蹤這些信息數(shù)源的變化，即可獲得可被部門利用的有價值數(shù)據(jù)，并匯總出讀者借、還書的規(guī)律。依據(jù)這些一線信息數(shù)源的價值，加之網(wǎng)上薦購及讀者書面薦購等信息，匯總出哪些是讀者專業(yè)常用書籍，哪些是讀者感興趣的書籍，哪些又是常年被冷落的書籍，從中提煉出書籍采集的方向；合理化的采集方案繼續(xù)延用，不合理的采集要進行科學化的數(shù)據(jù)分析，及時理清思路，盡可能做到書籍采集的合理化、科學化。
技術部門。在信息飛速發(fā)展的時代，作為圖書館負責信息網(wǎng)絡技術的部門，其肩上的重量顯得格外沉重。技術部門不但肩負著網(wǎng)絡技術的責任，當今也要肩負起圖書館所有數(shù)據(jù)的收集、存儲、挖掘及分析技術。數(shù)據(jù)挖掘及分析技術在技術部十分重要，技術部應將圖書館各部門所產(chǎn)生的相關數(shù)據(jù)進行長期性、系統(tǒng)性的收集和科學分析，并將研究數(shù)據(jù)的.挖掘及分析作為當前和今后技術部研究及發(fā)展的方向，承擔起“數(shù)據(jù)監(jiān)護員”的角色，通過實踐為圖書館提供數(shù)據(jù)監(jiān)護操作技能及策略。注意將可獲得的數(shù)據(jù)及時進行收集，并通過收集數(shù)據(jù)使用案例，分析并總結用戶需求及使用規(guī)律，為數(shù)據(jù)監(jiān)護提供基礎資料。
學科部門。學科部門作為一個新興的部門，目前已在全國各高校圖書館廣泛推廣運用。學科館員的主要任務是派專人與對口院系或學科專業(yè)搭建合作、交流平臺，并利用圖書館信息檢索的技術優(yōu)勢，為研究者開展長期追蹤、收集、傳遞文獻信息的科技服務。當前大部分學科館員關注的是如何為院系教學提供良好的信息傳遞幫助，而忽略了在當前信息飛速發(fā)展的時代，科研與教學走向數(shù)字化的趨勢。學者所做的所有工作，包括教案、論文、實驗、畢業(yè)設計等等工作，基本上都是以電子信息的方式進行編輯、存儲的。雖然極大地方便了學者們的工作，但同時也面臨這些電子數(shù)據(jù)的丟失風險，一旦電子數(shù)據(jù)丟失，其損失的學術價值是不可估量的。為盡量避免這些事件的發(fā)生，學科部門可依托技術部門的支撐，利用數(shù)據(jù)挖掘技術，開展學者數(shù)據(jù)監(jiān)護服務，保存這些非紙質信息。這樣學科部門不僅為學者提供了科研信息的前沿追蹤，同時也提供了科學數(shù)據(jù)保存平臺；既為學者科研開辟道路，也為學者預防丟失科研數(shù)據(jù)提供保障，可謂雙保險。數(shù)據(jù)挖掘技術還可以幫助學科部通過數(shù)據(jù)挖掘、分析出讀者關注以及咨詢較多的問題，從中歸納出重點并分門別類，作為圖書館工作的重要依據(jù)。
三、結語。
數(shù)據(jù)挖掘技術在當今大數(shù)據(jù)時代，已成為一個相對成熟的學科，融入到社會的各行各業(yè)。利用數(shù)據(jù)挖掘技術對圖書館數(shù)據(jù)庫進行數(shù)據(jù)挖掘已經(jīng)成為圖書館需要開展的一項重要工作。圖書館事業(yè)已全部進入電子信息化，由此產(chǎn)生的大量業(yè)務數(shù)據(jù)和信息資源是圖書館行業(yè)的一筆寶貴財富，它較真實地反映了讀者對圖書館事業(yè)運作以及提供的服務是否到位。因此，通過數(shù)據(jù)挖掘分析，能夠幫助圖書館管理者分析并發(fā)現(xiàn)現(xiàn)有管理的不足之處，通過已知的現(xiàn)象預測未來的發(fā)展趨勢。數(shù)據(jù)挖掘技術已成為今后圖書館事業(yè)保持競爭力的必備法寶。
參考文獻：
【1】顧倩.數(shù)據(jù)挖掘應用于高校圖書館個性化服務的探討[J].圖書館雜志,20xx,8:63-65.。
【2】王偉.基于數(shù)據(jù)挖掘的圖書館用戶行為分析與偏好研究情報科學,20xx,30(3):391-394.。
【3】楊海燕.大數(shù)據(jù)時代的圖書館服務淺析[J].圖書與情報。
【4】程蓮娟.美國高校圖書館數(shù)據(jù)監(jiān)護的實踐及其啟示[J].圖書館雜志,20xx,1(31):76-78.。
數(shù)據(jù)挖掘論文10
【摘要】企業(yè)精準營銷服務是在充分了解客戶的基礎上，針對客戶特點及需求，有針對性地進行產(chǎn)品營銷的行為。大數(shù)據(jù)時代數(shù)據(jù)呈現(xiàn)井噴式爆炸性增長，不斷驅動企業(yè)大數(shù)據(jù)精準營銷的應用，數(shù)據(jù)挖掘成了企業(yè)從海量數(shù)據(jù)中獲取信息知識的必要技術手段。本文主要探討數(shù)據(jù)挖掘常見方法、挖掘過程及在企業(yè)精準營銷服務的應用，以實際案例分析總結企業(yè)利用數(shù)據(jù)挖掘開展精準營銷工作更為合理的方法、流程。
【關鍵詞】數(shù)據(jù)挖掘；方法論；精準營銷服務；策略
一、引言
大數(shù)據(jù)時代的來臨，數(shù)據(jù)呈現(xiàn)井噴式爆炸性增長。在海量數(shù)據(jù)中，隱藏著無數(shù)商業(yè)機會，但如何將大數(shù)據(jù)利用起來卻是一項艱巨的工作。在企業(yè)實施精準營銷服務過程中，面臨著客戶在哪？客戶有什么特征？客戶需要什么產(chǎn)品？如何進行有效營銷，提升客戶價值？我們在數(shù)據(jù)的海洋里淹死了，卻在知識的海洋里渴死了……而從龐大的數(shù)據(jù)中，借助合適的數(shù)據(jù)挖掘技術及工具，借助結合實際的數(shù)據(jù)挖掘方法，以客觀統(tǒng)計分析和挖掘算法挖掘出企業(yè)精準營銷服務的潛在目標用戶、用戶特征，同時匹配合適的營銷服務策略，可以顯著提升企業(yè)營銷服務精準度與成功率。
二、數(shù)據(jù)挖掘方法
數(shù)據(jù)挖掘工作本質上是一個解決實際業(yè)務問題的過程，需要有系統(tǒng)、科學的數(shù)據(jù)挖掘方法論來指導。業(yè)內主流的數(shù)據(jù)挖掘方法論有：歐盟機構聯(lián)合起草的CRISP-DM、SAS公司提出的SEMMA。CRISP-DM將數(shù)據(jù)挖掘分為6個階段，即商業(yè)理解（Busi-nessunderstanding）、數(shù)據(jù)理解（Dataunderstanding）、數(shù)據(jù)準備（Datapreparation）、建模（Modeling）、評估（Evaluation）、部署（Deployment）。而SEMMA將數(shù)據(jù)挖掘分為5個階段，即數(shù)據(jù)取樣（Sample）、數(shù)據(jù)特征探索、分析和預處理（Explore）、問題明確化、數(shù)據(jù)調整和技術選擇（Modify）、模型的研發(fā)、知識的發(fā)現(xiàn)（Model）、模型和知識的綜合解釋和評價（Assess）。從工作流程來看，CRISP-DM是從項目執(zhí)行角度談的方法論，更關注與商業(yè)目標的結合，而SEMMA則是從具體數(shù)據(jù)探測和挖掘出發(fā)談的方法論，更關注數(shù)據(jù)探索的過程。但從具體工作內容來看，CRISP-DM和SEMMA本質上都是在數(shù)據(jù)挖掘應用中提出問題、分析問題和解決問題的過程。因此，CRISP-DM和SEMMA互不矛盾，只是強調的重點不同而已。結合企業(yè)實施數(shù)據(jù)挖掘工作的實踐經(jīng)驗，經(jīng)常采用PDMA數(shù)據(jù)挖掘方法。PDMA將數(shù)據(jù)挖掘分為4個階段，即定義業(yè)務問題（Problemdefinition）、數(shù)據(jù)準備（DataPreparation）、模型構建（ModelCreation）、模型應用（ModelApplication）。與CRISP-DM、SEMMA等相比，PDMA類似CRISP-DM，但又有較大差異。首先，PDMA將CRISP-DM的數(shù)據(jù)理解、數(shù)據(jù)準備做了提煉與分解。PDMA的數(shù)據(jù)準備是在滿足業(yè)務目標的前提下，確定挖掘建模的數(shù)據(jù)范圍，并構建生成寬表數(shù)據(jù)及核查數(shù)據(jù)準確性。PDMA的模型構建是在數(shù)據(jù)準備后，從數(shù)據(jù)集中采集業(yè)務問題相關的.樣本數(shù)據(jù)集，探索數(shù)據(jù)的規(guī)律和趨勢，針對數(shù)據(jù)建模的數(shù)據(jù)集數(shù)據(jù)進行探索，選擇一種或幾種挖掘算法，進行模型構建及從技術和業(yè)務兩個角度進行模型評估�？梢�，PDMA的數(shù)據(jù)準備只負責建模挖掘寬表準備，數(shù)據(jù)探索包括衍生變量的生成、選擇等部分數(shù)據(jù)處理工作在模型構建階段實現(xiàn)，各階段間的工作分工也更為清晰。其次，PDMA的模型應用不僅僅是模型部署，還包括模型評分、模型監(jiān)控與維護，確保當市場環(huán)境、用戶數(shù)據(jù)發(fā)生變化時，能及時判別在用的挖掘模型是否還有效、適用。對于不適用的挖掘模型及時調整優(yōu)化，實現(xiàn)模型閉環(huán)管理。同時，PDMA的模型應用還強調模型輸出目標用戶的細分，及與市場營銷策略的匹配建議，幫助業(yè)務部門更好理解模型輸出及指導后續(xù)工作的開展。PDMA數(shù)據(jù)挖掘方法論是CRISP-DM、SEMMA等方法論的提煉優(yōu)化。
三、數(shù)據(jù)挖掘精準營銷應用
隨著三大運營商全業(yè)務經(jīng)營的迅猛發(fā)展，寬帶市場競爭激烈、市場日益飽和，越發(fā)呈現(xiàn)價格戰(zhàn)的競爭格局。借助大數(shù)據(jù)分析挖掘可精準識別寬帶營銷服務潛在目標客戶及特征，從而實現(xiàn)營銷服務有的放矢。
1、定義業(yè)務問題
（1）基于歷史數(shù)據(jù)挖掘過往寬帶營銷服務客戶寬帶使用特征、消費水平特征、上網(wǎng)偏好等，剖析營銷服務用戶的主要特征和原因，輸出潛在目標用戶清單。（2）在輸出潛在目標用戶清單的基礎上，對目標客戶進一步深入挖掘分群，剖析出不同人群客戶的寬帶使用、消費行為的典型特點，提出針對性營銷服務策略。（3）針對輸出的潛在目標用戶清單和分群制定具體的銷售策略，進行派單執(zhí)行，跟蹤效果，做好下次模型迭代優(yōu)化。
2、數(shù)據(jù)準備
數(shù)據(jù)準備是在滿足業(yè)務目標前提下，確定數(shù)據(jù)建模的數(shù)據(jù)范圍，描述和檢查這些數(shù)據(jù)，并構建建模寬表。針對寬帶用戶的行為特征，可以選取以下幾個數(shù)據(jù)維度：上網(wǎng)偏好維度、消費行為維度、產(chǎn)品及終端結構維度。其中，偏好類別數(shù)據(jù)主要利用DPI數(shù)據(jù)對用戶訪問的目標URL地址，進行多維度的統(tǒng)計計算后，得出的興趣類別標簽。輸入模型的變量要根據(jù)不同區(qū)域和每次預測的數(shù)據(jù)源動態(tài)調整。經(jīng)過數(shù)據(jù)清洗、整理、派生，最終確定模型輸入變量時，主要依據(jù)對于模型輸出結果的影響顯著性選擇。
3、模型構建
模型構建就是在數(shù)據(jù)準備后，從數(shù)據(jù)集市中采集業(yè)務問題相關的樣本數(shù)據(jù)集，探索數(shù)據(jù)的規(guī)律和趨勢，針對數(shù)據(jù)建模的數(shù)據(jù)集數(shù)據(jù)進行修正，選擇一種或幾種挖掘方法，進行數(shù)據(jù)模型構建，從技術和業(yè)務兩個層面進行模型評估。通常情況下，主要以邏輯回歸和決策樹等作為建模主要方法，此類模型能輸出具體流失公式和規(guī)則。在進行用戶分群時，主要以聚類模型為主要方法，尋找不同類型用戶特征，制定分群針對性維系策略。
4、模型應用
在輸出潛在目標用戶清單的基礎上，對目標客戶進行分群。根據(jù)數(shù)據(jù)挖掘模型結果，寬帶營銷服務用戶可以分為以下5類：低需求型用戶、供給過剩型用戶、供給不足型用戶、長期高需求型用戶、短期高需求型用戶�；诜秩汉蟮哪繕擞脩�，可以針對性進行營銷服務策略匹配，如低需求型用戶可以采用寬帶資費優(yōu)惠（如對上網(wǎng)少用戶采取特定的低資費），供給不足型用戶可以采用加快低寬帶客戶向高帶寬的遷移政策。最后進行派單執(zhí)行，跟蹤效果。
四、結束語
大數(shù)據(jù)時代，由于信息技術的應用普及，產(chǎn)生了大量的數(shù)據(jù)，每年都以指數(shù)級速度增長。數(shù)據(jù)量大導致數(shù)據(jù)應用也會變得越來越困難，而借助合適的數(shù)據(jù)挖掘技術及工具，結合實際的數(shù)據(jù)挖掘方法，可以更加有效地提高數(shù)據(jù)的利用率，更深層次地挖掘出對企業(yè)精準營銷有價值的信息，實現(xiàn)對海量信息的掌控，讓企業(yè)實現(xiàn)更為精準的營銷服務。
數(shù)據(jù)挖掘論文11
1.軟件工程數(shù)據(jù)的挖掘測試技術
1.1代碼編寫
通過對軟件數(shù)據(jù)進行分類整理，在進行缺陷軟件的排除工作以后，根據(jù)軟件開發(fā)過程中的各種信息進行全新的代碼編寫�；诖a編寫人員的編寫經(jīng)驗，在一般情況，對結構功能與任務類似的模塊進行重新編寫，這些重新編寫的模塊應遵循特定的編寫規(guī)則，這樣才能保證代碼編寫的合理有效性。
1.2錯誤重現(xiàn)
代碼編寫完成以后開發(fā)者會將這些代碼進行版本的確認，然后將正確有效的代碼實際應用到適當版本的軟件中去。而對于存在缺陷的代碼，開發(fā)者需要針對代碼產(chǎn)生缺陷的原因進行分析，通過不但調整代碼內的輸入數(shù)據(jù)，直到代碼內的數(shù)據(jù)與程序報告中的描述接近為止。存在缺陷的代碼往往會以缺陷報告的形式對開發(fā)者予以說明，由于缺陷報告的模糊性，常常會誤導開發(fā)者，進而造成程序設計混亂。
1.3理解行為
軟件開發(fā)者在設計軟件的過程中需要明確自己設計軟件中每一個代碼的內容，同時還需要理解其他開發(fā)者編寫的.代碼，這樣才能有效地完善軟件開發(fā)者的編寫技術。同時，軟件開發(fā)者在進行代碼編寫的過程中，需要對程序行為進行準確的理解，以此保證軟件內文檔和注釋的準確性。
1.4設計推究
開發(fā)者在準備對軟件進行完善設計的過程中，首先需要徹底了解軟件的總體設計，對軟件內部復雜的系統(tǒng)機構進行詳細研究與分析，充分把握軟件細節(jié)，這有這樣才能真正實現(xiàn)軟件設計的合理性與準確性。
2.軟件工程數(shù)據(jù)挖掘測試的有效措施
2.1進行軟件工程理念和方法上的創(chuàng)新
應通過實施需求分析，將數(shù)據(jù)挖據(jù)逐漸演變成形式化、規(guī)范化的需求工程，在軟件開發(fā)理念上，加強對數(shù)據(jù)挖掘的重視，對軟件工程的架構進行演化性設計與創(chuàng)新，利用新技術，在軟件開發(fā)的過程中添加敏捷變成與間件技術，由此，提高軟件編寫水平。
2.2利用人工智能
隨著我國科學技術的不斷發(fā)展與創(chuàng)新，機器學習已經(jīng)逐漸被我國各個領域所廣泛應用，在進行軟件工程數(shù)據(jù)挖掘技術創(chuàng)新的過程中，可以將機器學習及數(shù)據(jù)挖掘技術實際應用于軟件工程中，以此為我國軟件研發(fā)提供更多的便捷。人工智能作為我國先進生產(chǎn)力的重要表現(xiàn)，在實際應用于軟件工程數(shù)據(jù)的挖掘工作時，應該利用機器較強的學習能力與運算能力，將數(shù)據(jù)統(tǒng)計及數(shù)據(jù)運算通過一些較為成熟的方法進行解決。在軟件工程數(shù)據(jù)挖掘的工作中，合理化的將人工智能實際應用于數(shù)據(jù)挖掘，以此為數(shù)據(jù)挖掘提供更多的開發(fā)測試技術。
2.3針對數(shù)據(jù)挖掘結果進行評價
通過分析我國傳統(tǒng)的軟件工程數(shù)據(jù)挖掘測試工作，在很多情況下，傳統(tǒng)的數(shù)據(jù)挖掘測試技術無法做到對發(fā)掘數(shù)據(jù)的全面評價與實際應用研究，這一問題致使相應的軟件數(shù)據(jù)在被發(fā)掘出來以后無法得到有效地利用，進而導致我國軟件開發(fā)工作受到嚴重的抑制影響。針對這一問題，數(shù)據(jù)開發(fā)者應該利用挖掘缺陷檢驗報告，針對缺陷檢驗的結果，制定相應的挖掘結構報告。同時，需要結合軟件用戶的體驗評價，對挖掘出的數(shù)據(jù)進行系統(tǒng)化的整理與分析，建立一整套嚴謹、客觀的服務體系，運用CodeCity軟件，讓用戶在的體驗過后可以對軟件進行評價。考慮到軟件的服務對象是人，因此，在軟件開發(fā)的過程中要將心理學與管理學應用于數(shù)據(jù)挖掘，建立數(shù)據(jù)挖掘系統(tǒng)和數(shù)據(jù)挖掘評價系統(tǒng)。
3.結束語
綜上所述，由于軟件工程數(shù)據(jù)挖掘測試技術廣闊的應用前景，我國相關部門已經(jīng)加大了對軟件技術的投資與開發(fā)力度，當下，國內已經(jīng)實現(xiàn)了軟件工程的數(shù)據(jù)挖掘、人工智能、模式識別等多種領域上的發(fā)展。
數(shù)據(jù)挖掘論文12
題目：數(shù)據(jù)挖掘技術在神經(jīng)根型頸椎病方劑研究中的優(yōu)勢及應用進展
關鍵詞：數(shù)據(jù)挖掘技術; 神經(jīng)根型頸椎病; 方劑; 綜述;
1 數(shù)據(jù)挖掘技術簡介
數(shù)據(jù)挖掘技術[1] (Knowledge Discovery in Datebase, KKD) , 是一種新興的信息處理技術, 它融匯了人工智能、模式別、模糊數(shù)學、數(shù)據(jù)庫、數(shù)理統(tǒng)計等多種技術方法, 專門用于海量數(shù)據(jù)的處理, 從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)集中, 提取隱含在其中的、人們事先不知道的、但又是潛在的有用的信息和知識, 其目的是發(fā)現(xiàn)規(guī)律而不是驗證假設。數(shù)據(jù)挖掘技術主要適用于龐大的數(shù)據(jù)庫的研究, 其特點在于:基于數(shù)據(jù)分析方法角度的分類, 其本質屬于觀察性研究, 數(shù)據(jù)來源于日常診療工作資料, 應用的技術較傳統(tǒng)研究更先進, 分析工具、理論模型與傳統(tǒng)研究區(qū)別較大。其操作步驟包括[2]:選擇數(shù)據(jù), 數(shù)據(jù)處理, 挖掘分析, 結果解釋, 其中結果解釋是數(shù)據(jù)挖掘技術研究的關鍵。其方法包括分類、聚類、關聯(lián)、序列、決策樹、貝斯網(wǎng)絡、因子、辨別等分析[3], 其結果通常表示為概念、規(guī)則、規(guī)律、模式、約束、可視化等形式圖[4]。當今數(shù)據(jù)挖掘技術的方向主要在于:特定數(shù)據(jù)挖掘, 高效挖掘算法, 提高結果的有效性、確定性和表達性, 結果的可視化, 多抽象層上的交互式數(shù)據(jù)挖掘, 多元數(shù)據(jù)挖掘及數(shù)據(jù)的安全性和保密性。因其優(yōu)勢和獨特性被運用于多個領域中, 且結果運用后取得顯著成效, 因此越來越多的中醫(yī)方劑研究者將其運用于方劑中藥物的研究。
2 數(shù)據(jù)挖掘術在神經(jīng)根型頸椎病治方研究中的優(yōu)勢
中醫(yī)對于神經(jīng)根型頸椎病的治療準則為辨證論治, 從古至今神經(jīng)根型頸椎病的中醫(yī)證型有很多, 其治方是集中醫(yī)之理、法、方、藥為一體的數(shù)據(jù)集合, 具有以“方-藥-證”為核心的多維結構。方劑配伍本質上表現(xiàn)為方與方、方與藥、藥與藥、藥與劑量, 以及方藥與證、病、癥交叉錯綜的關聯(lián)與對應[5], 而中醫(yī)方劑講究君臣佐使的配伍, 藥物有升降沉浮, 四氣五味及歸經(jīng)之別, 對于神經(jīng)根型頸椎病的治療, 治方中藥物的種類、炮制方法、用量、用法等都是千變萬化的, 而這些海量、模糊、看似隨機的藥物背后隱藏著對臨床有用的信息和規(guī)律, 但這些大數(shù)據(jù)是無法在可承受的時間范圍內可用常規(guī)軟件工具進行捕捉、管理和處理的, 是需要一個新處理模式才能具有更強的決策力、洞察力和流程優(yōu)化能力, 而數(shù)據(jù)挖掘技術有可能從這些海量的的數(shù)據(jù)中發(fā)現(xiàn)新知識, 揭示背后隱藏的關系和規(guī)則, 并且對未知的情況進行預測[6]。再者, 中醫(yī)辨治充滿非線性思維, “方-藥-證”間的.多層關聯(lián)、序列組合、集群對應, 形成了整體論的思維方式和原則, 而數(shù)據(jù)挖掘技術數(shù)據(jù)挖掘在技術線路上與傳統(tǒng)數(shù)據(jù)處理方法不同在于其能對數(shù)據(jù)庫內的數(shù)據(jù)以線性和非線性方式解析, 尤善處理模糊的、非量化的數(shù)據(jù)。例如趙睿曦等[7]在研究張氏骨傷治療腰椎間盤突出癥的用藥規(guī)律時, 選取了100張治方, 因該病病因病機復雜, 證候不一, 骨傷名師張玉柱先生對該病的治則治法、藥物使用是不同的。因此他們利用Excel建立方證數(shù)據(jù)庫, 采用SPPS Clementine12.0軟件對這些數(shù)據(jù)的用藥頻次、藥物關聯(lián)規(guī)則及藥物聚類進行分析, 最后總結出張氏骨傷治療腰椎間盤突出癥遵循病從肝治、病從血治、標本兼治的原則, 也歸納出治療三種不同證型的腰突癥的三類自擬方。由此看出數(shù)據(jù)挖掘技術在方劑研究中的應用對數(shù)據(jù)背后信息、規(guī)律等的挖掘及名家經(jīng)驗的推廣具有重大意義, 因此數(shù)據(jù)挖掘技術在神經(jīng)根型頸椎病的治方研究中也同樣發(fā)揮著巨大的作用。
3 數(shù)據(jù)挖掘技術在神經(jīng)根型頸椎治方中的應用進展
神經(jīng)根型頸椎病在所有頸椎病中最常見, 約占50%~60%[8], 醫(yī)家對其治方的研究也是不計其數(shù)。近年來數(shù)據(jù)挖掘技術也被運用于其治方研究中, 筆者通過萬方、中國知網(wǎng)等總共檢索出以下幾篇文獻, 雖數(shù)量不多但其優(yōu)勢明顯。劉向前等[9]在挖掘古方治療神經(jīng)根型頸椎病的用藥規(guī)律時, 通過檢索《中華醫(yī)典》并從中篩選以治療頸項肩臂痛為主的古方219首并建立數(shù)據(jù)庫, 對不同證治古方的用藥類別、總味數(shù)、單味藥使用頻數(shù)及藥對 (組) 出現(xiàn)頻數(shù)進行統(tǒng)計, 總結出風寒濕痹證、痰濕阻痹證、寒濕阻滯證、正虛不足證的用藥特點, 得出解表藥、祛風濕藥、活血化瘀藥、補虛藥是治療頸項肩臂痛古方組成的主要藥物。古為今用, 該研究對于現(xiàn)代醫(yī)家在治療該病中有很好的借鑒和參考意義。齊兵獻等[10]檢索CNKI (1980-20xx年) 相關文獻中治療神經(jīng)根型頸椎病的方劑建立數(shù)據(jù)庫, 采用SPSS11.5統(tǒng)計軟件這些治方常用藥物使用頻次頻率、性味頻率、歸經(jīng)頻率分析比較, 治療神經(jīng)根型頸椎病的中藥共計99味, 使用頻次479味次;所用藥物種類依次以補益藥、活血化瘀藥、祛風濕藥運用最多, 其中藥味以辛、苦為主, 藥性以溫、寒為主, 歸經(jīng)以肝、脾、心為主, 而本病以肝腎虧虛, 氣血瘀滯為主, 臨床以補益藥、活血化瘀藥、祛風濕藥等中藥運用最多。這對于醫(yī)家治療該病選用藥物的性味、歸經(jīng)等具有指導意義。陳元川等[11]檢索20xx年1月至20xx年3月發(fā)表的以單純口服中藥治療神經(jīng)根型頸椎病的有關文獻, 對其中的方劑和藥物進行統(tǒng)計、歸類、分析, 最終納入32首方劑, 涉及111味中藥, 補氣藥、發(fā)散風寒藥、活血止痛藥、補血藥等使用頻次較高;葛根、白芍、黃芪、當歸、桂枝等藥物使用頻次較高, 證實與古方桂枝加葛根湯主藥相同, 且該方扶陽解表的治法與該研究得出的扶正祛邪的結果相吻合, 同時也證實石氏傷科強調治傷科病當“以氣為主, 以血為先”等正確性。所以大數(shù)據(jù)背后的規(guī)律和關系在很多方面古今是一致的, 同時數(shù)據(jù)依據(jù)的支持也為現(xiàn)代神經(jīng)根型頸椎病治療提供有力的保障。謝輝等[12]收集20xx至20xx年10月3日的166張治療神經(jīng)根型頸椎病的治方建立數(shù)據(jù)庫, 采用關聯(lián)規(guī)則算法、復雜系統(tǒng)熵聚類等無監(jiān)督數(shù)據(jù)挖掘方法, 利用中醫(yī)傳承輔助平臺 (TCMISS) 軟件分析處方中各種藥物的使用頻次、藥物之間的關聯(lián)規(guī)則、核心藥物組合和新處方, 從中挖掘出治療該病中醫(yī)中的常用藥物、藥對, 闡明了治療該病以解肌散寒藥、補氣活血藥、祛風勝濕藥和溫經(jīng)通絡藥為主, 治法主要包括解肌舒筋、益氣活血和補益肝腎, 這一方面很清晰明了地展示了藥物使用頻率、藥物之間的聯(lián)系, 證實其與很多古代經(jīng)典中治療神經(jīng)根型頸椎病的治則、治法及用藥規(guī)律是吻合的, 是臨床用藥的積累和升華, 可有效地指導臨床并提高療效;另一方面也為中藥新藥的創(chuàng)制提供處方來源, 指導新藥研發(fā)[13]。
4 小結
數(shù)據(jù)挖掘技術作為一種新型的研究技術, 在神經(jīng)根型頸椎病的治方研究中的運用相對于其他領域是偏少的, 并且基本上是研究文獻資料上出現(xiàn)的治方, 在對名老中醫(yī)個人治療經(jīng)驗及用藥規(guī)律的總結是缺乏的, 因此研究范圍廣而缺乏針對性, 同時使用該技術的相關軟件種類往往是單一的。現(xiàn)在研究者在研究中醫(yī)方劑時往往采用傳統(tǒng)的研究方法, 這就導致在大數(shù)據(jù)的研究中耗時、耗力甚則無能為力, 同樣也難以精準地提取大數(shù)據(jù)背后的隱藏的潛在關系和規(guī)則及缺乏對未知情況的預測。產(chǎn)生這樣的現(xiàn)狀, 一方面是很多研究者尚未清楚該技術在方劑研究中的優(yōu)勢所在, 思維模式尚未更新;另一方面是很多研究者尚未清楚該技術的操作技能及軟件種類及其應用范圍。故以后應向更多研究者普及該技術的軟件種類、其中的優(yōu)勢及操作技能, 讓該技術在臨床中使用更廣, 產(chǎn)生更大的效益。
參考文獻
[1]舒正渝.淺談數(shù)據(jù)挖掘技術及應用[J].中國西部科技, 20xx, 9 (5) :38-39.
[2]曹毅, 季聰華.臨床科研設計與分析[M].杭州:浙江科學技術出版社, 20xx:189.
[3]王靜, 崔蒙.數(shù)據(jù)挖掘技術在中醫(yī)方劑學研究中的應用[J].中國中醫(yī)藥信息雜志, 20xx, 15 (3) :103-104.
[4]陳丈偉.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘[M].北京:清華大學出版社, 20xx:5.
[5]楊玉珠.數(shù)據(jù)挖掘技術綜述與應用[J].河南科技, 20xx, 10 (19) :21.
[6]余侃侃.數(shù)據(jù)挖掘技術在方劑配伍中的研究現(xiàn)狀及研究方法[J].中國醫(yī)藥指南, 20xx, 6 (24) :310-312.
[7]趙睿曦.方證數(shù)據(jù)挖掘分析張氏骨傷對腰椎間盤突出癥的辨證用藥規(guī)律[J].陜西中醫(yī)藥大學學報, 20xx, 39 (6) :44-46.
[8]李曙明, 尹戰(zhàn)海, 王瑩.神經(jīng)根型頸椎病的影像學特點和分型[J].中國矯形外科雜志, 20xx, 21 (1) :7-11.
[9]劉向前, 陳民, 黃廣平等.頸項肩臂痛內治古方常用藥物的統(tǒng)計分析[J].中華中醫(yī)藥學刊, 20xx, 30 (9) :42-44.
[10]齊兵獻, 樊成虎, 李兆和.神經(jīng)根型頸椎病中醫(yī)用藥規(guī)律的文獻研究[J].河南中醫(yī), 20xx, 32 (4) :518-519.
[11]陳元川, 王翔, 龐堅, 等.單純口服中藥治療神經(jīng)根型頸椎病用藥分析[J].上海中醫(yī)藥雜志, 20xx, 48 (6) :78-80.
[12]謝輝, 劉軍, 潘建科, 等.基于數(shù)據(jù)挖掘方法的神經(jīng)根型頸椎病用藥規(guī)律研究[J].世界中西醫(yī)結合雜志, 20xx, 10 (6) :849-852.
[13]唐仕歡, 楊洪軍.中醫(yī)組方用藥規(guī)律研究進展述評[J].中國實驗方劑學雜志, 20xx (5) :359-363.
數(shù)據(jù)挖掘論文13
一、在對計算機病毒數(shù)據(jù)庫的數(shù)據(jù)挖掘方面存在的問題和局限
1.1對計算機病毒數(shù)據(jù)庫的數(shù)據(jù)挖掘技術有限
據(jù)有關調查，目前的信息技術行業(yè)對計算機病毒數(shù)據(jù)庫的數(shù)據(jù)挖掘在技術方面還是存在局限與問題的；從客觀層面上來講，沒有哪一種計算機的技術可以完全杜絕或制止計算機病毒對計算機數(shù)據(jù)庫的侵入和威脅，這種糟糕情況的出現(xiàn)，不僅給單個計算機的系統(tǒng)造成損害，而且給整個計算機技術行業(yè)在某些時候也會造成不必要的損失和危害。所以說，開創(chuàng)有關減弱甚至是消滅計算機病毒數(shù)據(jù)庫的計算機技術就顯得尤為重要。
1.2對計算機病毒數(shù)據(jù)庫的數(shù)據(jù)挖掘效率極低
我們都知道，可以利用相應的計算機技術來對計算機病毒數(shù)據(jù)庫的數(shù)據(jù)進行挖掘，但是就目前而言，單一而又較為簡單的計算機技術很難高效地對數(shù)據(jù)進行挖掘，只能夠從具有病毒的數(shù)據(jù)庫中挖掘出極少數(shù)數(shù)據(jù)甚至是挖掘不出來。所以說，提高計算機病毒數(shù)據(jù)庫的數(shù)據(jù)挖掘效率也就顯得尤為重要。
1.3對計算機病毒數(shù)據(jù)庫的數(shù)據(jù)挖掘成本較高
值得注意的`是，某些計算機病毒數(shù)據(jù)庫中的數(shù)據(jù)是值得使用和發(fā)揮作用的，所以，計算機行業(yè)的某些操作人員就會盡可能采用多種渠道和方法來對有用的數(shù)據(jù)進行挖掘和分析，這樣一來，通常花費的成本就會相對地高，不免也就會給某些企業(yè)造成沉重的負擔。所以說，降低對計算機病毒數(shù)據(jù)庫的數(shù)據(jù)挖掘成本就顯得尤為重要了。
二、計算機病毒數(shù)據(jù)庫的數(shù)據(jù)挖掘的策略與方法
2.1實施相應的計算機病毒監(jiān)控技術
如何進一步地減弱計算機病毒對計算機數(shù)據(jù)庫的侵入和威脅，我們需要慎重考慮，而實施相應的計算機病毒監(jiān)控技術已成為此時的無疑之策；進一步來說，就是設置多種監(jiān)控技術，例如設置內存監(jiān)控，配備相應的文件監(jiān)控，還有就是注冊不同的表監(jiān)控等等，這些都是有效地減弱甚至是防止計算機病毒侵襲數(shù)據(jù)庫的監(jiān)控技術�？傊�，我們通過這些技術，就會盡可能的從計算機病毒數(shù)據(jù)庫中挖掘出需要的數(shù)據(jù)。
2.2配置適當?shù)挠嬎銠C病毒源的追蹤設備
據(jù)有關部門調查，目前使用較為有效的計算機病毒源的追蹤設備就是郵件追蹤設備，它能夠有效地通過相應的消息或指令來對計算機的查詢進行追蹤，這樣就能夠高效地檢測出是否有計算機病毒侵入。依據(jù)這種情況，我們可以進一步開拓思維，尤其是計算機行業(yè)的管理員和操作人員，更應該為計算機設計出以及配置適當?shù)牟煌挠嬎銠C病毒源的追蹤設備，從而使人們在計算機病毒侵入數(shù)據(jù)庫的情況下，仍然能夠得到自己想要的正常數(shù)據(jù)。
2.3設置獨特的計算機反病毒數(shù)據(jù)庫
所謂的計算機反病毒數(shù)據(jù)庫，就是在計算機操作系統(tǒng)的底部值入反病毒的指令或程序，讓它成為計算機系統(tǒng)內部數(shù)據(jù)庫的底層模塊，而不是計算機系統(tǒng)外部的某種軟件。這樣一來，當計算機的病毒侵入系統(tǒng)內數(shù)據(jù)庫時，就會被底層的反病毒程序代碼或指令反攻出來，就進一步達到了減弱甚至消除計算機病毒對計算機數(shù)據(jù)庫的侵襲和威脅的目的，那么我們這時就可以挖掘出必需的數(shù)據(jù)了。
三、結束語
概而言之，就現(xiàn)在的計算機病毒來說，可謂是呈現(xiàn)日益猖獗的態(tài)勢；也就是說，計算機技術迅速發(fā)展了，計算機病毒也就會跟其迅速“發(fā)展”。我們想要有效地遏制住計算機病毒，從計算機病毒數(shù)據(jù)庫中挖掘出必需的數(shù)據(jù)，對于普通人來說就應該多多了解一些預防計算機病毒侵入的知識；而對于計算機行業(yè)的管理員或操作人員來說，就應該多設計出一些遏制計算機病毒侵襲的軟件或方案，從而使我們的計算機環(huán)境更干凈，更安全。
數(shù)據(jù)挖掘論文14
網(wǎng)絡經(jīng)濟的關鍵在于能夠為商品的供應商及其合作者之間提供一個交流的平臺，但是即便是最權威的搜索引擎也只能夠搜索到三分之一的web網(wǎng)頁，并且這些Web都是沒有結構的、動態(tài)的、復雜的形式出現(xiàn)。人們要從各種各樣的文本網(wǎng)站中尋找自己想要的信息進而變得更加困難。網(wǎng)絡數(shù)據(jù)挖掘技術就是用來解決這一問題的好辦法，利用數(shù)據(jù)挖掘技術能夠有效發(fā)現(xiàn)在web網(wǎng)頁中隱藏著的對用戶有力的數(shù)據(jù)信息，在對數(shù)據(jù)的分析中總結出規(guī)律。如何實現(xiàn)用戶對于Web上的有效數(shù)據(jù)的深度挖掘，使其成為工商管理領域中的重要應用，成為了當代許多網(wǎng)絡工作者所關注的話題。
一、數(shù)據(jù)挖掘概述
�。ㄒ唬⿺�(shù)據(jù)挖掘
數(shù)據(jù)挖掘(DataMining)指的是，在大量的、不規(guī)則的、隨機的、復雜的、有噪聲的實際應用數(shù)據(jù)中，獲得一些信息和知識，能夠對用戶祈禱潛在作用的效果的過程。將數(shù)據(jù)挖掘用通俗的話來描述就是在數(shù)據(jù)庫中發(fā)現(xiàn)潛在有用的知識發(fā)現(xiàn)(KDDKnowledgeDiscoveryinDatabase)。在這個定義中主要包含了以下幾方面的含義：首先數(shù)據(jù)源的特性是大量、隨機、不規(guī)則、噪聲；信息是客戶所感興趣的對象；選取的知識必須是在可接受、可理解、可運用的范圍內的，并不是全部符合要求的都可以，對于問題要有一定的針對性。也就是說對于所發(fā)現(xiàn)的知識的篩選是有一定的約束和限制條件的，同時也要符合用戶的理解和學習能力，最好還能夠用通俗的語言來表達最終的結果。
�。ǘ￤eb數(shù)據(jù)挖掘
Web數(shù)據(jù)挖掘實際上是屬于數(shù)據(jù)挖掘的范疇的。概括的來說，Web數(shù)據(jù)挖掘的數(shù)據(jù)庫特定的就是Web服務器上的數(shù)據(jù)文件，從中發(fā)現(xiàn)用戶感興趣并有所應用潛能的知識。Web數(shù)據(jù)挖掘主要針對的就是頁面內容、頁面之間的結構、用戶訪問信息、電子商務等內在信息，通過數(shù)據(jù)挖掘技術來獲得有價值的信息。Web數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)庫存在著很大的差異，傳統(tǒng)的數(shù)據(jù)庫都是在一定的數(shù)學模型范圍之內的，通過模型來描述其中的數(shù)據(jù)；但是web數(shù)據(jù)庫相對來講就要復雜許多，沒有通用的模型來描述數(shù)據(jù)，每個網(wǎng)頁都有其獨特的數(shù)據(jù)描述方式，丙炔數(shù)據(jù)自身都是可變的、動態(tài)的。因而，Web數(shù)據(jù)雖然具有一定的結構性，不能用架構化的形式來表達，也可以稱其為半結構化的數(shù)據(jù)。Web數(shù)據(jù)的最大特點就是半結構化，加上Web數(shù)據(jù)的信息量極大，導致整一個數(shù)據(jù)庫成為一個巨大的異構數(shù)據(jù)庫。
二、網(wǎng)絡數(shù)據(jù)挖掘的類型
�。ㄒ唬┚W(wǎng)絡內容挖掘
網(wǎng)絡內容挖掘的對象是網(wǎng)頁的內容、數(shù)據(jù)、文檔,這通常也是網(wǎng)頁在急性搜索的時候需要考察的訪問對象。由于網(wǎng)絡信息繁多，按照信息源的不同可以劃分為Gopher、FTP、Usenet等已經(jīng)隱藏到WWW形式之后的資源,我們稱之為WWW信息資源,存儲于數(shù)據(jù)庫管理信息系統(tǒng)中的數(shù)據(jù),以及不能直接訪問的私人數(shù)據(jù)。按照網(wǎng)絡資源的形式又可以劃分為文本、圖像、音頻、視頻等數(shù)據(jù)。
�。ǘ┚W(wǎng)絡結構挖掘
網(wǎng)絡結構挖掘的對象就是Web潛在的鏈接結構模式。這種類型最早出現(xiàn)在引文分析,在建立web自身的鏈接結構模型的時候借鑒了網(wǎng)頁鏈接和被鏈接數(shù)量以及對象。在網(wǎng)頁歸類的時候往往會采用這種模式,還能夠得到不同網(wǎng)頁間相似度及關聯(lián)度的相關數(shù)據(jù)。網(wǎng)絡結構挖掘能夠幫助用戶在相關領域中找到最有分量的網(wǎng)站。
�。ㄈ┚W(wǎng)絡用法挖掘
網(wǎng)絡用法挖掘的目的在于掌握用戶的一系列網(wǎng)絡行為數(shù)據(jù)。網(wǎng)絡內容挖掘、網(wǎng)絡結構挖掘針對的都是網(wǎng)上的原始數(shù)據(jù),而網(wǎng)絡用法挖掘針對的是用戶在上網(wǎng)過程中的人機交互的第二手數(shù)據(jù),主要有用戶的網(wǎng)頁游覽記錄、代理服務器日志記錄、網(wǎng)頁維護信息、用戶簡介、注冊信息、聊天記錄、交易信息等等。
三、網(wǎng)絡經(jīng)濟環(huán)境下數(shù)據(jù)挖掘在工商管理中的運用步驟
（一）識別網(wǎng)站訪問者的特征信息
企業(yè)對電子商務網(wǎng)站的`數(shù)據(jù)進行挖掘的第一步，就是要明確訪問者的特點，找出訪問者使用的條款特征。訪問者特征主要有入口統(tǒng)計、心理狀態(tài)和技術手段等要素。人口統(tǒng)計并不是一成不變的，比如家庭地址、收入、購買力等因素都會不斷改變。心理狀態(tài)指的是在心理調研中展現(xiàn)出的個性類型，比如對商品的選擇去世、價格優(yōu)惠心理、技術興趣等。隨著訪問者數(shù)量的增加，相關數(shù)據(jù)也會不斷累積。條款的交互信息主要包括購買歷史、廣告歷史和優(yōu)選信息。網(wǎng)站統(tǒng)計信息是指每次會話的相關要素。公司信息主要包括訪問者對接的服務器所包含的一系列要素信息。
�。ǘ┲贫繕�
開展網(wǎng)上交易的最大優(yōu)勢在于企業(yè)對于訪問者的反應有著更好的前瞻性。當廠商的目標是明確且具象的時候，就能夠通過數(shù)據(jù)挖掘技術得到較好的效果。企業(yè)通�？梢栽O定以下的目標:網(wǎng)頁訪問者的增加量；類此網(wǎng)頁訪問的瀏覽時間增加；每次結賬的平均利潤;退換貨的減少；品牌知名度效應；回頭客的數(shù)量等等。
�。ㄈ﹩栴}描述
開展電子商務的企業(yè)最關鍵要面對的一個問題就是如何進行商品的傳播，要實現(xiàn)網(wǎng)頁的個性化又要將商品的信息完整的展現(xiàn)給顧客，就需要了解同一類訪問者的共有特征、估計貨物丟失的數(shù)據(jù)并預測未來行為。所有這一切都涉及尋找并支持各種不同的隱含模式。
（四）關聯(lián)分析
對顧客大量的交易數(shù)據(jù)進行關聯(lián)規(guī)則分析，能夠發(fā)現(xiàn)顧客購買組合商品的趨勢。關聯(lián)分析指的是在一次瀏覽或者會話中所涉及到的商品，也叫做市場分析。若電子商務網(wǎng)站能夠將這些商品放在同一個網(wǎng)頁中，就能夠提高顧客同時購買這些商品的概率。如果在關聯(lián)的一組商品中有某一項商品正在進行促銷，就能夠帶動其他組合產(chǎn)品的銷量。關聯(lián)也能夠用在靜態(tài)的網(wǎng)站目錄網(wǎng)頁。在這種情況下，網(wǎng)站排序的主要依據(jù)是廠商選擇的且是網(wǎng)站所要查看的第一頁內容，將其以及其相關的商品信息放在網(wǎng)頁的首頁。
�。ㄎ澹┚垲�
聚類指的是將具有相同特征的商品歸為一類，將特征平均，以形成一個“特征矢量”。聚類技術能夠確定一組數(shù)據(jù)有多少類，并用其中一個聚類來表示其余大多數(shù)數(shù)據(jù)。通常在企業(yè)分析訪問者類型的時候使用聚類技術。
�。Q策樹
決策樹描繪的是都想決定在做出的一系列過程中的問題或數(shù)據(jù)點。比如做出購買電視機這一決定就要經(jīng)歷對于電視機的需求、電視機的品牌、尺寸等等問題，最終確定好買哪一臺電視機為止。決策樹能夠較一個決策過程進行系統(tǒng)的排序，以便選出最優(yōu)的路徑來盡可能減少決策的步驟，提高決定的質量和速度。許多企業(yè)將決策樹體系添加到自己的產(chǎn)品選擇系統(tǒng)中，能夠幫助訪問者解決特定問題。
（七）估計和預測
估計是對未知量的判斷，預測是根據(jù)當前的趨勢做出將來的判斷。估計和預測使用的算法類似。估計能夠對客戶空白的項目做到預判。如果網(wǎng)站想知道某個訪問者的收入，就可以通過與收入密切相關的量估計得到，最后通過與其有相同特征的訪問者的收入來衡量這個訪問者的收入和信用值。預測是對未來事項的判斷。尤其是在某些個性化網(wǎng)頁中顯得尤為重要。企業(yè)通過數(shù)據(jù)的匯總增進對客戶的了解。即使是對以往事件的分析中也可以得到有效的信息。預測能夠對訪問者的特征作出總結和匯總，以便企業(yè)能夠找出更有針對性的組合商品來滿足客戶的需求。Web數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)庫存在著很大的差異，最大特點就是半結構化，加上Web數(shù)據(jù)的信息量極大，導致整一個數(shù)據(jù)庫成為一個巨大的異構數(shù)據(jù)庫。能夠幫助用戶在特性是大量、隨機、不規(guī)則、噪聲的信息中發(fā)現(xiàn)感興趣的對象。
數(shù)據(jù)挖掘論文15
1、大數(shù)據(jù)概述
大數(shù)據(jù)用來描述和定義信息爆炸時代所產(chǎn)生的海量數(shù)據(jù)，它是計算機和互聯(lián)網(wǎng)互相結合的產(chǎn)物，計算機實現(xiàn)了信息的數(shù)字化，互聯(lián)網(wǎng)實現(xiàn)了信息的網(wǎng)絡共享化。隨之興起的則是從海量數(shù)據(jù)中挖掘預測出對人類行為有效的方法和結果，即數(shù)據(jù)挖掘技術[1]。數(shù)據(jù)挖掘（Datamining）指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中的信息的過程，是一門跨多個領域的交叉學科，通常與人工智能、模式識別及計算機科學有關，并通過統(tǒng)計、在線分析處理、情報檢索、機器學習、專家系統(tǒng)（依靠過去的經(jīng)驗法則）和模式識別等諸多方法來實現(xiàn)上述目標。其特點為：海量數(shù)據(jù)尋知識、集成變換度量值、分析模式評效果、圖形界面來展示[2]。
2、大數(shù)據(jù)時代下的高校機房現(xiàn)狀
順應時代潮流的發(fā)展，各高校都開設有計算機專業(yè)，非計算機專業(yè)也在大一或大二時期開設公共計算機課程，計算機成為教育領域內不可或缺的教學設備，隨著高校的進一步擴招，教育事業(yè)的不斷更新發(fā)展，學校的機房建設也隨之增多，其任務由原來的面向計算機專業(yè)發(fā)展到面向全校的所有專業(yè)開設公共計算機教學、承擔各種計算機考試等多項任務。因此機房管理系統(tǒng)在日常教學和考試任務中積累了海量數(shù)據(jù)，一般這些數(shù)據(jù)都保存在主服務器上僅供查詢使用[3]。利用數(shù)據(jù)挖掘技術，對學校機房信息管理系統(tǒng)所積累的大量學生上機數(shù)據(jù)進行深入分析與挖掘，將挖掘得到的預測結果輔助學生成績管理決策，能合理利用機房資源，提高學生成績管理質量。本文利用關聯(lián)規(guī)則，從現(xiàn)有的機房信息管理系統(tǒng)中收集到的海量學生上機記錄數(shù)據(jù)中挖掘出隱藏在數(shù)據(jù)中的學生上機規(guī)律和上機效率，進而預測學生的期末考試成績，提前告知，學生可以在隨后的學習中通過人為干預學習過程：比如挖掘預測出某生成績將會較差，則可以在其后的學習中調整學習方式和學習態(tài)度，以修正期末考試結果，提高學習效率和考試通過率，為以后的就業(yè)做好鋪墊，因此不管是對于當前利益還是長遠利益，都有深遠的意義。
3、數(shù)據(jù)挖掘階段
1)定義問題：明確數(shù)據(jù)挖掘的預期目標。本次挖掘目標旨在從海量機房學生登錄信息中找出能預測成績的相關規(guī)則。
2)數(shù)據(jù)準備：提取數(shù)據(jù)挖掘的目標數(shù)據(jù)集，并進行預處理[4]。本次挖掘數(shù)據(jù)對象為吉首大學設備中心六樓公共計算機機房的學生上機信息表，并檢查數(shù)據(jù)的有效性、一致性、完整性，并去除噪聲，進行預處理。
3)數(shù)據(jù)挖掘：根據(jù)上個步驟所提取數(shù)據(jù)的特點和類型選擇相應合適的算法，并在預處理過的數(shù)據(jù)集上進行數(shù)據(jù)挖掘。根據(jù)問題定義，本次選擇關聯(lián)規(guī)則算法Apriori算法，進行關聯(lián)規(guī)則發(fā)現(xiàn)并預測。
4)分析挖掘結果：解釋評價數(shù)據(jù)挖掘的結果，并將其轉換成能被用戶所理解的規(guī)則。
5)運用規(guī)則：通過分析挖掘結果，可以適當進行人工干預，修正學習行為，使得最終結果達到理想學習效率。
4、數(shù)據(jù)挖掘在機房管理系統(tǒng)中的應用
4.1關聯(lián)規(guī)則算法
Apriori算法采用逐層搜索的迭代方法，不需要復雜的理論推導，易于實現(xiàn)，是利用挖掘布爾關聯(lián)規(guī)則頻繁項集的一種算法�；舅枷胧牵菏紫日页鏊械念l集，這些項集出現(xiàn)的頻繁性至少和預定義的最小支持度一樣。然后由頻集產(chǎn)生強關聯(lián)規(guī)則，這些規(guī)則必須滿足最小支持度和最小可信度。然后使用第1步找到的頻集產(chǎn)生期望的規(guī)則，產(chǎn)生只包含集合的項的所有規(guī)則，其中每一條規(guī)則的右部只有一項，這里采用的'是中規(guī)則的定義。一旦這些規(guī)則被生成，那么只有那些大于用戶給定的最小可信度的規(guī)則才被留下來[5]。
4.2關聯(lián)結果分析
以吉首大學實驗室與設備管理中心為例，吉首大學實驗室與設備管理中心下設置的公共計算機實驗教學中心，負責學校公共計算機實驗室建設與管理，組織實施公共計算機實驗教學與開放，完成基于計算機平臺進行的計算機等級考試、普通話測試、各類社會化考試等測試工作。其中承擔公共計算機教學的機房共有7間，每個機房平均配置95臺學生用計算機和一臺教師教學用計算機，每臺電腦上都安裝有奧易機房管理軟件，學生每次上機都必須通過奧易軟件登錄界面輸入自己的學號和密碼才能進入系統(tǒng)使用計算機，從而收集到學生的上機登錄時間、離開時間，教師端可以利用奧易軟件對任意學生電腦端進行調換、抓屏、控制屏幕、考試、答疑等操作，所有數(shù)據(jù)存儲在機房管理端的后臺數(shù)據(jù)庫中，通過調用后臺數(shù)據(jù)庫中的學生上機情況數(shù)據(jù)，進行挖掘分析。由于數(shù)據(jù)量龐大，所以采用從起始順序抽樣的方法，抽取出20xx年11月5日的部分學生上機的相關數(shù)據(jù)，去除不完整、不一致、有缺失的數(shù)據(jù)，進行預處理，為達到預測挖掘目標提供正確的數(shù)據(jù)源。表1中的數(shù)據(jù)前六列是從奧易軟件后臺數(shù)據(jù)庫中提取到的原始數(shù)據(jù)，我們設置第二、三、五列數(shù)據(jù)與學習情況有關聯(lián)。將這些數(shù)據(jù)存在于整合表中，剔除學號異常的記錄，即只要是學號異常，強制設定其上機情況為較差（異常學號學生，應為重修生，是學習重點關注對象），為了方便系統(tǒng)分析，將關聯(lián)整合后的數(shù)據(jù)轉化為布爾類型。登錄時間：S1：10：00；S2：遲到五分鐘；S3：遲到十分鐘；S4：遲到十分鐘以上。學號：N1：正常學號；N2：異常學號。下課時間：E1：正常下課時間；E2：提前五分鐘下課；E3：提前五至十分鐘下課；E4：提前十分鐘以上下課。利用關聯(lián)算法產(chǎn)生頻繁項集情況分析Q：Q1：優(yōu)秀；Q2：良好；Q3：一般；Q4：較差。利用Apriori算法挖掘關聯(lián)規(guī)則，可以得到學生上機情況規(guī)律：S1，E1→Q1；（S2，E2)/（S1，E2)→Q2/Q3；S4，E4→Q4評價結果：按照正常上課時間上機并且堅持不早退的同學學習情況為優(yōu)秀；上課準時但是提前五分鐘之內下課的同學學習情況為良好；上課遲到五分鐘以內且下課也提前五分鐘的同學學習情況為一般；上課遲到十分鐘以上并且下課早退十分鐘以上的同學學習評估為較差。如果利用關聯(lián)算法得出某個學生的學習情況有三次為較差，就啟動成績預警，提示并干預該生以后的上機學習，督促其學習態(tài)度，提高學習效率，以避免期末考試掛科現(xiàn)象。
5、結束語
借數(shù)據(jù)挖掘促進治理主體多元化[6]，借關聯(lián)分析實現(xiàn)決策科學化[7].，本文利用關聯(lián)規(guī)則思路和算法，將吉首大學設備中心機房中存在的大量學生上機情況數(shù)據(jù)進行分析挖掘，嘗試從學生上機相關數(shù)據(jù)中預測其學習情況，并根據(jù)預測結果有效提示學生的期末考試成績走向，引導該生在隨后的學習應該更加有效，以達到避免出現(xiàn)最壞結果，從而提高期末考試通過率。
參考文獻：
[1]李濤,曾春秋,周武柏,等.大數(shù)據(jù)時代的數(shù)據(jù)挖掘——從應用的角度看大數(shù)據(jù)挖掘[J].大數(shù)據(jù),20xx(4):57-80.
[2]王夢雪.數(shù)據(jù)挖掘綜述[J].軟件導刊,20xx(10):135-137.
[3]袁露,王映龍,楊珺.關于高校計算機機房管理與維護的探討[J].電腦知識與技術,20xx(18):4334-4335.
[4]李明江,唐穎,周力軍.數(shù)據(jù)挖掘技術及應用[J].中國新通信,20xx(22):66-67+74.
[5]胡文瑜,孫志揮,吳英杰.數(shù)據(jù)挖掘取樣方法研究[J].計算機研究與發(fā)展,20xx(1):45-54.
[6]黃夢橋,李杰.因素挖掘法在投資學課程中的教學實踐[J].吉首大學學報：自然科學版,20xx(4):80-83.
[7]尹鵬飛,歐云.基于決策樹算法的銀行客戶分類模型[J].吉首大學學報：自然科學版,20xx(5):29-32.
【數(shù)據(jù)挖掘論文】相關文章：
數(shù)據(jù)挖掘論文07-15
數(shù)據(jù)挖掘論文07-16
數(shù)據(jù)挖掘論文錦集15篇07-29
旅游管理下數(shù)據(jù)挖掘運用論文(6篇)11-18