您現在的位置: 公務員期刊網 >> 論文范文 >> 工業論文 >> 數據挖掘論文 >> 正文

大數據時代的數據挖掘及應用

摘要:結合大數據時代的基本內容,從大數據的特征出發,筆者探討了數據挖掘的功能及應用,并在此基礎上重點分析了大數據的數據挖掘發展應用以及前景,希望能夠推動信息社會快速發展。

關鍵詞:大數據;信息時代;數據挖掘;發展前景

1大數據的概念

大數據是數字化時代發展的必然產物,其并非產品,也無所謂技術范疇內容。對于大數據的理解,不應僅僅理解為非常巨大的數據量,結合戰略眼光來看,還應該包括數據的專業化處理方式。根據基維百科的解釋,規模巨大到無法用當前軟件處理的數據資料量則是大數據,并能在一定的時間內進行管理和處理,有利于實現經營目標。而結合麥肯錫研究所的定義,大數據則可以看作為數據的集合體,并能夠在特定時間范圍內,沒有方法利用傳統軟件來實現數據管理、存儲、采集等操作。在上述定義中,能看到大數據的特點,但具有一定的狹義性。從廣義角度來分析,所謂的大數據,不僅包括大數據技術,還涉及整體的大數據科學以及相關的工程內容。在信息化時代,大數據時代則是必然的發展趨勢,如何進一步深化對于大數據的理解,并充分利用好相關服務能力,則是體現出未來社會競爭力的必然趨勢。

2大數據的特征

在信息化時代,數據可謂無所不在、無處不在,大數據已經超越了“云計算”“物聯網”等,已經開辟了嶄新的大數據時代,其主要的特征主要表現在以下幾個方面。第一,高度流動。相比于傳統的數據流動,其流動速度主要涉及數據的獲取、存儲以及分析并處理有價值數據的速度,而對于大數據來說,考慮到其具有非常龐大的數據數量,其數據流自然具有快速變動的特點,其必將獲得高速的數據處理速度,傳統的處理方式已經表現出很大的問題,現在已經從TB級上升到PB級。第二,大數據的種類非常多。在信息社會的快速發展過程中,傳感器的應用范圍越來越廣,人們的生活也越來越依賴社交網絡、智能設備,從而自然會出現多種類型的數據。當前,在大數據類型中,除了傳統的音頻、網頁、文檔、視頻以及郵件等,正在出現多種多樣的數據類型,其往往包括板結構模式、不具備結構模式等類型。第三,數量巨大。所謂的大數據往往涉及超過10TB規模的數據量,在新時代,隨著信息技術的快速發展,這必然是大勢所趨。當前,隨著集成電路成本不斷降低,儀器智能化水平不斷上升,出現了大量的存儲數據。在不斷認識新事物的過程中,各種儀器層出不窮,并通過相應的存儲數據來描述事物的部分或者全部。為了能夠實現信息傳遞的即時性,大量的通信工具,特別是在機器影響機器傳遞方式的情況下,必然會產生大量的數據。第四,低價值密度。在大數據時代,有意義的數據信息所占比例越來越低,不斷增加了獲取有效信息的難度。比如,對于“4V”來說,不僅意味著巨大的數據量,也必然會產生更加復雜的數據分析結果,難以實現預期的效率。

3數據挖掘的功能及應用

在大數據時代,數據挖掘具有非常明顯的意義,是挖掘有用信息的過程,這部分數據往往具有隨機、模糊、海量以及非完整的特點。一般來說,對于數據挖掘來講,主要涉及預測以及描述等方面。在開展數據挖掘的過程中,目標數據的類型則是關注的重點,應該從實際出發,選擇合適的數據類型,才能充分發揮好數據挖掘的作用。數據挖掘能進一步體現出數據的價值,因而在很多領域得到了廣泛應用[1-2]。

3.1數據挖掘在金融業中的應用

考慮到金融業的的特點,其必將涉及大量的數據信息,通過應用數據挖掘技術,能夠發現內在的發展規律,進而能結合實際的組織信息、目標客戶情況,掌握金融市場的發展動態。可見,在金融業的數據挖掘過程中,主要包括市場預測、分類賬號、數據清理、市場分析以及信譽評估等方面。

3.2數據挖掘在市場中的應用

在市場的發展過程中,充分利用數據挖掘的優勢,能夠對市場進行準確定位,能進一步掌握消費者群體的需求以及規律性內容,據此制訂有利于市場營銷的計劃。與傳統營銷模式相比,大數據的數據挖掘能進一步降低企業成本,實現預期的市場目標,獲得更高的利潤。

3.3大數據挖掘在醫學中的應用

部分疾病是由于單一基因所致,部分則是由于多種基因共同影響的結果。在基因研究工作中,為了尋找治療疾病的方法,特別是當涉及編碼序列和非編碼序列的區分問題時,則必然涉及大量的實驗和演算內容,從而應該充分發揮數據挖掘的優勢來解決分類問題。

3.4遙感大數據挖掘的應用

對于遙感大數據進行相應的數據挖掘處理,具體表現形式如下。第一,獲取數據,并提出相應的存儲方式,結合實際需求從不同傳感器上獲得多源、海量的遙感數據,并進行數據的預處理,組成有效的數據集。第二,分析處理相應的數據集,通過數學統計學方法進行分類,尋找數據間以及數據類別等相互關系。第三,對于分類后的數據進行數據挖掘,進一步采用多樣化的方法探索數據間的隱含信息以及內在聯系,利用深度學習、云模型、決策樹、神經網絡等方式尋找模式關系。第四,進一步對模式以及知識進行可視化處理,便于用戶更好地理解,便于后續的分析和利用。

4大數據的數據挖掘發展前景

在大數據時代,數據庫技術獲得了突飛猛進的發展,并具有數據變換、連接、共享的特點。在此背景下,企業應充分發揮大數據挖掘技術的優勢,充分利用多種類型的數據,進一步提升數據的價值。由此可見,結合大數據的特征以及數據挖掘發展特點,大數據的數據挖掘必將擁有廣闊的發展前景[3]。

4.1大數據的數據挖掘將成為企業及教育機構的轉折點

在當前的企業管理發展中,大數據的數據挖掘技術具有明顯的優勢,能為企業發展帶來更多的經濟效益,是企業保持自身競爭力的有效方式,也應該據此重新制定管理模式,進一步在企業管理中發揮大數據的數據挖掘作用,從而才能跟上時代發展的步伐。同時,大數據也必將影響企業的人力資源管理,對于信息化技術人才會提出更高的要求,只有符合新時代背景下的數據管理人才、數據分析人才以及技術型人才才能幫助企業實現可持續發展。

4.2大數據的數據挖掘將成為信息安全發展的契機

當前,隨著信息技術的快速發展,能夠進一步提升數據價值,對于社會發展具有積極的意義。但是,數據的安全性問題則是人們關注的重點。對于大數據來說,往往都具有集中存儲于云端的特點,難以實現有效的集中管理,并在確定用戶的合法性方面存在一定的不足之處,容易出現竊取、非法入侵以及篡改數據的問題。因此,如何保障信息安全問題尤為重要,對于大數據技術和產品也是如此,所以大數據的數據挖掘發展對于信息安全進步具有重要的影響。

4.3大數據的數據挖掘將成為創造價值的核心

相比于傳統數據,大數據挖掘則具有廣泛的應用范圍和較高的商業價值,對于政府以及企業發展至關重要。另外,大數據中還蘊藏著6000多億美元的個人信息價值,從而大數據的數據挖掘能從多方面創造社會價值。

5結語

新時代,大數據挖掘技術將能夠推動經濟快速發展,我國應該順應時代發展的潮流,積極開展大數據挖掘技術的培訓以及教育工作,才能為社會培養更多的大數據人才。

參考文獻

[1]覃兵文.大數據的分類挖掘優化技術[J].現代電子技術,2017(24):45.

[2]蔣潔.AI圖景下大數據挖掘的風險評估與應對策略[J].現代情報,2018,5.

[3]李平榮.大數據時代的數據挖掘技術與應用[J].重慶三峽學院學報,2014(6):23-26.

作者:印小冬 單位:中國電子科技集團公司第二十八研究所

閱讀次數:人次

四川福利彩票3d开奖号