導語：數(shù)據(jù)挖掘技術文本分析研究一文來源于網友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

摘要:數(shù)據(jù)挖掘技術的應用價值被深入挖掘,其可以實現(xiàn)大規(guī)模信息中的關鍵內容提取,有效捕捉隱含信息,掌握信息發(fā)展的基本趨勢。在數(shù)據(jù)挖掘技術的輔助下,研究人員可以將特定關鍵詞輕松挖掘出,并完成熱點的捕捉和媒體動向的追蹤,作用十分顯著。文章分析數(shù)據(jù)挖掘技術的優(yōu)勢,從基于詞頻統(tǒng)計功能的文本分析、基于詞表比對功能的信息挖掘、基于詞語共現(xiàn)網絡功能完成熱點事件抓取3個方面出發(fā),分析了基于數(shù)據(jù)挖掘的文本分析應用,以供參考。

關鍵詞:文本特征;挖掘技術;數(shù)據(jù)挖掘

數(shù)據(jù)挖掘的主要功能體現(xiàn)在從海量數(shù)據(jù)中找到價值較高的信息,并實現(xiàn)信息轉化,將其變成有用知識。隨著計算機普及,數(shù)據(jù)飛速膨脹,信息構成更加復雜,僅依靠關鍵詞檢索會有大量信息遺漏?；跀?shù)據(jù)挖掘,研究人員可以對本文特征精細化分析,找到有效信息,精準發(fā)現(xiàn)隱藏的客觀規(guī)律。

1數(shù)據(jù)挖掘技術應用優(yōu)勢

數(shù)據(jù)挖掘實現(xiàn)了多領域的滲透、融合,是人工智能的一大延伸,屬于數(shù)據(jù)庫領域核心技術。主要思路是從數(shù)據(jù)庫中,借助深度挖掘技術,查找關鍵信息,揭示出隱含的信息價值,從而高效利用信息。數(shù)據(jù)挖掘的應用意義重大,屬于決策支持實現(xiàn)過程,其融合了人工智能、模式識別等多項技術,可以自動化且全方位地分析對象內容,并在此前提下完成歸納性的推理。研究發(fā)現(xiàn),其實現(xiàn)知識庫交互的過程大體分為3個階段:數(shù)據(jù)準備(基礎保障)、數(shù)據(jù)挖掘(核心技術)、結果表達和解釋。現(xiàn)階段,數(shù)據(jù)挖掘相對成熟,被廣泛應用在文本分析領域,并取得了較好的成績,不僅保障了分析效率,還提高了本文利用率。數(shù)據(jù)挖掘技術原理如圖1所示。借助數(shù)據(jù)挖掘可以全面地、深層次地分析本文數(shù)據(jù),深度挖掘文本信息內容,提取關鍵信息,從大量數(shù)據(jù)中精準定位,最大限度地提高數(shù)據(jù)利用率。具體包括數(shù)據(jù)準備、規(guī)律尋找等核心板塊,在具體操作中,數(shù)據(jù)準備屬于基礎保障環(huán)節(jié),從相關數(shù)據(jù)源中整合、分析、提煉出有用的數(shù)據(jù),并將其匯總、篩選,形成數(shù)據(jù)集,為后續(xù)應用做足準備。規(guī)律尋找是指將數(shù)據(jù)集中隱藏規(guī)律找出來,例如本文詞匯出現(xiàn)頻次等。其中,要想完整表示規(guī)律,就要采取用戶可以理解的方式,并達到理想的可視化程度。

2基于數(shù)據(jù)挖掘的文本分析應用

2.1基于詞頻統(tǒng)計功能的文本分析

在數(shù)據(jù)挖掘之前,收集目標數(shù)據(jù)是主要任務,需要借助語料庫資源,或者完成爬蟲程序編寫,實現(xiàn)網絡資源自動采集。之后,完成數(shù)據(jù)的預處理,這是數(shù)據(jù)挖掘的前期工作,也是基本保障性工作。以日語和漢語為例,其特征類似,沒有單詞的形態(tài)標記,因此在分析前都要進行分詞。實踐證明,借助Mecab形態(tài)素解析器可以起到理想的分詞效果。該工具性能穩(wěn)定,屬于效率較高的形態(tài)素分析引擎,在實際應用中不依賴具體的語言就可以完成分詞工作,同時,借助詞典或語料庫,采用CRF模型,基本上可以實現(xiàn)連接方式的配價以及詞匯參數(shù)的估計。這種方法可行性較高,無論是解析速度還是詞匯解析精度都比較理想,均高于常用解析器。實際操作中,分詞之后就要制作詞表,詞表完全可以借助“數(shù)據(jù)透視表”功能,或者也可以選擇KHCoder的“FrequencyList”完成同樣的工作。比較發(fā)現(xiàn),后者更加方便、操作性更強,但想要保證詞表制作效果,需要注意以下內容:(1)KHCoder功能有限,只能統(tǒng)計名詞等少部分詞類。(2)在進行代詞、感嘆詞這部分詞匯統(tǒng)計時,發(fā)生錯誤概率會增大。因此,現(xiàn)實操作中,有必要對照最終得出的統(tǒng)計結果,完成對KHCoder的修正工作。

2.2基于詞表比對功能的信息挖掘

分析單個詞表可以掌握文本高頻詞匯的文體特征,在此基礎上進行詞表比對,可以將重要信息及時捕捉。高頻人稱代詞隱含了事件關鍵信息,還有專用名詞等也都屬于重要詞匯。例如:科技類文章中通過專用名詞的使用頻次統(tǒng)計,可以判斷文章大體介紹的方向。科技類文章經常以第三人稱進行介紹,敘事方式較為客觀,采用旁觀者視角,會讓文章脈絡清晰、敘事更加合理[1]。不同題材的科技文章,專用名詞因為用法的不同,使用頻率也會存在差異。為了例證,選取了幾篇關于汽車性能介紹的文獻,如《時代汽車》《機械設計與制造》《鍛壓技術》《內燃機與配件》等,統(tǒng)計后所得的專用名詞頻率如表1所示。通過表1中高頻詞匯的使用,可以基本判斷文章的類型以及科技論文研究的主攻方向。借助挖掘高頻詞匯還可以掌握其他關聯(lián)信息,通過捕捉以及深入挖掘能夠掌握較為前沿的技術,在了解文章類型的基礎上掌握文章主要框架。

2.3基于詞語共現(xiàn)網絡功能完成熱點事件抓取

隨著網絡時代到來,無數(shù)新聞事件發(fā)酵、膨脹,社會充斥大量信息。怎樣從紛繁復雜網絡中自動提煉熱點事件,成為談論的焦點,也是新時期的重要課題?；诖?詞語共現(xiàn)網絡被提出,CooccurrenceNetwork作為新的理念,為本文分析指明了方向。構建技術可以實現(xiàn)文本信息可視化,使其更加直觀、立體詮釋文本中人物關系,并且提取出熱點人物、新聞事件以及組織、概念等核心內容,在此基礎上完整揭示熱詞聯(lián)系[2]。該技術實現(xiàn)原理是借助統(tǒng)計詞頻,步驟是先完成最頻繁詞匯抽取,再掌握其潛在關系,從而搭建詞語網絡圖,概括高頻詞匯,并且掌握其關聯(lián)性。實踐證明,借助詞匯的組建,可以將文本事件揭示出來,幫助獲取核心信息。為了驗證數(shù)據(jù)挖掘以及分析方法的有效性,可以采用“Co-OccurrenceNet-work”進行驗證,借助其構建功能,多角度地分析《每日新聞》全部報道,完成了關鍵性文本詞匯的提取,最終形成了詞語共現(xiàn)網絡圖。借助這種方法,高頻詞不僅被抽取出來,還可以組成高頻詞群,詞群或大或小,直接或者間接地反映了新聞事件。高頻詞群從不同角度揭示了熱點話題的核心內容,也可以看出信息挖掘技術的價值。借助詞語共現(xiàn),網絡可以清晰、直觀地觀察到高頻詞匯,并在此基礎上借助科學計算提取出共現(xiàn)詞,以完成熱點話題的追蹤和媒體動向的捕捉[3];再利用先進網絡爬蟲,對輿情動態(tài)跟蹤反饋。

3結語

數(shù)據(jù)挖掘技術意義顯著,在文本分析中可以讓語言學研究視角拓展,從而實現(xiàn)研究手段的豐富。同時,完成文本數(shù)據(jù)的準確獲取,并合理提煉高質量的隱含信息,讓研究效率更高。值得一提的是,在本文分析領域,數(shù)據(jù)挖掘技術起步較晚,其應用值得學界共同關注。

[參考文獻]

[1]章蓬偉,賈鈺峰,劉強,等.基于數(shù)據(jù)挖掘技術的文本情感分析技術研究[J].信息通信,2020(1):77-78.

[2]毛文偉.論數(shù)據(jù)挖掘技術在文本分析中的應用[J].日語學習與研究,2019(1):1-9.

[3]毛文偉.數(shù)據(jù)挖掘技術在文本特征分析中的應用研究———以夏目漱石中長篇小說為例[J].外語電化教學,2018(6):8-15.

作者：趙丹 劉建國 陳曼倩 單位：哈爾濱職業(yè)技術學院 哈爾濱開放大學