網(wǎng)絡(luò)輿情監(jiān)測(cè)方法范文

時(shí)間:2024-03-07 17:46:17

導(dǎo)語(yǔ):如何才能寫好一篇網(wǎng)絡(luò)輿情監(jiān)測(cè)方法,這就需要搜集整理更多的資料和文獻(xiàn),歡迎閱讀由公務(wù)員之家整理的十篇范文,供你借鑒。

網(wǎng)絡(luò)輿情監(jiān)測(cè)方法

篇1

以主流媒體為主的網(wǎng)絡(luò)輿情監(jiān)測(cè)機(jī)構(gòu)是我國(guó)目前最成熟的監(jiān)測(cè)機(jī)構(gòu),也是最主要的監(jiān)測(cè)方式。如人民網(wǎng)輿情監(jiān)測(cè)室、新華網(wǎng)網(wǎng)絡(luò)輿情監(jiān)測(cè)分析中心等,一些地方主流媒體所屬的監(jiān)測(cè)機(jī)構(gòu)也是區(qū)域網(wǎng)絡(luò)輿情監(jiān)測(cè)的主力軍,如大眾網(wǎng)大眾輿情、大江網(wǎng)大江輿情等。這類監(jiān)測(cè)機(jī)構(gòu)依托媒介資源,聚合軟件開發(fā)、統(tǒng)計(jì)學(xué)、傳播學(xué)、社會(huì)學(xué)、公共管理學(xué)、經(jīng)濟(jì)學(xué)等多學(xué)科專業(yè)人員,符合輿情監(jiān)測(cè)需要多學(xué)科融合的特點(diǎn)。這些監(jiān)測(cè)機(jī)構(gòu)開展網(wǎng)絡(luò)輿情監(jiān)測(cè)理論研究,點(diǎn)評(píng)網(wǎng)絡(luò)熱點(diǎn)輿情,總結(jié)其中得失,提升公眾輿情素養(yǎng),并通過(guò)這些開展公共網(wǎng)絡(luò)輿情服務(wù);同時(shí)應(yīng)用其開展公共網(wǎng)絡(luò)輿情服務(wù)的影響及成果對(duì)政府部門、企事業(yè)單位等提供有償服務(wù),取得了社會(huì)效益及經(jīng)濟(jì)效益的雙豐收。這類監(jiān)測(cè)機(jī)構(gòu)最具代表的是人民網(wǎng)輿情監(jiān)測(cè)室。該監(jiān)測(cè)室成立于2008年7月,在網(wǎng)絡(luò)信息搜集上,人民網(wǎng)輿情監(jiān)測(cè)室重視搜索技術(shù)的應(yīng)用,依托人民網(wǎng)輿情監(jiān)測(cè)平臺(tái)、中文報(bào)刊監(jiān)測(cè)系統(tǒng),輔以公眾搜索引擎,在搜索引擎解決不了的區(qū)域補(bǔ)充人工監(jiān)測(cè),形成了網(wǎng)絡(luò)信息收集的有效模式。人民網(wǎng)輿情監(jiān)測(cè)室率先開通了輿情頻道,設(shè)立輿情會(huì)商室,刊登熱點(diǎn)輿情報(bào)告,各種輿情排行榜。通過(guò)這些方式,就網(wǎng)絡(luò)輿論情況、網(wǎng)絡(luò)熱點(diǎn)事件的成因及規(guī)律,進(jìn)行分析和總結(jié)。這些公共輿情服務(wù),提升了公眾的輿情素養(yǎng),增加了自身的影響力,取得了很好的社會(huì)效益。同時(shí),人民網(wǎng)輿情監(jiān)測(cè)室根據(jù)不同的客戶提供有針對(duì)性的輿情監(jiān)測(cè)服務(wù),推廣其輿情監(jiān)測(cè)平臺(tái),提供輿情分析報(bào)告和突發(fā)事件咨詢顧問(wèn)服務(wù),指導(dǎo)輿情應(yīng)對(duì),還編輯發(fā)行《網(wǎng)絡(luò)輿情》雜志,發(fā)行價(jià)為每年3000多元,被稱為史上最貴雜志,目前已發(fā)行近20000份。此外還開展培訓(xùn)服務(wù),取得了很好的經(jīng)濟(jì)效益。

二、以研究部門為主的監(jiān)測(cè)機(jī)構(gòu)

以高校和研究機(jī)構(gòu)為主的監(jiān)測(cè)機(jī)構(gòu),如中國(guó)人民大學(xué)輿論研究所、中國(guó)傳媒大學(xué)網(wǎng)絡(luò)輿情(口碑)研究所、上海交通大學(xué)輿情研究實(shí)驗(yàn)室,這些機(jī)構(gòu)兼顧學(xué)術(shù)研究與輿情監(jiān)測(cè)服務(wù),在數(shù)據(jù)分析的基礎(chǔ)上加以學(xué)理分析。如中國(guó)人民大學(xué)輿論研究所的《中國(guó)社會(huì)輿情年度報(bào)告》、上海交通大學(xué)輿情研究實(shí)驗(yàn)室的《中國(guó)社會(huì)輿情與危機(jī)管理報(bào)告》等從網(wǎng)絡(luò)輿情的角度注解社會(huì)政治、經(jīng)濟(jì)、文化等發(fā)展態(tài)勢(shì),在社會(huì)上產(chǎn)生了較大影響。雖然,高校、研究部門為主的服務(wù)機(jī)構(gòu)較為專業(yè),但也不是萬(wàn)能的,其中很多機(jī)構(gòu)存在覆蓋面廣、針對(duì)性不強(qiáng)或者實(shí)踐經(jīng)驗(yàn)欠缺等問(wèn)題,難以就部門、單位做詳細(xì)的跟蹤、監(jiān)測(cè)分析,往往只有在出現(xiàn)了重大網(wǎng)絡(luò)輿情時(shí)才能提供幫助和參考。

三、以各級(jí)政府部門、企事業(yè)單位為主的輿情監(jiān)測(cè)機(jī)構(gòu)

隨著網(wǎng)絡(luò)輿論的加強(qiáng),引起了社會(huì)各方對(duì)網(wǎng)絡(luò)輿論的重視。各級(jí)政府部門、企事業(yè)單位成立輿情監(jiān)測(cè)機(jī)構(gòu)以期通過(guò)網(wǎng)絡(luò)加強(qiáng)了解公眾對(duì)本部門、本行業(yè)的意見(jiàn)建議,減少網(wǎng)絡(luò)負(fù)面輿論對(duì)自身的影響。這部分監(jiān)測(cè)機(jī)構(gòu)個(gè)體規(guī)模不大,數(shù)量多,專業(yè)性比較欠缺。目前這類監(jiān)測(cè)機(jī)構(gòu)大都由部門及單位所屬的宣傳等部門代為管理,少有獨(dú)立的監(jiān)測(cè)機(jī)構(gòu)。監(jiān)測(cè)的方法主要有日常監(jiān)測(cè)和應(yīng)急監(jiān)測(cè),監(jiān)測(cè)范圍涵蓋新聞網(wǎng)站、社交網(wǎng)站、論壇、微博等。日常監(jiān)測(cè)用日?qǐng)?bào)、周報(bào)、月報(bào)、年報(bào)等形式,應(yīng)急監(jiān)測(cè)就某一輿情事件進(jìn)行專題監(jiān)測(cè),以快報(bào)、專報(bào)等形式呈現(xiàn)。監(jiān)測(cè)手段主要以人工監(jiān)測(cè)為主,也有輔以監(jiān)測(cè)系統(tǒng)監(jiān)測(cè)或購(gòu)買輿情監(jiān)測(cè)機(jī)構(gòu)的服務(wù)等。人工監(jiān)測(cè)無(wú)法顧及海量的網(wǎng)絡(luò)信息,很難對(duì)網(wǎng)絡(luò)輿情作較為全面的梳理、統(tǒng)計(jì)、分析,只能就一件事、對(duì)一個(gè)點(diǎn)作報(bào)告。相比之下監(jiān)測(cè)系統(tǒng)、監(jiān)測(cè)信息更有針對(duì)性一些,但因目前市場(chǎng)上的網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)本身存在缺陷,所以監(jiān)測(cè)的準(zhǔn)確性還有待加強(qiáng)。

篇2

【 關(guān)鍵詞 】 Solr平臺(tái);輿情;監(jiān)測(cè)系統(tǒng)

1 引言

近年來(lái),全國(guó)各地環(huán)境污染事件頻繁發(fā)生,當(dāng)這些污染事件發(fā)生時(shí),民眾會(huì)在很短時(shí)間內(nèi)通過(guò)微博、論壇等網(wǎng)絡(luò)平臺(tái)相關(guān)消息、描述事件發(fā)生狀況、評(píng)論政府應(yīng)對(duì)措施與各項(xiàng)反應(yīng),需要注意的是,這些輿情信息在網(wǎng)絡(luò)上的傳播,會(huì)對(duì)普通民眾的群體心理造成重大影響,如果處理不當(dāng)還會(huì)對(duì)環(huán)境污染防治工作帶來(lái)阻力,甚至發(fā)生重大公共安全。因此,需要設(shè)計(jì)并實(shí)現(xiàn)面向環(huán)境污染輿情的網(wǎng)絡(luò)輿情話題監(jiān)測(cè)技術(shù),以實(shí)現(xiàn)對(duì)環(huán)保類輿情信息的及時(shí)發(fā)現(xiàn),為政務(wù)信息公開和網(wǎng)絡(luò)輿論回應(yīng)提供技術(shù)支持。

環(huán)保類輿情話題主要是民眾對(duì)身邊生活環(huán)境問(wèn)題的描述、建議、舉報(bào)和控訴等的話題,比如工廠偷排污水、工地夜間施工、空氣污染嚴(yán)重等。這類話題可由相關(guān)關(guān)鍵詞的與或關(guān)系組合予以監(jiān)測(cè),例如水污染的話題可以采用“廢水、污水、黑水”等關(guān)鍵詞匹配。但在實(shí)際實(shí)現(xiàn)時(shí),每類環(huán)保類話題的關(guān)鍵詞數(shù)量都較多,關(guān)鍵詞之間的與或關(guān)系描述比較復(fù)雜,采用傳統(tǒng)的數(shù)據(jù)庫(kù)結(jié)合文本關(guān)鍵詞匹配的技術(shù)會(huì)遇到處理速度慢、與或等復(fù)雜邏輯匹配實(shí)現(xiàn)難度大等難題。

針對(duì)這些問(wèn)題,本文提出采用Solr平臺(tái)設(shè)計(jì)并實(shí)現(xiàn)環(huán)境污染網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)。Solr是由Apache基金會(huì)設(shè)計(jì)開發(fā)的基于Lucene的文本檢索平臺(tái),利用Solr的索引和檢索功能夠快速查找文本,并可實(shí)現(xiàn)較為復(fù)雜的查詢邏輯。通過(guò)實(shí)際數(shù)據(jù)的實(shí)驗(yàn)驗(yàn)證,本文所述技術(shù)具有執(zhí)行速度快、復(fù)雜匹配邏輯實(shí)現(xiàn)難度小等優(yōu)點(diǎn)。

2 Solr平臺(tái)簡(jiǎn)介

2.1 Solr概述

Solr是一個(gè)基于Lucene的企業(yè)級(jí)全文搜索平臺(tái),它支持層面搜索、高亮顯示和多種格式數(shù)據(jù)輸出等功能。2006 年,Apache Software Foundation 在Lucene項(xiàng)目的支持下設(shè)計(jì)實(shí)現(xiàn)了Solr平臺(tái),并使Solr成為Apache的孵化器項(xiàng)目。在整個(gè)項(xiàng)目孵化期間,Solr 穩(wěn)步地積累各種特性并吸引了一個(gè)穩(wěn)定的用戶群體、貢獻(xiàn)者和提交人,并于2007年1月正式成為Apache的子項(xiàng)目。

Solr具備高效靈活的緩存查詢、強(qiáng)大的全文檢索、垂直搜索、相似文獻(xiàn)查找、配置靈活、支持多種客戶端語(yǔ)言、索引復(fù)制、高亮顯示搜索結(jié)果、日志記錄、可擴(kuò)展的插件體系等功能。

2.2 Solr體系架構(gòu)

Solr作為一個(gè)完整的全文檢索平臺(tái),具有三層體系架構(gòu)。

1) 底層是全文檢索工具Lucene,主要為文件建立索引、提供文本分析接口和實(shí)現(xiàn)高效查詢。此外,底層的索引復(fù)制模塊是一個(gè)獨(dú)立的模塊,主要用于支持分布式的索引和檢索。

2) 中間層是Solr的核心層,主要包括索引處理部件和配置文件。最主要的配置文件是Solrconfig.xml和Schema.xml。Solrconfig.xml從整體上對(duì)系統(tǒng)進(jìn)行了配置,例如索引的存放路徑、字段的最大長(zhǎng)度、寫鎖的超時(shí)時(shí)間、鎖類型、是否壓縮索引、內(nèi)存索引緩沖區(qū)大小、合并因子、刪除策略、自動(dòng)提交策略、緩存設(shè)置等。Schema.xml主要是對(duì)索引的配置,例如分詞器、字段名稱、索引方法、存儲(chǔ)方式、分詞方式、唯一標(biāo)識(shí)字段等。索引處理部件是在系統(tǒng)主動(dòng)或被動(dòng)的接受特定數(shù)據(jù),按照配置文件轉(zhuǎn)化成索引后用來(lái)進(jìn)行實(shí)際操作的部件,例如,進(jìn)行搜索、相似文獻(xiàn)查找、拼寫檢查、分面檢索等。

3) 上層是HTTP請(qǐng)求接受、處理和請(qǐng)求結(jié)果返回層。HTTP請(qǐng)求處理器根據(jù)接受到的不同請(qǐng)求,確定要使用的SolrRequestHandler,然后通過(guò)Solr核心層處理請(qǐng)求,并以XML、JSON等數(shù)據(jù)格式返回請(qǐng)求結(jié)果。

3 環(huán)保類輿情話題監(jiān)測(cè)系統(tǒng)主要模塊

本文所實(shí)現(xiàn)的環(huán)保類輿情話題監(jiān)測(cè)系統(tǒng)的主要模塊包括三個(gè)部分,分別是中文分詞、創(chuàng)建索引和話題監(jiān)測(cè)。

3.1 中文分詞

中文自動(dòng)分詞是建立索引庫(kù)的前提。中文文本中詞與詞之間沒(méi)有天然的分隔符,這就要求在對(duì)中文文本進(jìn)行分析前,需要先將整句切割成小的詞匯單元,才能將文本劃分為特征項(xiàng)并添加進(jìn)索引庫(kù)。在全文檢索系統(tǒng)中,中文分詞系統(tǒng)的速度直接影響到系統(tǒng)建立索引和檢索文檔的效率,所以需要從眾多可用的分詞工具包中選擇符合本系統(tǒng)需求的中文分詞系統(tǒng)。

目前常用的分詞工具包有StandardAnalyzer、ChineseAnalyzer、CJKAnalyzer、ICTCLAS和IKAnalyzer,其中IKAnalyzer的分詞方式為正向粗粒度詞典匹配或正向細(xì)粒度詞典匹配,由使用者根據(jù)需要指定,當(dāng)遇到未被詞典收錄的詞語(yǔ)時(shí)則使用二元分詞方式切分。IKAnalyzer的自定義詞典功能比較強(qiáng)大,既可以通過(guò)詞典文件預(yù)先批量添加詞語(yǔ),也可以通過(guò)調(diào)用API的方式實(shí)時(shí)添加;同時(shí),IKAnalyzer的分詞速度和分詞準(zhǔn)確率也比較理想,可以滿足本系統(tǒng)開發(fā)的需求。通過(guò)對(duì)分詞效果、分詞速度、詞典的擴(kuò)展性、開發(fā)難度等方面進(jìn)行綜合考慮,最終選擇IKAnalyzer作為本系統(tǒng)的分詞器。

3.2 創(chuàng)建文本索引

本系統(tǒng)是通過(guò)Python腳本語(yǔ)言來(lái)實(shí)現(xiàn)Solr索引創(chuàng)建的。首先連接Solr,然后用Solr的Add命令從數(shù)據(jù)庫(kù)里將上一次索引時(shí)間之后所有新增加的輿情數(shù)據(jù)添加進(jìn)Solr。接著執(zhí)行Commit命令以提交任務(wù)。那么,Solr就會(huì)自動(dòng)完成對(duì)新提交的文本數(shù)據(jù)創(chuàng)建索引。

3.3 話題監(jiān)測(cè)

索引建立之后可以根據(jù)每類話題關(guān)鍵詞的邏輯匹配規(guī)則在Solr中進(jìn)行話題監(jiān)測(cè)處理。

在話題監(jiān)測(cè)前,首先判斷這個(gè)話題是否已經(jīng)基于關(guān)鍵詞查詢過(guò),如果查詢過(guò),則接著在上次查詢時(shí)間之后新增的索引文本上查詢,否則查詢所有文本。

在話題查詢時(shí),根據(jù)Solr的查詢命令并結(jié)合實(shí)際需求構(gòu)造一個(gè)查詢條件,如按關(guān)鍵詞和索引時(shí)間范圍構(gòu)造的查詢條件為:query = "(%s) AND index_time:[%d TO *]" % (keywords, secs),然后根據(jù)該查詢條件實(shí)現(xiàn)Solr上相關(guān)話題文本監(jiān)測(cè)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)為準(zhǔn)確率(Precision)、召回率(Recall)和F1值。準(zhǔn)確率指標(biāo)代表的是識(shí)別準(zhǔn)確性,召回率代表的是方法判斷結(jié)果的查全率。理想的情況是準(zhǔn)確率和召回率都很高,但在實(shí)際情況中,兩個(gè)指標(biāo)很難同時(shí)被提高,提高準(zhǔn)確率往往以降低召回率為代價(jià),而提高召回率往往也要犧牲準(zhǔn)確率,因此設(shè)計(jì)方法時(shí)往往根據(jù)實(shí)際需要重點(diǎn)關(guān)注其中一項(xiàng)指標(biāo)。在本系統(tǒng)中,環(huán)保類話題識(shí)別與監(jiān)測(cè)的主要作用是找到與人工設(shè)置的話題關(guān)鍵詞相匹配的文本,所以本系統(tǒng)在保證一定召回率的前提下更強(qiáng)調(diào)準(zhǔn)確率指標(biāo)。

4.2 實(shí)驗(yàn)分析

通過(guò)人工方式設(shè)置了3個(gè)話題類型,實(shí)驗(yàn)數(shù)據(jù)集為從網(wǎng)絡(luò)輿情源數(shù)據(jù)中隨機(jī)獲取的文本20000篇,其中包含3類環(huán)保類輿情話題文本共3272篇,作為背景噪聲的無(wú)關(guān)文本16728篇。話題的相關(guān)情況如表1所示,采用本文所述技術(shù)的實(shí)驗(yàn)結(jié)果如表2所示,在DELL R420服務(wù)器上執(zhí)行話題監(jiān)測(cè)處理時(shí)間僅為0.27秒。

實(shí)驗(yàn)結(jié)果表明,基于Solr平臺(tái)的環(huán)境污染輿情話題監(jiān)測(cè)系統(tǒng)能夠比較有效的發(fā)現(xiàn)網(wǎng)絡(luò)輿情數(shù)據(jù)源中與設(shè)定話題相關(guān)的發(fā)帖文本。需要注意的是話題識(shí)別與監(jiān)測(cè)方法的效果受話題關(guān)鍵詞的影響比較大,所以關(guān)鍵詞的設(shè)置既要求準(zhǔn)確又要求全面,根據(jù)環(huán)保輿情監(jiān)控的地域因素,還要考慮當(dāng)?shù)厝藢?duì)某件事物的俗稱。

5 結(jié)束語(yǔ)

本文通過(guò)研究建立基于Solr平臺(tái)的環(huán)境污染輿情話題監(jiān)測(cè)系統(tǒng),認(rèn)為建立中文分詞、創(chuàng)建索引和話題監(jiān)測(cè)三個(gè)主要模塊能夠比較有效的發(fā)現(xiàn)網(wǎng)絡(luò)輿情數(shù)據(jù)源中與設(shè)定話題相關(guān)的發(fā)帖文本,實(shí)驗(yàn)結(jié)果表明本文所述系統(tǒng)可有效滿足環(huán)保相關(guān)部門對(duì)環(huán)境污染網(wǎng)絡(luò)輿情話題監(jiān)測(cè)的需求。

參考文獻(xiàn)

[1] 黃翼彪.實(shí)現(xiàn)Lucene接口的中文分詞器的比較研究[J].科技信息,2012,(12):246-247.

[2] 姚曉娜,祝忠明.基于分面搜索引擎Solr的機(jī)構(gòu)知識(shí)庫(kù)訪問(wèn)統(tǒng)計(jì)[J].中國(guó)科學(xué)院國(guó)家科學(xué)圖書館蘭州分館,2011,209(8):37-40.

[3] Apache Solr官網(wǎng).http:///solr/.

[4] 薛峰,周亞?wèn)|,高峰等.一種突發(fā)性熱點(diǎn)話題在線發(fā)現(xiàn)與跟蹤方法[M].西安交通大學(xué)學(xué)報(bào),2011,45(12):64-69.

[5] MOHD M,CRESTANI F,RUTHVEN I.Design of an interface for interactive topic detection and tracking[C]//Flexible Query Answering Systems 8th International Conference on.Berlin,German:Springer,2009:227-238.

篇3

隨著廣播電視行業(yè)的不斷發(fā)展,播放的內(nèi)容越來(lái)越豐富,播出的方式也越來(lái)越多樣化,廣播電視的監(jiān)測(cè)監(jiān)管工作就變得更加的困難,大量的數(shù)據(jù)存儲(chǔ)、應(yīng)用越來(lái)越個(gè)性化以及軟件功能極其強(qiáng)大等,都大大沖擊著傳統(tǒng)的監(jiān)測(cè)監(jiān)管技術(shù),迫切地需要監(jiān)管異常技術(shù)的變革,從孤立的、單一的監(jiān)測(cè)模式向全網(wǎng)絡(luò)、全方位監(jiān)測(cè)方向發(fā)展。當(dāng)前,國(guó)內(nèi)的廣電監(jiān)管監(jiān)測(cè)主要包括技術(shù)和內(nèi)容兩方面的監(jiān)測(cè)。技術(shù)監(jiān)測(cè)靠的是子系統(tǒng)對(duì)技術(shù)指標(biāo)進(jìn)行監(jiān)測(cè),包括衛(wèi)星廣播電視、有線數(shù)字電視以及有線模擬電視等技術(shù),同時(shí)還要監(jiān)聽監(jiān)看廣播和電視播出的效果和質(zhì)量,能夠及時(shí)發(fā)現(xiàn)各套節(jié)目在播出期間出現(xiàn)的質(zhì)量異常等情況。而對(duì)內(nèi)容的監(jiān)管,就是要借助互聯(lián)網(wǎng)電視、廣告監(jiān)管以及輿情系統(tǒng)等監(jiān)管系統(tǒng),來(lái)實(shí)時(shí)監(jiān)測(cè)各套電視節(jié)目或者網(wǎng)絡(luò)音頻,及時(shí)監(jiān)測(cè)出各頻道播出的內(nèi)容。

二、大數(shù)據(jù)的介紹

(一)概念

大數(shù)據(jù)技術(shù)是一種借助搜索引擎以及數(shù)據(jù)庫(kù)等,將搜索、分析、分類等集合于一體的技術(shù)。各個(gè)領(lǐng)域的專家通過(guò)計(jì)算機(jī)高速運(yùn)算功能,并加上自己的研究和判斷,對(duì)某一事件和事物能進(jìn)行精確地分析,并能預(yù)測(cè)到事物一定范圍的發(fā)展。大數(shù)據(jù)技術(shù)的應(yīng)用,使得大批量的數(shù)字信息在瞬間的到分析成為可能,使我們對(duì)于商業(yè)、新聞以及教育等各個(gè)方面的認(rèn)識(shí)產(chǎn)生了顛覆性地變化。如果保持對(duì)用戶數(shù)據(jù)的跟蹤,就會(huì)發(fā)現(xiàn)各種看似毫無(wú)關(guān)聯(lián)的人或事物,都會(huì)存在著千絲萬(wàn)縷的聯(lián)系。尤其是近幾年,微信、微博等社交網(wǎng)絡(luò)的盛行,人們通過(guò)它們進(jìn)行交流和溝通,傳播了大量的信息,服務(wù)器通過(guò)記錄他們的使用時(shí)間、地理位置以及朋友群等,并在此信息基礎(chǔ)上進(jìn)行數(shù)據(jù)分析,就能準(zhǔn)確掌握這類人的活動(dòng)范圍等信息。

(二)特征

大數(shù)據(jù)的特征主要體現(xiàn)在四個(gè)方面,也可以概括為四“V”。第一,數(shù)據(jù)量龐大(Volume)。數(shù)據(jù)量大主要包括計(jì)算量、存儲(chǔ)量。計(jì)量單位常用TB級(jí)、PB(1000個(gè)T)和EB(100萬(wàn)個(gè)T),甚至是ZB(10億個(gè)T)來(lái)計(jì)量。第二,數(shù)據(jù)類型(Ve-racity)繁多,文字、圖片、音視頻等各種信息都屬于大數(shù)據(jù)的信息類型。第三,數(shù)據(jù)的處理速度(Velocity)快,在這種龐大的數(shù)據(jù)量中,數(shù)據(jù)的處理和存儲(chǔ)速度都是具有極高的要求,也成為大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的最典型的特征。第四,數(shù)據(jù)價(jià)值(Veraci-ty)密度極低,數(shù)據(jù)的價(jià)值密度高低和數(shù)據(jù)總量成反比。雖然數(shù)據(jù)的量很大,但是其中有價(jià)值的信息卻較少,并且其中的價(jià)值都是通過(guò)挖掘后才發(fā)現(xiàn)的。

三、大數(shù)據(jù)技術(shù)在廣播電視中的應(yīng)用

大數(shù)據(jù)蓬勃發(fā)展的今天,應(yīng)緊跟時(shí)代的發(fā)展,充分抓住它帶來(lái)的機(jī)遇,推進(jìn)廣播電視的監(jiān)測(cè)監(jiān)管工作。

(一)采集數(shù)據(jù)

傳統(tǒng)的應(yīng)用到電視監(jiān)測(cè)監(jiān)管系統(tǒng),彼此之間相互獨(dú)立,系統(tǒng)之間缺乏聯(lián)系,各個(gè)系統(tǒng)僅僅負(fù)責(zé)監(jiān)測(cè)工作中的固定內(nèi)容,并且系統(tǒng)運(yùn)行期間產(chǎn)生的技術(shù)指標(biāo)、音視頻以及業(yè)務(wù)數(shù)據(jù)等內(nèi)容也基本無(wú)關(guān)聯(lián)之處。在傳統(tǒng)的監(jiān)測(cè)業(yè)務(wù)中,一致采用輪詢監(jiān)測(cè)模式,由于條件的局限性,難以實(shí)現(xiàn)所有數(shù)據(jù)的分析和收集。在監(jiān)測(cè)期間,輪詢監(jiān)測(cè)雖然存在一定的可行性,但是也有一定的弱點(diǎn)。如果某個(gè)頻率突然停播,不能及時(shí)監(jiān)測(cè)到這個(gè)頻道停播的可能性,而且起止的時(shí)間也存在著差異。在實(shí)際的工作中,起止時(shí)間都是通過(guò)人工核算的。要使得廣播電視獲得全方位的監(jiān)測(cè),就必須采用大數(shù)據(jù)技術(shù)。將所有節(jié)目的數(shù)據(jù)都收集起來(lái),并增加監(jiān)測(cè)技術(shù)的指標(biāo),增多音視頻的存儲(chǔ),發(fā)生停播時(shí),能迅速地判斷停播的原因,判定影響的范圍以及起止時(shí)間等。同時(shí),還要依據(jù)歷史數(shù)據(jù)尋找問(wèn)題的根源,做好預(yù)防措施,降低事故發(fā)生的概率,使得播放的質(zhì)量和效果得以提升。

(二)統(tǒng)計(jì)分析數(shù)據(jù)

面對(duì)當(dāng)前海量數(shù)據(jù),需要根據(jù)業(yè)務(wù)需求,進(jìn)行數(shù)據(jù)的統(tǒng)計(jì)和分析。這里就要用到大數(shù)據(jù)技術(shù)對(duì)數(shù)據(jù)資源進(jìn)行存儲(chǔ)和開發(fā),為廣播電視的監(jiān)管和監(jiān)測(cè)提供必要的服務(wù)。對(duì)于廣播電視的監(jiān)管,除了要搜索系統(tǒng)來(lái)查找到違規(guī)的內(nèi)容,對(duì)網(wǎng)絡(luò)中的音視頻進(jìn)行監(jiān)督,一旦發(fā)現(xiàn)違規(guī)的行為,就要采取行動(dòng)主動(dòng)制止,根據(jù)用戶的行為習(xí)慣,可以減少惡性發(fā)生,縮小它的傳播范圍。對(duì)于廣播電視的安全工作,可以依靠大數(shù)據(jù)進(jìn)行事后查證。比如根據(jù)錄像可以查找大影響的范圍,最終統(tǒng)計(jì)數(shù)有多少用戶受到影響。也可以通過(guò)相關(guān)的數(shù)據(jù)分析,預(yù)測(cè)事故的發(fā)生,降低事故帶來(lái)的損失。比如,通過(guò)對(duì)過(guò)去的播出事故出現(xiàn)的時(shí)間和原因進(jìn)行分析,根據(jù)發(fā)射機(jī)運(yùn)行的天氣、光纖以及時(shí)間等各種條件,預(yù)測(cè)出可能會(huì)出現(xiàn)的播放事故。這些預(yù)測(cè)都是建立在豐富的數(shù)據(jù)的基礎(chǔ)上的,因此,一個(gè)完善的事故數(shù)據(jù)庫(kù),對(duì)于后期的播放管理有極大的幫助,實(shí)現(xiàn)對(duì)廣播電視的監(jiān)管監(jiān)測(cè)的目的。

四、結(jié)語(yǔ)

在實(shí)際的電視監(jiān)管監(jiān)測(cè)期間,通過(guò)運(yùn)用大數(shù)據(jù)技術(shù),對(duì)存儲(chǔ)的數(shù)據(jù)以及錄音錄像等信息進(jìn)行提取和更深層次的開發(fā),采用創(chuàng)新思維,研究和開發(fā)出新型軟件,全方位實(shí)施掌握廣播電視的動(dòng)態(tài),并根據(jù)互聯(lián)網(wǎng)的數(shù)據(jù)以及監(jiān)看監(jiān)聽的獲取的數(shù)據(jù)等,及時(shí)掌握節(jié)目的傾向,為決策部門掌握實(shí)時(shí)的輿情以及做出決策,提供重要的參考。

作者:郝嘉 單位:國(guó)家新聞出版廣電總局

參考文獻(xiàn):

[1]邴巖.基于大數(shù)據(jù)的廣播電視技術(shù)轉(zhuǎn)型[J].西部廣播電視,2014(22):43.

[2]陳思.基于大數(shù)據(jù)的傳播效果分析實(shí)踐與理論研究回顧[J].新聞傳播,2013(7):74-76.

[3]汪花,馮瑞,張貞桂.面向大數(shù)據(jù)分析的廣播電視節(jié)目?jī)?nèi)容監(jiān)管方法研究[J].廣播電視信息,2016(1):42-45.

篇4

關(guān)鍵詞:圖像篡改;數(shù)字圖像;盲取證技術(shù)

中圖分類號(hào):TP391.41

隨著數(shù)字化時(shí)代的到來(lái),人們?cè)絹?lái)越多的利用數(shù)字技術(shù)進(jìn)行圖像的處理和開發(fā),使得人們可以欣賞到各種美妙的圖像,提高了人們的生活品質(zhì)。但是這些圖像處理技術(shù)有有利的一面,必然存在有害的一面,同樣給人們的生活帶來(lái)困擾,偽造和篡改各種圖像進(jìn)行欺詐等行為,給人們的生活帶來(lái)了不少不安全因素。針對(duì)這些困擾,通過(guò)進(jìn)行研究開發(fā)了許多進(jìn)行偽造圖像鑒定的技術(shù),對(duì)圖像進(jìn)行檢測(cè),辨別真?zhèn)巍?/p>

1 數(shù)字圖像的篡改主要分類

數(shù)字圖像的偽造手段多樣,基本可以分為幾個(gè)類型,包括圖像的合成、潤(rùn)飾、增強(qiáng)、變種、繪畫和計(jì)算機(jī)生成這六個(gè)基本類型。后期經(jīng)過(guò)研究又增加了三種類型,圖像攜密篡改、二次獲取圖像及數(shù)字圖像版權(quán)篡改這三個(gè)種類。通過(guò)對(duì)偽造手段的分類最終歸納了四種篡改類型,圖像真實(shí)性篡改、原始性篡改、完整性篡改以及版權(quán)篡改這四個(gè)部分。篡改的內(nèi)容較多,但是我們研究的重點(diǎn)在于對(duì)數(shù)字圖像內(nèi)容的篡改作為重點(diǎn),其又分為內(nèi)容的真實(shí)性篡改和完整性篡改兩類,如圖1所示。

圖1 篡改分類模型

1.1 內(nèi)容的真實(shí)性篡改

數(shù)字圖像的真實(shí)性實(shí)際是圖像真假的一個(gè)問(wèn)題。篡改者的目的就是將圖像變成與真實(shí)圖像不符的圖像,以達(dá)到其篡改目的。篡改技術(shù)主要有圖像拼接、圖像增強(qiáng)、圖像潤(rùn)飾以及圖像的變形幾個(gè)種類。

1.1.1 將兩幅圖像進(jìn)行具有標(biāo)志特征的點(diǎn)找出并利用技術(shù)手段變?yōu)榱硪环鶊D像中的特點(diǎn)的方式就是圖像拼接。進(jìn)行兩幅圖像相關(guān)特征點(diǎn)的尋找是進(jìn)行圖像拼接的關(guān)鍵,將兩者的對(duì)應(yīng)特征點(diǎn)進(jìn)行相應(yīng)的疊加,也就兼顧了兩幅圖像的相關(guān)特征。作為圖像篡改中非常常見(jiàn)的一種篡改手段,圖像拼接可以將兩幅或者更多的圖像上的特點(diǎn),根據(jù)篡改者的目的合成到一張圖像上去。

1.1.2 圖像的潤(rùn)飾主要作用是對(duì)篡改后圖像篡改痕跡的清除,這當(dāng)然是發(fā)生在圖像拼接后。進(jìn)行圖像潤(rùn)飾的主要技術(shù)手段是進(jìn)行篡改區(qū)域進(jìn)行模糊、銳化、羽化、修補(bǔ)等清除痕跡的措施,經(jīng)過(guò)潤(rùn)飾后就會(huì)使圖像的欺騙性更強(qiáng)。

2 圖像篡改檢測(cè)

根據(jù)篡改方式,圖像拼接就包含了復(fù)制、粘貼以及旋轉(zhuǎn)縮放,如圖2示。

圖2 圖像拼接取證技術(shù)模型

圖像拼接就必然進(jìn)行復(fù)制粘貼的操作,為了獲得圖像的良好角度,旋轉(zhuǎn)與縮放的操作也是必不可少的。復(fù)制粘貼含有兩種形式,一種是同一圖像內(nèi)的復(fù)制粘貼,另一種是不同圖像的復(fù)制粘貼形式,圖像內(nèi)的粘貼必然會(huì)導(dǎo)致同一幅圖像中的圖像數(shù)據(jù)發(fā)生變化,不同圖像間的復(fù)制粘貼必然導(dǎo)致不同區(qū)域具有不同的來(lái)源特征或不同的圖像統(tǒng)計(jì)特征;而旋轉(zhuǎn)縮放必然導(dǎo)致重采樣,所以從這些角度著手可以對(duì)拼接篡改進(jìn)行有效檢測(cè)[1]。

2.1 復(fù)制粘貼操作在同一圖像內(nèi)

圖像篡改在同一個(gè)圖像內(nèi)的復(fù)制粘貼必然存在篡改區(qū)域相同的圖像區(qū)域,將圖像進(jìn)行分區(qū)分析,運(yùn)用匹配搜索的方式進(jìn)行檢測(cè)圖像篡改內(nèi)容的操作,當(dāng)前的研究者主要運(yùn)用這個(gè)特點(diǎn)進(jìn)行篡改的檢測(cè)工作。

2.2. 不同圖像間的復(fù)制粘貼工作

將兩張或者更多的圖像進(jìn)行各自部分的拼接,并在一張圖像上進(jìn)行呈現(xiàn)的操作,進(jìn)行一個(gè)整體圖像的偽造過(guò)程,達(dá)到一個(gè)新的效果。這種篡改方式應(yīng)用非常廣泛,造成的影響更大,比copy-move的操作更加廣泛。由于其在進(jìn)行篡改過(guò)程中,多張圖像的線條和色彩有著明顯的區(qū)分,因此其更容易留下篡改痕跡。

2.2.1 基于光源方向不一致性的方法。取自兩幅或者以上圖像區(qū)域的圖像,其光照方向必然存在不一致的現(xiàn)象,所以,對(duì)于圖像中每個(gè)物體或區(qū)域的光照方向,經(jīng)過(guò)判定不同物體或者不同區(qū)域都具有不同的光照方向,我們可以認(rèn)定物體的光源不同或者區(qū)域的光源來(lái)源不同。Mahajand根據(jù)這個(gè)原理,提出了基于球面頻率不變量的檢測(cè)圖像光照一致性方法,其缺點(diǎn)是只能進(jìn)行光源二維方向的檢測(cè),且在陰天等直接光源缺乏的情況下不適用。

2.2.2 基于雙相干特征和邊緣百分比特征檢測(cè)方法。首先提出雙相干幅度和相位特征進(jìn)行檢測(cè)篡改圖像的是Ng,但是這樣直接應(yīng)用的檢測(cè)效果不是很好,精度較低。Ng為了將檢測(cè)效率提高到一個(gè)新的水平,相繼提出了對(duì)雙相干敏感特征進(jìn)行刻畫,以及拼接不變量的估計(jì)兩個(gè)新的基本方法,這就重新認(rèn)定了新的特征,包括雙相干幅度和相位變化的也測(cè)殘差特征以及邊緣百分比特征這三個(gè)內(nèi)容。這樣檢測(cè)準(zhǔn)確率得到了顯著提高,不過(guò)其在完整有現(xiàn)實(shí)意義的圖像檢測(cè)上還需要提高,并作后續(xù)處理。

3 結(jié)束語(yǔ)

通過(guò)圖像篡改的基礎(chǔ)原理的分析,進(jìn)行相關(guān)的檢測(cè)取證要有的放矢,必須從照片形成機(jī)理和其固有特性上分析,并發(fā)掘出鑒定方法,逐步提高在圖像篡改盲取證領(lǐng)域的技術(shù)水平。

參考文獻(xiàn):

[1]吳瓊.面向真實(shí)性鑒別的數(shù)字圖像盲取證技術(shù)綜述[J].自動(dòng)化學(xué)報(bào),2008.

[2]徐亮.數(shù)字圖像拼接篡改盲取證技術(shù)研究[J].電子設(shè)計(jì)工程,2012.

作者簡(jiǎn)介:許柯(1976.09-),男,湖南衡陽(yáng)人,講師,研究生,研究方向:信息安全、電子物證、輿情監(jiān)測(cè)。