導語：大數(shù)據(jù)技術(shù)證券行業(yè)分析一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

摘要：大數(shù)據(jù)技術(shù)是證券行業(yè)主要研究的科技創(chuàng)新方向之一，文章對大數(shù)據(jù)技術(shù)在國內(nèi)證券行業(yè)的研究現(xiàn)狀進行介紹，并對大數(shù)據(jù)技術(shù)研究方向進行劃分，對建設大數(shù)據(jù)平臺面臨的困難進行分析，對平臺框架構(gòu)建進行了深入介紹。從而可以使證券公司結(jié)合情況，選擇最適用于自己的大數(shù)據(jù)技術(shù)策略，并提高困難解決能力，構(gòu)建出適用自己的大數(shù)據(jù)技術(shù)框架。

關(guān)鍵詞：大數(shù)據(jù)技術(shù)；證券行業(yè)；大數(shù)據(jù)技術(shù)框架

近幾年在金融行業(yè)，“金融科技”、“監(jiān)管科技”等詞匯總是會被人們頻繁提起，這是因為科技對證券行業(yè)的服務模式起到了極為深刻的變革創(chuàng)新。隨著金融科技中的新興技術(shù)的蓬勃發(fā)展，證券行業(yè)如何正確使用這類新興技術(shù)，如何將自身發(fā)展同這類技術(shù)綁定，這些問題都留給了證券行業(yè)很多的選擇。

1大數(shù)據(jù)技術(shù)的國內(nèi)現(xiàn)狀

隨著大數(shù)據(jù)技術(shù)進入國內(nèi)的證券行業(yè)，越來越多的證券公司都開始覺察到大數(shù)據(jù)的價值，逐漸開始啟動大數(shù)據(jù)的相關(guān)研究和分析工作，試圖通過大數(shù)據(jù)技術(shù)挖掘海量數(shù)據(jù)的實際價值?，F(xiàn)介紹三則證券公司的使用實例。交易日志監(jiān)控分析系統(tǒng)，是包含了手機端和網(wǎng)頁端日志的存儲，并對服務器性能，用戶交易行為和支撐系統(tǒng)運營狀況進行監(jiān)控分析。交易日志監(jiān)控分析系統(tǒng)支持海量的日志存儲和分析，提高了現(xiàn)有系統(tǒng)的管理和運營水平。異常交易預警系統(tǒng)是基于大數(shù)據(jù)平臺中的相關(guān)用戶信息，對異常交易行為進行提前預警，比如高買低賣利益?zhèn)魉皖A警，長期閑置賬戶頻繁異動預警，大量委托查詢請求預警等。客戶畫像系統(tǒng)是將通過自由源數(shù)據(jù)和第三方數(shù)據(jù)收集的客戶信息傳送到大數(shù)據(jù)平臺中，對數(shù)據(jù)進行計算后將結(jié)果放入到用戶畫像系統(tǒng)和模型管理系統(tǒng)中，得到的最終輸出結(jié)果作為業(yè)務應用。用戶畫像系統(tǒng)是對客戶進行計算分析后，添加各類描述標簽，構(gòu)建出一個嚴格的標簽體系，并把結(jié)果推送給業(yè)務進行使用。畫像系統(tǒng)和模型系統(tǒng)得到的最終分析結(jié)果，可以一起發(fā)送給上層應用，實現(xiàn)金融產(chǎn)品推薦，精準廣告投放，線下客服溝通，風險防控等服務。

2大數(shù)據(jù)平臺的構(gòu)建

2.1大數(shù)據(jù)技術(shù)的分類劃分。針對大數(shù)據(jù)技術(shù)的數(shù)據(jù)實時性特點和計算復雜程度的特征，可以對大數(shù)據(jù)技術(shù)的使用情況進行復雜程度和實時性分類，根據(jù)這樣的劃分，得以結(jié)合證券公司本身的研發(fā)特點和實力，制定出相應的研發(fā)方向，建立起自身的競爭優(yōu)勢。研發(fā)的方向可以歸納為四個類型——描述型、診斷型、預測型和指導型。傳統(tǒng)企業(yè)都比較擅長使用描述型數(shù)據(jù)和診斷型數(shù)據(jù)，所以真正把數(shù)據(jù)運用得當，取決于預測型數(shù)據(jù)和指導型數(shù)據(jù)的使用。描述型數(shù)據(jù)主要體現(xiàn)在報表類業(yè)務，其讓事件反映的具體、清晰；診斷型數(shù)據(jù)是針對所出現(xiàn)的問題進行判斷分析，比如根據(jù)財務數(shù)據(jù)的指標，發(fā)現(xiàn)企業(yè)的財務運行情況等；預測型數(shù)據(jù)是由數(shù)據(jù)來預測將來事物發(fā)展的趨勢，可以提前發(fā)現(xiàn)事物的潛在問題再進行糾正，也可以預測行情變換進行投資交易獲利；指導型數(shù)據(jù)可以根據(jù)客戶的行為習慣來挖掘客戶的潛在需求，幫助證券公司做出更好的產(chǎn)品或者對應服務，指定針對性營銷方案從而獲得更好的投資回報。2.2大數(shù)據(jù)平臺構(gòu)建的困難。證券公司在構(gòu)建真正的大數(shù)據(jù)平臺時，應該結(jié)合自身的實際情況，分析將要面臨的困難挑戰(zhàn)。證券公司所面臨的困難可以分為五大方面，分別是：性能、海量、實時、精準、共享。性能問題是指客觀硬件上性能不足，導致數(shù)據(jù)運行時間長，復雜查詢或者過高頻率的并發(fā)查詢的效果過差。海量問題是客觀存在的多樣性大量數(shù)據(jù)所導致的問題，這是因為數(shù)據(jù)的格式過于多樣，而承載數(shù)據(jù)量總是有限的，不可能存儲全部的海量數(shù)據(jù)。實時性是指獲取和處理數(shù)據(jù)的能力，實時性的局限會對實施事件、動態(tài)營銷、智能服務等造成影響。精準性困難是指缺乏對投資者資產(chǎn)臺賬清算的思維，僅僅依靠傳統(tǒng)的技術(shù)手段是無法全面掌握客戶的需求和偏好。共享性困難是指數(shù)據(jù)難以提取和使用，訪問的方式過于單一，對不同業(yè)務系統(tǒng)或者專項統(tǒng)一數(shù)據(jù)的支撐能力的有限性。在面對這些數(shù)據(jù)的同時，應該以數(shù)據(jù)為起點，應用為核心，而整個過程是重復著“去解決數(shù)據(jù)問題”和“數(shù)據(jù)去解決問題”的反饋機制，在這個機制中，證券公司應該不斷加強數(shù)據(jù)應用能力、數(shù)據(jù)運算能力和數(shù)據(jù)融合能力。2.3大數(shù)據(jù)平臺框架構(gòu)建。大數(shù)據(jù)平臺的總體框架是由平臺、引擎和行業(yè)數(shù)據(jù)模型三者構(gòu)建。其中平臺包含數(shù)據(jù)整合平臺（ETL工具集）、數(shù)據(jù)管控平臺（數(shù)據(jù)標準管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、運維監(jiān)控）和數(shù)據(jù)服務平臺（數(shù)據(jù)資源管理、數(shù)據(jù)服務總線、安全監(jiān)控等）；數(shù)據(jù)流引擎包含計算引擎和數(shù)據(jù)流引擎；最后的模塊是行業(yè)數(shù)據(jù)模型。如下將對個組成模塊進行講解。數(shù)據(jù)整合平臺需要采取不同業(yè)務系統(tǒng)的數(shù)據(jù)，平臺為了適應據(jù)中心多類型數(shù)據(jù)源采集的需要，需要支持多種類型的數(shù)據(jù)采集方式，其中主要包括：第三方工具集成（Kettle/Infor-matica、Flume、Kafka）、消息隊列接口(點對點模式、與訂閱模式、實時消息隊列)、API接口（接口封裝技術(shù)、API多調(diào)用方式、API可擴展設計）、和FTP/SFTP接口（接口信息配置、采集觸發(fā)設置、裝載規(guī)則設置）等。數(shù)據(jù)管控平臺是對數(shù)據(jù)質(zhì)量或者系統(tǒng)運行進行監(jiān)控。在運維監(jiān)控功能上，主要分析ETL日歷、數(shù)據(jù)分布、變化趨勢、存儲情況和大表；元數(shù)據(jù)管理上針對的是數(shù)據(jù)字典、數(shù)據(jù)標準、調(diào)度關(guān)系、數(shù)據(jù)表登記和映射；元數(shù)據(jù)分析包含了血統(tǒng)分析、影響分析等；數(shù)據(jù)質(zhì)量管理是針對數(shù)據(jù)監(jiān)控報告、閥值檢測、字典異動、清洗結(jié)果和檢測配置管理等；系統(tǒng)管理則是對系統(tǒng)參數(shù)和系統(tǒng)資源進行統(tǒng)一管理。數(shù)據(jù)服務平臺的定位是為數(shù)據(jù)服務的提供開發(fā)能力和數(shù)據(jù)支持，并且提供滿足證券公司內(nèi)外部客戶需求的能力。平臺需要對服務進行監(jiān)控和管理，保證數(shù)據(jù)的安全。服務監(jiān)控是要對配合進行控制、對流量進行控制、對日志進行控制；服務管理，是要做好服務的、服務編排、服務目錄管理和服務結(jié)算；在數(shù)據(jù)安全方面，要對數(shù)據(jù)進行脫敏處理，對數(shù)據(jù)進行加密，保證接入安全，事后進行審計。數(shù)據(jù)服務平臺的構(gòu)建，首先是對大數(shù)據(jù)進行存儲，并且分配好數(shù)據(jù)服務層、功能服務層和基礎(chǔ)服務層[1]。數(shù)據(jù)服務層包含了業(yè)務數(shù)據(jù)、客戶數(shù)據(jù)、風險數(shù)據(jù)、產(chǎn)品資源數(shù)據(jù)、渠道解除數(shù)據(jù)等；功能服務層，包含了分析服務、展示服務、日志服務、事件通知服務、數(shù)據(jù)查詢服務、數(shù)據(jù)處理服務、數(shù)據(jù)交換服務等；基礎(chǔ)服務層包含了位置服務、用戶畫像服務、價值洞察服務等等。服務開放總線提供對業(yè)務的支持，總線需要滿足接入功能（HTTP、JDBC、消息等）、路由功能（服務查找、服務路由）、負載功能（負載均衡、服務緩存）和適配功能（SQL、MR、Hbase等）。計算引擎需要實現(xiàn)的目標是精益化計算，對多年沉淀積累的行業(yè)數(shù)據(jù)進行計算。計算引擎可自行定義運算流程，使用豐富的運算組件并靈活調(diào)度，達到流程節(jié)點可視化，整個流程達到可調(diào)可用可改。同時也要求計算引擎實現(xiàn)多模式計算，根據(jù)業(yè)務設計運算模式，支持復雜業(yè)務的定義，達到隨時可用，隨時可取的要求，并且全面支持基礎(chǔ)業(yè)務組件。計算引擎是由分析引擎、批量計算引擎和實時計算引擎三者構(gòu)建，其中分析引擎主要含有MPP組、OLAP、Smlib和ES；批量計算引擎有Spark等；實時計算引擎有SparkStreaming和Rddis組成。數(shù)據(jù)流引擎的流程是從組建涉及、流程設計、作業(yè)管理到作業(yè)日志進行分部處理。行業(yè)數(shù)據(jù)模型按照數(shù)據(jù)倉庫模型的層次劃分，依次分為業(yè)務建模、領(lǐng)域建模、邏輯建模和物理建模。業(yè)務建模中的模型為業(yè)務模型，將業(yè)務層面的分解和程序化；領(lǐng)域建模中的模型為領(lǐng)域模型，是對業(yè)務模型進行抽象處理，生成領(lǐng)域模型；邏輯建模中的模型為邏輯模型，是將領(lǐng)域模型的概念實體以及實體之間的關(guān)系進行數(shù)據(jù)庫層次的邏輯化。物理建模中的模型為物理模型，解決邏輯模型針對不同關(guān)系型數(shù)據(jù)庫的物理化，以及服務器性能等具體的技術(shù)問題[2]。構(gòu)建一個完整的行業(yè)數(shù)據(jù)模型，需要對業(yè)務進行全面梳理，對業(yè)務流程加以改進。要建立全方位的數(shù)據(jù)視角，消滅信息孤島和數(shù)據(jù)差異，致力于解決業(yè)務的變動性和數(shù)據(jù)倉庫的靈活性帶來的問題，幫助數(shù)據(jù)倉庫系統(tǒng)進行自我建設。

3結(jié)語

本文對大數(shù)據(jù)技術(shù)的分析和框架搭建的介紹和建議，可以在證券行業(yè)進行大數(shù)據(jù)技術(shù)實踐中得以學習借鑒和技術(shù)參考，為企業(yè)提供更多的創(chuàng)新思路，得以結(jié)合證券企業(yè)自身情況和特點找到符合公司本身的發(fā)展之路。相信本文可以對證券行業(yè)進行大數(shù)據(jù)技術(shù)探索的工程師，學數(shù)據(jù)技術(shù)的愛好者起到良好的指導作用，也對證券公司如何進行金融創(chuàng)新變革有著很好的方向指引意義。

參考文獻：

[1]馬彥圖.云計算技術(shù)在農(nóng)業(yè)信息共享服務平臺中的應用[J].西安工程大學學報,2016(4):494-497

[2]賀曉鋒.基于Teradata的銀行數(shù)據(jù)倉庫模型研究與優(yōu)化[D].軟件工程,2008.

作者:徐天譽 單位:南京證券股份有限公司