云計算的主要技術特征范文
時間:2023-12-14 17:42:33
導語:如何才能寫好一篇云計算的主要技術特征,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公務員之家整理的十篇范文,供你借鑒。
篇1
關鍵詞:云計算;基本定義;特點;應用形態(tài);管理功能
中圖分類號:TN918 文獻標識碼:A 文章編號:1671-2064(2017)10-0029-01
1 關于云計算的基本概念
云計算是建立在互聯(lián)網基礎上拓展增加的服務模式。在一般情況下,云計算是依賴互聯(lián)網實現擴展目的而成的一種虛擬化資源的目標。它是信息基礎設施的使用模式。它通過網絡來將這種虛擬化的資源得到擴展使用。有專家學者把計算所應有的功能看成是能在互聯(lián)網上交易流通的商品,顧名思義的解釋,云代表局域網絡,也代表更為廣闊的互聯(lián)網,很多科學家對于云計算有著迥異的概念解讀,使得云計算擁有了不同的定義。
有人說,所謂“云計算”是指以公開的標準和服務為基礎,把互聯(lián)網作為其中心,能夠給用戶提供安全、快速、便捷的數據存儲和網絡計算服務,能讓互聯(lián)網的這片“云”成為每個網民的數據中心可計算中心。我們可以在實際研究和應用中逐漸得到更多有關定義的正確認知。
2 關于云計算的5個顯著特征
第一個特征――發(fā)掘和實踐應用證明,云計算的計算功能非常強大。隨著因互聯(lián)網應用的不斷拓展,許多應用領域對通信和計算方面的要求越來越高,單機的計算機無法滿足需要,尤其是通信受到的限制很大。為了解決這些問題,云計算應運而生,它將很多計算機連接在一起實施調度策略和分工,使得云計算擁有了超級計算機的功能。它的超級計算能力就是在這樣的情況下產生的。
第二個特征――相對于其他存儲方式看,云計算的存儲數據更為安全可靠。信息存儲中心通過制定特有的嚴格的云計算限定管理權限,使很多不安全因素被拒之門外,用戶可以在放心的前提下使用云計算提供的安全可靠的數據服務。
第三個特征――以虛擬化表現形式出現。云計算技術在運作過程中,服務器和存儲設備等硬件都被虛擬,這就使可選擇變化的信息資源來按需使用成為可能,IT技術的基礎結構更利于信息資源的不同選擇和使用。
第四個特征――將使用成本縮小到盡可能小的狀態(tài),而后是放大服務功能。有專家學者評價稱之為“最小的代價,最優(yōu)的服務”對此作了很好的詮釋。常規(guī)情況下每一個用戶都需要不一定相同或的資源,云計算可以滿足這樣的要求,也可以說正是這樣的特征使得云計算成為拓展服務功能和需要的最佳選擇,也是消除用戶對電腦軟件不支持帶來的麻煩。原因是在“云端”,也就是云計算服務中心有大量的專業(yè)人員對軟件和系統(tǒng)做維護升級服務,因此,用戶只需要一臺電腦,就能得到充分的服務。
第五個特征――減少無客戶端資源。云計算對商業(yè)模式的影響應該說是非常巨大的,直接和間接關聯(lián)的包括商業(yè)的推廣部署、軟件開發(fā)和后續(xù)的交付運行使用,云計算所擁有的虛擬化、數據存儲和管理技術,完全可以實現用戶網上支付少量費用二獲取服務內容的重要載體,無需用戶再建立客戶端,這是網絡資源簡潔的一種節(jié)約方式。
第一個技術內容是數據儲存。它基于網絡的超級計算功能,使它擁有了強大的數據量,在稻莘務器集群中分布儲存數據信息,配合加密手段安全性和傳輸率更高。目前的云計算技術應用費用更低,但卻能夠實現穩(wěn)定的數據服務。
第二個技術內容是數據管理。在云計算運行中,首要條件要求是同事同步完成不同的數據計算,信息量非常大,因此它具有的數據管理技術是非常高效的。它依托BIGTABLE以及GOOSE的數據管理技術、基于HADOOP團隊的管理模塊HBASE,其龐大的數據量輕松解決相關的服務問題。
第三個技術內容是虛擬化。虛擬化指的是在電腦的硬件以及操作系統(tǒng)、應用程序中構建一個虛擬化層來起到承上啟下的作用,此外,虛擬化技術資源整合的作用發(fā)揮的非常出色,使資源得到最大優(yōu)化。
4 云計算的主要服務形式
第一是分布服務平臺。PAAS服務作為分布式平臺由開發(fā)商提供硬件資源的服務,用戶能夠利用這個平臺,開發(fā)新的應用程序并通過網絡讓其它用戶共享。PAAS服務還能為個體或群體客戶提供研發(fā)的中間平臺,同時實現應用程序開發(fā)、托管等多項功能。
第二是計量服務。所謂IAAS服務是通過將服務器組成“云端”,將其作為計量服務提供給客戶。整合內存、存儲和計算能力,就完成了虛擬資源的整合過程,讓使用數據的用戶付費更加方便精確。
篇2
關鍵詞:云計算;云數據;數據管理技術
一、云計算
(一)云計算的概述。近年來,由于數據的快速增長,用戶對計算機的數據存儲能力,要求也越來越高。云計算是一項新興的數據處理技術,改變著普通用戶使用計算機分析、處理數據的方式,為用戶提供了強大的數據分析、存儲能力,方便用戶進行數據管理,目的是讓用戶高效的使用計算機的數據資源[1]。云計算不僅是解決數據的計算問題,更多的是結合其他技術進行綜合發(fā)展。
(二)云計算的技術原理。云計算以互聯(lián)網作為發(fā)展平臺,以計算機技術作為實現途徑,將數據進行整合、處理、應用、存儲等,云計算是一種有效性強、低成本的計算機技術,通過計算機系統(tǒng),實現數據資源優(yōu)化的計算方式。云計算的基本原理是使數據分布在計算機上完成,能夠使計算的數據進行合理的應用,實現計算機的存儲功能。這就意味著計算機的云計算能力就像商品一樣可以進行流通,最主要的是使用方便,價格低,而主要方式又是通過互聯(lián)網進行的,實現了與計算機技術的接軌。
(三)云計算的應用。云計算具有操作簡單的優(yōu)勢,用戶無需掌握太多的云計算技術,就可以直接進行操作。在云計算下,可以使用戶快速獲得信息,為用戶提供一站式服務[2]。云計算的特征主要表現為管理性、分散性、儲存性等特征,同時還具有服務性、經濟性等更深層次性的特征。云計算系統(tǒng)是通過IP網絡連接的,云計算系統(tǒng)的核心組成部分是云計算平臺。目前,國內多數企業(yè)都采用了云計算來為用戶服務,例如,谷歌推出的谷歌App服務,IBM推出的“云?!辈僮飨到y(tǒng)等等,許多知名的企業(yè)都在大力的開發(fā)云計算軟件,隨著云計算的發(fā)展,一些虛擬化服務、數據整合服務也都采用了云計算技術,爭取創(chuàng)造出更多的云計算產品。
二、云數據管理技術
(一)GFS技術。GFS技術,是一個大型的文件計算系統(tǒng),它為谷歌云計算提供大量的數據儲存空間,形成谷歌的云計算解決方案[3]。GFS將整個系統(tǒng)分為客戶端、主服務器、數據塊服務器3類,使應用程序直接調用這些函數,與該數據庫連接在一起,進行整個系統(tǒng)數據的保存。GFS將文件按照固定大小進行分塊,每一塊被稱為一個數據塊,并有相應的索引號。在客戶端進行訪問GPS時,需要先進行節(jié)點訪問,然后進行數據信息的獲得,這種數據存儲方式實現了控制數據流的作用,使得云數據管理技術的整體性能得到了提高。
(二)Dynamo技術。云計算的數據具有數量龐大、數據不確定性的特點,需要采用有效的管理技術對數據進行分析和管理。在云數據的眾多管理技術中Dynamo技術具有獨特的技術優(yōu)勢,它不僅具有分布式的儲存模式,而且還能進行數據存儲的表格構建,Dynamo技術可直接提供底層支持,它的優(yōu)點是通過它所提供的N、R、M三個使用參數,根據客戶的需求來進行實例的調整,其中N是副本個數,R是讀取個數,W是寫入成功的個數,當讀取個數大于副本個數,就可以保證數據的一致性,當讀取個數小于副本個數,則就不能保證數據的一致性。Dynamo技術的工作原理其實就是提供不同的版本,并能夠靈活應用。
(三)云數據管理技術的利與弊。云數據管理的數據具有海量性、異構性、非確定性的特點,而云數據管理技術本身又具有規(guī)模大、結構性強的特點,是針對云數據的特點使用的一種數據管理方式,在應用上為客戶提供方便快捷的數據模型,來進行數據的讀取。雖然云數據管理技術在不斷的改進和完善,但也存在著一些問題,例如,在數據丟失時,如何進行數據的還原與修復的問題,是需要云數據管理進行技術提升的方面。
結論
隨著社會大量數據信息的涌現,云計算和云數據管理技術受到越來越多的關注,這也充分體現了數據由密集型向技術型轉變的發(fā)展趨勢。傳統(tǒng)的數據管理方式在海量數據的沖擊下,會遇到一定的挑戰(zhàn),云數據管理技術應采用新的方式去處理數據,從更深層去管理數據,通過云計算的平臺構建,實現為更多用戶服務的理念,也將出現越來越多的數據管理技術,使數據存儲和管理方式不斷的更新與發(fā)展。
參考文獻
[1]劉正偉,文中領,張海濤.云計算和云數據管理技術[J].計算機研究與發(fā)展,2012,1(07):26-31.
[2]南志海.云計算和云數據管理技術探討[J].硅谷,2013,06(05):7+3.
篇3
【關鍵詞】 云計算 電信應用
近幾年云計算以成為了炙手可熱的技術熱點, Amazon、Google、IBM、微軟和Yahoo等大公司是云計算的先行者,并以前所未有的速度和規(guī)模推動著其技術和產品的普及。云計算領域的眾多成功公司還包括Salesforce、Facebook、Youtube、Myspace等。那么究竟什么是云計算呢?著名IT咨詢機構Gartner對云計算的定義為“云計算是利用互聯(lián)網技術將龐大且可伸縮的IT能力集合起來作為服務提供給多個客戶的技術”。
云計算的架構,可分為管理和服務兩部分:管理方面,主要以云的管理層為主,它的功能是確保整個云計算中心能夠安全、穩(wěn)定的運行并能夠被有效管理,負責資源管理、任務管理、用戶管理、安全管理等工作。服務方面,主要提供用戶基于云的各類服務,可分為三個模式:一是IaaS,這層的作用是將硬件設備等基礎資源封裝成服務供用戶使用;二是PaaS,這層作用是將一個應用的開發(fā)和部署平臺作為服務提供給用戶;三是SaaS,這層的針對性更強,它的作用是將應用軟件封裝成服務,以基于Web的方式提供給客戶。
隨著信息化技術的高速發(fā)展,電信網絡發(fā)展到今天,已經日益復雜和龐大,而電信網的建設及維護模式并沒有發(fā)生質的變化,其衍生暴露出許多問題:
1、基礎設施使用率低、建設成本高、能耗大;
2、維護復雜、效率低;
3、業(yè)務平臺多采用煙囪式獨立建設,復用效率低;
4、對業(yè)務支撐力度差;
5、分散式PC管理,維護成本高、缺乏數據安全保護。
根據傳統(tǒng)電信行業(yè)的現狀,結合云計算的特點,云在電信行業(yè)領域的應用發(fā)展思路可分以下幾個階段:
1、構筑云平臺,奠定開展IDC業(yè)務的基礎;
2、內部業(yè)務云,優(yōu)化云系統(tǒng)、改善云服務,如:VDI、業(yè)務整合;
3、以IaaS為切入點,匹配市場企業(yè)多樣化需求,積累運營經驗,如:彈性主機;
4、以SaaS為贏利點,豐富個人與企業(yè)業(yè)務,增強用戶粘性,如:云存儲、個人移動桌面;
5、以專業(yè)服務為價值點,咨詢顧問、云建設與維護等體系化云服務,如:私有云部署、代建代維;
6、以持續(xù)創(chuàng)新為致勝點,ICT創(chuàng)新,發(fā)揮差異化優(yōu)勢,持續(xù)創(chuàng)新,如:一站式ICT。
云計算的轉變主要體現在資源(包括計算\存儲\帶寬)虛擬化和共享整合,以提供更高的復用率,通過對計算、存儲、帶寬三者之前再分配以服務模式提供給客戶,而電信運營商主要核心競爭力在于帶寬和運營經驗,所以云計算在電信行業(yè)進行應用時,根據業(yè)務特點產生可產生以下應用模式:
1.云計算模式:針對計算密集型業(yè)務,采用帶寬換計算;
2.云網絡模式:針對視頻等高帶寬型業(yè)務,采用計算存儲換帶寬;
3.云聚合模式:針對事務或流程密集型業(yè)務,采用中心帶寬換邊緣帶寬。
電信網絡主要分為接入網、承載網、核心網、業(yè)務網、網管網,這些網絡都有自已的側重點,不同網絡的云化能力是不同的:
1、對于業(yè)務網,天生就具備“一點接入,全網服務”的云特性,并且業(yè)務類產品處于電信網絡的邊緣,云化不會導致全網的振蕩。所以,業(yè)務類產品不僅在業(yè)務特征上有云化的驅動力,在網絡架構上也是最適宜率先云化的系統(tǒng)設備。
2、對于核心網,由于處于網絡的核心地位,并且隨著IMS的引入,核心網設備出現功能細化、網元種類多、網絡扁平化的特征,這導致在發(fā)生網絡故障時,故障的定位具備很高的復雜性。如果在云計算技術尚未完全成熟的時候引入云平臺,將加劇核心網的復雜性,導致故障定位的難度加大。因此網絡設備的云化,應該在云計算技術較為成熟時再加以考慮。
3、對于基站等接入設備,雖然業(yè)界已經出現“基站云”等概念,但是由于天生具備地域分散、容量小等“非云”特征,云化的業(yè)務驅動力不足。接入設備的云化,應當是最后考慮的設備。
篇4
關鍵詞:云計算 應用 服務模式 IaaS PaaS SaaS
一、云計算的概念與特點
云計算是一種能夠被運用于商業(yè)化運作的技術架構,它代表著新一代的計算機技術模式,是當前信息技術領域的熱點問題。不管人們從何種角度對云計算進行定義,但是,他們所要表達的云計算的特點是一致的,即集約構建彈。具體表現在以下幾個方面:資源系統(tǒng)化,云計算能夠聚合網絡、軟件、硬件等各方面的資源,并通過整合,使其成為一個龐大的資源系統(tǒng),能夠滿足人們的需求;服務定制化,在對外服務上,云計算能夠為人們提供彈性的可定制的服務,這樣就能夠滿足人們不同層次的需求,提高適應性;管理透明化,在云計算的管理上,它是面向資源和服務的一種管理模式,管理十分方便,管理效率高。此外,從技術層面上來說,云計算在提供對外服務的時候,需要滿足性能高、可靠性高、實用性強、可伸縮性高的特點,以更好的滿足人們的需要,為人們提供滿意的服務。
二、云計算的應用模式
云計算是以服務為導向的,它的目的就是為人們提供高效便捷的服務,因此,云計算也有眾多層次的服務,包含從硬件設施到高層軟件的各個層次。由于服務對象不同,服務功能存在差異,因而一般來說,對云計算所提供的服務可以劃分為三個層次。
1、服務層次。云計算所提供的服務層次一般來說可以分為三種。第一、SaaS:該層次服務是將應用軟件統(tǒng)一部署在服務提供商的服務器上面,用戶通過互聯(lián)網就能夠向廠商定制應用軟件服務,大多數采用的是租用的方式。此外,廠商還能夠通過瀏覽器向客戶提供軟件的模式。比如google doc,google apps,zoho office等。第二、PaaS :在該服務層次中,能夠將應用運行環(huán)境和開發(fā)環(huán)境作為服務來提供,滿足客戶的需求,給人們帶來方便。比如amazon 的aws,salesforce 的平臺等等。第三、IaaS:在該層次服務中,將支撐軟件運行的基礎設施作為服務提供給客戶,具體來說包括以下內容:服務器、操作系統(tǒng)、磁盤存儲、數據庫、信息資源、內存、I/O設備等等。IaaS不僅能夠為客戶提供服務,還能夠將這些基礎設置整合成為一個虛擬的資源池,這樣就能夠為整個業(yè)界提供相應的服務,比如存儲資源、虛擬化服務等等。我們比較熟悉的是IBM的bluecloud,amazon的EC2等等。
2、部署模式。在部署模式上,云計算分為公有云、私有云和混合云三種模式。公有云主要面向中小型企業(yè),服務于大眾化,建立統(tǒng)一的服務中心,基于網絡提供服務。私有云主要是面向大型企業(yè),建立專門的服務中心,基于企業(yè)內網提供服務。而混合云模式是在私有云的基礎之上,拓展公網入口,并提供相應的服務。
對于一個標準的云計算來說,不管它是何種模式,都必須體現IaaS、PaaS、SaaS三層服務,然而在應用本身并非需要構建完整的服務層次,需要由硬件提供商、平臺服務提供商、集成商等按照層次提供相關的支持,由此就形成了云計算產業(yè)鏈。對于私有云來說,它更接近傳統(tǒng)的企業(yè)級應用,服務提供商往往結合云計算和企業(yè)應用技術,建立相關的運行維護機制,以支持大規(guī)模數據中心,并提供便捷靈活的業(yè)務服務。公有云需要對外運營,在服務評估和計費方面比較顯著,它最終服務的是個人或者租戶,并且通過SLA體系提供免費服務或者是收費服務,在對外體系服務中,公有云既可以是某個具體層次的,也可以是多個層次的。互聯(lián)網企業(yè)更傾向于公有云的實施,它能夠聚合中小企業(yè)、人力、資源,并使之形成資源池,面向特定的領域提供服務,進而通過網絡帶動傳統(tǒng)產業(yè)的發(fā)展,比如淘寶、騰訊等等。而對于政府、機構、大型企業(yè)來說,私有云更加適合。由于其內部資源豐富,并在一定的范圍之內可以實現資源共享,擁有較為完善的管理機制,并且有較多的企業(yè)應用需要統(tǒng)籌,因而私有云不僅能夠使企業(yè)長期的投資得以降低,還能夠加速內部資源的整合。
三、IaaS應用模型
1、服務模式。將物理資源進行整合,使之成為一個可統(tǒng)一管理的資源池,其中包括服務器、硬件、交換機等等,利用虛擬化技術進行資源分配,包括計算、存儲、網絡三個層面,構建虛擬網絡,從而形成虛擬的基礎設施環(huán)境。為IaaS運維管理建立監(jiān)控管理服務器集群,并且提供相應的基礎設施統(tǒng)一管理平臺,其目的是管理硬件、綁定虛擬化設施。監(jiān)控管理服務器集群需要滿足以下特征:故障可轉移、資源注冊與退出、資源負載動態(tài)均勻。
2、核心技術。其核心技術是虛擬化技術,是整個應用模型中最關鍵、最重要的技術,包括服務器、存儲、網絡、桌面虛擬化技術。虛擬化技術又可以分為兩類,全虛擬化技術和半虛擬化技術。
四、PaaS應用模型
1、服務模式。要實現云計算的應用,最為關鍵的部分是PaaS,它在整個服務體系中發(fā)揮著巨大的作用。理想中的PaaS應用模型應該在核心技術設施基礎上進行擴展,這樣便可以高效的負載上層的SaaS應用。在構成上,PaaS應用模型包括核心計算設施、分布式計算設施、云存儲設施、云管理監(jiān)控設施、運營設施。
2、核心技術。PaaS應用模型的核心技術內容十分廣泛,主要包括運行支撐技術、管理支撐技術、開發(fā)支撐技術、業(yè)務支撐技術、運營支撐技術。事實上,PaaS技術是整合了傳統(tǒng)企業(yè)級框架技術,使其變得一體化,不同的是,云計算技術較為廣泛的引入分布式處理技術和云存儲技術。其中,云存儲技術又涉及到分庫分表技術和NoSQL技術。
五、SaaS應用模型
1、服務模式。SaaS的前身是ASP,它在云計算出現之前就得到了運用。SaaS直接向軟件最上層用戶提供服務,常常以租用的模式提供服務。根據SaaS的服務特征,可以分為四個級別的成熟度模型:level1:特設/定制:這個階段能夠解決可定制化問題,不過很難實現資源共享,也難以對其進行擴展。Level2:為每個租戶提供獨立的實例,并且這些實例都是一樣的,能夠進行代碼復用,不過增加了物理資源成本。Level3:在該層次實現了多種功能,包括可配置、多租賃、用戶自定義等等。Level4:它在Level3的基礎上實現可擴展功能,還可以為不同的客戶提供服務。總之,SaaS應用模型具有多租戶、可伸縮、定制化、隨需應變等特征。
六、結束語
云計算代表著未來信息技術的發(fā)展方向,在理念和模式上給傳統(tǒng)的軟件硬件行業(yè)帶來了巨大的變革。文章主要探討分析了云計算的概念、特點、應用模式、實施策略等內容??梢灶A見,由于云計算能夠為信息資源利用和信息服務模式提供全面的支持,隨著云計算技術的發(fā)展,其應用服務模式也將不斷的豐富和發(fā)展,將為人們提供更加便捷的服務,進一步滿足人們的需要。
參考文獻:
[1]劉鵬.云計算[M].北京:電子工業(yè)出版社,2011
[2]俞乃博.云計算-IaaS服務模式探討]D].2011年信息通信網絡技術委員會年會征文
[3]劉威.云計算的安全服務體系和關鍵技術探討[J].中國金融電腦,2011(5)
篇5
【關鍵詞】云計算環(huán)境 大數據 分布規(guī)律 模糊聚類方法
1 引言
云計算服務的興起為大數據的應用提供了保障,在考慮其性能和成本的前提下,越來越多的企業(yè)考慮將大數據處理的相關應用轉移到云計算環(huán)境下進行。在此背景下,學術界和企業(yè)界掀起了對云計算環(huán)境下大數據分布規(guī)律的結構優(yōu)化設計方法的研究熱潮,并獲得了眾多研究成果,其中最為常見的方法包括模糊聚類方法、詳細度量方法和最小二乘法等。
2 云計算與大數據概述
2.1 云計算
云計算是指以互聯(lián)網為基礎,對所需資源進行隨時隨地的訪問和分享,是當前一種依靠互聯(lián)網技術的全新計算模式,其主要特征包括IT資源服務化、泛在接入、服務可計費、按需自服務及彈,其本質是通過IT資源服務化的特征在互聯(lián)網上以泛在接入和服務可計費的方式,向用戶提供按需自服務式的彈。由此得知,由于其IT資源服務化特征,在大規(guī)模應用計算時,云計算可提供資源保障;由于其所有過程皆是通過互聯(lián)網手段,用粼詡燜魘據時,云計算可提供按需自服務式的彈;由于其泛在接入特征,用戶可隨時隨地利用互聯(lián)網在移動終端上訪問或共享數據。
2.2 大數據
簡單來說,大數據就是指規(guī)模龐大的數據。但由于互聯(lián)網技術還在進一步更新和發(fā)展中,數據的規(guī)模和種類也在快速擴大和增加,不同的組織也因各自不同的需求對大數據有著不同的認識和理解,所以學術界尚不能對大數據進行統(tǒng)一定義。目前,由于IBM提出的大數據3V模型定義對大數據特征進行了形象的描述,而最能被人們普遍接受,即大數據具有海量性、多樣性、高速性三個特征。其中,海量性是指數據規(guī)模巨大,達到TB級及PB級;多樣性是指數據種類繁多,按照其結構分大致分為結構化數據和非結構化數據;高速性是指數據的出現速度、處理速度和分析速度都在持續(xù)加快。
3 云計算環(huán)境下大數據分布規(guī)律的結構優(yōu)化設計
目前,研究云計算環(huán)境下大數據分布規(guī)律的結構優(yōu)化設計方法有很多,主要包括模糊聚類方法、詳細度量方法和最小二乘法等。其中,模糊聚類法是指通過研究數據分布規(guī)律本身屬性,從而構建迷糊矩陣來確定聚類關系的一種方法;最小二乘法是指通過匹配最小化誤差的平方和尋找數據的最佳函數,使得所求數據與實際數據之間誤差平方和最小化的一種方法。
3.1 構建X上的模糊關系
構建待處理數據X上的模糊關系,是采用模糊聚類法的第一步,是大數據分布規(guī)律的結構優(yōu)化設計的基礎。在這一過程中,需將屬性類似的系數構建成n階的迷糊矩陣,即相似系數矩陣。根據矩陣確定其在待處理數據X上的模糊關系。其中兩個模糊向量間的接近程度稱之為貼近度,而相似系數的計算和描述則需利用貼近度法,例如將X中的元素Xi和Xj看作是其各自特征的模糊向量,用貼近度對相似系數rij進行計算,則rij的表達式為:
rij=1-c(dp(Xi,Xj))α (1)
(1)式中:c,α指的是描述常數;p指的是描述不同距離的代碼系數,對論域X={x1,x2,…,x5}進行規(guī)格化處理,此時,取c值為0.1,計算相似系數,可獲取模糊相似矩陣,如式(2):
(2)
結合式(1)、式(2),在獲得模糊五階相似矩陣后,需對其進行劃分,才能進行下一步的大數據分布規(guī)律結構優(yōu)化設計。
3.2 大數據分布規(guī)律結構優(yōu)化設計
在進行大數據分布規(guī)律結構優(yōu)化設計前,針對類和類間的距離,需運用最短距離法進行計算,例如用dij(i,j=1,2,…,n)描述樣本i與j之間的距離,則有:
(3)
若用G1,G2,…來描述類,則第k類的Gk和第r類的Gr之間的最短距離為:
Dkr=min{dij:i∈Gk,j∈Gr} (4)
利用最短距離法對云計算環(huán)境下大數據分布規(guī)律結構進行優(yōu)化設計,可有效分析辨別出需要調整和轉移的數據,使得云計算環(huán)境下的大數據分布在一個不斷調整的動態(tài)過程里,隨時保持數據的最理想狀態(tài)。
3.3 仿真實驗
為了驗證上述優(yōu)化設計的有效性,現通過仿真實驗,對模糊聚類方法、最小二乘法進行對比分析:兩種方法分別進行10次實驗,取其平均訪問代價作為結果。在對兩種方法進行評價的過程中,將相對訪問成本作為衡量的標準。得出結果如下:
(1)隨著存儲容量的增加,比較采模糊聚類方法和最小二乘法進行大數據分布規(guī)律結構優(yōu)化設計后的相對訪問成本,隨著存儲容量的逐漸升高,模糊聚類方法的相對成本低于最小二乘法,當總預算從全部候選費用的10%增長至20%時,模糊聚類方法和最小二乘法的相對成本均在一定程度上有所增加,但模糊聚類方法的增加幅度低于最小二乘法,說明模糊聚類方法的性能優(yōu)于最小二乘法。
(2)在各容量一定的情況下,云計算環(huán)境下預算費用逐漸增加時,比較模糊聚類方法和最小二乘方法相對成本的變化趨勢,模糊聚類方法的性能明顯優(yōu)于最小二乘方法,在各容量或總預算較低時,模糊聚類方法的相對成本均低于最小二乘方法,當容量大小從50%到70%時,模糊聚類方法的相對成本基本沒有發(fā)生改變,說明模糊聚類方法基本不受容量的影響。因此,通過仿真實驗驗證了模糊聚類方法的有效性。
4 結語
綜上所述,在云計算概念提出以后,各大企業(yè)緊跟時代步伐,通過互聯(lián)網采用多項云計算服務。因此,越來越多的學者對云計算環(huán)境下大數據分布規(guī)律的結構優(yōu)化設計進行研究,本文提出了利用模糊聚類法對云計算環(huán)境下大數據分布規(guī)律進行優(yōu)化設計,并經仿真實驗分析確定了其有效性。
參考文獻
[1]朱亞東,高翠芳.基于PSO的云計算環(huán)境中大數據優(yōu)化聚類算法[J].計算機技術與發(fā)展,2016,26(9):178-182.
[2]陳志華,劉曉勇.云計算下大數據非結構的穩(wěn)定性檢索方法[J].現代電子技術,2016,39(6):58-61.
[3]姜明月.云計算平臺下的大數據分流系統(tǒng)的設計與優(yōu)化[J].現代電子技術,2016,39(2):28-32.
篇6
整合式創(chuàng)新
劉保華:每個人對云計算都有自己的理解。有一種觀點認為,云計算本身沒有技術上的創(chuàng)新,因為云計算中用到的許多技術,像集群、網格、虛擬化等很早以前就出現了。您對此有何看法?
周松年:我覺得這種對云計算的認識是只見樹木不見森林。云計算本身就是一項偉大的發(fā)明,但是這項發(fā)明并不是零部件產品的發(fā)明,也不是原始技術的發(fā)明,而是一種應用模式和集成模式的發(fā)明。技術發(fā)展到一定階段,最重要的創(chuàng)新不是零部件產品的創(chuàng)新,而是集成模式的創(chuàng)新,就是將A、B、C合在一起,那么生產出來的就是全新的ABC,而不是A或B或C了。
很明顯,云計算的應用模式與原來的IT使用方式是不一樣的。云計算是把已有的零部件集成在一起,用一種新的方式提供給用戶。Platform Computing從事集群和網格技術的開發(fā)和應用已經有很多年。網格也是為用戶提供一種服務,用戶使用多少資源就支付多少費用。從這一點上看,網格與云計算是一脈相承的。
從本質上講,云計算是一個新事物。但是,任何新產品、新應用都不是全新的,而是在原來的技術和應用的基礎上發(fā)展而來的,再融合一些新技術,然后進行集成式的創(chuàng)新。
所有現有的應用都可以運行在云計算架構之上,而不需要進行改變。此外,用戶還可以在云計算架構之上發(fā)明新的應用,比如Hadoop就是一個全新的應用。對于云計算架構來說,在硬件資源層和應用層之間需要一個中間件。Platform Computing做中間件已經有18年的歷史。云中間件現在是Platform Computing的主打產品。
劉保華:超級計算機與云計算之間是什么樣的關系?
周松年:超級計算機與云計算之間最基本的聯(lián)系就是應用。云計算的本質是提供不同的應用服務,比如基于高性能計算架構的云就是高性能云。
云計算的本質特征有兩個:第一,在資源層和應用層之間有一個管理系統(tǒng),負責資源的調度和管理;第二,從運作模式上看,供與求是分開的。對于云計算的認知,人們往往會陷入這樣的誤區(qū):一個是看什么都是云,另一個是看什么都不是云。計算機技術已經發(fā)展了五六十年,分布式計算早在上個世紀80年代就已經興起。如果從純粹的技術創(chuàng)新角度看,云計算似乎沒有什么創(chuàng)新。但是從應用創(chuàng)新、商業(yè)模式創(chuàng)新的角度看,云計算給市場、客戶帶來的改變是巨大的。我們應該從應用和業(yè)務的角度來認識云的價值。
劉保華:有專家說,現在沒有一款服務器是針對云計算架構設計的。您如何看待這一說法?
周松年:服務器本來就不應該專為云計算而設計。適用于云計算的服務器本身應該是標準化的、通用的和商品化的。用戶可以方便地從市場上采購到這樣的服務器,并把它們按需求組裝在一起就構成了一個云計算平臺。我至今還沒有聽到哪個客戶說過,在構建云計算平臺的過程中,通用的服務器不可用,非要采用專為云而設計的服務器的。如果用戶真有采用專用服務器的想法,那就錯了。專用服務器的價格會很高,這不符合云計算對節(jié)約成本的要求。在這里要再次強調一下,云計算不是零部件或某個設備(比如服務器)的創(chuàng)新,而是集成式的創(chuàng)新。這其實和蘋果公司的產品創(chuàng)新很像。
通用的硬件設備的可靠性相對較差,但是通過Platform Computing的管理軟件將這些設備管理起來,即使有某個設備宕機,也不會影響系統(tǒng)整體的運行效果。舉例來說,上海超算中心采用了Platform Computing的云中間件產品,使得其系統(tǒng)能夠安全穩(wěn)定地運行。
讓不可靠的硬件成為最可靠的平臺,這是如何實現的?這主要依靠管理和軟件。State Street Bank是Platform Computing的一個客戶。它為企業(yè)提供資產信息保存和資產信息分析服務。這種服務與Google for Analysis類似。State Street Bank可以自動替客戶收集相關信息,并存放在一個大的數據庫或文件庫中,客戶可以隨時查看、調用這些信息。State Street Bank對IT系統(tǒng)的要求是,反應時間為兩秒鐘,并且系統(tǒng)要具有100%的可靠性,確保用戶隨時都可以訪問海量信息。Platform Computing的云中間件和云管理平臺滿足了State Street Bank對IT系統(tǒng)的要求。
隨著云計算技術和應用的普及,兩個傳統(tǒng)的IT概念可能要消失了:一個是高可用性(HA),另一個是容災。舉例來說,云計算系統(tǒng)是分布式的,當系統(tǒng)中的某臺機器宕機,其上的應用會迅速自動轉移到另外一臺機器上。從這個角度說,傳統(tǒng)的高可用性的概念就不復存在了。
貫穿底層架構與上層應用
劉保華:您覺得云計算有哪些主要的技術特征?
周松年:云計算最重要的是結構和設計。就像一幢樓的基礎結構決定了樓的高度、樓的功能一樣,云計算的系統(tǒng)結構決定了它的特征。從主機系統(tǒng)到網絡系統(tǒng)再到今天的云系統(tǒng)結構,IT系統(tǒng)結構經歷了一個螺旋式上升的發(fā)展過程。
云系統(tǒng)結構就是把標準化的零部件全部集中在一起,形成一個大機,稱為云機。云機就像是一臺主機,可以承載各種不同的應用,并且讓用戶分享。這臺主機既可以供一個企業(yè)內部的不同部門使用,也可以作為一個公用設施,讓企業(yè)外部的更多用戶使用,還可以將內部使用和外部使用這兩種模式結合一起。這就是人們常說的私有云、公共云、混合云的概念。
基于上述技術特征,云計算系統(tǒng)可以提供無盡的容量、各種資源以及服務。因此,云計算一定是基于異構平臺的。云就是一臺活著的計算機,而且永遠不死,永遠都在變化,就像人的皮膚細胞,每天都在進行新陳代謝。異構是云計算的一個基本特征。
由于云計算系統(tǒng)結構的需要,一個新的軟件層出現了,即云中間件。原來,每臺計算機都是各自為政,包括硬件、操作系統(tǒng)、應用,有的可能還有中間件。但是現在不同了,在云計算環(huán)境中,服務器不再是一立的設備,而是一個零部件。在零部件層與應用層之間需要一個云中間件來管理和調配這些零部件資源。
在云計算環(huán)境中,操作系統(tǒng)的作用也改變了。用戶不必直接與Windows、Linux這樣的傳統(tǒng)操作系統(tǒng)打交道。云管理軟件會根據用戶的需求,將工作負載自動分配到適合的機器上,在得到最終的計算結果后再反饋給用戶。云管理軟件這一層其實可以分成兩個部分,向下與基礎架構打交道的是云管理平臺,向上與應用對接的是云中間件。云管理平臺可與多個不同的云中間件連接。不同的云中間件可以支持不同的云應用。
劉保華:業(yè)界有這樣一種看法,云計算要經歷從私有云到公共云再到混合云的發(fā)展過程。云計算的大規(guī)模應用還需要時間,但是現在確實有一部分應用已經逐漸轉移到公共云上。您對此有何看法?
周松年:最開始的很多云應用都是公共云。從全球范圍來看,公共云一直處在不斷發(fā)展之中。State Street Bank提供的也是公共云服務。當公共云發(fā)展到一定程度,很多企業(yè)可能會想,不能總去飯店(好比公共云)吃飯,還是擁有自己的廚房(好比私有云)比較好。這樣一來,企業(yè)就會慢慢轉到私有云上。究竟采用哪種云計算模式,還要看應用的需求,有的應用只適合放在公共云上,有的應用則適合放在私有云上,還有的應用最好放在混合云上。
劉保華:雖然云計算的應用模式有很多種,但是對于用戶來說,它們并不關心應用具體運行在公共云還是私有云上。因此,實現不同云之間的無縫連接和交互是非常重要的。Platform Computing的云中間件和云管理平臺,可以實現跨云的交付嗎?
周松年:Platform Computing的產品可以實現跨云的交付。目前,有幾個用戶正在使用Platform Computing的云中間件和云管理平臺實現跨云的交付。當前,云計算還處于應用的初級階段,采用這種跨云交付的用戶還比較少,但是從技術的角度上看,實現跨云的交付并沒有障礙,只要提供一個通用的接口即可。
應用不同,所需的中間件也不相同。Platform Computing的云中間件是處于系統(tǒng)底層的,并與應用流程相關。這個流程是通用的,可以是財務流程,也可以是工業(yè)制造管理流程。Platform Computing的云中間件是通用的,可以支持任何應用,而不會與某個具體的應用綁定。將應用涉及到的一些通用功能都放在中間件中,實現服務平臺化,減輕應用開發(fā)者的工作量是Platform Computing要做的事。
在云計算方面,Platform Computing主要提供的是系統(tǒng)平臺和運作平臺,這兩個平臺是相輔相成的。Platform Computing的云中間件和云管理平臺都是通用的,不涉及具體的行業(yè)知識,主要是在系統(tǒng)的底層實現資源的調度。
有所為有所不為
劉保華:Platform Computing進入中國已經有很多年了,并且在中國擁有龐大的研發(fā)團隊和技術支持團隊。Platform Computing在中國市場上是如何給自己定位的?
周松年:在中國市場上,Platform Computing一定要實現轉型。第一,積極投身于中國市場,這并不代表Platform Computing一定要在中國銷售出更多的軟件許可證,而是要融入中國的云計算生態(tài)環(huán)境,成為大家的好伙伴,讓其他公司都愿意與Platform Computing合作;第二,集中精力實現云落地,選擇一些行業(yè)作為突破口,比如高性能計算、電信等,并占有一定的市場份額;第三,將公司總部的規(guī)范和經驗都應用到中國市場上,樹立更多的樣板客戶,與合作伙伴共同推動中國云計算市場的發(fā)展;第四,不斷提升中國團隊的管理和執(zhí)行能力。
劉保華:Platform Computing要融入中國的云計算市場,將采取哪些策略?
周松年:Platform Computing將采取以我為主的策略,尋找更適合自己的合作伙伴。合作伙伴的規(guī)模不一定很大,但一定要在業(yè)務上與Platform Computing有契合點,雙方能保持十分緊密的合作關系。具體來說,我們會采用“燈塔戰(zhàn)略”,就是先做有影響力的大客戶,然后以此為樣板,輻射相關行業(yè)。盡管有困難,Platform Computing還是要堅持自己作業(yè)務的龍頭,然后再去拓展合作伙伴關系。
記者手記
二次創(chuàng)業(yè)
Platform Computing的創(chuàng)始人周松年是地地道道的北京人。雖然在加拿大生活了30多年,他仍然操著一口流利的北京腔。
在北美市場,創(chuàng)立于1992年的Platform Computing雖然在計算機集群、網格計算甚至云計算方面都享有盛譽,但在中國市場上,Platform Computing還不為大眾所知。近兩年,周松年回中國的次數更多了。他對中國市場,尤其是中國的云計算市場充滿期待。
篇7
關鍵詞:云計算 網絡安全 防御技術
中圖分類號:TG519.1 文獻標識碼:A 文章編號:1007-9416(2014)05-0201-01
1 引言
隨著網絡技術的飛速發(fā)展,Internet已經滲透到生活的各個方面,繼移動通信3G、4G之后,云計算也成為網絡技術領域的熱門話題和市場的熱捧目標。云計算(cloud computing),分布式計算技術的一種,其最基本的概念,是透過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序,再交由多部服務器所組成的龐大系統(tǒng)經搜尋、計算分析之后將處理結果回傳給用戶。云計算是以公開的標準和服務為基礎,以互聯(lián)網為中心,提供安全、快速、便捷的數據存儲和網絡計算服務,讓互聯(lián)網這片"云"成為每一個網民的數據中心和計算中心。
2 云計算面臨的安全問題
談到云計算,安全性問題無法回避,實際上這也是目前云計算應用普及過程中所遇到的最大難題。雖然目前云計算服務提供商都在竭力淡化或避免這一話題,但作為云計算的終端用戶,這恰恰是他們關注的一大重點。目前,云計算的商業(yè)價值被得到證實;而與此同時,這些“云”也開始成為黑客或各種惡意組織攻擊的目標。綜合起來看,隨著云計算的發(fā)展和成功,由此帶來的云計算安全問題也越來越令人擔憂,具體表現在以下幾個方面。
2.1 數據存儲安全問題
云計算的模式決定了用戶的大量數據要存儲在云端,這樣就能給他們減少IT設備和資源的投資,同時也會帶來各種便利。但是越多的數據存于“云”中,對云的依賴性越大,一旦云端數據發(fā)生損壞或者丟失,這給用戶的造成的損失將是非常巨大的。
2.2 數據傳輸安全問題
一般情況下,企業(yè)IDC保存有大量的企業(yè)私密數據,這些數據往往代表了企業(yè)的核心競爭力,如企業(yè)的客戶信息、財務信息、關鍵業(yè)務流程等等。在云計算模式下,企業(yè)將數據通過網絡傳遞到云計算服務商進行處理時,面臨著幾個方面的問題:一是如何確保企業(yè)的數據在網絡傳輸過程中嚴格加密不被竊??;二是如何保證云計算服務商在得到數據時不將企業(yè)絕密數據泄露出去;三是在云計算服務商處存儲時,如何保證訪問用戶經過嚴格的權限認證并且是合法的數據訪問,并保證企業(yè)在任何時候都可以安全訪問到自身的數據
2.3 數據審計安全問題
在云計算環(huán)境下,云計算提供商如何在確保不對其他企業(yè)的數據計算帶來風險和干擾的同時,又提供必要的數據支持,以便協(xié)助第三方機構對數據的產生進行安全性和準確性的審計,實現企業(yè)的合規(guī)性要求;另外,企業(yè)對云計算服務商的可持續(xù)性發(fā)展進行認證的過程中,如何確保云計算服務商既能提供有效的數據,又不損害其他已有客戶的利益,使得企業(yè)能夠選擇一家可以長期存在的、有技術實力的云計算服務商進行業(yè)務交付,也是安全方面的潛在風險。
3 云計算的網絡安全防御技術
3.1 數據加密
加密技術是網絡安全中一個非常重要的安全技術,數據加密是利用技術手段把要傳輸的重要的數據變?yōu)槊芪模用埽┻M行傳送,到達接收端后再用相同或不同的手段對密文進行還原(解密)。加密既針對存儲在云服務提供商的服務器上的數據,還針對傳送給最終用戶的數據。加密技術在云計算中的應用,對數據傳輸甚至數據存儲等安全問題的解決都能起到非常重要的作用。
3.2 安全存儲
在實際應用中,網絡中數據的存儲是非常重要的環(huán)節(jié),其中包括數據的存儲位置、數據的相互隔離、數據的災難恢復等。在云計算模式下,數據存儲資源處于共享的環(huán)境下,即使有數據加密的技術的加入,云計算服務提供商是否能夠保證數據之間的有效隔離也是一個非常重要的問題;另外,還需要做好備份措施,以防止出現各種網絡和系統(tǒng)故障和宕機時,用戶的數據被破壞,造成重大損失。
3.3 安全認證
安全認證可通過單點登錄認證、強制用戶認證、、協(xié)同認證、資源認證、不同安全域之間的認證或者不同認證方式相結合的方式,其中很多用戶是通過結合強制用戶認證和單點用戶認證的方式來允許用戶進入云應用的認證,用戶只需登陸一次進入整個web應用,從而可以有效的避免用戶在使用自己的服務時將密碼泄漏給第三方。
3.4 以集中的安全服務中心應對無邊界的安全防護
和傳統(tǒng)的安全建設模型強調邊界防護不同,存儲計算等資源的高度整合,使得用戶在申請云計算服務時,只能實現基于邏輯的劃分隔離.不存在物理上的安全邊界。在這種情況下,已經不可能基于用戶或用戶類型進行流量的匯聚并部署獨立的安全系統(tǒng)。因此,安全服務部署應該從原來的基于各子系統(tǒng)的安全防護,轉移到基于整個云計算網絡的安全防護。建設集中的安全服務中心,以適應這種邏輯隔離的物理模型。
4 結語
本文主要在分析云計算的特征和面臨的安全威脅的基礎上,對云計算應用安全進行分析與研究,并從云計算服務用戶的角度提出云計算應用網絡安全防御策略與手段。隨著對網絡安全隔離與信息交換技術的深入研究,以及與防火墻、入侵檢測系統(tǒng)和病毒檢測等網絡安全技術的有機結合,提高數據的處理速率并根據實際應用修改完善安全功能,必定能為云計算模式下的網絡系統(tǒng)提供更可靠的安全屏障。
參考文獻
[1]IBM.虛擬化與云計算小組虛擬化與云計算[M].北京:電子工業(yè)出版社,2009.
[2]葉偉等.互聯(lián)網時代的軟件革命-SaaS架構設計[M].北京:電子工業(yè)出版社,2009.
[3]谷歌在線文檔共享信息凸顯云計算安全問題[J].信息系統(tǒng)工程,2009.10.
[3]陳濤.云計算理論與技術研究[J].重慶交通大學學報,2009.8.
篇8
[關鍵詞]大數據;企業(yè);網絡;管理
doi:10.3969/j.issn.1673 - 0194.2015.20.035
[中圖分類號]TP311.52 [文獻標識碼]A [文章編號]1673-0194(2015)20-0046-01
當前信息環(huán)境下,企業(yè)對于數據的依賴性呈現顯著上升的趨勢。并且在大數據相關技術不斷成熟的領域中,數據所帶給企業(yè)的,已經遠不止工作效率的提升,而更多是圍繞數據本身所展開的更為深層價值的發(fā)現和挖掘,并通過數據價值的深入應用,實現對企業(yè)決策的良好支持。在這樣的需求背景下,數據的重要程度得到了前所未有的肯定,對應的數據的收集也因此得到進一步落實。這些都直接帶動了網絡環(huán)境中數據量的激增,而如何在海量數據的基礎之上進一步實現對于大數據的有效利用和解讀,成為當前企業(yè)網絡管理工作的重點。
1 當前企業(yè)環(huán)境中的數據以及處理工作特征
對于目前的企業(yè)環(huán)境而言,為了能實現對于企業(yè)工作狀態(tài)以及對應環(huán)境的全面反映,切實實現對于整個系統(tǒng)的深入有效分析,通常都會深入到企業(yè)工作過程及工作環(huán)境中展開數據的采集。這直接導致當前企業(yè)環(huán)境中的數據呈現出3個突出特征,即海量性、異構性和非確定性。傳統(tǒng)工作環(huán)境下,企業(yè)的數據多相對比較常規(guī),數據量也趨于穩(wěn)定,但是當前,尤其是對于油田企業(yè)工業(yè)環(huán)境而言,為了確保工業(yè)過程的整體安全穩(wěn)定,各個工作環(huán)節(jié)都開始加強數據建設,包括視頻傳輸以及數字化油田儀表監(jiān)控數據等在內的諸多數據,構成了當前油田企業(yè)環(huán)境中的數據體系。這樣的數據環(huán)境從數據總量上看,表現出明顯的激增,并且更多格式的數據涌入,都帶給企業(yè)數據環(huán)境以新的特點。同時,數據的實時性也成為新的突出特征,這種特征與數據本身的不確定性、語義匹配的不確定性等共同構成了數據環(huán)境的非確定特征,并影響著當前企業(yè)在面向數據展開深入處理的整個工作方式。
傳統(tǒng)的數據處理多圍繞數據庫展開,以數據庫作為整個數據處理系統(tǒng)展開工作的核心環(huán)節(jié),其存儲和處理方式包括關系型數據庫處理方法、數據倉庫處理方法以及數據倉庫和大內存結合的方法三種。其中關系型數據庫處理方法是將工作過程中采集和產生的數據存放在數據庫環(huán)境中,并且以SQL語句作為工具展開分析和計算。此種工作方式適用于結構化數據,曾經成為數據處理工作的重要依據和形式,但隨著當前數據格式種類的增加,需要將非結構化數據在后臺進行轉化,降低了整體的工作效率,因此不再適用于海量數據分析環(huán)境。而對于數據倉庫處理方法而言,則是面向數據展開抽取處理,而后離線對數據進行匯總并保存在數據庫中。此種工作方式的效率同樣無法滿足海量數據之下對于數據處理效率的要求。而對于數據倉庫與大容量內存結合的工作方式而言,則是利用數據倉庫來實現對于海量數據的預加工,而后展開深入處理。此種工作方式雖然能在海量數據的環(huán)境下實現初步支持,但是內容容量成為此種數據處理方式的瓶頸問題,因此難以得到深入發(fā)展。
2 云環(huán)境下的數據處理技術
在海量數據環(huán)境中,云計算方式成為未來發(fā)展的突出表現,并且分布式的數據處理實現方式,本身也適應了當前海量數據的突出特征。以Hadoop開源技術為例,其能夠在成本、二次開發(fā)靈活特征以及廣泛支持等方面有良好表現。云環(huán)境之下,一個典型的數據處理體系包括五個層面,自下而上分別是數據源層、計算層、存儲層、查詢層以及應用層。
從職能的角度看,最基層的數據源層負責實現數據的采集,在油田工業(yè)環(huán)境中,主要包括諸多信息采集終端,例如終端攝像頭以及油田工業(yè)環(huán)境中的開采以及加工儀表等,同時也包括為工作人員提供的數據讀取和錄入接口。這些數據源層端口負責實現將油田工業(yè)環(huán)境中方方面面的描述數據納入到數據環(huán)境中來。而計算層,在云環(huán)境中,位于存儲層之下,主要是考慮到分布式數據處理的實現。具體而言,這一個層面的職能包括數據的抽取、裝載和加工,主要用于對實時數據有所及時反應。而存儲層多位于數據中心,通過局域網與分布式計算層保持聯(lián)系,在油田工業(yè)環(huán)境中,由于數據節(jié)點以及數據終端相對分散,因此基于公共網絡的虛擬專用網技術也會出現在這個環(huán)節(jié)中。存儲層負責將大量數據匯總和整理,為分布數據節(jié)點騰出空間。在此之上的查詢層,同樣擔負有數據處理的職能。但是相對于計算層而言,查詢層的數據處理職能更多是對數據的綜合性深入挖掘,采用的技術也包括人工智能等在內的更為復雜的處理技術。最后,應用層主要負責面向系統(tǒng)用戶展開對話,包括多個應用組件,諸如全業(yè)務運營系統(tǒng)以及查詢系統(tǒng)等,都會涵蓋在該層面中。
在這樣的系統(tǒng)中,數據的采集和Hadoop集群數據處理,以及數據倉庫三個部分稱為職能重點。數據采集環(huán)節(jié)而言,除了需要完成相對常規(guī)的數據采集職能以外,還需要實現從源數據到Hadoop集群數據的格式轉化,形成Hadoop技術能夠直接處理的數據文件。這個職能多被放置于分布節(jié)點上,靠近數據采集終端。而對于Hadoop集群數據處理而言,則需要在對數據文件展開Map-Reduce計算的基礎上,將處理結果存入數據倉庫,且添加對應的標簽,方便應用層程序使用。而數據倉庫多采用Oracle 關系型數據庫展開設計和建設,保持良好兼容特征,同時對工作人員友好。
3 結 語
在當前企業(yè)環(huán)境中,云計算已經成為數據處理工作突出的發(fā)展趨勢,其本身的展開方式,在面對海量數據處理需求的時候呈現出良好適應特征。尤其是在面對油田工業(yè)環(huán)境這樣的大型綜合數據體系時,能夠在實時性等方面表現良好。針對此種狀況,應當切實保持該技術領域的警惕,積極引入先進算法,推動油田工業(yè)深入發(fā)展。
主要參考文獻
篇9
作為賽門鐵克的領路人,Enrique Salem為何做出這些收購決策;他為賽門鐵克規(guī)劃了一個什么樣的未來?為此,本報總編輯孫定與賽門鐵克CEO Enrique Salem進行了深入的交流。
安全是首要關注點
云計算將成為新形勢下IT產業(yè)發(fā)展中最核心的趨勢,而云環(huán)境則需要新的安全方法,安全是首要的關注點。
孫定:在您看來,在現在的新形勢下,IT產業(yè)有哪些值得關注的趨勢?
Enrique Salem:進入新世紀以后,幾大主要的IT趨勢日益凸顯出來。在未來的10年中,最令人振奮的技術發(fā)展要屬云計算了,它將給企業(yè)與最終用戶帶來巨大的益處――基于云的服務可以幫助企業(yè)提高應對不斷變化的業(yè)務需求的能力,以及按需為最終用戶提供計算、解決方案與存儲的能力。
第二大趨勢是電子設備的使用日益增多。很多人認為,云計算與電子設備增多是兩種完全不同的趨勢,但在我看來,它們密不可分。展望未來,更多的計算能力及信息均在向“云”邁進。云計算可以為這些移動設備帶來更多的應用方案及信息,使其功能變得更加強大。
第三大趨勢是社交網站的流行。社交網站具有真正的商業(yè)價值,它讓我們能夠更有效地分享信息,并相互協(xié)同起來。但當我們把更多的信息放在網絡上或者“云”中時,我們必須進行風險管理,不管是針對隱私還是數據。
除此之外,值得關注的趨勢還包括虛擬化、無線設備的普及與人們生活和工作的日益融合等。這些趨勢背后存在著千絲萬縷的聯(lián)系,不管是云計算、電子設備還是社交網絡,它們都是快速分享信息的方式。
孫定:從安全的角度來說,這些IT新趨勢對安全行業(yè)會帶來哪些影響?
賽門鐵克CEO Enrique Salem
Enrique Salem:以上的幾個趨勢中,最核心的是IT向云計算方向發(fā)展,而云環(huán)境則需要新的安全方法,我認為,安全是首要的關注點。
首先,從基礎架構角度來看,安全需要貼近應用與數據。在共享服務架構中,如果只是簡單地保護云周邊、數據中心,甚至是單獨的服務器或存儲陣列,安全性是遠遠不夠的。
其次,當今IT界最大的難題之一便是保護與管理非結構化數據。內容感知技術(Data Insight)可以幫助企業(yè)更好地實施數據治理策略,清楚地知道有哪些數據存在、誰擁有這些信息以及它如何被使用是至關重要的。如果你不知道信息屬于誰或它是如何被使用的,那么,將很難建立起一個合適的治理策略。
另外,確保云安全還需要安全和法規(guī)遵從的技術,除了口頭保證或書面的服務等級協(xié)議(SLA),服務消費者還需要實時了解云供應商的安全狀況,使它們相信自己的信息切實受到保護和管理。
最后,隨著云計算的不斷演進,企業(yè)可能會選擇最適合它們的模式。因此,企業(yè)內部的安全工具與基于云服務之間的互通性十分關鍵,這樣它們可以協(xié)同作用,從而最大限度地發(fā)揮二者的優(yōu)勢。
作為從事數據安全、備份和存儲的公司,賽門鐵克要適應新的形勢,采用新的技術來保證信息安全。也就是說,無論是信息溝通還是電子網上交易,我們都要提供安全解決方案。這是我們的責任,也是公司生存的基礎。
安全防護
要變被動為主動
基于信譽的安全技術,通過收集分析匿名的軟件使用情況樣本,自動識別所有的新興的網絡威脅,安全防護變被動防御為主動出擊。
孫定:您提到現在需要新的安全技術和安全解決辦法,那么,新的解決方案究竟是什么樣的?
Enrique Salem:除了前面提到的數據感知技術外,另一個新技術就是我們去年年底推出的基于信譽的安全技術,我們已將其整合到諾頓2010全線產品中,包括諾頓網絡安全特警2010以及諾頓防病毒2010。
我們知道,傳統(tǒng)的病毒查殺方式是安全廠商去收集病毒樣本或者用戶主動報告樣本,安全廠商對病毒進行分析,提取病毒特征,放入病毒庫并通知終端用戶更新。這種方式的最大不足在于,它是一種被動的方式。也就是說,無法查殺沒有進入病毒特征庫的病毒。而基于信譽的技術的基本原理是利用了我們龐大的用戶資源,通過收集分析匿名的軟件使用情況樣本,以自動識別所有的新興的網絡威脅,包括間諜軟件、病毒與蠕蟲。這些數據會持續(xù)不斷地更新到信譽引擎,以此確定每一軟件文檔的安全信譽等級,而不需要對該文檔進行掃描。
孫定:這種技術與傳統(tǒng)的安全技術有什么不同,又有什么優(yōu)點?
Enrique Salem:這項技術的一個好處是減少對傳統(tǒng)病毒特征技術的依賴。黑客通常會通過不斷更改惡意軟件代碼,以試圖逃過傳統(tǒng)的基于特征的監(jiān)測。而基于信譽的技術能夠有效遏制黑客這一慣用伎倆。事實上,利用這一技術,黑客的變化手段越多,證明該文檔就越可疑;另一個好處是可以提供所有關于可執(zhí)行文檔的信息。按照傳統(tǒng)的做法,安全公司主要針對用戶舉報或者與其他安全研究機構交換獲得的惡意軟件信息,采取防護措施。而基于信譽的安全技術恰恰相反,通過我們遍布全球的客戶資源,能夠擁有任何一個可執(zhí)行文檔的信譽評級資料。
我們建立這種新的以信譽為基礎的安全模式后的第一天,就探測到50萬種以前從來沒有發(fā)現的病毒和新的威脅。我們還發(fā)現平均每兩臺計算機中,就有一臺受病毒威脅。因此我們認為用這種安全方式是非常正確的,而且我們也非常高興地看到,現在這種方式得到了很好的應用。
孫定:這種以信譽為基礎的安全方案在業(yè)內處于什么樣的位置?除了賽門鐵克以外,還有別的廠商在做同樣的事嗎?
Enrique Salem:實際上,賽門鐵克是第一家采用這種針對應用、以信譽為基礎的安全模式的公司。以前我們采用過的是一種基于IP地址的方式,現在還有很多企業(yè)在采用。基于IP地址的方式最大不足是,總是處于被動的防御狀態(tài),而以信譽為基礎的方式則是主動的。
看好SaaS安全服務
今后5年,賽門鐵克的收入中有15%會來自于SaaS(軟件即服務)業(yè)務,云計算蘊藏的商機是很大的。
孫定:云計算是當前的熱門話題,賽門鐵克今年也在做云計算的推廣活動。請問,賽門鐵克如何看待云計算,如何定位自己在云計算產業(yè)鏈中的角色?
篇10
關鍵詞:云存儲;存儲服務;存儲容器;REST;SOA
中圖分類號:TP391文獻標識碼:A文章編號:1006-4311(2012)05-0164-02
0引言
云計算模式滿足各類應用的需要,呈現出不同的應用場景,按需提供(On-demand)的個性化服務,將計算、網絡、存儲和資源管理能力多種技術融為一體,從此改變了以往IT工作和管理模式,存儲服務也因此備受關注。由于存儲環(huán)境的復雜導致了存儲服務生成技術的存在和繁榮。存儲技術的發(fā)展經歷多個不同的階級,目前儲存技術正在向云存儲服務階段的發(fā)展。
1研究背景
存儲服務技術的發(fā)展,在2009年,Open Gird Forum和SNIA(Storage Networking Industry Association)共同提出了Cloud Storage for Cloud Computing,建議聯(lián)合OCCI (The Open Cloud Computing Interface)和CDMI(Cloud Data Management Interface)兩項標準,解決云計算模式了的存儲服務問題。Micorsoft在其云計算平臺Azure中了Windows Azure Storage Services REST API Reference,其中提供的存儲服務包括Blob Service、Queue Service和Table Service等。而在Google的主從云架構Google GFS(Google File System)/BigTable/Chubby中,針對應用的少寫多讀問題,構建了專用的存儲服務,以Bigtable API的形式,為Google Analytics、Google Earth以及Personalized Search等應用提供調用接口,在Amazon去中心化云架構Dynamo/Cassandra中,為了保證購物車等“寫時間”敏感的服務效率,專門設計了基于零跳分布式哈希表技術(Zero-Hop DHT(Distributed Hash Table)的存儲服務、匯聚服務等,實現應用的always writeable目標。
2支持存儲服務構建方法的總體框架設計
當前,Microsoft的云存儲服務雖然比較成熟,但針對按需要提供存儲服務方法這一研究內容,尚未達成一致。目前僅有有限的API服務調用,SNIA的容器并未給出具體的容器構造方法,Google和Amazon所構建的存儲子系統(tǒng)具有很強的應用指向性,且其具體服務的實現方法局限于Windows平臺,不易推而廣之。為此,本文提出了一種適用于云計算體系架構下的通用存儲服務構建方法,將REST架構方法引入按需存儲服務設計當中,主要是借鑒SOA/ROA思想,結合云存儲體系框架和接口規(guī)范,研究存儲服務動態(tài)生成、研究存儲服務動態(tài)生成、演進適配機制等問題,其中還包括原子存儲服務劃分、基于DHT的Key-value對象調度策略等等。這項技術綜合存儲應用的靜態(tài)、動態(tài)需求、存儲子系統(tǒng)的應用能力,所設計的支持存儲服務構建方法的系統(tǒng)總體框架如圖1所示。目的是達成按需提供存儲服務能力的目標。
圖1中的最上層,用于存儲服務和搜索應用需要,并對外提供API,這些存儲服務報括傳統(tǒng)的塊服務、支持POSIX的文件服務、對象服務、結構化數據庫類服務以及各種*aaS(Platform \\Infrastructure \\Software as a Service等各類云應用,*代表星),以URI9(Univeral Resource Identifier)方法對外提供唯一性資源描述,同時可提供CRUD(Create\Read\Update\ Delete)操作,對存儲服務的生命周期實施管理,另外,提供感知應用特征的參數收集通道,采用類似HTTP請求方法HEAD、OPTION的方法采集,為應用需求在定制存儲服務時傳遞元數數據信息,以綁定存儲服務,這些元數據包括:期望獲得的存儲類型、容量、災備需求,QoS(Quality of Service)等。
3主要研究內容和技術
用服務演講集成容器的軟硬件設計與實現方式,結合底層物理存儲子系統(tǒng)的構成特征,在云計算環(huán)境下,通過應用需求驅動,提供適應云計算架構的按需存儲服務,主要研究內容如下:
3.1 存儲服務管理策略實現按需服務容器集成,管理新進、退出資源和應用需求調整。研究冰制訂支持CRDU(Create、Read、Update、Delete)方式的存儲服務生命周期管理策略。
3.2 服務粒度分割與保障機制為滿足數據均勻存儲和快速定位的要求,研究并設計支持SQL查詢的DHT算法,封裝各類物理存儲子系統(tǒng),設計原子服務資源對象(包括數據、存儲和信息原子服務等)及分切算法。
3.3 服務動態(tài)生成與演進設計基于元數據(來自應用)+原子服務(感知自存儲子系統(tǒng))的服務容器綁定方法,研究雙向驅動的存儲服務容器集成算法,包括“存儲子系統(tǒng)性能參數”和“應用需求元數據”。
3.4 面向應用特征感知的服務聚類設計實現存儲服務器與存儲應用元數據之間的XML編碼方式和消息傳遞方法,參考REST架構,擴展HTTP協(xié)議的請求方法,將感知應用特征的存儲服務聚類成服務、文件服務、對象服務、結構化數據服務、流式數據服務和Star-aaS( * as a service 各類可能出現的動態(tài)存儲服務方式)運用于此。同時提供服務注冊和機制。
4小結
本文提出了一種基于REST架構搜索集應用數據,構建集成存儲服務容器的按需存儲服務構建方法。它運用“原子數據信息服務”感知存儲子系統(tǒng)資源,將SOA理念應用于儲存儲架構設計,該方法需要解決的關鍵科學問題是:“雙向驅動的集成存儲器服務容器設計與實現方法,基于RESTful Services的存儲應用數據采集與編碼方法以及原子信息資源服務與存儲子系統(tǒng)的對象映射策略等。
參考文獻:
[1]Wang Min, Li Jing, fan Lei, Xu Lu; a virtual resource management service model and its realization; computer science; in 2005 05 issue.
[2]Li Jin, Liu Xiaojie, Li Tao, Zhao Kui, Jiao Le. IP analysis; network storage technology; 2008’China information technology and application of Academic Forum ( 2008 two ).
[3]Alex Rodringez,RESTful Web services:The basics,2008.
[4]Fay Chang,Jeffrey Dean,el al.,Bigtable: A Distrbuted Storage System for Structured Data,In Proc. Of OSDI’06,205-218,2006.