在CGFT考試中大數(shù)據(jù)云計算的關(guān)鍵技術(shù)是什么呢?在CGFT考試中基礎(chǔ)知識很重要,我們一起看看!云計算的關(guān)鍵技術(shù)包括虛擬化、分布式存儲、分布式計算、多租戶等。
(1)虛擬化
虛擬化技術(shù)是云計算基礎(chǔ)架構(gòu)的基石,是指將一臺計算機虛擬為多臺邏輯計算機,在一臺計算機上同時運行多個邏輯計算機,每個邏輯計算機可運行不同的操作系統(tǒng),并且應(yīng)用程序都可以在相互獨立的空間內(nèi)運行而互不影響,從而顯著提高計算機的工作效率。
虛擬化的資源可以是硬件(如服務(wù)器、磁盤和網(wǎng)絡(luò)),也可以是軟件。以服務(wù)器虛擬化為例,它將服務(wù)器物理資源抽象成邏輯資源,讓一臺服務(wù)器變成幾臺甚至上百臺相互隔離的虛擬服務(wù)不再受限于物理上的界限,而是讓CPU、內(nèi)存、磁盤、I/O等硬件變成可以動態(tài)管理的“資源池”從而提高資源的利用率,簡化系統(tǒng)管理,實現(xiàn)服務(wù)器整合,讓IT對業(yè)務(wù)的變化更具適應(yīng)力。
(2)分布式存儲
面對數(shù)據(jù)爆炸的時代,集中式存儲已經(jīng)無法滿足海量數(shù)據(jù)的存儲需求,分布式存儲應(yīng)運而生GFS(Google File System)是谷歌公司推出的一款分布式文件系統(tǒng),可以滿足大型、分布式、對大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用的需求。GFS具有很好的硬件容錯性,可以把數(shù)據(jù)存儲到成百上千臺服務(wù)器上面,并在硬件出錯的情況下盡量*數(shù)據(jù)的完整性。GFS還支持GB或者TB級別超大文件的存儲,一個大文件會被分成許多塊,分散存儲在由數(shù)百臺機器組成的集群里。
HDFS(Hadoop Distributed File System)是對GFS的開源實現(xiàn),它采用了更加簡單的“一次寫入、多次讀取”文件模型,文件一旦創(chuàng)建、寫入并關(guān)閉了,之后就只能對它執(zhí)行讀取操作,而不能執(zhí)行任何修改操作;同時,HDFS是基于Java實現(xiàn)的,具有強大的跨平臺兼容性,只要是JDK支持的平臺都可以兼容。
(3)分布式計算
面對海量的數(shù)據(jù),傳統(tǒng)的單指令單數(shù)據(jù)流順序執(zhí)行的方式,已經(jīng)無法滿足快速數(shù)據(jù)處理的要求;同時,我們也不能寄希望于通過硬件性能的不斷提升來滿足這種需求,因為,由于晶體管電路已經(jīng)逐漸接近其物理上的性能*限,摩爾定律已經(jīng)開始慢慢失效,CPU處理能力再也不會每隔18個月翻一番。
MapReduce將復(fù)雜的、運行于大規(guī)模集群上的并行計算過程抽象為兩個函數(shù)——Map和Reduce并把一個大數(shù)據(jù)集切分成多個小的數(shù)據(jù)集,分布到不同的機器上進(jìn)行并行處理,*大提高了數(shù)據(jù)處理速度,可以有效滿足許多應(yīng)用對海量數(shù)據(jù)的批量處理需求。Hadoop開源實現(xiàn)了MapReduce編程框架,被廣泛應(yīng)用于分布式計算。
(4)多租戶
多租戶技術(shù)目的在于使大量用戶能夠共享同一堆棧的軟硬件資源,每個用戶按需使用資源,能夠?qū)浖?wù)進(jìn)行客戶化配置,而不影響其他用戶的使用。多租戶技術(shù)的核心包括數(shù)據(jù)隔離、客戶化配置、架構(gòu)擴展和性能定制。