亞馬遜EC2、S3

單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,*,亞馬遜云計算,AWS,（,Amazon Web Service,）,電子工業(yè)出版社 劉鵬主編,云計算,教材配套課件,6,概述,Amazon,的云從哪里來,Amazon,提供的云計算服務(wù),AWS,的應(yīng)用案例,AWS,的業(yè)務(wù)流程,AWS,的體系架構(gòu)及關(guān)鍵技術(shù),Amazon,的云從哪里來,?,一個簡單的想法,IaaS,：將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用,主要思想：虛擬,優(yōu)勢：動態(tài)申請，資源無限,Amazon,提供的云計算服務(wù),彈性計算云,EC2,簡單存儲服務(wù),S3,簡單數(shù)據(jù)庫服務(wù),Simple DB,簡單隊列服務(wù),SQS,彈性,MapReduce,服務(wù),內(nèi)容推送服務(wù),CloudFront,電子商務(wù)服務(wù),DevPay,靈活支付服務(wù),FPS,AWS,的應(yīng)用案例,SmugMug,為什么選擇,AWS,SmugMug,是一家在線照片存儲共享網(wǎng)站，擁有數(shù)億照片資源和幾十萬付費用戶。業(yè)務(wù)量的急劇增長導(dǎo)致該新興公司無法承受巨額的基礎(chǔ)設(shè)施開銷，,SmugMug,選擇了,Amazon,的,EC2,服務(wù)和,S3,服務(wù)。應(yīng)用,AWS,后，僅需,50,人即可完成如此大的業(yè)務(wù)量。,SmugMug,的基本架構(gòu),AWS,的業(yè)務(wù)流程,注冊賬戶,資源申請,創(chuàng)建虛擬節(jié)點,將虛擬節(jié)點映射到物理節(jié)點,分割算法,數(shù)據(jù)處理,數(shù)據(jù)同步,基礎(chǔ)存儲架構(gòu),Dynamo,Dynamo,在,Amazon,服務(wù)平臺中的地位,Dynamo,架構(gòu)的主要技術(shù),問題,采取的相關(guān)技術(shù),數(shù)據(jù)均衡分布,改進的一致性哈希算法，數(shù)據(jù)備份,數(shù)據(jù)沖突處理,向量時鐘（,vector clock,）,臨時故障處理,Hinted handoff,（數(shù)據(jù)回傳機制），參數(shù)（,W,R,N,）可調(diào)的弱,quorum,機制,永久故障后的恢復(fù),Merkle,哈希樹,成員資格以及錯誤檢測,基于,gossip,的成員資格協(xié)議和錯誤檢測,數(shù)據(jù)均衡分布的問題,一致性哈希算法,優(yōu)勢：,-,負載均衡,-,屏蔽節(jié)點處理能力差異,Dynamo,的數(shù)據(jù)沖突處理,最終一致性模型,向量時鐘,（,Vector Clock,）,Dynamo,的臨時故障處理機制,讀寫參數(shù),W,、,R,、,N,N,：系統(tǒng)中每條記錄的副本數(shù),W,：每次記錄成功寫操作需要寫入的副本數(shù),R,：每次記錄讀請求最少需要讀取的副本數(shù)。,滿足,R+WN,，用戶即可自行配置,R,和,W,優(yōu)勢：實現(xiàn)可用性與容錯性之間的平衡,Dynamo,的永久性故障恢復(fù),Merkle,哈希樹技術(shù),Dynamo,中,Merkle,哈希樹的葉子節(jié)點是存儲數(shù)據(jù)所對應(yīng)的哈希值，父節(jié)點是其所有子節(jié)點的哈希值,成員資格及錯誤檢測,基于,Gossip,協(xié)議的成員檢測機制,彈性計算云,EC2,EC2,是什么,EC2,的主要特性,EC2,基本架構(gòu)及主要概念,EC2,應(yīng)用實戰(zhàn),EC2,是什么,EC2,（,Elastic Compute Cloud,）,簡言之，,EC2,就是一部具有無限采集能力的虛擬計算機，用戶能夠用來執(zhí)行一些處理任務(wù)。,EC2,的場景描述,EC2,的主要特性,靈活性：可自行配置運行的實例類型、數(shù)量，還可以選擇實例運行的地理位置。可以根據(jù)用戶的需求隨時改變實例的使用數(shù)量。,低成本：按小時計費,安全性：,SSH,、可配置的防火墻機制、監(jiān)控等,易用性：用戶可以根據(jù)亞馬遜提供的模塊自由構(gòu)建自己的應(yīng)用程序，同時,EC2,還會對用戶的服務(wù)請求自動進行負載平衡,容錯性：彈性,IP,EC2,的幾個重要概念,(1),Amazon,機器映像,AMI,（,Amazon Machine Image,）,由一個操作系統(tǒng)和當(dāng)虛擬機啟動時你想要預(yù)先載入的任何的應(yīng)用程序組成。,AMI,是用戶整個云計算平臺運行的基礎(chǔ)，用戶使用,EC2,服務(wù)的第一步就是要創(chuàng)建一個自己的,AMI,。,公共,AMI,、私有,AMI,、付費,AMI,、共享,AMI,EC2,的幾個重要概念,(2),實例,Instance,：用戶創(chuàng)建好,AMI,后，實際運行的系統(tǒng),資源,Small,Large,Extra Large,High-CPU Medium,High-CPU,Extra Large,平臺,32,位,64,位,64,位,32,位,64,位,CPU,1ECU,4ECU,8ECU,5ECU,20ECU,內(nèi)存,1.7G,7.5G,15G,1.7G,7G,存儲容量,160G,850G,1690G,350G,1690G,實例類型名,m1.small,m1.large,m1.xlarge,c1.medium,c1.xlarge,EC2,的幾個重要概念,(3),彈性塊存儲,EBS,（,Elastic Block Store,）,卷，每個,EBS,最多創(chuàng)建,20,個卷,快照,EC2,的幾個重要概念,(4),區(qū)域,EC2,的基本架構(gòu),EC2,應(yīng)用實戰(zhàn),注冊用戶，選擇支付方式,使用,EC2,的幾個前提條件,Java Runtime Environment,Amazon EC2 command-line tools,PuTTY&PuTTYgen,配置工具,運行實例,簡單存儲服務(wù),S3,S3,（,Simple Store Service,）的設(shè)計思路,數(shù)據(jù)一致性模型,S3,的設(shè)計思路,(1),S3,為任意類型的文件提供臨時或永久的存儲服務(wù),非傳統(tǒng)關(guān)系數(shù)據(jù)庫存儲模式,簡單、高效,存儲、讀取，非查詢,S3,的設(shè)計思路,(2),基本概念,對象：,S3,的基本存儲單元（數(shù)據(jù)、元數(shù)據(jù)），數(shù)據(jù)類型任意,鍵：對象的唯一標(biāo)識符,桶：存儲對象的容器（不能嵌套、在,S3,中名稱唯一、每個用戶最多創(chuàng)建,100,個桶）,S3,的設(shè)計思路,(3),S3,的數(shù)據(jù)一致性模型,冗余存儲,最終一致性模型,簡單隊列服務(wù),SQS(1),目標(biāo)：解決低耦合系統(tǒng)間的通信問題，支持分布式計算機系統(tǒng)之間的工作流,特點：簡單、無處不在,“,在互聯(lián)網(wǎng)的所有計算機不用安裝任何軟件或特殊防火墻配置就可以增加或讀消息”,處理端：,EC2,上的,AMI,簡單隊列服務(wù),SQS(2),機制：,冗余存儲，基于加權(quán)隨機分布的消息取樣,并發(fā)管理和故障排除，消息的可見性超時值與生命周期,簡單隊列服務(wù),SQS(3),簡單數(shù)據(jù)庫服務(wù),SimpleDB,SDB,與,S3,的區(qū)別,SDB,與傳統(tǒng)關(guān)系數(shù)據(jù)庫的區(qū)別,SDB,的基本結(jié)構(gòu)及主要概念,SDB,與,S3,的區(qū)別,S3,是專為大型，非結(jié)構(gòu)化的數(shù)據(jù)塊設(shè)計的,SimpleDB,是為復(fù)雜的，結(jié)構(gòu)化數(shù)據(jù)建立的，支持數(shù)據(jù)的查找、刪除、插入等操作,SDB,與關(guān)系數(shù)據(jù)庫的區(qū)別,(1),傳統(tǒng)的關(guān)系數(shù)據(jù)庫,表結(jié)構(gòu),SDB,樹狀結(jié)構(gòu),SDB,的基本結(jié)構(gòu),SDB,與關(guān)系數(shù)據(jù)庫的區(qū)別,(2),新特性：,無需預(yù)定義模式,單個屬性允許有 多個值,支持自動索引,不能完成的操作：,沒有事務(wù)的概念,不支持連接操作,實際存儲的數(shù)據(jù)類型過于單一,查詢結(jié)果只包含條目名稱而不包括相應(yīng)屬性值，返回結(jié)果不支持排序操作,總結(jié),AWS,的結(jié)合使用,歡迎訪問,中國云計算網(wǎng)站,http:/,歡迎使用,云計算教材 電子工業(yè)出版社 劉鵬 主編,本講到此結(jié)束,