云计算平台:Google和Amazon

从2003年开始,Google连续几年在计算机系统研究领域的最顶级会议与杂志上发表论文,揭示其内部的分布式数据处理方法,向外界展示其使用的云计算核心技术。从其近几年发表的论文来看,Google使用的云计算基础架构模式包括四个相互独立又紧密结合在一起的系统。包括Google建立在集群之上的文件系统GoogleFileSystem,针对Google应用程序的特点提出的Map/Reduce编程模式,分布式的锁机制Chubby以及Google开发的模型简化的大规模分布式数据库BigTable。

GoogleFileSystem文件系统

为了满足Google迅速增长的数据处理需求,Google设计并实现了Google文件系统(GFS,GoogleFileSystem)。GFS与过去的分布式文件系统拥有许多相同的目标,例如性能、可伸缩性、可靠性以及可用性。然而,它的设计还受到Google应用负载和技术环境的影响。主要体现在以下四个方面:

2.Google系统中的文件大小与通常文件系统中的文件大小概念不一样,文件大小通常以G字节计。另外文件系统中的文件含义与通常文件不同,一个大文件可能包含大量数目的通常意义上的小文件。所以,设计预期和参数,例如I/O操作和块尺寸都要重新考虑。

3.Google文件系统中的文件读写模式和传统的文件系统不同。在Google应用(如搜索)中对大部分文件的修改,不是覆盖原有数据,而是在文件尾追加新数据。对文件的随机写是几乎不存在的。对于这类巨大文件的访问模式,客户端对数据块缓存失去了意义,追加操作成为性能优化和原子性(把一个事务看做是一个程序。它要么被完整地执行,要么完全不执行)保证的焦点。

4.文件系统的某些具体操作不再透明,而且需要应用程序的协助完成,应用程序和文件系统API的协同设计提高了整个系统的灵活性。例如,放松了对GFS一致性模型的要求,这样不用加重应用程序的负担,就大大简化了文件系统的设计。还引入了原子性的追加操作,这样多个客户端同时进行追加的时候,就不需要额外的同步操作了。

MapReduce分布式编程环境

为了让内部非分布式系统方向背景的员工能够有机会将应用程序建立在大规模的集群基础之上,Google还设计并实现了一套大规模数据处理的编程规范Map/Reduce系统。这样,非分布式专业的程序编写人员也能够为大规模的集群编写应用程序而不用去顾虑集群的可靠性、可扩展性等问题。应用程序编写人员只需要将精力放在应用程序本身,而关于集群的处理问题则交由平台来处理。

构建于上述两项基础之上的第三个云计算平台就是Google关于将数据库系统扩展到分布式平台上的BigTable系统。很多应用程序对于数据的组织还是非常有规则的。一般来说,数据库对于处理格式化的数据还是非常方便的,但是由于关系数据库很强的一致性要求,很难将其扩展到很大的规模。为了处理Google内部大量的格式化以及半格式化数据,Google构建了弱一致性要求的大规模数据库系统BigTable。据称,现在有很多Google的应用程序建立在BigTable之上,例如SearchHistory、Maps、Orkut和RSS阅读器等。

Google的云应用

虽然Google可以说是云计算的最大实践者,但是,Google的云计算平台是私有的环境,特别是Google的云计算基础设施还没有开放出来。除了开放有限的应用程序接口,例如GWT(GoogleWebToolkit)以及GoogleMapAPI等,Google并没有将云计算的内部基础设施共享给外部的用户使用,上述的所有基础设施都是私有的。

随着云计算大潮的涌来,Web作为统一计算平台的时代已经初现曙光,IT产业中一切企业和个人都将被这一潮流所深刻影响,每一个人都希望了解到云计算和Web服务平台发展的趋势。

THE END
1.云计算的八个关键特征云计算的八个关键特征 AWS公司在2006年开始销售计算资源和存储实例时,率先普及了云计算作为本地基础设施的替代方案。谷歌和微软紧随其后。如今,云计算从基础设施扩展到软件即服务(SaaS)模型以及两者之间的一切,包括人工智能、容器、无服务器计算、数据库、物联网、专用网络、分析、商业应用程序等。https://www.51cto.com/article/741648.html
2.云计算的特点是什么云计算的六大特征→MAIGOO知识摘要:云计算(cloud computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云。很多人纸巾都不了解云计算的作用有哪些。本文将为大家列举云计算的六大特征。 云计算的特点是什么 云计算的六大特征 云计算的六大特征 https://www.maigoo.com/goomai/163955.html
3.云计算的特点或特征(2)云计算具有以下几个重要特征:支持异构基础资源 云计算可以构建在不同的基础平台之上,即可以有效兼容各种不同种类的硬件和软件基础资源。 硬件基础资源,主要包括:网络环境下的三大类设备,即:计算(服务器)、存储(存储设备)和网络(交换机、路由器等设备); https://www.360doc.cn/document/68032230_1027253972.html
4.云计算普及其培训班考试试题规范标准答案版B.每个用户必须属于一个主要组,默认为同名组 C.userdel -r <用户名>连同宿主目录一起删除 D.userdel -r <用户名>仅删除用户 11.以下哪些选项是云计算的关键特征?(ABC) A.按需自助服务 B.无处不在的网络接入 C.与位置无关的资源池 D.更安全的数据保护 12.虚拟机故障迁移具有哪些特点(ABCD) A.服务器故https://www.360docs.net/doc/2d8d948b1be8b8f67c1cfad6195f312b3169eb3a.html
5.云计算概述(二)(云计算类型技术驱动力关键技术特征特点通用点二、云计算的12种技术驱动力 云计算的提出和发展有赖于先前的IT技术,如网格计算、效用计算、面向服务的架构SOA、Web2.0、软件及服务等。同时,云计算又是一个飞跃,将对ICT行业带来革命性的突破。技术架构、商业模式以及ICT行业的竞争格局都会因云计算而重新洗牌。 https://blog.csdn.net/weixin_69553582/article/details/135505923
6.区块链的“去信任”到底去的是什么信任?高承实的财新博客第二个因素就是新基建。国家发改委首次明确了“新基建”3个方面的内容,即信息基础设施、融合基础设施和创新基础设施,并将从加强顶层设计、优化政策环境、抓好项目建设和做好统筹协调4个方面加强建设。区块链与人工智能、云计算一同作为新技术基础设施的组成部分,隶属信息基础设施范围。新基建可以认为是我们国家政府部门https://gaochengshi.blog.caixin.com/archives/240328
7.云计算的三个关键特征是什么?云计算具有三个关键特征。首先,这是一种按需服务,客户可以根据需要购买;其次,云计算是弹性的,因为客户可以基于他们急需的资源增加或减少计算量;最后云计算是设备独立的,因为云服务可以在具有互联网连接。 Gartner预测云服务市场将是价值620亿,2019年将增长到200 七十八点三十亿。在IDC预测2021年市场规模将相近为1100亿https://m.elecfans.com/article/1319580.html
8.服务器硬件的演变:从大型机到云计算(服务器硬件的主要特征)云计算的特点包括: 按需访问资源 灵活性和可扩展性 降低成本 全球访问 服务器硬件的主要特征 服务器硬件在以下几个关键特性上不断演变: 处理能力:服务器处理能力已经从早期大型机的每秒几百万次指令(MIPS)提高到现代云服务器的每秒数十亿次指令(BIPS)。 https://www.ulidc.com/2024/12/12/%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%A1%AC%E4%BB%B6%E7%9A%84%E6%BC%94%E5%8F%98%EF%BC%9A%E4%BB%8E%E5%A4%A7%E5%9E%8B%E6%9C%BA%E5%88%B0%E4%BA%91%E8%AE%A1%E7%AE%97-%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%A1%AC%E4%BB%B6/
9.什么是云计算?云计算类型应用特点优缺点介绍云可以是私有的或公有的。公有云向互联网上的任何人销售服务,而私有云是一个专有网络或数据中心,它为有限数量的人提供托管服务,具有特定的访问和权限设置。私有或公有云计算的目标是提供对计算资源和 IT 服务的简单、可扩展的访问。 云基础设施涉及正确实施云计算模型所需的硬件和软件组件。云计算也可以被认为是https://www.ecscoupon.com/499.html
10.云计算的关键特征有哪些:刷刷题APP(shuashuati.com)是专业的大学生刷题搜题拍题答疑工具,刷刷题提供云计算的关键特征有哪些:A.按需自助服务B.与位置无关的资源池C.按使用付费D.快速弹性的答案解析,刷刷题为用户提供专业的考试题库练习。一分钟将考试题Word文档/Excel文档/PDF文档转化为在线题库,https://www.shuashuati.com/ti/594f343e1d2b4604af0788eb3145758b.html?fm=bdeb64f28722724448d7eb728f4679b22f
11.工业大数据分析与应用——知识总结Geek57fb82如开展分布式文件系统、分布式计算系统、数据库、数据仓储、MOLAP、HOLAP、数据转换工具、数据安全等。 大数据分析与发现 如数据挖掘、数据统计、基于大数据的业务分析与预测、基于大数据的决策、商业智能、人工智能、数据可视化等。 大数据应用服务 如数据运营、大数据交易、分析与预测服务、决策支持服务、数据分享平台、数据https://xie.infoq.cn/article/cde2bcb578938148326e23186
12.云计算技术发展及应用分析论文(通用6篇)云计算的基本特征,主要体现在以下四个方面:1.1云计算技术的实现以服务形式体现,服务的提供者与使用者之间相互分离,作为用户终端无需拥有任何IT资产都可以获得云计算技术的服务。1.2云计算技术以网络运算为基础,利用互联网终端获取各种不同的数据资源并且产生相应的访问标准,用户可以选择不同的客户端,如电脑、手机等进行https://bylw.yjbys.com/qitaleilunwen/147092.html
13.大数据导论第2章大数据下的云计算在线免费阅读2.1.2 云计算的特征 云计算具有以下特征。 1)按需自助式服务(On-demand Self-Service):用户根据实际需求使用和扩展云计算资源,通过网络方便地进行计算能力的申请、配置和调用,服务商能够及时地进行资源的分配和回收。云计算能快速提供资源和服务。 2)广泛的网络访问(Broad Network Access):通过互联网提供自助式服务,https://fanqienovel.com/reader/7110142887920143398
14.云计算及其关键技术研究AET摘要:在分析现有定义的基础上对云计算提出了较全面的参考性定义,并给出了云计算的六大特征、四种部署模式和三种服务模式。此外,通过对云环境中三种角色的责任分析和对主流云计算产品的研究,抽象出了支撑云计算的关键技术,最后指出云计算对未来软件市场发展的影响。 http://www.chinaaet.com/article/139881
15.云计算简述1.2 基本特征 根据美国国家标准和技术研究院的定义,云计算服务应该具备以下几条特征: 随需应变自助服务。 随时随地用任何网络设备访问。 多人共享资源池。 快速重新部署灵活度。 可被监控与量测的服务。 一般认为还有如下特征: 基于虚拟化技术快速部署资源或获得服务。 https://www.jianshu.com/p/2c3f92cd36ba
16.云计算的特点包括有哪些这就象常人不能监听别人的电话,但是在电讯公司内部,他们可以随时监听任何电话。所有这些潜在的危险,是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时,不得不考虑的一个重要的前提。 云计算的服务形式 云计算可以认为包括以下几个层次的服务:基础设施即服务(IaaS),平台即服务(PaaS)和软件即服务https://mip.oh100.com/baike/911901.html
17.什么是云计算平台云计算平台的服务特征此外,还与手机终端厂商积极合作,推出了带有更多云应用的智能手机。中国电信希望未来能够成为一个云平台的运营商,和软、硬件厂商,信息应用和服务提供商以及平台和终端提供商,共同形成一个云平台,通过整个云平台给客户提供更加优质的服务。 杭州首个云计算产业园https://www.xuexila.com/baikezhishi/1827056.html
18.江西省人民政府工作动态“大数据”在统计中的应用初探3、大数据统计分析工作应注意的几个重要问题 一要依据大数据的特征和大数据时代统计分析的思维方式,注重大数据的抽样调查工作、测量工作及相关关系。二要理清统计设计收集数据与挖掘数据两个基本环节的衔接。三要将统计技术与云计算技术融合。四要确立多学科融合的工作方式,融合自然科学、社会科学、数据科学为一体,必要的时https://www.jiangxi.gov.cn/art/2018/12/7/art_5472_408194.html
19.下列哪些是云计算的关键特征()?A.按需自助服务 B.无处不在的网络接入 C.与位置无关的资源池 D.快速弹性 查看参考答案https://www.shangxueba.cn/6452455.html