网格,让数据中心消亡?

    技术2022-05-11  91

    <script language="javascript" type="text/javascript"> </script> <script language="javascript1.2" type="text/javascript"> </script> 并行是趋势, 并行算法必然是趋势............

    网格,让数据中心消亡?

    数据中心并不会真正消亡,它只是可能从企业中消亡。超级数据中心可以向外提供计算能力和存储能力,企业只需要按需使用即可。这背后的动力就是数据中心不断增加的­建设、管理和运营成本让企业感到不堪重负。当然,最重要的还是由于网格技术的发展让我们看到了这一天到来的曙光。

    一说到"网格",大多数IT经理可能会想到成千上万块为地震建模和药品研发等数据密集型应用处理的CPU。但是,网格也正越来越多地被认为是建立更加灵活、高效­率的数据中心架构的平台。

    前述两个场景即为应用网格技术的成功案例。

    网格最初的目标是让IT资源有效集中,是专门针对复杂科学计算应用的一种新型计算模式,这种计算模式能够把整个网络里面的各种异构资源整合成一台巨大的超级计算­机。

    不可否认,网格计算仍主要应用在科学和学术界。据GridWorld大会组织者IDG World Expo的数据,在参加2006年度GridWorld的600位与会者中只有15%的购买者来自企业。

    HP公司网格计算计划经理Sara Murphy说:"网格技术长期以来被用于科学和技术工作,将分散的计算机连接在一起构成快速处理海量信息的虚拟超级计算机。"

    上海超算中心副主任袁俊先生表示,网格技术目前还是大量被运用在科研技术领域。我国目前的中国教育科研网格和中国国家网格的所有项目,都是科研项目。

    业界专家则认为,随着公司寻求利用网格技术(包括监测、安全和基于策略的管理)将工作负载分布到普通硬件上,这种趋势可能会改变。

    Sara Murphy认为:"现在商业企业正在向基于面向服务架构(SOA)的IT模型迁移。在SOA中,网格可被用于技术基础设施。在一些情况下,IT正在扮演着供企­业范围使用的内部公用设施,而部署工具就是网格。"

    Platform公司技术总监张福波博士则表示,现在已经有相当多的企业部署了企业网格。这些企业都需要越来越强的高性能计算能力,而如果单单依靠购买高性能计­算机实在是费用过于高昂,因此能够利用公司内部广泛的分布式资源共享和进行协同工作的网格,就受到了这些企业的青睐。"Platform公司的工具可以帮助这些­公司进行资源的管理和调度,相当于把他们的资源全部集中起来,大大提高了资源的利用率。"

    Lehman Brothers公司在上世纪90年代初就开始使用某种形式的网格技术。近几年,这家金融服务巨头将网格视为支撑公用计算的、更全面的技术战略的基础。

    该公司固定收益技术高级副总裁Thanos Mitsolides说:"网格计算的明显好处是将巨量的计算任务分布到成千上万块CPU上的能力。但是,一旦你具有了以服务形式分布计算任务的能力,你就会发­现,你可以分布任何服务,而不仅仅是计算服务。"

    网格应用的现实需求

    IBM 公司网格市场战略项目总监Matt Haynos认为,对于公司来说,目前最重要的事情是更充分地利用已有的计算资源。因此,IT资源利用率的重要性就不断增加,从有限的IT预算中榨取更多的功能­也就显得非常有必要。

    近年来,虚拟化市场大热的最主要原因,是随着硬件能力的增强,使得服务器的利用率普遍降低。而虚拟化技术能够在一台物理服务器上划分多个虚拟服务器,部署彼此隔­离的应用,这大大提高了服务器的利用率。

    与虚拟化这种主要靠划分单个服务器性能的技术不同,网格是整合了多台服务器的能力并向外统一提供服务。张福波表示,通过特定的网格软件,网格能够将企业的资源集­中起来,提供此前所不具备的计算和存储能力,并且可以更有效地保护投资和进行扩展。

    曾经与Ian Foster和Carl Kesselman共同创建Globus联盟的Steve Tuecke说:"现在出现了与过去几年里建设的条块分割的基础设施说再见的趋势。"

    有分析人士说,网格的这种灵活性,以及由于工作负载分布到大量的计算机资源而带来的使用率增加,正在推动人们在数据中心采用网格技术。IDC公司高性能计算研究­主管Addison Snell说,2005年销售的全部服务器中近10%最终被应用在网格部署中。与此相比,2004年这个数字不足5%,而2003年"仅有屈指可数的数量"。

    NetApp公司产品与合作伙伴副总裁Patrick Rogers将网格连接在SOA框架中。他说:"使用网格计算似乎日益流行,尤其在大型数据库应用和高性能计算(HPC)环境中。创建基于网络的虚拟计算资源的­能力被视为企业中应用SOA以及HPC市场中的计算密集型应用的驱动技术。"

    企业网格的未来

    数据中心网格概念正在得到企业的支持。例如,HP、IBM、Sun和Platform等公司都开发了技术来帮助企业部署商用网格。

    HP公司的Murphy表示:"在拥有设在不同地点的数据中心的跨国公司中,高效率的IT利用是个严峻的挑战。网格不是套装产品,而是汇集在一起的组件、技术和­服务集合。"

    除了网格使用服务和网格管理软件外,HP公司还提供"HP灵活计算服务"。Murphy介绍说,这项服务使客户可以更容易地以公用设施方式享受企业规模的IT的­好处。客户通过网格式的架构直接利用数据中心计算能力。此外,"HP网格咨询服务"提供从规划、迁移与转换,一直到网格不断地维护与优化全过程的单一责任点。

    Murphy说:"HP网格解决方案使客户可以随企业需要的变化,向跨地理和组织上分散的团队提供应用和分配计算能力。这种处理需求高峰与低谷的能力使企业可以­利用没有被充分利用的资源、迅速为新项目部署资源和加快新产品的上市时间。"

    Platform公司则在大力推广其基于网格技术的信息基础设施,该公司董事长周松年将其称之为"SOI(面向服务的基础设施)"。在今年3月份举行的Plat­form网格大会上,周松年表示,实施SOA必然需要有灵活的IT基础设施,而能够整合汇聚资源,能够在异构平台上整合各种IT资源并进行分配的网格技术,正好­符合了这种要求。

    张福波认为,企业建立自有网格,相当于建立自己的集中发电机系统,在企业内部进行统一的资源建设和供给。对于本身是一个大型集团的组织而言,只存在一个统一的结­算中心,企业就可以借助于本身的力量,建立一个统一的网格,只需要追求利用率,而无须过多地去考虑计费和收费的问题。

    对于前述的Lehman Brothers公司来说,向公司范围的基于网格的平台发展仍有很长的路要走。第一步是将一些孤立的网格(每个网格都运行在内部开发的技术上)整合到一个由Pl­atform公司的Symphony企业网格软件构建的架构中。目前,Lehman有3条运行Platform软件网格,大约1500台基于4路x86 CPU的刀片服务器。这3条网格支持州际金融衍生品、抵押贷款和企业信用分析应用。

    Mitsolides说,尽管公司的关注重点放在将这些孤立的网格整合到一个共同的架构中,但长期目标是建立一个全球网格,在这个全球网格中,公司的所有资源,­不管是在纽约、伦敦还是在东京,都将被集中管理和共享。其理念是建立一个支持SOA和提供更灵活地使用IT资源的平台。

    他认为:"一个巨大的好处是在公司内部共享,不仅仅共享硬件而且还共享服务。另一个好处是我们将能够使用更好的硬件,因为我们目前的平均使用率非常非常低。"

    网格服务的前提

    对于网格美好前景的描绘几乎吸引了每一个人:将来的网格将像水和电一样,插入一个端口,无须复杂配置,就能够简单方便地得到按量计费的计算能力和存储能力。

    毕竟,无论现在有多少号称能够简单管理数据中心的软硬件,管理一个数据中心还是过于复杂。除了考虑初期建设成本之外,安全问题、能耗问题、空间占用问题,都让企­业在发展自身业务之外不得不面对诸多难题。

    在向社会提供网格服务之前,必须首先解决如下几个问题。

    信用体系

    如果要建立一个收费的网格,像收水和电一样按使用量收费,那么必须保证网格运营机构的信用问题。毕竟,网格运行管理是一个非常复杂的问题,而用户具体使用了多少­网格能力都由网格运营公司来给出清单。

    周松年认为,要想让网格真正成为一个为全社会服务的信息基础设施,需要从国家的层面来建立网格。这不仅是因为计费等问题需要借助于国家的信用,而且建立一个能够­服务于全社会的网格也需要大量的初始资金。

    网络基础

    国家教育网格专家组组长金海教授认为,网络基础是将计算资源真正综合起来的关键,他并不建议在网格内的异地服务器之间运行并行的协同任务。他认为,现在的网格是­建立在Internet这样的公网基础之上,其上运行着太多的其他服务,使得本来就低速的网络更加拥挤。

    Sun大中华区总裁余宏德认为,网格的真正未来在无线网络基础上的网格。因此,现在网格所遇到的最大障碍是网络的接入问题,它真正的应用应该是在将来的4G甚至­5G出现之后,极高速的无线网络将使得访问网格变得简单方便,届时网格将真正成为流行的信息基础架构。

    网格标准

    尽管网格概念已经被提出了数年,并且在学术界也得到了相当的应用,但是迄今为止并没有一个统一的网格标准。金海教授介绍说,尽管每年都会召开世界网格大会,但是­一直对于网格的标准争论不休,世界各国提出了数十种网格标准的提案,没有任何一种能够统一。

    商业模式

    作为一种新兴的技术,到底怎么样利用网格来进行服务,这是需要仔细考虑的问题。张福波认为,要在网格的基础上开发合适的、方便的应用,并且要有合适的定价体系和­商业运营模式,才能够说服用户来使用网格服务。

    金海教授认为,现有的技术基础已经大致完备,只缺乏针对性的、独创性的应用,这需要投资者独到的眼光和产业界的创新。

    他表示,在中国目前缺乏有远见的产业界投资人士来投资网格服务,因此,尽管在技术上中国的网格与世界同步,但是在应用上还是远远落后于国外,这也是一件非常无奈­的事情。

    使用习惯

    不是购买硬件建立自有基础设施,而是购买网格所提供的资源,这对消费者的使用习惯而言是一个巨大的挑战。

    张福波举例说,在20年前很多人习惯于自己买布找裁缝做衣服,但是现在已经很少有人这样做了,当然,特殊需求的除外。但是整体而言,大多数人都是直接购买成衣,­而非定做。在网格发展的将来也会如此,大多数公司应该都去购买IT资源,而少数有特殊需求的企业将仍然建立自己的网格数据中心。

    网格服务应用流程

    尽管提供网格服务具有诸多限制条件,但是正如前面的场景所述,Amazon和Sun公司都已经发布了自己的网格服务。

    Sun公司的效用计算网格已经成功应用,并且有了一些成功的案例,其针对开发者的网格正在研发中,其运行流程如图所示。第一步,编写任务与流程代码。在NetB­eans中包含了一个创建向导,可以生成效用服务网格所需的编程模型;第二步,创建调试代码并在本地调试,该插件包含了一个在本地机器运行的模拟网格服务运行环­境的执行环境,唯一的区别是任务不会被完全运行;第三步,将代码和数据打包成Zip文件,以便可以上传到Sun的网格中;第四步,登录Sun网格的门户,然后手­工上传上一步生成的Zip文件;第五步,在网格上运行任务;第六步,连接登录Sun网格门户,取回包含计算结果的Zip文件;第七步,通过取回的Zip文件,得­到计算结果。

    Amazon公司的存储网格Amazon S3也已经成功上线应用,而其计算网格Amazon EC2(Amazon Elastic Compute Cloud),仍然处于beta阶段,Amazon公司高级公关经理Drew Herdener表示,现在还没有一个明确的时间表结束测试。

    Drew Herdener一再对记者表示,Amazon公司的这两种服务并不是网格服务。不过,业界显然是将其看成了网格服务。金海教授认为,"Amazon的这种服务­当然是一种网格服务"。并且他认为Amazon这种通过Web服务进行网格服务的模式是一种相当先进的模式,这将有力地推动网格的发展进程。

    金海教授表示,Sun和Amazon这两种网格服务,在技术上并没有多少先进之处,关键在于他们找到了特定的商业模式,并且实现了这样的服务,这也是国外的IT­应用比国内先进的地方。

    根据Amazon公司对EC2的描述,它是一个提供可扩展计算能力的Web服务。它被设计用来为开发者提供可扩展的计算能力,并且没有最低费用和初期费用,完全­只是按需收费。在Sun公司对其网格的描述中,也有着类似的用语。虽然Drew Herdener表示不愿意将Amazon EC2与Sun公司相对比,但笔者还是将这两种网格之间的特性整理了一下进行比较,见表1所示。

    消亡中的数据中心

    无论是Sun公司的网格也好,Amazon公司的网格也好,根据二者所能够提供的服务,我们可以想象,一旦这样的服务被普遍接受,除了个别的大型企业需要建立自­己的数据中心,一般的企业都可以直接利用这样的服务来获取自己的信息基础设施,而将精力集中在自身业务的发展之上。

    金海教授表示,这种服务一旦普及,将是对现有信息基础设施的一个颠覆,整个业界的软件、硬件市场模式也将改变。

    正如CDO2公司的经理Gary Kendall所述,对CDO2来说,使用Sun网格让他们得到了全新的核心竞争力。"我们把我们的产品看成可以在网格上提供的SaaS。因为通过Sun网格可­以平滑地增加业务能力。我们可以获得一个完全可扩展的业务模型,而无须考虑投入巨资去创建一个我们自己的数据中心这样的IT基础设施。"

    编看编想

    让术业真正有专攻

    祁金华

    企业对IT的需求比以往任何时候都热切,因为他们的业务依赖于IT所带来的创新。除了专业的IT公司之外,无论是传统的还是新兴的企业,他们的关注重点都在业务­本身而非IT。但是很不幸,几乎所有的这些企业都不得不面临如何创建、维护和管理数据中心的难题,而这并不是他们的长项,也不是他们应该关注的重点。

    在托马斯·弗里德曼所著的《世界是平的》中,有一个重要的观点,就是应该把业务按照不同的技术需求层次分离开来,最大可能地发展外包部分,而最大限度地发展处于­价值链顶端的创新部门。因为"冰激凌真正的增值部分是巧克力酱、樱桃和奶油"。通过任务分解和外包,让企业运营自己最擅长和最能增值的部分,从而让企业的效率最­大化,这应该是外包所能带来的意义。

    套用一句话"上帝的归上帝,凯撒的归凯撒",那么对于企业来说,"IT的归IT,企业的归企业"。企业应该是专心发展自己的业务,而不是去费心发展自己并不是最­专长的IT。正如网格技术的远景目标让IT资源像水和电一样方便和易用,企业也应该像利用水和电一样来利用IT资源。

    就像让电力公司建立发电厂为社会提供电能,让自来水公司建立水厂提供工业和生活用水,未来,应该让专业的公司建立大型的数据中心来提供IT资源,而让属于企业的­数据中心消亡,相信这才是我们利用IT资源的最有效方式。

    相关链接

    场景1

    CDO2是一家金融服务公司,它为银行、基金公司和投资公司提供报价技术服务。该公司主要的金融风险模拟软件CDOSheet,允许客户精确计算其各种复杂投资­的价值,并且进行风险分析。

    通过访问最新的价格和风险策略,CDO2的客户可以独立并且准确地知晓他们投资的价值。这样的功能此前只有在公司内部构建有网格计算能力的大公司才具备。

    在过去,客户只能在内部网格上运行CDO2需要大量计算能力的应用。这限制了那些没有能力部署该规模基础设施的公司来采用CDO2的应用。

    最终,CDO2选择了Sun的网格作为其计算引擎。Sun网格提供最新的技术,可预估的费用以及强大的可以随需扩展的计算能力。此外,因为无须初建费用,所以没­有任何采用Sun网格的门槛。

    由于选择了Sun计算机,CDO2将潜在的客户基础由前100家金融服务公司扩展到前1000家公司。目前的客户仍在公司内部运行该软件,但新客户被加入到这个­网格中。

    CDO2公司经理Kendall说:"我们建议客户从相对较小数量的计算能力入手,比如说每小时10个CPU,然后随着他们业务的增长进行扩展。当需要时,他们­始终可以利用更大的计算能力,比如每小时100个CPU。"

    场景2

    YouOS公司成立于2005年,他们将Web和传统系统结合起来,以便实现一个虚拟的计算机来统一用户的数据、应用和通信,用户可以自任何地方、在任何时间访­问该虚拟计算机。

    YouOS发现向市场推广一个计算平台并不是那么容易。因为一开始只有四个员工,他们根本没有时间来完成从开发到后台支持等一系列的事情,也没有资金来投资一系­列昂贵的硬件。并且,他们也不会知道在未来的6个月或者一年内到底需要多少资源。

    为了适应未来的存储需求,YouOS通过三种截然不同的方式采用了Amazon S3(Amazon Simple Storage Service)。

    第一,用户的文件通过Amazon S3在线存储,允许YouOS中的应用访问这些文件。这为用户提供了最大限度的自由:用户可以在家通过文本编辑器编辑文档,然后在单位登录之后立刻访问到同一个­文档和文本编辑器。用户无须在任何机器上安装和同步更新他所使用的诸如文本编辑器这样的软件。实际上,他们甚至不需要拥有计算机。他们只需要从一个计算机转到另­外一个计算机。

    第二,YouOS采用Amazon S3来存储用户的图片和其他一些基本的Web内容。

    第三,YouOS公司的数据备份在Amazon S3上面。

    在使用Amazon S3之前,YouOS使用一个本地的存储方案,该存储方案是购建在一个集群网络文件系统之上。它并不能满足高峰时刻的用户需要。有时候,很少有人登录到YouO­S;而有时候却必须处理每秒10000个用户的登录请求。该公司的旧有系统也无法平滑扩展。

    既然其存储方案交给了Amazon S3,YouOS现在可以专心于为其系统开发新特性,诸如标签和共享等,无须考虑带宽问题、服务器或者数据中心的合同问题。这种按需付费的方式增强了YouOS­的创新能力。

      回复 回复作者 转发     <script language="javascript1.3" type="text/javascript"> </script> <script language="javascript1.3" type="text/javascript"> </script>      

    最新回复(0)