云计算体系结构及应用实例分析

计算机与数字工程

Computer&DigitalEngineeringVol.38No.3

󰀁60

云计算体系结构及应用实例分析

匡胜徽󰀁李󰀁勃

(昆明理工大学信息工程与自动化学院󰀁昆明󰀁650051)

*

摘󰀁要󰀁云计算包含两个方面的基本内容:一、描述用于构造应用程序的基础架构;二、描述建立在这种基础架构之上的应用和扩展服务;针对云计算的体系结构及应用实例,剖析其背后的技术含义以及当前云计算平台所采用的实现方法,进而评析当前云计算的发展状况,探讨实现云计算的技术方案。

关键词󰀁云计算;分布式文件系统;基础架构;数据存储与管理;网格计算中图分类号󰀁TP393.01

AnalysisofCloudComputingArchitectureanditsApplication

KuangShenghui󰀁LiBo

(SchoolofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming󰀁650051)

Abstract󰀁Cloudcomputingconsistsoftwobasicelements.Oneisthecloudinfrastructurewhichisusedtoconstructtheuplayercloudapplications.Theotheristhecloudapplicationsandextendedserviceswhicharebuiltontheunderlyingin󰀁frastructure.Thispaperhasanalyzedthemeaningofcloudcomputingarchitectureaswellasthesystemsinenterprises.Fromthispaper,readerswillcapturethecurrentstatusofcloudcomputingaswellasthemajortechnicalsolutionsofhowtoimplementcloudcomputing.

KeyWords󰀁cloudcomputing,distributefilesystem,infrastructure,datastorageandmanagement,gridcomputingClassNumber󰀁TP393.01

1󰀁引言

Google、IBM和Amazon等公司正在大力开发云计算(CloudComputing)技术,旨在使个人和企业能够通过终端设备更加智能和快速地处理复杂的计算任务,󰀂云 指的是通过互联网实现超级计算能力的资源,未来服务信息的存储方式将打破目前依赖于个人电脑和服务器的现状,软件和数据将主要存放在网络中;由于云计算是开放的标准,任何个人和企业用户都可以利用󰀂云 端的计算和存储能力来完成自己的应用和数据存储,以及在云上做󰀂二次开发 。因此,云计算在近年来赢得了众多厂商和企业的关注并得到长足的发展。

2󰀁云计算概念及特征

2.1󰀁云计算基本概念

目前,󰀂云计算 还没有一个十分确切和统一的定义,较一致的观点认为云计算(或称云端运算)是在极大规模上将可扩展的信息技术能力向外部客户作为服务来提供的一种网络应用模式;是一种动态的、易扩展的且通常是通过高速互联网提供虚拟化的资源计算方式。它强调了处理无所不在的分布性和社会性!这种新兴的计算模型将任务分布在大量计算机(或具有计算能力的设备)构成的可自我维护和管理的虚拟计算资源池上,使各种应用系统根据需要获取计算能力、存储空间和软硬件服务。

*

收稿日期:2009年12月1日,修回日期:2009年12月29日

作者简介:匡胜徽,男,硕士研究生,研究方向:智能信息系统。李勃,男,教授,研究方向:智能信息系统与知识处理、图像处理与模式识别。2010年第3期计算机与数字工程󰀁61

云计算将网络上的计算资源(包括计算服务器、存储服务器、宽带资源等)集中起来并由软件实现自动管理,无需人为参与。󰀂云 端可在数秒内处理数以千万计甚至亿计的信息,达到和󰀂超级计算机 同样强大的计算效能。2.2󰀁云计算的优势及特征

云计算既描述了一种新兴的共享基础架构的方法,又描述了建立在这种基础设施之上的应用和扩展服务。与网格计算相比,后者的主要思路是通过统一调度、聚合分布的松散耦合资源来组成一台虚拟的具有强大计算能力的󰀂超级计算机 ,它侧重于󰀂资源共享,协同工作 ,通常用于完成某个特定的科学计算任务或支持挑战性的应用。而云计算的信息资源相对集中,但不对用户进行集中控制,并能够支持非网格的应用,它强调󰀂需求驱动、按需服务 ,以Internet的形式在较高带宽的网络环境下动态地为用户提供底层资源的获取和使用。因此,云计算与传统的信息技术有着巨大的差异,主要表现在以下几方面:

1)超大规模和虚拟化:󰀂云 具有超大的规模,Google、IBM等的󰀂云 拥有数十万甚至上百万台服务器,󰀂云 提供给用户前所未有的超强计算能力;󰀂云 端采用虚拟化技术,支持用户在任何时间和地点,使用简单的终端设备登录并获取󰀂云 端的数据和软件资源,而不必了解应用运行的具体位置。

2)通用性和易扩展性:云计算不针对特定的应用,在󰀂云 的支撑下根据用户的需求构造出多样化的应用,同一个󰀂云 能够同时支撑多个不同的应用;󰀂云 的规模也可以动态伸缩,满足应用环境和用户规模增长的需要。

3)高可靠性和灵活性:󰀂云 使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,并支持任意点的恢复;󰀂云 端在扩充资源时能够兼容不同硬件厂商的产品和早期的低配置主机而获得高性能计算。

4)数据与应用共享:在云计算的网络应用模式中,数据只有一份被保存在󰀂云 端,用户接入到网络后能够同时访问和使用同一数据,避免了在不同设备之间进行手工同步的开销。

5)简单的终端和󰀂按需提供服务 :包括应用软件在内,几乎所有的数据都存储到󰀂云 内,终端的功能将会退化;计算能力也将被作为一种商品而流通,企业和用户󰀂按需支付 所购买的服务。

6)高度自治性:通过自动化配置管理服务,能够按需自动调配服务,以及根据应用环境的变化自动增加或减少服务的数量。

3󰀁云计算体系结构

3.1󰀁云计算的基本思想

云计算主要关注如何充分地利用互联网上软件、硬件和数据的能力,以及如何更好地使各个计算设备协同工作并发挥最大效用的能力。其基本思想是󰀂把力量联合起来,给其中的每一个成员使用 ,它采用共享基础架构的方法将巨大的系统池连接在一起为用户提供多种IT服务

[1]

。通过使计

算分布在大量的分布式计算设备上,󰀂云 端被作为数据存储以及应用服务的中心,企业可将云端资源切换到其所需的应用上,根据具体需求来选购相应的计算和存储服务。3.2󰀁云计算体系结构3.2.1󰀁云计算体系结构模型

󰀂云 是一个由并行的网格所组成的巨大的服务网络,它通过虚拟化技术来扩展云端的计算能力,以使得各个设备发挥最大的效能。数据的处理及存储均通过󰀂云 端的服务器集群来完成,这些集群由大量普通的工业标准服务器组成,并由一个大型的数据处理中心负责管理,数据中心按客户的需要分配计算资源,达到与超级计算机同等的效果。图1展示了云计算体系结构的模型,并在文中对相应的实体给出具体描述。

图1󰀁云计算体系结构模型

1)UserInteractionInterface:用户交互界面,通过终端设备向服务云提出请求。

2)ServicesCatalog:一个用户能够请求的所有服务目录,可根据自身的需求选择相应的服务。

3)SystemManagement:系统管理,用户管理计算机资源是否可用。

4)ProvisioningTool:服务提供工具,用于处理终端请求的服务,需要部署服务配置。

5)MonitoringandMetering:监控和测度,对用户服务进行跟踪和测量,并提交给中心服务器分析和统计。

6)Servers:服务云,由系统管理和维护,可能󰀁62匡胜徽等:云计算体系结构及应用实例分析第38卷

是虚拟服务或者真实的。

在云计算体系结构模型中,前端的用户交互界面(UserInteractionInterface)允许用户通过服务目录(ServicesCatalog)来选择所需的服务,当服务请求发送并验证通过后,由系统管理(SystemManage󰀁ment)来找到正确的资源,接着呼叫服务提供工具(ProvisioningTool)来挖掘服务云中的资源。服务提供工具需要配置正确的服务栈或Web应用。

[2]

的基本过程:󰀂云 端为用户提供扩展的、通过互联网即可访问的、运行于大规模服务器集群的各类Web应用和服务,系统根据需要动态地提供、配置、再配置和解除提供服务器,用户只需基于实际使用的资源来支付相关的服务费用。3.2.2󰀁云存储体系结构模型

云存储是在云计算概念上延伸和发展的一种新存储模型,它通过集群应用、网格技术和分布式文件系统等功能,将网络中大量不同类型的网络设备、存储设备、服务器和客户端程序等通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问。当云计算系统的运算和处理核心为海量数据的存储和管理时,则需配备大量的存储设备,此时云计算系统就转变为一个云存储系统。因此,云计算系统以数据运算和处理为核心,而云存储系

图2󰀁用户获取服务云资源过程

统以数据存储和管理为核心并以超大容量存储空间为特征。图3展示了云计算和云存储架构模型的对比。

云计算同时描述了一种平台以及构建在该平台上的一类应用,图2展示了用户获取󰀂云端 资源

图3󰀁云计算与云存储体系结构

󰀁󰀁从架构模型来看,云存储系统比云计算系统多出一个存储层,它是云存储最基础的部分。存储设备数量庞大并分布在不同地域,彼此之间通过广域网或FC光纤通道网络互联。所有存储设备均由一个统一存储设备管理系统来维护,以实现设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控及故障维护[3]。另外,云存储在基础管理层还增加了数据管理和数据安全等功能,但两者在访问层和应用接口层则是完全相同的。4󰀁云计算应用实例分析

在技术实现上,现有的云计算基础架构多使用超大规模的廉价服务器集群,而较少使用性能强劲但价格昂贵的大型服务器;为保证可靠的服务,节点之间的互联一般采用千兆级以太网;同时,为了最大限度地利用󰀂云端 资源和构建完善的应用程序,云计算的底层架构与上层应用多采用󰀂共同设计,协作开发 的策略;此外,云计算还在大量廉价2010年第3期计算机与数字工程󰀁63

服务器之间使用冗余存储和软件容错技术,确保整个系统的高可靠性和可用性。工业界已经有很多公司提出了其针对云计算的理解,并使用不同的技术来实现自己的云计算平台和应用[4]。本文将主要探讨工业界一个具体的云计算实例:Amazon公司的弹性计算云。

∀Amazon云计算平台

Amazon是最早实现商业化云计算的公司。同时,Amazon还为独立软件开发人员以及开发商提供云计算服务平台。Amazon的云计算名为AmazonWebService,目前主要由4块核心服务组成:

1)简单存储服务(SimpleStorageService,S3),用于提供无限的文档、照片、视频和其它数据的存储服务,用户使用SOAP协议存放和获取自己的数据对象。

2)弹性计算云(ElasticComputeCloud,EC2),用户选择服务器配置来󰀂按需付费 的计算机处理服务,开放给外部开发人员使用。

3)简单队列服务(SimpleQueuingService,SQS),是一个可靠的且可伸缩的消息传递框架,整个队列框架在Amazon数据中心的安全环境中运行。利用它可以简便地创建、存储和获取文本消息。SQS能够跨越多个数据中心冗余地存储消息,支持分布式程序之间的数据传递,而无须考虑消息丢失的问题。

4)目前尚处于测试阶段的SimpleDB(SDB),是一个基于󰀂云 的快速而简单的数据库,它支持快速的可伸缩实时数据集索引和查询功能,并且能够与EC2和S3很好地协作。SDB提供数据索引、存储及访问的能力,主要为企业提供排列轮询和数据库服务。

Amazon将自己的弹性计算云(EC2)建立在公司内部的大规模集群计算的平台上,用户可以通过弹性计算云的用户交互界面去申请在云计算平台上运行的各种服务。通过Xen(一个开源的虚拟机管理程序)虚拟化技术提供操作系统级的平台支持,用户可以不需要硬件的基础而从󰀂云 中直接获取所需的󰀂计算机 。运行结束后,系统管理程序会根据用户使用资源的状况来计费,即用户只需为自己所使用的计算平台实例付费。通过这种方式,无论是个人还是企业,都可在Amazon的基础架构上进行应用软件的开发和交付,而不必配置软件和服务器。图4展示了一个EC2系统的使用模式。[1]中国通信网.基于云计算的AGPS应用研究[EB/OL].

http://telecom.chinabyte.com/290/9129290.shtml,2009

参考文献

图4󰀁Amazon弹性计算云使用模型

如图4,终端用户通过SOAPoverHTTPS协议与Amazon弹性计算云内部的实例进行交互。这样,云计算平台就为用户和软件开发人员提供了一个虚拟的集群环境。弹性计算云中的每一个实例代表一个正在运行的虚拟机,用户对自己的虚拟机具有完整的访问权限,包括针对此虚拟机操作系统的超级管理权限。当服务结束后,系统将按照虚拟机的能力(如存储容量、处理器速度、流量等)进行计费,用户实际上租用的是虚拟的计算能力。

由于弹性计算云这种󰀂按需使用 的模式,使得开发者能够享有充分的灵活性,满足了中小规模软件开发人员对集群系统的需求,减小了开发成本和维护负担。同时,也使得󰀂云 端的软硬件资源能够动态地󰀂按需调度 ,从而减轻了云计算平台供应商的管理负担。

[4]

5󰀁结语

笔者讨论了当前云计算体系结构的组成及特征,通过对具体的云计算平台进行剖析,使读者能够了解云计算的内部含义。云计算作为一种新型的计算模式,利用高速互联网的传输能力将数据的处理过程从个人计算机或服务器转移到互联网上的计算机集群中,带给用户前所未有的计算能力。总体而言,它包括两个方面的基本内容:一方面描述了用于构造应用程序的基础架构;另一方面描述了建立在这种基础架构之上的应用和扩展服务;阐述了云计算体系结构模型和基础架构建设,因为它是支撑整个云计算应用和服务的前提。虽然现在的云计算还不能完好地解决所有问题,但是在不久的将来一定会有越来越多的云计算系统投入使用,云计算本身也会不断地得到完善并成为工业界和学术界研究的另一热点。

(下转第91页)

2010年第3期计算机与数字工程󰀁91

据子集,第一个数据集为训练数据集合,其由50000条记录组成,其中正常记录48950条,攻击记录1050条,攻击记录占全部记录的比例为2.1%,远小于正常记录数;第二三四个数据集为测试数据测集合,各有50000条记录,为了验证异常检测方法对未知攻击的检测能力,在测试数据集中包含了训练数据集中没有出现的攻击类型。实验中,为了评价检测算法的性能,对相关的统计量作如下的定义:检测率(DetectionRate,DR)为检测出的异常数据量除以异常数据总量;误报率(False

测试集

正常数据数入侵数据数

AlarmRate,FAR)为正常数据误报为异常数据的数目除以数据总数目。检测率和误报率是入侵检测系统最重要的性能指标,检测率与误报率总是紧密相关的,增加检测率常常要以误报率的增加为代价,而误报率偏高使系统对原本不是攻击的事件产生了错误的警报,将导致入侵检测系统的性能降低,因此只能在两者之间取折衷的选择。

实验中采用了标准的FCM算法和改进的聚类算法对同样的数据进行了聚类检测分析,表1是两种算法结果的对比。

表1󰀁实验结果对比

检测率(%)误报率(%)

标准FCM改进聚类算法标准FCM改进聚类算法

测试集146893310781.387.58.47.2测试集247241275979.691.27.95.1测试集346043395778.189.69.66.8平均140177982379.6789.438.636.37

[2]陈友,程学旗,李洋,等.基于特征选择的轻量级入侵检1中可以看出,改进的聚类算法在KDD󰀁

测系统[J].软件学报,2007,18(7):1639~1651[3]蒋建春,马恒太,任党恩,等.网络安全入侵检测:研究

综述[J].软件学报,2000,11(11):1460~1466

[4]罗敏,王丽娜,张焕国.基于无监督聚类的入侵检测方

法[J].电子学报,2003,31(11):1713~1716

[5]BezdekJC.Patternrecognitionwithfuzzyobjectivefunc󰀁

tionalgorithms[M].NewYork:PlenumPress,1981[6]EberhartRC,KennedyJ.ANewOptimizerUsing

ParticleSwarmTheory[C]//The6thInternationalSymposiumonMicroMachineandHumanScience,1995:39~43

[7]ShiYuhui,EberhartR.Amodifiedparticleswarmop󰀁

timizer[C]//IEEEInternationalConferenceonEvolu󰀁tionaryComputationProceeding,1998:69~73[8]KDDCup99datasets[DB/OL].http://kdd.ics.uci.

edu/databases/kddcup99/kddcup99.html,1999

󰀁󰀁从表

Cup99数据集上的检测结果明显优于标准的FCM在入侵检测的应用。

7󰀁结语

本文尝试将基于粒子群优化和模糊C均值的聚类算法融合,提出了改进的模糊C均值聚类算法,并将改进的算法应用于入侵检测中,通过KD󰀁DCup99数据集的入侵检测结果证明,改进的模糊C均值聚类算法具有全局快速的搜索能力,能够得到较满意的聚类结果,相对标准FCM算法,改进的模糊C均值聚类算法在入侵检测中具有较高的检测率和较低的误报率。

参考文献

[1]邓亚平.计算机网络安全[M].北京:人民邮电出版社,

2004:5~11

(上接第63页)

[2]云计算之家.云计算体系结构综述[EB/OL].http://

blog.chinaunix.net/u2/75125/showart_1734735.html,2008

[3]中国集群网.深度剖析󰀂云存储 理念[EB/OL].ht󰀁

tp://www.

cncluster.

com.

cn/hangyedongtai/xin󰀁

wenzhongxin/200810/11󰀁296_2.html,2008

[4]陈康,郑纬民.云计算:系统实例与研究现状[J].软件

学报,2009,20(5):1337~1348

[5]刘鹏.提出一种实用的网格实现方式!网格计算池模

型[EB/OL].http://www.chinagrid.net/grid/paper󰀁ppt/ComputingPoolEssay.doc,2002

[6]SunMicrosystems.IntroductiontoCloudComputingarchitecture[M/OL].SunWhitePaper1stEdition,2009

[7]PengLiu,YaoShi,San󰀁liLi.ComputingPool󰀁aSim󰀁

plifiedandPracticalComputationalGridModel[C]//theSecondInternationalWorkshoponGridandCoop󰀁erativeComputing(GCC2003),Shanghai,2003-12.http://www.chinagrid.net/grid/paperppt/Computing󰀁Pool.pdf

[8]KaiHuang.Web󰀁ScaleSupercomputing:FromGrid/

P2PNetworkstoMassiveSystemsExploringInternetClouds[EB/OL].LectureatPekingUniversity,Bei󰀁jing,China,2008-3-21