第一篇:网络云计算技术研究现状综述论文
前言
近年来,计算机技术和网络技术在各个领域得以广泛的应用,这也使网民对计算机网络的性能有了更高的要求。在传统的计算模型中,由于需要大规模的进行底层基础设施的铺设,这就需要大量的资金支持,但当前很大一部分企业由于自身资金不足,再者在短时间内也无法实现资金的回笼和调度,这也是导致传统计算模型成本高的重要因素。同时在传统计算模型中,由于其服务平台缺少弹性,而且不能及时进行调整,这也使其无法满足当前网民不断增长的需求,传统计算模型服务平台较为僵硬,缺乏灵活性。另外在传统计算模型中,由于需要服务商长期进行维护工作,导致占有的时间和精力较多,不利于新的业务和资源的开辟。由于传统计算模型越来越无法适当当前社会发展的要求,为了能够满足网民日益增长的对计算机性能的要求,则云计算应运而生,而且在云计算应用过程中服务商也在不断的进行完善和改时,使其自身的灵活性和实用性得以提升,从而更好的服务于广大用户。计算机网络云计算技术的概述
网络云计算技术是由美国一家网络公司最早提出来的,其主要是对网络和软件等相互之间进行融合,而且网络云计算技术还具有规模化、安全性和虚拟性的特点。在云计算中,不同的云都属于计算机并行分布式体系,其服务基础主要是以网络化的计算机为主,同时还要确保其与计算资源之间具有较好的契合性。云计算作为一个综合体,其较有庞大性,而且网络云计算技术作为计算机软件技术发展的重要环节之一,在具体研究中对于计算机网络云计算的特点更为重视。在当前大多数网络计算机用户中,由于没有对基础设施建设制定有效的方案,这就需要充分的发挥计算机网络云计算技术自身的优势,及时向用户传输其所需要的资源,这就需要计算机云技术能够具有较强的实用性、灵活性和方便性。计算机网络云计算技术的分类
在网络云计算技术分类中,可以从不同的方面来将网络云计算技术进行不同的分类。根据其不同类别的服务特点可以分为公有云和私有云。私有云是针对用户自身的实际情况来进行独立应用,并建立平台,具有良好的操作性和实用性。而公有云则是对其他用户的云资源进行开发利用。可以从服务的连续性、数据安全性、成本费用及监测能力等几个方面对公有云和私有云进行分类。在提供服务方面,公有云受外界因素影响较大,而私有云则没有这方面的问题。
相对于私有云的安全等级来讲,公有云安全等级不高,但其费用成本较低,而私有云成本费用则相对较高,具有较好的稳定性。另外公有云的监测能力也较为强大,能够根据用户的实际需求来执行非常严格的监测。计算机网络云计算技术的实现
在当前计算机系统中,需要将系统划分为两个层次,即功能实现过程及预处理过程,这两个过程的处理效果和作用都会有所不同,但能够确保系统功能的实现。在对实现过程中和预处理过程进行应用过程中,可以有效的提高计算机系统的简洁化,确保计算机整体运行效率的提高。近年来,我国信息化技术取得了较快的发展,在实际生活中云计算技术也得以不断的应用,为云计算技术的实现奠定了良好的基础。在当前计算机网络云计算的实现形式中,大致可以归纳为以下方面:
第一,通过对软件程序在企业管理程序中进行应用,在当前云计算应用实现方式中,多是利用网络浏览器来对用户所需要的信息进行传递,这有效的实现了资金和费用的节约。
第二,网络服务。主要是通过对实际软件程序的利用,从而使研发人员更好的参与到计算机网络实际应用的开发中来。
第三,管理服务提供商。相对于其他实现形式,管理服务提供商主要都是向信息技术行业提供较为专业的服务。计算机网络云计算技术的发展遇到的问题
在当前计算机网络云计算技术广泛应用的过程中,云计算发展过程中也存在着许多不足之处,这就需要在当前云计算广泛应用过程中要采取切实可行的措施来对数据的安全性进行有效的保障,这是当前云计算技术发展过程中非常重要的一项课题。当前很大一部分云端是通过浏览器来进行接入的,在计算机系统中,浏览器处于十分薄弱的环节,自身存在许多漏洞,这样在云端接入浏览器过程中,用户的证书和认证秘钥则极易由于浏览器自身的漏洞而发生泄露。而且在云端中,由于不同的应用都需要进行认证,这就需要对认证机制的高效性和安全性进行有效的保障。在应用服务层中,需要使用安全可行的手段来确保用户隐私的安全性,在基础设施层中需要采取有效的措施来确保数据的安全和保密性,有效的对数据的安全性和保密性产生影响的因素的控制。采取措施保障网民数据安全
当数据存在着安全风险时,则会对云计算的发展带来较大的影响,因此为了有效地确保网民数据安全能够得到有效的保障,则需要采取切实可行的措施来保证数据的安全性。
(1)隔离操作系统和计算资源。为了有效的确保网民数据的安全性,则需要充分的运用 Hypervisor,从而将网民的操作系统与所需要存储的计算资源有效的隔离开来,从而有效的提高计算资源的安全性,避免其受到来自于网民操作系统所可能带来的影响。
(2)重置 API 保护层。服务商把 API 供给用户,用户按需进行运用。但是,第三方也会使用这些 API.如果想要保护数据安全,就必须再安装 API 保护层,对 API 进行重叠保护。
(3)严格身份认证。服务商需要执行严格的身份认证,加强对网民账号和密码的管理,对冒充网民身份的行为进行有效的防范,确保网民只对自己的数据和程序进行访问,有效的提高数据的安全性。结束语
随着计算机网络技术的快速发展,当前计算机网络云计算技术也取得了一定的进步,尽管当前计算机网络云计算技术还处于初步发展阶段,但其具有较高的实用性,而且取得了较为显着的效果,给我们的生活方式带来了较大的改变。近年来,计算机网络云计算技术越来越受到重视,国家和企业都加大对其进行研究力度,这使计算机网络云计算技术的高速计算优势得以更好的发挥出来,已成为当前信息科技发展的主要方向。
参考文献:
[1]李静媛,徐荣灵。计算机网络云技术分析[J].计算机光盘软件与应用,2013,4(1)。
[2]矫玉勋。元计算技术在现代农业中应用分析及发展策略[D].吉林大学,2013,5(24)。
[3]姜博。基于网络计量学的云计算技术发展态势研究[D].北京工业大学,2013,6(1)。
第二篇:云计算环境下的网络技术研究
云计算环境下的网络技术研究
摘要:随着互联网的普及应用,使得人们生活内容更加丰富多彩,并且从根本上改变了人们传统的生活习惯,网络已经成为日常生活中不可或缺的组成部分。特别是在云计算环境下,网络技术在国民经济发展、社会进步中所发挥的作用更是与日俱增。如何更好的把握时代脉搏,创新研发符合世界经济发展规律的网络技术成为当前研究领域重要课题之一。为此,本文将针对当前云计算环境下网络新挑战作为切入点,深入分析并探寻未来网络技术发展方向,以丰富现有研究成果,推动相关研究进一步发展。
关键词:云计算;网络技术;国民经济;社会进步;时代脉搏
前言:网络技术的发展可以说是日新月异,自从上个世纪40年代中期计算机诞生以来,网络逐步成为日常生活中的重要娱乐方式。云计算通过虚拟化技术、分布式计算等方式将网络信息资源整合,形成一个资源池,动态的将网络资源分配给具有使用需求的用户,继而创造良好的社会效益及经济效益的一种服务模式,并且随着世界经济一体化趋势不断发展,网络资源在各国竞争中发挥的作用愈加明显。因此,如何应用更新、更具前瞻性的网络技术来抢占市场先机,壮大本国相关产业成为一个不容忽视的问题。1 云计算环境下网络技术面临的新挑战解析 1.1海量数据信息对宽带及延迟提出更高要求
随着互联网的普及应用,网络经济正以飞速发展,人们每天都可以从中感受出网络技术的变化。特别是在云计算环境下,个人信息、企业及政府职能部门敏感数据通过云存储技术进行保存已经成为网络技术发展的主流趋势。然而,由于网络的触角已经延伸至社会经济生产生活的方方面面,每天互联网中都会生成海量的数据信息,并通过网络传输方式上传至云端进行存储。在此过程中,受到网络延迟以及宽带带宽的影响,敏感数据容易发生丢失或者损害,造成用户无法正常使用,并且相关数据恢复难度较大,造成了一定的不利影响。因此,云计算环境下,海量数据面前,网络延迟以及宽带带宽问题已经成为限制网络技术发展的重要因素,由此产生的数据安全数据存储问题亟待解决。1.2二层网络亟待建立
众所周知,由于采用虚拟机动态迁移技术能够使得数据中心的操作具有更大的灵活性及快捷性,大幅提升其工作效率而被广泛认可及接受,成为当前网络技术中应用范围较广的一种应用技术。然而,当前采用的虚拟机动态迁移技术无法改变虚拟机的IP地址、MAC地址,带来的最明显问题即在于当虚拟机发生迁移之后,虚拟机自身原有网络配置将与新环境无法适应,正常通信得不到有效保障,因而最终酿成业务连续性受到影响的不利结果。因而,云计算环境下要想实现跨域场情境下的虚拟机实时运转,就需要将所有发生动态迁移的虚拟机纳入到一个统一的二层网络中,以满足用户的上网需求。而二层网络的建立在目前尚未展开,进一步降低了云计算环境下网络技术所带来的便利性。2 云计算环境下网络技术研究方向
针对云计算环境下网络技术面临的挑战,本文在综合总结了国内外关于该领域及该可以的研究成果后,总结出了如下几方面网络技术研发应用方向,以供相关研究借鉴参考。2.1接入技术
接入技术被业界形象的称之为“最后一公里”技术,意指本地网络运营商与用户之间的一段连接[1]。当前应用前景比较明朗的接入技术如下:
2.1.1ADSL ADSL又被称作为非对称数字用户线,是DSL家族系列中应用范围最广的一种,除了ADSL外,其他DSL接入技术包括:HDSL、VDSL、IDSL等。ADSL主要是利用现有的电话双绞线作为网络传输的介质,具有成本低廉等优势,经过不断丰富及完善,当前ADSL传输峰值已经达到了115Kbps,完全能够满足企事业单位、政府职能部门、个人用户的使用需求。并且ADSL的非对称性与终端用户的网络访问特点具有较为明显的一致性:个人用户多数应用都是以客户方式从网上去获取数据,如WWW、FTP,只在个别时候才向网络大量发送数据,如发送附带多媒体信息的电子邮件,因此下行数据量大、上行数据量小。随着固定电话走入千家万户,ADSL的应用前景将会更加明显,其技术改进方向也集中于提高网络数据传输速率及稳定性等方面。
2.1.2线缆调制解调器 线缆调制解调器的客户群体主要集中于家庭用户,是在当前电缆基础上将分配网络的主干部分改为光缆通信,继而在各个节点位置实现光电转化,再经由通州电缆将网络信号传输至用户家里。线缆调制解调器可以广泛应用于Internet访问、电视节目点播、数据电话等拓展业务,其市场应用前景极其广阔。当前现有技术条件下Internet访问的最高峰值可以达到30Mbps,而上行速率可到到2M左右。尽管线缆调制解调器是一个共享网络,随着用户的增加、宽带及节点数量的激增而会产生网络延迟现象,但是其较高的带宽在目前尚可以满足用户使用需求,其所享受的宽带资源仍然是所有接入技术中最高的网络数据传输方式。
2.1.3无线接入技术(WLAN)
无线接入技术是近些年来随着网络通信技术快速发展而形成的一种新型数据传输、通讯方式。相较于ADSL、线缆调制解调器,无线接入技术是通过无限介质将用户与网络节点相连接,以实现用户与网络间无障碍数据惜惜传递的目的,其需要遵循一定的网络协议,并且该协议内容也成为无线接入技术的核心及关键内容[2]。其最明显的特征即为可以向用户提供实时的移动接入业务,不管用户是在闹市区还是乡村郊外,随时可以将自身感触、心得体会上传至网络空间,网络共享具有极大的便利性,因而该技术成为当下网络技术研究中的重要领域及方向,是今后网络业务开展的重要保障之一。2.2IPv6技术
虚拟机动态迁移技术不能改变IP地址、MAC地址的问题已经困扰人们多时,该问题的存在使得移动网络技术应用受到很大程度影响,加剧了网络服务商与用户之间的对立形势。IPv6技术的出现几乎完美的解决地址不能及时变更的问题,使得网络连接更加快捷。当前IPv6技术为用户提供了128位的IP地址,使得地址数量得到大幅提升,有效的解决了IP地址资源危机。并且其所使用的“可聚集全球统一计算地址”构造与当前网络拓扑结构较为一致,使得线缆调制解调器能够最大化发挥功用[3]。但是当前IPv6技术的应用尚无法广泛推广,主要原因在于其升级存在诸多困难。因此,IPv6技术今后研究的重点方向即为构建以下三种机制:兼容IPv4的IPv6地址、双IP协议栈和基于IPv4隧道的IPv6。结论:综上所述,云计算环境下网络技术研究领域在当前乃至今后一段时期内主要集中于网络数据传输技术及动态地址分配技术两个方面。本文中所分析的网络技术研究内容比较切合实际应用需求,对研究工作能够起到一定的指导作用,希望通过本文能够促使网络技术研究迈上一个更高的发展阶段。参考文献:
[1]周志勇.云计算环境下网络信息安全技术发展研究[J].中国高新技术企业,2014,12(25):40-41.[2]宋焱宏.云计算环境下的网络安全技术[J].网络安全技术与应用,2014,25(08):178-179.[3]王丽敏.云计算环境下的网络信息资源管理[J].信息与电脑(理论版),2014,33(10):92-93.
第三篇:云计算中MapReduce技术研究
云计算中MapReduce技术研究
孙香花
(长江师范学院数学与计算机学院,重庆,408100)
摘要: MapReduce是云计算的核心技术之一,它为并行系统的数据处理提供了一个简单、优雅的解决方案。其主要目的是为了大型集群的系统能在大数据集上进行并行工作,并用于大规模数据的并行运算。本文首先介绍了MapReduce的相关知识,然后对目前MapReduce的国内外研究状况进行了介绍与评析;并总结了目前MapReduce模型的相关研究问题;最后进行总结并展望了未来发展的趋势。
关键词:MapReduce技术;云计算应用;云计算;并行计算;
MapReduce technology of cloud computing
SHUN Xiang-hua(1、College of Mathematics and Computer Science,Yangtze Normal university, Chongqing,,410081)
Abstract: MapReduce is one of the core technology of cloud computing, which is parallel data processing system provides a simple, elegant solution.Its main purpose is to a large cluster of systems in large data sets in parallel, and parallel computing for large-scale data.This paper focus on the cloud of MapReduce technologies.MapReduce first introduced the relevant knowledge, the current research situation of MapReduce are introduced and Analysis;MapReduce model put forward the current research issues;Finally, the summary text and the future trends.Key words: MapReduce technology;cloud computing applications;cloud computing;parallel computing;
1、引言
随着数字技术和互联网的急速发展,特别是随着Web2.0的发展,互联网上的数据量高速增长,也导致了互联网数据处理能力的相对不足。由于待处理数据越来越多,多到了很难在一台或有限数目的存储服务器内容纳,且更无法由一台或数目有限的计算服务器就能处理这样的海量数据。因此,如何实现资源和计算能力的分布式共享以及如何应对当前互联网数据量高速增长的势头,是目前互联网界亟待解决的问题。正是在这样一个发展背景下,云计算应运而生[1]。
云计算是由并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)发展而来[2,3]。云计算的核心技术之一是MapReduce,它为并行系统的数据处理提供了一个简单、优雅的解决方案。其主要目的是为了大型集群的系统能在大数据集上进行并行工作,并用于大规模数据的并行运算[4-6]。
近几年来由于数据的大量增长,Mapreduce受到了较多的关注,获得了较大的发展,但还没有形成成熟的、系统化的理论体系[7]。目前国内外进行MapReduce分析技术研究的机构都显示了对MapReduce的高度关注,并在不同的体系结构上都进行了实现,尤其是在开源hadoop平台上对其所做的研究提供了更多的研究机遇。因此对MapReduce的研究不仅具有收稿日期:
基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003)作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.
重要的应用价值,更具有重要的学术意义[8,9]。本文首先介绍了MapReduce的相关知识,然后对目前MapReduce的国内外研究状况进行了介绍与评析;并总结了目前MapReduce模型的相关研究问题;最后进行总结并展望了未来发展的趋势。2、MapReduce相关研究
目前国内外文献中对MapReduce模型都有相应的研究。主要体现在以下几个方面: 基于MapReduce的初等研究及改进:在Goole提出的原始模型的基础上提出一些新的改进方法,或是对怎样提高MapReduce算法的效率上去进行研究。如:文献[10]提出了一种改进型的MapReduce编程模型,该模型继承了传统的MapReduee模型对map函数和reduce函数的定义.对map和reduce过程进行了改进优化。文献[11]中的HPMR是建立在多核集群上的高性能计算支撑平台。它继承并改进了MapReduce并行编程模式,使其适合高性能计算需求。并让并行程序的编写和运行变得非常简单,同时又保持很高的性能。
对大规模的数据挖掘:利用MapReduce模型对于云平台的海量数据进行挖掘,抓取网页相关数据,或是对网页内容去重等到相关的大规模数据的研究等。如:文献[12]详细描述SPRINT并行算法在HadooP中的MapReduce编程模型上的执行流程,并利用分析出的决策树模型对输入数据进行分类。
基于MapReduce并行模型的一些设计方法与实现或是计算方法的实现,如:文献[13]结合MapReduce的长处,提出研究和实现一个完整的高性能并行计算系统,以GPU为硬件基础并配合基于MapReduce并行计算模型平台进行大规模数据处理。文献[14]提出了基于MapReduce架构实现分布式光线跟踪渲染的方案。该方案基于Hadoop实现,利用MapReduee架构简化了分布式程序设计。
MapReduce的综述:文献[15]重点讨论了MapReduce模型的相关研究,并对采用或是实现了这些模型的相应公司的技术进行了探讨,是一篇综述类型的学位论文。MapReduce模型的研究与应用:文献[16]介绍开源并行系统Hadoop的体系结构以及基于Hadoop的MapReduce编程框架,并在Hadoop基础上提出一种通过多重MapReduce操作,实现海量共现矩阵的生成方法。
当前的研究中,对于云计算中并行计算模型的研究主要是针对于MapReduce模型,而对于MapReduce模型的研究主要在两个方面展开,一个方面为对MapReduce模型的改进,但是对于改进后的模型的实现平台没有研究;另一个方面为MapReduce模型的应用,也是当前的主要研究方向。
3、MapReduce相关研究问题
MapReduce是由Google提出的一种并行分布式编程模型[17-19]。在MapRedcue 模型中用户只须指定一个map函数来处理一个输入的key/value对,产生中间结果key/value对集,再通过一个由用户指定的reduce函数来处理中间结果中具有相同key值的value。适合用 MapReduce 来处理的数据集(或任务)有一个基本要求: 待处理的数据集可以分解成许多小的数据集,而且每一个小数据集都可以完全并行地进行处理[20-21]。
图1说明了用 MapReduce 来处理大数据集的过程,MapReduce 的计算过程很简单,计算利用一个输入key/value对集,来产生一个输出key/value对集[22]。MapReduce库的用户用两个函数表达这个计算:map和reduce。首先,用户自定义的map函数,接受一个输入对,然后产生一个中间key/value对集。然后,MapReduce库把所有具有相同中间key I的中间value聚合在一起,然后把它们传递给reduce函数。最后,用户自定义的reduce函数,接收稿日期:
基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003)作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.
受一个中间key 和相关的一个value集。它合并这些value,形成一个比较小的value集[23-25]。
图1、Mapreduce的计算流程
随着数字技术和互联网的急速发展,特别是随着Web2.0的发展,互联网上的数据量高速增长,也导致了对MapReduce这种并行计算模式的研究变得越来越重要,由此也产生了一系列的相关研究问题,分别如下所列出[26-28]:
1、MapReduce模型只需执行简单的计算,对于隐藏并行化、容错、数据分布、负载均衡的那些问题是如何实现的。
2、Google的MapReduce执行流程。
3、对MapReduce模型的实现。
4、对MapReduce模型进行改进。
5、提高Mapreduce的运算效率的方法。
6、基于MapReduce模型的应用。
7、基于MapReduce模型的设计方法及实现 对于以上所列出这些研究问题,目前国内外都有相关的研究,对于这些研究问题在很大程度上仍然有可研究性。
4、未来研究趋势
MapReduce作为一个通用可扩展的并行计算模型,它用来有效地处理海量数据,不断地从中挖掘出有价值的信息,成为互联网企业发展的必然选择。很多现实世界对海量数据的处理,都可以用这种模型来表示。当前在云计算中使用的分布式并行运算基本上是采用的MapReduce计算模型,不过国内的研究仍然有点滞后,同时,当前的主要研究都放在其应用上,比如说网页抓取等,真正去研究算法本身的并不多,尤其是在提高算法本身的效率上,以及算法的优化等都研究较少。
根据上面的论述和分析可以看出,对于云计算中并行计算模型的研究和应用主要是对于MapReduce模型的,而对MapReduce模型的应用是当前的主要研究方向。本课题在分析MapReduce模型的基础上,提出了如下的研究内容:
1、利用MapReduce强大的计算能力,把MapReduce模型应用到一些经典的算法中。所要解决的主要问题是经典的算法的选取,即要满足利用MapReduce模型的条件,还要解决的是两个算法的比较及评价问题;
2、利用MapReduce强大的计算能力,把MapReduce模型应用到一些数值计算问题中去,所要解决的主要问题是数值计算问题的分解和结束条件,还要解决的是两个算法的比较问题及新算法的评价问题。
收稿日期:
基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003)作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.
4、结束语
本文首先介绍了MapReduce的相关知识,然后对目前MapReduce的国内外研究状况进行了介绍与评析;并总结了目前MapReduce模型的相关研究问题;最后进行总结并展望了未来发展的趋势。参考文献 [1] [2] [3] [4] [5] 张建勋,古志民,郑超.云计算研究进展综述[J].计算机应用研究,2010,27(2):429-433 金海,漫谈.云计算[J].中国计算机学会通讯,2009,5(6):22-25 吴吉义,平玲娣, 潘雪增等.云计算:从概念到平台[J].电信科学,2009,12:23-30 陈康, 郑纬民.云计算:系统实例与研究现状[J].软件学报.2009,20(5):1337-1348 尹国定,卫红.云计算—实现概念计算的方法[J].东南大学学报:自然科学版,2003,33(4):502-506 [6] 武永卫,黄小猛.云存储[J].中国计算机学会通讯,2009,5(6):44-52 [7] Lamel.R Google’s Mapreduce Programming Model-revisited [J].Science of Computer Programming, 2008, 7(1): 208-237.[8] 万至臻.基于Mapreduce模型的并行计算平台的设计与实现[I].浙江大学.2008 [9] 吴晓伟.MapReduce并行编程模式的应用和研究[I].中国科学技术大学.2009.[10] 周锋,李旭伟.一种改进的MapReduce并行编程模型[J].科协论坛.2009.2(11):11-12 [11] 郑启龙,王昊,吴晓伟等.HPMR:多核集群上的高性能计算支撑平台[J].微电子学与计算.2008,25(9):21-23 [12] 王鄂,李铭.云计算下的海量数据挖掘研究[J].现代计算机.2009,22(11):22-25 [13] 瞿李峰.基于GPGPU的MapReduce高性能并行计算模型研究与应用[I].桂林理工大学.2009.[14] 郑欣杰,朱程荣,熊齐邦.基于MapReduce的分布式光线跟踪的设计与实现[J].计算机工程.2007,33(22):83-85 [15] 周敏.MapReduce综述[I].暨南大学.2008.[16] 杨代庆,张智雄.基于Hadoop的海量共现矩阵生成方法[J].现代图书情报技术.2009, 25(4)23-26 [17] Luis M V, Luis Rodero Merino, Juan Caceres, Maik Lindner.A break in the clouds: toward a cloud definition.ACM SIGCOMM Computer Communication Review, 2009,39(1):50-55 [18] Robert L G,Gu Yunhong,Michael Sabala,Zhang Wanzhi。Compute and storage clouds using wide area high performance networks。Future Generation Computer Systems,2009,25(2):179-183 [19] Daniel J A.Data management in the cloud: limitations and opportunities.Bulletin of the IEEE Computer Society Technical Committee on Data Engineering, 2009,32(1):3-12 [20] 郑启龙.HPMR在并行矩阵计算中的应用[J].计算机工程.2010(8).[21] 徐志伟,廖华明,余海燕.网络计算系统的分类研究[J].计算机学报.2008,31-9:1509—1515.[22] M.Kruijf and K.Sankaralingam.MapReduce for the Cell B.E.Architecture[J].Technical Report No.TR1625,Computer Science Department,University of Wisconsin,Madison,2007.[23] Colby Ranger,Ramanan Raghuraman,Arun Penmetsa,Gary Bradski,Christos Kozyrakis.Evaluating MapReduce for Multi-core and Multi-processor Systems,Proceedings of the 13th Intl,Symposium on High-Performance Computer Architecture(HPCA).收稿日期:
基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003)作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.
Phoenix,AZ, February 2007.[24] J.Dean and S.Ghemawat.Mapreduce:Simplified data processing on large clusters.In OSDI,pages 137-150,2004.[25] D.V.Kalashnikov,S.Prabhakar,and S.E.Hambrusch.Main memory evaluation of monitoring Queries over moving objects.Distributed and Parallel Databases,15(2):117-135,2004.[26] J.Dean.Experiences with mapreduce,an abstraction for large-scale computation.In Proc.IEEEP ACT,2006.[27] 钟伟彬,周梁月,潘军彪等.云计算终端的现状和发展趋势[J].电信科学,2010,3:22-26 [28] 陈国良,孙广中,徐云.并行计算的一体化研究现状与发展趋势[J].科学通报,2009,54(8):1043-1049
地址:重庆市涪陵区李渡聚龙大道98号长江师范学院数学与计算机学院办公室
孙香花 邮编: 408100
收稿日期:
基金项目:教育部“春晖”计划科研合作项目(Z2005—1-55003)作者简介:孙香花(1977-),女,山西朔州人,硕士,讲师,主要从事数据库、网络方面的研究.
第四篇:云计算论文
浅谈云计算
白娟
(运城学院 信息管理与信息系统 1106)
【摘要】云计算是当前计算机领域的一个热点。它的出现宣告了低成本提供超级计算时代的到来。云计算
将改变人们获取信息、分享内容和互相沟通的方式。此文阐述了云计算的简史、概念、特点、保护和发展前景,并对云计算的发展及前景进行了分析。
【关键词】云计算特点,云计算保护,云计算发展前景
1.云计算相关知识
1.1简史
1983年,太阳电脑(Sun Microsystems)提出“网络是电脑”(“The Network is the Computer”),2006年3月,亚马逊(Amazon)推出弹性计算云(Elastic Compute Cloud;EC2)服务。
2006年8月9日,Google首席执行官埃里克·施密特(Eric Schmidt)在搜索引擎大会(SES San Jose 2006)首次提出“云计算”(Cloud Computing)的概念。Google“云端计算”源于Google工程师克里斯托弗·比希利亚所做的“Google 101”项目。
2007年10月,Google与IBM开始在美国大学校园,包括卡内基梅隆大学、麻省理工学院、斯坦福大学、加州大学柏克莱分校及马里兰大学等,推广云计算的计划,这项计划希望能降低分布式计算技术在学术研究方面的成本,并为这些大学提供相关的软硬件设备及技术支持(包括数百台个人电脑及BladeCenter与System x服务器,这些计算平台将提供1600个处理器,支持包括Linux、Xen、Hadoop等开放源代码平台)。而学生则可以通过网络开发各项以大规模计算为基础的研究计划。
2008年1月30日,Google宣布在台湾启动“云计算学术计划”,将与台湾台大、交大等学校合作,将这种先进的大规模、快速将云计算技术推广到校园。
2008年2月1日,IBM(NYSE: IBM)宣布将在中国无锡太湖新城科教产业园为中国的软件公司建立全球第一个云计算中心(Cloud Computing Center)。
2008年7月29日,雅虎、惠普和英特尔宣布一项涵盖美国、德国和新加坡的联合研究计划,推出云计算研究测试床,推进云计算。该计划要与合作伙伴创建6个数据中心作为研究试验平台,每个数据中心配置1400个至4000个处理器。这些合作伙伴包括新加坡资讯通信发展管理局、德国卡尔斯鲁厄大学Steinbuch计算中心、美国伊利诺伊大学香宾分校、英特尔研究院、惠普实验室和雅虎。
2008年8月3日,美国专利商标局网站信息显示,戴尔正在申请“云计算”(Cloud Computing)商标,此举旨在加强对这一未来可能重塑技术架构的术语的控制权。
2010年3月5日,Novell与云安全联盟(CSA)共同宣布一项供应商中立计划,名为“可信任云计算计划(Trusted Cloud Initiative)”。
2010年7月,美国国家航空航天局和包括Rackspace、AMD、Intel、戴尔等支持厂商共同宣布“OpenStack”开放源代码计划,微软在2010年10月表示支持OpenStack与Windows Server 2008 R2的集成;而Ubuntu已把OpenStack加至11.04版本中。2011年2月,思科系统正式加入OpenStack,重点研制OpenStack的网络服务。1.2概念
狭义云计算是指计算机基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。
广义云计算是指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是计算机和软件、互联网相关的,也可以是其他的服务。云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展,或者说是这些计算机科学概念的商业实现。云计算是虚拟化(Virtualization)、效用计算(Utility Computing)、IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进并跃升的结果。1.3云计算特点
被普遍接受的云计算特点如下:(1)超大规模
“云”具有相当的规模,Google云计算已经拥有100多万台服务器,Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。
(2)虚拟化
云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机,就可以通过网络服务来实现我们需要的一切,甚至包括超级计算这样的任务。
(3)高可靠性
“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠。
(4)通用性
云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行。
(5)高可扩展性
“云”的规模可以动态伸缩,满足应用和用户规模增长的需要。(6)按需服务
“云”是一个庞大的资源池,你按需购买;云可以像自来水,电,煤气那样计费。(7)极其廉价
由于“云”的特殊容错措施可以采用极其廉价的节点来构成云,“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升,因此用户可以充分享受“云”的低成本优势,经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。
云计算可以彻底改变人们未来的生活,但同时也要重视环境问题,这样才能真正为人类进步做贡献,而不是简单的技术提升。
(8)潜在的危险性
云计算服务除了提供计算服务外,还必然提供了存储服务。但是云计算服务当前垄断在私人机构(企业)手中,而他们仅仅能够提供商业信用。对于政府机构、商业机构(特别象银行这样持有敏感数据的商业机构)对于选择云计算服务应保持足够的警惕。一旦商业用户大规模使用私人机构提供的云计算服务,无论其技术优势有多强,都不可避免地让这些私人机构以“数据(信息)”的重要性挟制整个社会。对于信息社会而言,“信息”是至关重要的。另一方面,云计算中的数据对于数据所有者以外的其他用户云计算用户是保密的,但是对于提供云计算的商业机构而言确实毫无秘密可言。所有这些潜在的危险,是商业机构和政府机构选择云计算服务、特别是国外机构提供的云计算服务时,不得不考虑的一个重要的前提。
2.云计算的隐私保护和发展前景
2.1浅谈云计算环境下的隐私权保护
目前,云计算受到产业界的极大推崇并推出了一系列基于云计算平台的服务。但在已经实现的云计算服务中,安全问题一直令人担忧,以至于使得安全和隐私问题成为云计算普及过程中面临的一个巨大挑战。文章主要探讨云计算的隐私问题。在概述网络隐私权特点的基础上,指出了云计算环境下隐私的特殊性,分别从客户端、网络传输、服务器端三个方面阐述了网络隐私权存在的安全隐患。最后,从法律、技术、监管等方面分析了云计算环境下隐私权保护的方案。
互联网以及与之相关的产业发展日新月异,云计算(Cloud Computing)作为一种新的服务模式,受到各方的关注,特别是在产业界受到极大的推崇。目前,几乎所有著名IT公司的战略重点中都涉及了云计算,并推出了一系列基于云计算平台的服务。Amazon的EC2和Google的Google App Engine都是典型的云计算服务,它们使用Internet来连接外部用户,把大量的软件和IT基础设施作为一种服务对外提供。此外,还有微软的Live Meeting、Cisco的WebEx、IBM的“蓝云”等等。
但是,目前的云计算有其“先天性”不足,对于广大网民来说,首当其冲的就是隐私保护问题。正如美国军事安全专家格雷格?康蒂(GregConti)所担心的:云计算在给人们带来巨大便利的同时,该服务中所存在的不足也将危及企业用户和普通网民的隐私安全。据世界隐私论坛近日发布的一份报告声称,如果企业期望通过利用云计算服务来降低IT成本
和复杂性,那么首先应保证这个过程中不会带来任何潜在的隐私问题。IDC对CIO和IT主管的调查也显示,安全仍是云计算主要关注的问题,大约75%的人表示他们担心云计算安全问题(包括隐私安全)。由此可见,隐私安全问题是云计算发展的最主要障碍之一。2.2云计算的发展前景
云计算被视为科技业的下一次革命,它将带来工作方式和商业模式的根本性改变。首先,对中小企业和创业者来说,云计算意味着巨大的商业机遇,他们可以借助云计算在更高的层面上和大企业竞争。自1989年微软推出Office办公软件以来,我们的工作方式已经发生了极大变化,而云计算则带来了云端的办公室——更强的计算能力但无须购买软件,省却本地安装和维护。
其次,从某种意义上说,云计算意味着那些对计算需求量越来越大的中小企业,不再试图去买价格高昂的硬件,而是从云计算供应商那里租用计算能力。在避免了硬件投资的同时,公司的技术部门可以节省大量的技术维护时间。以亚马逊为例,其云计算产品价格便宜,吸引了大批中小企业,甚至《纽约时报》、红帽等大型公司。
[6] 云计算对商业模式的影响体现在对市场空间的创新上。Google Apps是关于创新的理论中的新市场创新。当互联网变得越来越快和可依赖,用户正从桌面电脑上的软件应用转向基于互联网的应用。同时,云计算开发新产品拓展新市场的成本非常低。比如,如果用户对Gmail的需求突然出现猛增,谷歌的云计算系统会自动为Gmail增加容量和处理器的数量,无需人工干预,而且增加和调整都不增加成本。依赖云计算,谷歌能以几乎可以忽略不计的成本增加新的服务。有观点认为,云计算受到热捧的背后,还反应了超级计算机市场的角力。超级计算机应用一度因需要非常昂贵的硬件投入而面临极高的推广门槛,云计算却宣告了低成本提供超级计算服务的可能,一旦云计算得到了广泛的推广,可以乐观地估计,超级计算机市场的春天即将到来。参 考 文 献
[1]武星,王旻超,张武,李青.云计算研究综述[J].科技创新与生产力,2011,06:49-55.[2]刘晓乐.计算机云计算及其实现技术分析[J].电子科技.2009(12)[3]叶晓勇.简述云计算[J].黑龙江科技信息.2009(24)[4] 王丽安.Internet云计算技术[J].科协论坛(下半月).2011(10)[5]狄明远,周铁城.云计算浅析[J].科技风.2009(13)社,2004年9月出版; [6] 张亚东.浅谈云计算发展现状与趋势[J].科技致富向导.2011(12)[7] 唐红,徐光侠.云计算研究与发展综述[J].数字通信.2010(03)
[8] 李晓伟,沈艳秋.云计算及其发展进程[J].科技信息.2011(15)
第五篇:云计算环境下的分布存储技术研究论文
摘要:云计算是一种全新的计算模式,其在科学计算以及商业计算领域发挥的作用不可估量,当前在学术界以及企业界等都受到了非常广泛的关注。云计算环境下的分布存储技术?整体而言,它研究的主要内容是在数据中心上对于数据的相关管理和组织,是云计算环境的核心内容和最基础设施。通常来说,数据中心是由上百万级别的节点综合组成的,因此这也就自然造成了数据失效的经常发生,这就对云计算的推广和应用造成了向大限度的限制,基于上述一些层面,对于云计算环境下的分布存储技术进行研究意义重大。
关键词:云计算;分布存储技术;数据
随着信息技术的飞速发展,社会和科学也已不可估量的速度飞速行进着,与此同时,在各行各业中不断推进和广泛应用的信息化向信息技术发出了更新一轮的巨大挑战,对信息技术向前发展起到了促进作用。云计算随着存储、通信技术以及计算等的发展而出现并得以广泛应用,使得用户能够更便捷、适时地访问云服务提供商提供的信息资源,整体来说,云计算同时具备着高可靠性、虚拟化、超大规模、价格低廉等特性,极大程度上满足了海量数据存储要求。在这一环境下的分布存储技术作为云计算的基础,虽然功能强大,然而从当前形势看来,它面临着巨大的挑战,因此需要不断地做出分析和研究。
1云计算技术
云计算是一种为了能够更好地满足相当数量的数据信息的计算以及存储等相关服务,同时跟随当下形势呈现出非常流行趋势的通信技术而产生的新型的、能够为各行各业进行分享基本数据资源的一种计算模型。云计算服务提供商基本上是不参与相关流程的,云计算机能够保证用户实现随时、便捷且放百度呢存储服务、访问网络服务、计算服务等一系列资源。源头上看来,云计算服务提供商是将庞大的数据节点以及相关网络设备进行科学有效的有机结合,继而就可以形成一个或者是一些具与一定规模的数据中心,进而由这一数据中心向有所需的用户提供到他们需要的服务,最大程度上满足了用户的使用要求。
关于云计算这一方面做出的相关研究表明,云计算具有最为显著的属性包括高稳定性、可扩展性以及规模超大灯,因此就可以在相应的环境下很好地实现庞大数据信息的存储操作,存储的位置多为不同数据中心的不同节点之上,即存储在这些节点之上的数据信息都是透明的、共享的,因此一旦用户有哪一方面的需求,只需通过云计算服务提供商提供出的数据访问接口就可以满足自己需求,获取到其中心内部存储的数据信息。然而当前看来,基于云计算环境的分布存储技术显然也是遇到了一些巨大的挑战,云计算数据中心的数据量、数据信息的规模是非常可观的,无疑会为数据中心的相关有效成本费用、容错性以及可扩展性等方面带来挑战,需要我们不断地做出分析研究。
2云计算环境下的分布存储技术
2.1可扩展性研究
经济发展迅速的今天,在各行各业都会应用到数据信息处理技术以及计算机技术、通信技术等对相关数据做出一定的有效处理,当下看来,海量信息显然单靠计算机无法满足其处理操作,类似存储、计算等,这一背景下,基于云计算环境的分布存储技术研究应运而生,首先研究其可扩展性。研究之前先分析传统的数据存储计算,其通过冗余的磁盘实现相关要求,那种采取与流行时进行提高数据存储可扩展性的方式虽然确实实用了一定时间,它在一定程度上实现满足了数据的存储空间,只是基于云计算之中的庞大的海量的数据节点,其存储的数据规模以及相关数据中心的规模仍然处在不断扩大的趋势之上,不断增长的需求存储容量显然不能由磁盘预留方式来实现了。因此,云计算环境下的分布存储技术又到达了一个致高点。云服务提供商的数据中心不可能采取冗余磁盘预留的方式来扩展存储空间,并且它也不可能在建立之初将所有的操作都完完全全规划好,譬如说谷歌当前看来,已经在全球的数据中心就有36个,并且每一个数据中西所包含的计算机节点达到了数百万个;再譬如微软的数据中心,对外宣称其将会在全球建设多余二十个数据中心,同时在九月份已经在芝加哥形成了全球最大的模块化数据中心,其中包含了二百二十多个集装箱,同时每一个集装箱中机器数都在两千作用,其服务器还会以十四个月为周期进行成倍增长,赶超摩尔定律增长速度,因此,基于数据中心的网络可扩展性进行研究意义十分重大,以期能够适应当下不断增长、扩展的应用需求。
2.2容错性研究
云计算提供商仅仅依靠传统的提高容错性的方法进行操作显然满足不了当下的需求,这是因为传统的容错性提高办法是经由高性能的服务器、RAID技术或者是专用的存储设备来进行相关操作,完成这一内容的成本十分高昂,根本无法满足现今云计算提供商的要求,除上述之外云计算之中庞大的节点以及数据规模注定了极高的失效概率。在云计算这一大环境下,操作失效非常常见。譬如在谷歌公司中,就曾在零六年做出过一份报告,即在云计算环境的分布存储技术的数据中心内部,平均每一个MapReduce作业的运行过程之中就包含了五个失效的节点;每一个拥有着四千个节点金星运行的MapReduce作业的相关数据中心中,几乎平均六个小时中就有一个小时的磁盘失效时间,这无疑会给云服务的提供商和资源应用者带来不同程度的麻烦和损失。除了上述之外,还有很多情形下会造成失效的结果。总而言之,云计算环境下分布存储的频频失效必将带来不同程度上的损失,其程度不可估量,因此当下而言,容错成为云计算环境之下分布存储所面临的一项巨大挑战,同时其亟待解决。关于云计算环境下的分布存储,想要更为彻底有效科学的提高其容错性,单研究节点之间的相互关联关系,以提高在屋里拓扑结构上的容错性是远远不够的,与此同时,必须同时研究在节点上存储着的数据的相关组织和管理操作,以提高数据容错性,达到最终目的。
2.3成本控制方面
云计算环境下的数据存储技术之所以需要在成本控制方面做出一定的研究,是因为传统的分布存储所需要管理组织的节点和数据的规模都非常显,能耗相对也自然比较小,同时于企业而言,低消耗下他们是愿意通过成本输入来交换可靠性能以及效率的。然而,在云计算环境下的分布存储,其能耗是非常大的,同时为了使设备处在正常运转的状态之下,能耗还要增加很大一部分。在24*7的运行模式下,在数据中心的存储开销中非常重要的一个组成部分就是能耗。曾有研究人员作出相关研究发现,基本上每一台服务器四年的能耗与其相关硬件的成本不相上下,而且一旦能耗有所降低,在很大程度上还可以提高磁盘等一些硬件设备的运行寿命,这些都会大幅缩减整个数据中心的成本,因此就可以说,当下云计算环境下的分布存储面临的又一大挑战就是如何降低能耗进而降低成本,相继会产生的优良效果就是能源得到节约,环境得到保护。总而言之,云计算环境下的分布存储需要研究的重大内容即尽可能多角度的对设备的制冷消耗进行研究,从而期望在更大程度上降低云计算的成本费用。
3数据中心网络构件技术
3.1以服务器为中心
之所以会研究到数据中心网络构件技术,是因为数据中心是使得云计算得以正常运行的基础所在,通常来说,它主要的包括着两个部分,分别是软件和硬件,软件即数据中心提供出服务时所应用到的软件;硬件即数据中心的相关计算机设备以及支撑系统的一些基础设施。以服务器为中心的结构,主要即是在每一个数据中心的相关服务中都会安装网卡,且数量较大,然后运用网线把网卡和服务器进行连接,继而成为一个完整的网络整体,这样做的目的之一是增大数据中心的存储功能。以服务器为中心的结构在结构的组成以及线路的连接两个方面都比较简单,从而达到确保网络底层与服务器之间的有效数据交互,当前看来还有功能更甚强大的路由算法,然而这一结构自身也存在着一定的不足,即由于数据信息会占据相当大的服务器计算资源,就会导致存在一些链路无法实现功能,继而使得服务器的数据压力更大,服务器的计算速率自然受到一定程度的影响,成本的费用以及功能的损失两方面来说都产生了一定的消极影响。
3.2以交换机为中心
以交换机为中心的网络构件结构其实最主要就是对于交换机的应用,交换机将每一个服务器的数据中心有效地连接,再通过交换机进行数据包转发,当然,云计算环境下的分布存储,相关的服务器负责的功能有所不同,其只是对于数据信息的存储以及处理负责。通常以交换机为中心的网络构件被交换机分成了三层,最为主要的分别是核心层、边缘层以及聚合层。云计算环境下的数据中心中,经由交换机作为中心的网络构件结构具有的优点有操作简便,稳定高效,同时还可以通过交换机的应用实现一些扩展功能,然而,这一结构也存在着一些难以避免的缺陷,比如由于交换机的使用,导致整个数据中心的操作具有不够良好的灵活性、较低的服务器利用效率以及交换机资源的浪费等,通常而言,这一结构在传统的数据中心网络构件中应用较多。
3.3混合模式
混合模式顾名思义就是将上述两种数据中心网络结构进行有机的结合,进而形成一种功能上更加强大,实现互补的新型结构。在混合模式的结构中,主要是将交换机作为将服务器进行连接的节点,同时配合安装在服务器中的多个网卡,除此之外,混合模式的网络结构中实现了特定场景下的网络结构,它综合上述两种结构的优势,因此比其更加的灵活自由,同等性能的条件下,对于数据中心的成本而言有一定的降低功能。
4结束语
总而言之,云计算中庞大的数据节点以及相关的网络设备进行有效的有机结合,进而就形成了一个或者是一些较为大规模的数据中心点,从而达到向用户提供一些基本性质的服务,使得客户的使用需求得到满足。总而言之,云计算环境下的分布存储技术使得庞大的数据信息得以存储,存储位置即为数据中心内部中的众多节点中的不同节点之上,更为甚者会存储到在不同数据中心的不同节点上。整体来说,基于云计算环境的分布存储技术它所研究的主要内容即上述内容,如何实现有效地组织和管理在数据中心中进行存储的大量数据信息。
参考文献:
[1]陈全,邓倩妮.云计算及其关键技术[J].计算机应用,2009(09):56-57.[2]张莉.浅谈云计算技术国内发展现状[J].计算机光盘软件与应用,2012(23):78-79.