云计算诞生于搜索引擎平台,目前已经发展成为一项非常重要的计算机网络应用技术。云计算可以将网络基础设施、网络资源提供给用户使用,并且其特有的计算方式可以大幅度增加资源共享度,保持对用户的透明性。目前随着我国经济的发展,有越来越多的企业和研究机构采用云计算技术来处理和获取数据,庞大的云数据量就需要云数据管理技术来进行管理。云计算和云数据技术的广泛应用促使我们应该对其进行深入探讨,才能找到合适的应用方式,为个人和企业的发展进步提供更多的帮助。
1云计算简介
1.1概念
云计算是通过将大量计算分布到分布式计算机上,实现虚拟化的计算机网络系统,使得数据的计算运行与互联网类似,能够按照需求访问资源和系统。但是云计算并非通过本地计算机或远程服务器进行计算,而是像计算机网络内部一样实现分布式处理计算,这种方式就好像电厂集中供电模式,将低成本的运算单元组织在一起,能够大幅度提升计算能力和数据处理能力。云计算的这种计算模式对用户完全透明,用户只需要向系统提交自己的要求,云计算软件和平台会自动进行处理,用户不需要了解云计算的具体方法就能够实现快速、高效的大数据处理。
1.2结构
云计算是借助虚拟技术,将大量分布服务器上的资源整合起来,然后根据用户需求进行分配和处理,是一个虚拟的、庞大的计算机网络辅助系统。因此其体系结构也十分复杂,可以大体上分为用户、服务要求、管理系统和服务器集合等四个部分。用户提出服务要求,然后由管理系统向服务器集群发出请求并整合和接收反馈,然后以一个完整的形式将结果反馈给用户,形成一个完整的虚拟计算机网络处理结构。
1.3特点
云计算具有虚拟、高效、资源共享度高等基本特点,同时,目前由于云计算技术还没有完全成熟,大部分企业和个人使用云计算技术需要付费。云计算是一种虚拟概念的计算,也就是说其计算过程并不是通过实际的物理方式实现的,因此不仅能够实现大量数据的运算,也能够提高资源之间的共享度,同时这种分布式处理方式也更大地保证了数据的保密性和安全性。重要数据大量分布在所有分布式终端中,不能简单地从一台终端中提取,提高了数据的保密性,并且如果某台终端处理机出现问题,也不会影响其他终端,极大地提高了数据的安全性,使得大量数据的保存管理成为可能。
2云数据管理技术类型简介
云计算是对海量的、分布性的数据进行计算处理,因此对于数据的管理要求很高,采用的数据管理技术必须能够高效地管理海量数据,于是云数据管理技术也随着云计算的广泛应用而出现,并且目前已经成为众多企业和研究机构研究的重要课题。目前已经存在了许多不同的云数据管理技术,这些云数据管理技术各有特点,但是都以不同的方式实现了对海量数据的有效管理。
2.1GFS技术
GFS技术即谷歌文件系统,是一种为谷歌云计算技术提供数据管理的系统。在这种技术中,所有资源文件以一种库文件的形式存在,并且有系统提供给用户一个专用的程序访问接口,用户提出请求后,由一个逻辑上唯一的管理者对整个库文件进行调度和统筹管理。这种文件系统管理技术不仅能够为谷歌云计算提供海量数据的存储管理,同时也可以进行云计算,满足各种用户要求,目前GFS技术已经成为云数据管理技术的主要技术之一,并且得到了非常广泛的应用。2.2BigTable技术BigTable技术也是谷歌开发的一种数据管理技术,这种技术是建立在谷歌文件系统的基础之上,通过将大量数据组织在一张虚拟的表格中进行管理。这种技术将云数据组织在一张巨大的表格中,从而实现数据的结构化管理。在使用时能够根据要求更加快速地进行数据查找和处理,合理进行资源的分配。这种方式比起文件系统更能够实现数据的架构化,对于结构化云数据的管理会产生更好的效果,取得更高的管理效率。
2.3Dynamo技术
Dynamo技术是一种分布式存储系统,具有数据库和分布式Hash表的特征,以分布式Hash表作为基本存储结构和理念,实现数据在环中的均匀存储形式。这种技术的主要特点是提供了三个参数:N、R、W,技术规定,有N个副本,如果有R个读取一致就可以认为是读取成功,如果有W个写入成功就认为是写入成功,即系统不要求N个全部读取或写入成功,只要能够保证R+W大于N,就能够确保数据的一致性,这种技术增加了数据读取的复杂性,但是降低了数据写入的复杂程度,实现了更加高速的存储管理。
3云数据管理技术特点分析
3.1提供可靠的数据存储管理
云数据管理技术尽管各有特点,但总体都采用了分布式存储管理的思想。这种数据存储管理方式能够为企业提供海量数据的存储管理,同时能够极大地提高数据的保密性和安全性。同时,云数据管理技术一般都具有较高的容错性,大量分布式服务器的支持也可以实现对数据的错误分析和报告,避免因失误产生的数据错误。云数据管理技术最大限度地降低了人为管理因素对数据管理的影响,从而更好地提升了数据管理的可靠性。
3.2实现数据的并行处理和分析
云数据管理技术是将数据进行分布式处理,尽管在逻辑上看来许多云数据管理技术是将数据整合到了一个统一的机构中,但事实上数据是分布存储在大量分布式服务器上,在对数据进行处理时,就可以按照用户的要求从各个服务器中调取数据。在这种技术支持下,就能够有效实现数据的并行处理,系统根据用户要求自动检索分析用户需求,迅速缩小范围,锁定用户关键词,迅速对用户命令做出处理和反馈。同时,多个用户如果提出同一要求,也能够迅速通过这种管理技术实现信息共享,将同样的信息返回不同的用户终端。云数据管理技术还能够根据用户提供的关键字对数据进行初步筛选和分析,节省用户的分析时间,对于需要进行大量数据分析的企业来说可以极大地提高工作效率。这种强大的数据提供和分析处理能力正是云数据管理技术得到广泛研究和应用的主要原因之一。
4云计算和云数据管理前景展望
4.1云计算技术发展前景
云计算技术目前正处于快速发展阶段,不论是个人、企业还是国家都十分重视云计算技术的研究和创新。同时,随着更多的“云”概念的提出,云计算也被赋予了更多的功能和含义,大数据等概念的提出也为云计算带来了新的发展方向。国际社会已经有越来越多的专家学者研究出了更多创新的云计算技术,并且提出了概念含义更加广泛的云计算概念。国内对于云计算的研究也正日益火热,科研机构也在进行新技术的研究,国内个人和企业也逐渐了解了云计算的概念和特点,并且有更多的企业单位开始运用和研究云计算技术。可以说,云计算技术发展前景大好,并且很可能会成为未来一段时间内计算机研究和应用的重点方向。
4.2云数据管理技术的发展
伴随着云计算概念和技术的更新,云数据管理技术也必然要随之更新,云数据管理技术是为了给云计算提供强大可靠的数据存储管理支持,为云计算技术提供数据基础,因此其发展也会随着云计算技术的需求而不断改善。在目前的发展趋势看来,正有着许多新技术和新思想不断涌现,不同概念和云数据管理概念的结合创造出来更多的云数据管理技术。目前云数据管理技术发展趋势正倾向于将不同学科、不同领域的概念与之相结合形成新的管理技术,这种发展不仅能够促进云数据管理技术的创新,也加强了云技术与其他学科技术的结合发展,促进了不同技术的融合与共同发展。
5结束语
云计算和云数据管理技术的概念是目前计算机研究领域的重点方向,也是计算机网络发展的主流趋势,并且已经在许多领域得到了广泛的应用。在这种趋势下,更应该加深对云计算和云数据管理技术的理解,同时应该进行大胆合理的创新,这样才能促进云技术的持续发展。我国对于云计算技术虽然已经逐渐重视并且也加大世界经济期刊了研究力度,但是仍然有许多个人和企业并不了解云计算和云数据管理的概念,因此还应该增加宣传力度,加快研究进程,建立更加完整的云技术体系,推进云计算和云数据管理技术的运用,以促进企业和经济的发展,加快社会进步。
作者:李克 单位:河北省信息资源管理中心