近年来,我国实现了数据的快速增长,与此同时,用户对计算机的运算能力的要求也在不断提高,提高计算机快速解决复杂问题的能力成为了一个亟待解决的问题,云计算也因此而诞生。云计算能够使计算机的运算模式发生改变,按照用户的需要设置运算能力和存储能力,减少了用户的购买费用,为计算机用户提供了方便。
1云计算技术
云计算中的“云”指的是计算机群,在每一个计算机群中都包含大数量的计算机。进行云计算时,所用到的处理数据都储存在“云端”,运算也都在“云端”上进行。用户在使用时可以用任意电脑访问“云”中所储存的数据。云计算的使用避免了文件的丢失,在运用上也十分便利,同时避免了病毒对文件的破坏。近年来,各大IT企业都推出了云计算应用,但这项技术还处于发展阶段。对于云计算没有统一的概念,要根据不同的服务模式才能下具体的定义,但其最终目的都是做好用户服务。在云计算的引用中,用户要运用虚拟的平台获取网络资源或者完成资源的存储,与操作自己的计算机资源没有太大区别。云计算是以利用并行计算解决文本网格计算为基础,实现分布式处理以及网格处理的改进。其应用能为用户提供多种服务,如软件即服务、平台即服务等,这些服务都能使用户摆脱细节的干扰,专注于自己的工作。
2云数据管理技术
云计算需要对海量的信息进行处理,因此,数据管理的实施必须能够有效管理大量数据,并构建出高效的和扩展式的数据存储系统。目前的云数据管理技术中,主要使用的有BigTable技术和Hadoop技术。
2.1BigTable技术
这种技术是Google公司提出的一种云数据管理技术,它是一个大型的数据库,其作用是将数据结构化。BigTable技术是一种分布式的存储系统,其应用时为了管理结构化数据,这些数据通常能够扩展到很大的规模,如在几千台服务器中达到Petabytes规模。目前,很多的程序都是建立在BigTable之上,如RSS阅读器、Orkut、GoogleEarth等。BigTable是有序且稀疏的映射表,具有很好的伸缩性。其运行包括三个元素,即行、列和时间戳。其中行能够划分内容标准,将多个行组合成一个小表。列能够增强其可续性。时间戳可以存储不同版本数据。BigTable的主要组成部分有三个,分别是连接各个客户端的库、Table服务器和主服务器。其中主服务器的作用是给Table服务器下达相应的任务,探测其添加状态和垃圾回收等。Table服务器则负责处理Table的请求,并分割较大的Table,达到需求目的。在使用中,客户端数据可以直接与Table服务器交流。BigTable使用三层夹模来实现位置信息的存储,完成信息的构建与互补,当用户进行数据读取时,逐层向下读取,知道找到所需的信息。BigTable在完成任务时,每个Table服务器只分得一个Table,由主服务器对其实行监控,及时调节负载平衡。
2.2Hadoop技术
这种技术包含Hadoop分布式文件系统与MapReduce编程模式两个部分。Hadoop技术运用是要符合几个假设,一是服务器失效是正常的,二是存储数据是海量的,三是文件不会被频繁修改。在Hadoop技术中,分布文件系统是由命名节点和数据节点所组成的,其中命名节点存储的是文件的元数据,其作用是维护系统命名空间和提供文件目录有关操作。数据节点的作用是存储实际数据,并负责管理节点上的存储空间。由于Hadoop的特殊设置,将失效看做常态,因此会存在多个副本,分布文件系统将一个副本存放在本地计算机的一个节点上,一个存储在相同计算机的不同节点上,另外一个存储在其他其他机架的节点上。由于机架的错误小于节点错误,在这个方法的使用上不会影响到数据的可靠性。其中数据的三分之一副本存在于一个节点,另外三分之二存在于一个机架,这种策略也确保了数据的完整,避免数据丢失。在执行任务的过程中,主节点会对子节点的状态进行及时检测,并对子节点加以管理。Hadoop技术对数据的处理是采用由计算到存储进行推移的策略,在Hadoop中由于存在分布文件系统的支持,数据能够分布存储的各节点,在计算时个节点通过读取自身节点上的数据来进行数据的有效处理,也可以将计算迁移至离数据更近的位置,从而避免了数据的大量传递。
3云数据管理的展望
云计算作为一种新型的商业模式,无论是公司还是个人都可以完成其存储空间的租赁,这样计算只需要一个终端,而不必花费大量的资金去购买计算机硬件和设备。但是,现在的数据库还存在一定缺陷。为此,专业技术人员要加强新技术的开发,合理解决云数据管理中成本高和扩展性不好等问题,使其能够分析大规模的数据。另外,云数据管理中存在这多种应用,要分别对这些应用做出优化,在运行中不断积累经验,做好长期战斗的准备,使云计算能够更符合当今的需求。
4结束语
云计算的应用前景十分广阔,其存储大、非确定性等特点为当前的计算机应用提供了新的途径。但目前云计算技术还没有形成统一的标准,也面临着数据安全的问题。因此,要对其加以关注,增加对其问题的探讨,提出解决措施,使云计算和云数据管理技术日益完善。
作者:彭驰 单位:南京报业传媒集团