大数据云计算技术篇1

通过对大数据的汇集、智能分析和挖掘技术，发现数据中的潜在价值信息，帮助人们做出正确决策，这就是大数据产业的利益。国外大数据的起步比较早，比较成功的大数据应用案例有：商业龙头沃尔玛公司通过对消费者的购物数据进行分析，了解顾客的行为喜好，对超市的商品结构进行搭配重置以增加销售额；亚马逊公司通过大数据构建自己的推荐系统，每年可以靠此多收益20%；奥巴马通过大数据分析系统进行数据挖掘，用科学的手段获取选票、募集资金，赢得了总统竞选的胜利。相比于国外，国内的大数据研究和应用还处于起步和发展中的阶段，比较成功的案例有：淘宝数据魔方平台，通过大数据，为买家量身打造完善的购物体验产品；新浪微博大数据产品，通过大量的社交数据，创造不同的社会经济价值等。

1.2云计算的发展

云计算可以像电力资源一样提供弹性的按需服务，事实上它是集合了一系列的服务提供给用户。云计算的核心可分为三个层次，分别为基础设施层、平台层、应用层，如图2所示。云计算将基础设施、软件运行环境、应用程序抽象成服务，具有可靠性高、可用性强、规模可伸缩等特点，满足了不同企业的发展需求，各个云服务提供商根据各自服务对象的差别分别开发了各具特色的云服务。（1）基础设施即服务层基础设施即服务（InfrastructureasaService，IaaS）层通过部署硬件基础设施对外提供服务，用户可以根据各自的需求购买虚拟或实体的计算、存储、网络等资源。用户可以在购买的空间内部署和运行软件，包括操作系统和应用程序。消费者不能管理或控制任何云计算基础设施，但能控制操作系统的选择、存储空间、部署的应用，也有可能获得有限制的网络组件（如防火墙、负载均衡器等）的控制。云服务提供商为了使硬件资源得到更有效的利用，引入了Xen、KVM、VMware等虚拟化技术，使得云服务商可以提供更个性化的IaaS服务。亚马逊弹性云计算（AmazonElasticComputeCloud，AmazonEC2）是亚马逊Web服务产品之一，AmazonEC2利用其全球性的数据中心网络，为客户提供虚拟主机服务，让使用者可以租用云服务运行所需应用的系统。（2）平台即服务层平台即服务（PlatformasaService，PaaS）层是指云计算应用程序开发和部署的平台，包括应用设计、应用开发、应用测试和应用托管，都作为一种服务提供给客户。开发者只需要上传代码和数据就可以使用云服务，而无需关注底层的具体实现方式和管理模式。鉴于PaaS平台的重要意义，国内外厂商根据各自的战略提出了相应的PaaS平台，国外的如GoogleAppEngine（GAE），通过GAE，即使在重载和数据量极大的情况下，也可以轻松构建能安全运行的应用程序。国内也有新浪的SAE（SinaAppEngine）、阿里的ACE（AliyunCloudEnginee）等。（3）软件即服务层软件即服务（SoftasaService，SaaS）层是为云计算终端用户提供基于互联网软件应用服务的平台。随着Web服务、HTML5、AJAX、Mashup等技术的成熟与标准化，SaaS应用近年来发展迅速，典型的SaaS应用包括GoogleApps、SalesforceCRM等。国外云计算平台比较成功的应用案例有：亚马逊电子商务网站根据用户的购买行为和搜索技术搭建Hadoop集群，构建推荐系统；Twitter社交网站搭建Hadoop分布式系统用于用户关联的建立。国内云计算平台的成功案例有：阿里巴巴目前整个集群达到1700个节点，数据容量达到24.3PB，并且以每天255TB的速率不断攀升；2013年，华为推出国内首个运营云平台，目前为止与该平台签订协议的ISV有3000多家。

1.3云计算相关技术

（1）分布式文件系统分布式文件系统（GoogleFileSystem，GFS）[3]是Google公司针对云计算过程处理海量数据而专门设计的。一个GFS集群由一个主节点和多个从节点组成，用户可以通过客户端访问文件系统，进行正常的文件处理工作。在云计算中，海量数据文件被分割成多个固定大小的数据块，这些数据块被自动分配到不同的从节点存储，并会在多个节点进行备份存储，以免数据丢失。主服务器管理文件系统记录文件的各种属性，包括文件名、访问控制权限、文件存储块映射、块物理信息等数据。正是通过这个表，文件系统可以准确地找到文件存储的位置，避免数据丢失，保证数据安全。图3是GFS的体系结构示意，每一个节点都是普通的Linux服务器，GFS的工作就是协调成百上千的服务器为各种应用提供服务。（2）分布式并行数据库BigTableBigTable[4]是一个为管理大规模结构化数据而设计的分布式存储系统，可以扩展到PB级数据和上千台服务器。很多Google的项目使用BigTable存储数据，这些应用对BigTable提出了不同的挑战，比如对数据规模的要求、对时延的要求。BigTable能满足这些多变的要求，为这些产品成功地提供了灵活、高性能的存储解决方案。BigTable采用的键是三维的，分别是行键（RowKey）、列键（ColumnKey）和时间戳（Timestamp）。行键和列键都是字节串，时间戳是64位整型；值是一个字节串，可以用（row:string,column:string,time:int64）string来表示一条键值对记录。（3）分布式计算框架MapReduceMapReduce[5]是Google公司提出的大数据技术计算框架，被广泛应用于数据挖掘、海量数据处理以及机器学习等领域，由于其并行化处理数据的强大能力，越来越多的厂商根据MapReduce思想开发了各自的云计算平台，其中以Apache公司的Hadoop最为典型。MapReduce由Map和Reduce两个阶段组成。用户只需要编写简单的map()和reduce()函数就可以完成复杂分布式程序设计，而不用了解计算框架的底层实现。MapReduce的数据分析流程如图4所示。分布在不同服务器节点上的海量数据首先通过split()函数被拆分成Key/Value键值对，map()函数以该键值对为输入，将该键值对进行函数处理，产生一系列的中间结果并存入磁盘。MapReduce的中间过程shuffle()将所有具有相同Key值的键值对传递给Reduce环节，Reduce会收集中间结果，并将相同的Value值合并，完成所有工作后将结果输出给用户。MapReduce是一个并行的计算框架，主要体现在不同的服务器节点同时启动相同的工作，并且在每个独立的服务器节点上又可以启动多个map()、reduce()并行计算。

2基于云计算的大数据处理

目前大数据处理的基本流程如图5所示，整个流程经过数据源的采集，用不同的方式进行处理和加工，形成标准的格式，存储下来；然后用合适的数据计算处理方式将数据推送到数据分析和挖掘平台，通过有效的数据分析和挖掘手段，找出大数据中有价值的信息；最后通过可视化技术将信息展现给人们。

2.1数据采集存储

大数据具有不同结构的数据（包括结构、半结构、非结构），针对不同类型的数据，在进行云计算的分布采集时，需要选择不同的数据采集方式收集数据，这也是大数据处理中最基础的一步。采集到的数据并不是都适合推送到后面的平台，需要对其进一步处理，例如来源不同的数据，需要对其进行加载合并；数据存在噪声或者干扰点的，需要对其进行“清洗”和“去噪”等操作，从而保障数据的有效性；数据的格式或者量纲不统一的，需要对其进行标准化等转换处理；最后处理生成的数据，通过特定的数据库，如NoSQL数据（Google的BigTable，Amazon的Dynamo）进行存储，方便进行下一步的数据读取。由于传统的数据仓库无法适应大数据的存储要求，目前基于云计算的数据仓库都是采用列式存储。列式存储的数据具有相同的数据类型，可以大大提高数据的压缩率，例如华为的云存储服务MOS（MassiveObjectService）的数据持久性高达99.9%，同时提供高效率的端到端保障。

2.2数据计算模式

这一环节需要根据处理的数据类型和既定目标，选择合适的计算模型处理数据。由于数据量的庞大，会消耗大量的计算资源，因此，传统的计算技术很难使用大数据的环境条件，取而代之的是分而治之的分布式计算模式，具有代表性的几种计算模式的特点见表1。采用批处理方式计算的Hadoop平台，例如，Facebook拥有全球最大规模的Hadoop集群，集群机器目前超过3000台，CPU核心更是超过30000个，可以存储的数据量能够达到惊人的40PB；采用流处理方式计算的Storm平台分布式计算的时延比Hadoop更小；实时处理方式计算的Spark是一种基于内存的计算模式，例如，Yahoo运用Spark技术在广告营销中实时寻找目标用户，目前在Yahoo部署的Spark集群有112台节点和9.2TB内存；交互处理方式计算的Dremel在处理PB级别的数据时耗时可以缩短至秒级，并且无需大量的并发。

2.3数据分析挖掘

数据分析挖掘环节是从海量数据中发现隐藏规律和有价值信息的过程，这个环节是大数据处理流程最为有价值和核心的部分，传统的数据分析方法有机器学习、商业智能等。传统的数据挖掘十大算法[6]（其中有K-Means、Na觙veBayes、SVM、EM、Apriori等）在云计算环境下都得到了大幅度的并行优化，在大数据的背景下，计算速度得到了很大程度的提升。现在新兴的深度学习是原始机器学习的一个新领域，动机是在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，这种新的数据分析挖掘技术已经在计算机视觉、语音识别、自然语言处理等领域有了成功的应用。

2.4数据解释展现

将挖掘出来的复杂信息进行数据解释和展现是整个大数据处理流程的最后一个环节，数据分析的结果需要向客户进行恰当的展现。与传统的数据输出和文本展示等方式不同，现在绝大部分的企业都通过引进“数据可视化”技术来展示大数据分析的结果信息，这种方式以图像、动画等方式，形象地向客户展现数据处理分析的结果，也容易被客户理解和接受，更为先进的是，现在逐步形成的“交互式可视化技术”，大大地方便了数据与人之间的“亲密交流”。目前面向大数据主流应用的可视化技术见表2。

3大数据和云计算的未来挑战

大数据需要超大存储容量的计算能力，云计算作为一种新的计算模式，为大数据的应用研究提供了技术支持，大数据和云计算的完美结合，相得益彰，发挥了各自的最大优势，为社会创造了巨大的价值。虽然国内大数据和云计算的研究还是处于初步阶段，但随着研究的不断进行，所面临的问题也越来越多。在大数据向前不断迈进的阶段里，如何让我们对大数据的研究朝着有利于全人类的方向发展成为了重中之重。

3.1重要战略资源

在这个信息社会里，大数据将会成为众多企业甚至是国家层面的重要战略资源。国家层面要将大数据上升为国家战略。奥巴马在2012年3月将“大数据战略”上升为最高国策，像陆权、海权、空权一样，将数据的占有和控制作为重要的国家核心能力。大数据资源也会成为各种机构和企业的重要资产以及提升企业社会竞争力的有力武器。在大数据市场里，客户的各种数据信息都会为企业创造价值，也会在促进消费水平、提高广告效应等方面扮演重要的角色。

3.2数据隐私安全

大数据如果运用得当，可以有效地帮助相关领域做出帮助和决策，但若这些数据被泄露和窃取，随之而来的将是个人信息及财产的安全问题得不到保障。2011年索尼公司遭到黑客攻击，造成一亿份客户资料泄露，经济亏损约1.71亿美元。为了解决大数据的数据隐私安全问题，Roy等在2010年提出了一种隐私保护系统，将信息流控制和差分隐私保护技术融入到云计算平台中，防止MapReduce计算过程中的数据泄露问题。在数据更新飞速的情况下，如何维护数据的隐私安全成为大数据时代研究的重点方向。

3.3智慧城市

人口的增长给城市交通、医疗、建筑等各方面带来了不小的压力，智慧城市就是依靠大数据和云计算技术，实现城市高效的管理、便捷的民生服务、可持续的产业发展。在刚刚结束的“两会”的政府工作报告中，总理也特意强调了智慧城市发展的重要性，目前国家智慧城市试点已遍布全国各地，多达409个。智慧安防、智慧交通、智慧医疗等都是智慧城市应用领域。智慧城市的建设也趋使大数据人才的培养。据预测，到2015年，大数据将会出现约100万的人才缺口，全球将新增440万个与大数据相关的工作岗位来填补这个空缺。

大数据云计算技术篇2

云计算技术是基于网络，提供数据计算服务、存储服务的新型网络管理调度技术，统筹的将网格计算、并行计算以及分布式计算加以实现，应用到了网络数据管理中，并结合其他软件、硬件提供给用户多种服务。利用云技术，可以大幅度的提高资源利用率，这一新型的超级计算其数据非常密集，能够实现集数据存储、数据计算、服务器功能、应用软件功能、IT软硬件设备资源虚拟化。当今全球互联网的流量也在爆炸式的增涨着，云计算与大数据的应用是数据处理的重要技术。并且，随着网络技术、软件技术的发展，云技术在数据的处理中展现出了越来越多优势，如表1所示。

大数据是在云技术之上兴起的新课题，大数据往往具备以下四个特征：

（1）大量的数据；

（2）多种类型的数据；

（3）数据生成及处理速度快；

（4）大数据的巨大价值；这也就是大数据的4V特征。

并且S着基于云计算技术的大数据不断的发展，还提出了大数据的第五点特征及要求，便是强化大数据处理分析中的准确性（Veracity），目前的大数据处理已经进入了5V时代。

1 大数据的特点

大数据技术对比传统数据的诸多特性来分析，具有非常明显的差异。这些差异主要体现在数据的计算、存储以及检索等多方面。传统的数据线性特征显著，对比离散型显著的大数据而言，大数据的发散性、随机性、爆发性显得更为复杂，但是这种复杂的数据能够体现出更为客观的现象，具备更有效的价值。

2 关键技术

2.1 数据存储技术

信息数据在进行存储时的可靠性、安全性以及读写时的效率是云计算技术的基础，利用云计算技术在存储时，往往采用分布式存储，将大量的数据进行汇总并储存到集群服务器中。这种存储技术往往会对数据进行备份储存，利用先进的数据加密技术配合冗余存储能够确保数据的可靠性、安全性。以HDFS为例：

HDFS是一种分布式文件存储系统，被广泛应用在通用硬件中。这一系统具备较高的容错功能，能够在廉价设备上实现应用，并且其对数据访问的吞吐量也很大，适合应用在大数据集的处理上。HDFS系统可以进一步的实现文件系统中的数据流式读取，在大数据处理中，HDFS常被设计成能够实现平台间便于迁移的系统，这就令大数据集的应用更便捷，如图1所示。

2.2 虚拟化数据管理

云计算的主要功能在于针对大量的数据进行分布式的分析处理，并且为用户提供高效的服务，这就需要强大的数据管理能力作为支撑，而基于云计算的大数据技术在数据管理中具备虚拟化特征。将数据处理的计算机系统转换成了虚拟层，利用硬件设备资源，配合操作系统建立了这样一个虚拟的空间链接数据处理的各层级。令上下层的配合更灵活，极大程度的缩减了开销，提高了资源利用率。

3 大数据与云计算的关联

大数据的处理是将云计算技术视为一种技术平台，大数据在进行数据处理时的首选处理形式则是云计算技术，云计算为大数据的处理分析提供了最适的存储空间及计算能力，可以令大量的数据信息迅速的分析出结果，便于使用付诸现实。而云计算技术的主要功能在于计算能力，大数据则可以视为接受计算处理的对象，前者对于计算能力更为注重，后者则是更倾向于存储功能。将存储的大数据付诸应用的重点在于数据处理，而云计算恰好满足了这一功能性要求。

4 总结

大数据处理技术与云计算在信息处理中展现出了极大的潜力，结合这两种技术能够实现信息传递的高效性、准确性、大容量。在很多领域，应用基于云计算的大数据处理技术表现出强大的功能。随着网络信息技术的高速发展，信息数据的传播数量及速度都亟待提升。基于云计算的大数据处理仍需进一步的开发，并对这一新技术加以应用，相关技术的研究也是当前学术界的关注点。

参考文献

[1]丁有伟，秦小麟，刘亮，王涛春.一种异构集群中能量高效的大数据处理算法[J].计算机研究与发展，2015（02）：377-390.

[2]李贞强，陈康，武永卫，郑纬民.大数据处理模式――系统结构，方法以及发展趋势[J].小型微型计算机系统，2015（04）：641-647.

[3]李敏，倪少权，邱小平，黄强.物联网环境下基于上下文的Hadoop大数据处理系统模型[J].计算机应用，2015（05）：1267-1272.

[4]彭建华，李臣明，邱军林，李晓芳，徐立中.接收与处理分离的实时大数据处理模型[J]. 计算机科学与探索，2015（08）：906-913.

大数据云计算技术篇3

因为互联网进程的推进，让信息时代中，数据成为了主流探讨的问题。由于数据的处理与分析，能够得到相应的操作数据。因此，在互联网时代中，如何更好的进行数据处理以及资源整合，是目前数据时代的主要处理方式与手段。而大数据时代，则对于数据的处理和整合配置要求更高，对于处理的效率也有一定的要求。因此，随着大数据时代的到来，对于传统的数据处理方式以及处理效率，已经无法满足现代人们对于数据处理的要求。因此，为了能够在大数据时代以及环境下，能够更好的实现对于数据的处理效率。那么，采用云计算技术是必然的选择。云计算机技术可以实现高效的应答处理，基于互联网进行数据的访问，并且能够进行合理的资源配置，从而实现高效率的大数据环境下的数据处理。

一、大数据环境与互联网数据分析

随着信息时代的进程逐步加快，人们的生活与工作，更多的以数据形式来体现，从而实现了数据的时代。在网络数据不断的递增，并且出现了数据庞大的现象的时候。谷歌最早通过大数据的概念，来形容目前的大数据时代。因此，大数据时代的到来，与互联网数据的呈现息息相关，并且起到了非常重要的作用。那么，对于大数据而言，其存在哪些问题和与人们生活与工作相关的内容呢？互联网数据与大数据而言，两者又有着怎样的必然关联呢？

1.1 大数据时代以及大数据环境分析

大数据实际上在一些科研领域中一直有这样的概念，但是由于科研原因，其被人熟知的范围相对较小，属于专业性领域的名词。但是，随着互联网时代的到来，人们对于互联网的熟悉，造成了人们对于数据的概念更加深刻。而互联网环境下，数据是最为主要的资源和呈现方式，这也在一定程度上实现了人们对于互联网数据的认识。因此，由于互联网的推动作用，造成了人们现代所熟悉的大数据时代。那么，大数据时代的代表和标准是什么？

首先，大数据是一种数据的表现形式；人们在互联网时代中，越来越重视数据的作用，由于信息的交互以及远程的沟通，实际上都是网络数据在进行交互，从而形成现在网络化的大数据时代。那么，大数据必然是数据的一种集中表现形式，一种宏观的概念。大数据的目的是通过对互联网数据资源的整合，实现最佳的数据环境，从而进行相应的数据处理。

其次，大数据时代的标准就是数据整合与资源合理分配；大数据时代，数据的整合非常重要。由于数据的交互一般是以零散的方式进行，非常难以得到更好的应用。因此，采用资源合理分配以及数据整合，是非常有必要的。

最后，大数据的代表既是互联网数据；大数据原本就是专业学术领域的名词，而由于互联网的发展，带动了大数据的概念开始转移到互联网世界中，从而被人们所熟悉，并熟知。

1.2 大数据环境与互联网数据分析

互联网是基于数据而建立起来的，不管是互联网的资源还是互联网的协议，实际上都可以采用数据的形式进行呈现，从而凸显数据的重要性。因此，对于互联网数据而言，是形成大数据环境的基础。实际上，在大数据没有从科研领域进入互联网领域的时候，就已经开始了意识到了数据的庞大性。互联网产生的数据是非常庞大的，那么在信息时代的发展进程中，如何合理的应用这些数据，以及如何更加有效的利用这些数据，成为了目前互联网时代的一种管理模式。当大数据环境已经形成并得以蓬勃发展的时候，相关人员开始注意到了大数据的重要性，并且明确了大数据环境下，互联网数据的可行性以及价值。因此，对于大数据环境下的互联网数据而言，可以从以下几个方面进行分析：

第一，大数据环境下，互联网数据的价值得以体现；互联网的数据一般情况下，是为了能够体现网络资源以及资源之间的交互，尤其是在信息交流的过程中，数据的价值体现非常重要。但是，由于互联网的交易价值开始不断被重视，从而在一定程度上影响了对于数据的价值参考。也就是说，实际上大数据环境下，互联网的数据的价值得到了显著的提升。基于大数据的检索技术得以开发和应用，就是为了能够更好的方便对于数据的检索和参考，从而有效的提高其应用价值。

第二，大数据环境下，基于大数据的互联网数据分析更具实际意义；大数据环境下，实际上更加注重对于互联网数据的应用。一些交易网站的建设，一般也都是基于大数据而进行设计与开发的。目前，随着计算机互联网技术的不断深入，让更多的互联网使用用户开始注意到了大数据的重要性。通过大数据的检索可以获取非常庞大的数据信息，根据这些数据信息就可以进行相应的数据处理，从而保证网站的浏览量以及网站的价值。

总之，大数据环境下的互联网数据是非常重要的，并且在一定程度上取代了传统的互联网数据理念。

二、大数据环境下的云计算技术应用

基于以上分析，对于大数据时代以及大数据的环境，都有了非常细致的了解。那么，对于大数据的环境下，如何应用云计算技术呢？采用云计算技术，有着怎样的优势呢？

首先，对于云计算技术的应用，主要是为了能够提高大数据环境的处理效率。云计算是一种广义性的概念，云实际上就是网络的代名词。采用云计算的方式，实际上就是严格遵守网络的计算方式，对数据进行相应的计算，从而保证对于大数据的网络化价值体现。

其次，大数据环境下，采用云计算技术，更重要的是为了保证数据的安全防护。由于大数据环境的出现，让网络数据开始变得更加复杂，从而出现了诸多的网络数据安全问题。尤其是基于大数据的一种检索方式，会让互联网的使用者的安全信息受到侵犯，从而影响了数据的使用安全。而采用云计算的方式，则可以在严格遵守互联网的模式环境下，针对性的进行数据检索，而不会将用户的信息随意的进行呈现，从而降低了互联网用户的安全系数，给大数据环境的发展，带来了一定的影响。

最后，大数据时代是网络信息发展的结果，因为互联网的广阔的应用范围，从而造成了在大数据环境下，可以最大限度的获取最多的信息。但是，正式由于数据的处理过于庞大，从而需要一定的计算方式，来提高数据的处理效率。此外，对于大数据而言，已经不仅仅是数据的庞大的单一表达。实际上，为了大数据也已经融合进入了处理效率的因素，也就是单位时间内处理信息的数量。因此，基于以上的需求，采用云计算的方式，是非常必要的。

三、结语

本文分析了大数据的基本概念以及在互联网环境下，大数据时代的到来以及大数据环境的一些特点，从而解析了为什们需要使用云计算技术的原因。在大数据环境下，互联网数据的价值得以体现，并且成为了最具参考价值的实用性数据。基于大数据的相关技术开发，非常普遍，并且得到了广泛的应用。例如，在搜索引擎中，就出现了基于大数据的搜索机制，从而让数据信息更方便被检索，从而实现了数据的价值体现。当然，设计云计算的原因不仅仅是为了能够让大数据环境下对于数据的处理更加高效与便捷。实际上，也是为了能够更好的进行数据的安全防护。由于大数据的相关处理方式，让用户的网络信息开始出现了一定的危机。那么，云计算的处理方式，是会严格按照互联网的访问机制进行，从而降低了用户的信息风险，提高了大数据的应用范围和应用价值。

参 考 文 献

大数据云计算技术篇4

【关键词】云计算 大数据处理 融合处理

1 引言

随着网络技术的发展，以及智能设备的普及，当前的数据增长速度已经呈现爆炸式增长，大数据时代已经来临。目前专家对大数据处理系统方面的研究主要是基于云环境下的分布式部署以及网络架构的融合和动态实时数据处理这三个方面。同时也取得了一定的研究成果，对于当前的云计算环境下的大数据处理系统的发展提供了很多理论和实践基础。

2 基于融合思想的大数据处理方案分析

云计算技术模式下，人机交互和数据处理以及网络逻辑处理技术等都相对交融，处于深度融合状态。因此基于融合思想的大数据处理方案就是以融合思想为核心，将云计算技术模式下的各种分散的网络资源进行协同组织，然后再进行融合，从而充分发挥分散状态下的资源优势，形成一种整体性的比较优势，因此这种融合式的大数据处理方案的应用前景十分广阔。

在云计算技术模式下，大数据处理研究更多的着力点放在了大数据处理系统的构建、分散资源的协同以及相关的辅助技术等。从宏观角度来看，可以氛围内混合处理和混合管理两个方面。其中混合管理的核心就是研究各种无线以及有线的处理机制和数据共享、资源共享机制的管理，同时还包括了分散数据管理机制和协同机制管理等。而混合处理的研究核心则是着力于系统运行模型和相关辅助技术上。

3 大数据处理系统的应用和处理系统分析

3.1 大数据处理系统的应用

大数据处理系统的应用主要包括三个方面：

（1）基于融合式架构的应用。这实际上就是一种客户机/服务器架构模式，其中服务器主要负责应用系统的管理和控制以及相关应用的逻辑处理和数据调度等。而客户端则是专门进行人机交互，当用户想要执行数据处理分析人物时，通过客户机向服务器发送请求，然后有服务器完成并返回给客户端。这个融合式架构相对简单，且容易维护，但是服务器功能有着极高的依赖，这也往往成为数据处理系统应用的瓶颈。

（2）分散式架构。这种架构的特点就是协同控制的节点都是平等地位，并且和处理系统有关的控制和管理模块都是分散在各个客户端上。客户端拥有一定的自治属性，因此具有通用性和灵活性和可扩展性等诸多优势。但是由于数据采用分布存储和分布操作，这样在维护方面就变得较为困难，而且节点之间的实时同步和用户动态注册的应用也难以实现。

（3）混合式结构。这种结构拥有前两两种结构有点，通过服务器实现数据信息的统一维护，而客户端一方面实现信息传输功能，同时也能够和用户在某些应用方面进行充分的交互，因此能够有效减轻服务器端的压力，这样也能够消除服务器端的瓶颈。提升系统的鲁棒性和灵活性。

3.2 云计算技术下的大数据处理系统具体分析

3.2.1 系统架构

云计算技术环境下的大数据处理平台的节点主要体现下面几个特点：其一是节点分散性；其二是数据处理动态性；其三是数据来源混构性。

这个处理平台架构采用了融合式的调度执行层和任务融合调度管理，并根据处理规则和不同的参数来调整处理引擎的数据和算法组合以及计算资源。对大数据资源的数据交互和任务分工工作进行了有效融合。同时在管理层，也对业务数据进行分布式存储，提升了容错处理能力。

3.2.2 系统处理流程

系统处理流程主要是对分散状态数据进行处理，其关键就是对分散的数据进行提取，因此首先给其他应用提供数据接口。然后数据管理部分要融合数据资源，并在一定容忍度的基础下，对不同的数据处理机制进行比较，进而优势融合。最后数据处理中心则是对数据进行集中处理，然后统一分配数据资源，从而在数据中心实现数据处理的融合。

3.2.3 处理系统的部署

某信息产业园的大数据处理系统的部署是根据信息企业集群的需求，然后对现有分散数据资源进行挖掘，比如企业内部的ERP和SCM系统中的数据，通过对这些数据进行深度挖掘从而为该企业提供战略发展资源。图1就显示了这个部署图。

从部署图可以看出，在这家企业中，ERP和SCM和CRM是其数据源，然后经过服务器处理之后，分布到n个数据库，然后进行合并进入到大数据管理模块，最终能够实现数据查询和数据决策服务。

4 结语

总而言之，目前采用融合式思想，在云计算技术条件下，对大数据处理系统进行部署的研究相对较少，特别是当前的信息产业，由于其自身的解决方案并不能够实现大数据条件的比较优势，所以本文提出的融合式的大数据处理技术，有效的提升了数据利用深度，拓展了大数据处理系统的应用范围。

参考文献

[1]于戈，谷峪，鲍玉斌，王志刚.云计算环境下的大规模图数据处理技术[J].计算机学报，2011（10）.

大数据云计算技术篇5

计算机技术中比较常用的抽象数据结构就包括图，相比较树和线性表来说，语言以及结构变得更复杂，存在一定表示能力，实际生活中不少领域都在合理应用图结构，到处都能发现与图有关的应用以及处理，例如传统应用，科技文献引用、预测疾病爆发路径、确定最合理运输线路等。新应用，生物信息网分析、分析语义Web、分析社交网路等。虽然已经过很长时间的发展和应用，但是随着不断发展科学技术，使得出现更多、更大的图规模，需要不断完善理论基础，确保可以高效处理大规模图。

一、云计算简介

在高速发展互联技术的基础上形成了云计算技术，属于全新计算方式，主要核心就是互联网。在2007年云计算被美国IBM提出，这也是第一次提出云计算，依据此，云计算主要就是用来描述一种类型或者一个系统平台中的应用程序，具备数据存储量大、处理能力强、灵活性高以及可扩展性和通用性的优势和特点，目前已经得到广泛应用[1]。

二、云计算环境下大规模图数据处理技术的

图实际上是非线性数据结构，具备一定多对多关系，在图数据中，可以通过零个或者多个直接后继和直接前趋构成相关元素，相比较其他形式结构来说，图数据具备相对更加丰富的语义，已经被大量运用到工程、科研等方面，因为图数据具备非常多的数据量，因此，分析和研究对大规模图数据处理技术已经逐渐发展成为广泛关注的重点。通过不断的研究和分析，已经具备一定水平的图处理技术，日益完善相关技术理论，为应用大规模图技术提供基础和保障，但是由于不断发展信息技术，促使快速发展多种多样的信息，导致存在越来越大规模的图数据，因此，需要适当提高研究而大规模图数据处理技术的力度，为有效处理大规模图数据提供平台[2]。可以从以下几方面进行分析：

（一）云计算环境下存储图数据的方式

在充分研究和分析大量资料和文献之后得到，目前，在应用以及管理大规模图数据处理技术的时候，其中主要包括超图数据模型、单图数据模型两种常用数据模型，上述两种数据模型都可以在一定程度上对无向图和有向图进行相应处理，但是两种方式最根本区别就是不同的存储格式。大规模体数据进行存储的时候，最基本的就是云计算分布式存储系统，可以把云计算分布系统分为分布式数据库以及分布式文件系统两种形式。分布式文件系统中最重要就是HDFS和GFS，能够直接存放临接矩阵和对接表；分布式数据库，也就是说NoSQL，其中最重要的就是Hbase和Big Tabl。分布式数据库可以分为以下将基本数据模型：主要包括KV存储模型、CFS列族存储模型、DS文档存储模型。DS模型具备方便、灵活的优势，比较适合使用存储结构化数据，此模型不适合对图数据进行存储。经过大量数据分析研究表明，KV存储模型十分适合存储大规模图数据，KV存储模型存在支持哈量存储、高并发查询以及模式结构简单的特点，在处理Page Rank等图数据的时候，一般情况不会出现复杂操作，能够符合数据处理的基本需求，如果是利用邻接表的方式形成图数据，Key就是图的源顶点，Value就是出边信息和点的值，可以更加方便的迁移和合并数据，增加空间局部性，大幅度降低处理查询过程中读取数据的次数，可以在一定程度上提高效率[3]。

（二）云计算环境下分割图数据

一般来说，云计算环境中处理大规模图数据，处理方式应该是分布式并行，因为图计算存在一定强耦合性、图数据具备连通性，为了能够更加高效的处理图数据，应该适当降低子图数据之间耦合度，图分割是有效实现目标的主要方式。基本流程是：首先需要分给具备相对比较完整逻辑结构的大图，然后在分布存储系统节点中分别放置分割部分，进行适当处理，并且每个子图启动以后都需要能够具备与之对应的计算服务，在处理完子图以后，就达到处理大图的目的。在上述处理过程总，分割大图以后，能够得到相对比较好的分割效果，但是在对大图进行分割的时候，需要重合分析图规模均衡性以及内部连通性，保证能够降低子图连通性，增加内部连通性，可以在一定程度上影响分布并行处理大数据机制的运行。此外，也应该降低子图规模均衡性，不能形成比较大的偏斜，避免由于过大时间差距影响系统同步性[4]。

（三）云计算环境下的图数据计算模型

现阶段，基于云计算基础上具备两种应用广泛的模型，包括BSP模型以及Map Reduce模型。

1、Map Reduce模型

Map Reduce模型主要包括由多个reduce、map共同形成的并行处理方式，可以把执行任务阶段分为两部分，一是Reduce阶段，在此过程中，Reduce任务会聚集处理接收到的数据，从而得到相关输出结果，并且能够在分布式文件中保存数据。二是Map阶段，此过程中，Map任务会合理计算分配到系统的数据，输出与之对应的key值，然后在reduce任务中映射出相对应的数据信息。

2、BSP模型

BSP模型主要就是说在并行执行消息通信的时候，具备好、数据竞争以及免锁死的运行特点，在云计算环境下处理大规模图数据需要合理使用上述模型，在迭代处理的时候，相比较Map Reduce模型来说，BSP模型具备相对比较高的执行效率。

（四）云计算环境下处理查询图数据

基于云计算基础上，主要存在两种能够支持处理查询大规模图数据的驱动模式，也就是被动遍历模式和主动遍历模式。上述两种模式具存在图顶点是操作对象的共同特点，也就是说操作处理技术的基本关键就是图顶点。第一，被动模式。上述处理模式能够不进行调用处理函数，可以适当降低处理不必要顶点，大量节约资源。第二，主动遍历模式。上述处理模式，具备比较强实用性，但是应用在特定情况下，会形成浪费资源的问题。

结束语

总之，依据云计算为基础，充分分析和研究大规模图数据处理技术，可以发现，在处理大规模图数据中应用云计算技术，能够有效提高处理效率。

参考文献

[1]于戈，谷峪，鲍玉斌等.云计算环境下的大规模图数据处理技术[J].计算机学报，2011，34（10）：1753-1767.

大数据云计算技术篇6

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2014）32-7574-02

1 概述

当代云计算数据中心的存储节点数量少则几十万多则上百万，在规模如此庞大的海量存储系统中，节点失效或磁盘损毁已然成为一种常态，此外，由于网络设备或者传输线路故障等原因导致的数据丢失或短时不可用现象也常有发生。如果用户或企业不能随时随地存取自己所需的数据，甚至发生数据丢失的现象，将大大影响客户满意度，甚至给企业带来巨大的经济损失，因此，必须采取有效措施及相关技术策略来保证云端数据的可靠存储。

2 云端数据中心拓扑结构

云端数据中心是大数据存储的基础平台，数据的可靠性及访问效率与网络节点的拓扑结构紧密相关。按节点功能类型的不同，可将数据中心节点的拓扑结构分成三种类型[1]：①以server（服务器）为为中央节点的星型结构；②以 switch（交换机）为中央节点的星型结构；③混合结构。三种拓扑结构的特点如下：

以server为中央节点的结构将多台server通过传输介质直接互连起来，在这种结构中，server兼任switch的角色，一方面承担数据的加工处理工作，另一方面承担分组的存储转发工作，以server为中心的结构增加了服务器之间的网络带宽，摆脱了对交换机的过度依赖，提高了吞吐量；但是server之间的链路带宽的不均衡增加了布网的复杂度。

以switch为中央节点的结构将各台server通过switch进行互连，switch和server各司其职，switch负责分组的路由转发，server负责数据的存储加工，这种结构布网简单，操作方便，可扩展性强，在现代企业数据中心应用较广泛；但以交换机为中心的结构存在底层server利用率低、switch资源浪费较为严重、网络带宽容量有限、灵活性差等缺点。

混合结构是以上两种结构的一种扩展，其设计融合了这两种结构的优点并有效避开了各自的缺陷。

3 云端数据容灾技术

容灾技术是云端大数据可靠存储的一种关键技术，良好的容灾策略不但能有效提升大数据存储系统的可靠性，还有助于提升系统的访问效率。容灾策略一般都采用冗余备份技术来实现，以确保当出现某种突发状况导致存储系统中的文件、数据、片段丢失或者严重损坏时，系统可准确而快速地访问冗余数据来维持系统的稳定运行[2]。一般来说，容灾技术按策略的不同主要分两种：①复制冗余策略；②纠删编码冗余策略。

3.1 复制冗余策略

复制冗余策略为系统中的每一个数据都建立一个或多个副本，并把若干个副本分散存储在不同的网络节点上，当遇到某个数据损毁或失效不能正常使用时，可通过访问最近的存储节点来获取与原件完全一致的副本数据[3]。基于复制的冗余策略主要关注2个方面的问题：（1）副本数量设置；（2）数据放置方法。

3.1.1副本数量设置

副本系数设置主要采取两种方式： ①静态设置副本数量，目前主流的分布式文件系统Hadoop的HDFS、谷歌的GFS都采用3副本策略，这种静态设置方法操作简单，但灵活性差；②随机动态设置副本数量，即系统根据数据的访问频率、出错概率及网络状况等动态因素随机地确定副本系数，动态地删除或添加副本，这种动态机制能大大增加存储空间的利用率，但动态计算过程增加了系统的开销；

3.1.2数据放置方法

巧妙的数据放置方法能通过提高并行访问量来提升云端大规模数据的访问效率，目前，数据放置方法一般采用顺序放置和随机放置[4]。

①顺序放置方法把数据副本按顺序分布存储在不同节点上，使得排列数目相对较少，针对系统的随机失效有一定的防护性，顺序放置方法技术简单、易于实现和维护，但在具体应用时，因失效具有很强的相关性，局部的网络故障或节点失效就有可能导致整个机架的数据不可访问。

②随机放置方法是在可放置节点中随机地选择一系列节点来存放数据副本，此方法能够降低关联对系统可靠性带来的负面影响，但在实际应用中，由于节点的存储、计算能力各不相同、数据的访问热度也不尽一致，往往达不到理想的均衡负载效果。

3.2纠删编码冗余策略

3.2.2 LDPC编码

LDPC码是从蒙特卡洛及图论演进而成的编译码技术，因其稀疏检验矩阵（少量元素是1，其余部分全是0）特性，被研究者广泛用于设计复杂度低的解码算法，LDPC码可以有效提升系统的容灾能力，但是构造不规则码字的难度也相应成倍地增加。

3.2.3阵列编码

阵列码的编译码过程只涉及基础的二进制异或运算，技术实现相对容易，而且在采用同等编译码的前提下，阵列码比RS码更能有效地提高系统的可靠性，与此同时保持其计算域不变大，阵列码技术一直是大数据可靠存储关键技术的研究热点，被广泛的应用于磁盘阵列及网格存储系统中。

3.2.4 RS编码

RS码是一种高效的纠错码，既可以纠正突发错误，又可以纠正随机错误，在通信领域中有极其广泛的应用，近年来，随着大数据存储技术的快速、多元化发展，有研究者对RS编码行了改造，并将其应用于数据存储领域以提高系统的容错性。

4 云端系统节能减耗技术

数据存储是各种云计算服务赖以施展的基础，在云计算环境下，底层数据中心节点的规模庞大，使得数据存储成本极高，主要源于添置各种网络硬件设施（大型服务器、交换机、路由器等）以及支付各种存储设备的高额电能消耗等。高涨的能耗开销不但增加了系统的运营及维护成本，更催化了大气温室效应，严重破坏了自然界的生态环境，因此，不论从服务商盈利的角度，还是从环境保护的角度出发，节能减耗技术都显得尤为必要。

当前，分布式存储系统的节能减耗技术主要集中在两个方面：①硬件节能策略，主要致力于降低存储系统中的硬件设备能耗；②软件节能策略，通过使用一些专业软件来实现系统资源的有效分配及使用。

参考文献：

[1] Popa L， Ratnasamy S， Iannaccone G，et al. A Cost Comparison of Data Center Network Architectures[Z]. 2010.

[2] 吴朱华.云计算核心技术剖析[M].北京：人民邮电出版社，2011.

大数据云计算技术篇7

关键词：4G网络；大数据；云计算；智能交通；交通云

随着人们生活水平的提高，汽车逐渐进入到普通家庭，这无疑对道路交通的要求也越来越高，为提高道路行车效率，迫切需要建设一个高性能的智能交通系统（IntelligentTransportationSystems，ITS），以满足大家的需求。

1智能交通系统的概念

智能交通系统（IntelligentTransportationSystems，ITS）指的是建立在较完善的基础设施之上，将先进的信息技术、计算机处理技术、数据通讯传输技术、电子传感技术及电子控制技术等有效组合在一起，并运用于整个交通运输管理体系中，从而能够在大范围、全天候发挥作用，建立起的一种准确、实时、高效的综合运输和管理系统[1]。依据智能交通系统的概念，我们可以看出，为了解决社会不断增加的交通需求与有限的道路资源之间的矛盾，使有限的道路资源能被充分利用，提高人们的出行效率，保障人们出行安全，智能交通系统作为信息、通信、传感与控制技术综合运用的产物，能给人们带来便捷。但目前，我国城市交通仍面临着许多严重问题，如成都，作为西南地区的一个大型城市，虽然其承载能力越来越强，路网体系也日趋完善，但随着汽车保有量的强劲增长，道路供需关系依然非常严峻。据成都市交管局数据显示，截至2014年3月，成都地区的汽车保有量突破268.59万辆大关，中心城区突破114.18万辆，这个数据仅次于北京。而且成都已月均增2万新车，并持续了62个月。一天就会产生数百亿条GPS数据，而车牌识别信息、交通监控视频信息等数据量更大，交通相关的数据量也早以从TB级跃升到PB级[2]，因此，如果要实现对城市道路的交通流量信息、交通状况、交通违法行为等的全面监测，特别是承担在交通高峰期采集、处理及分析大量的实时监测数据的工作，整个平台的运行压力将会非常巨大，大数据（bigdata）就此产生，大数据分析交通除了流量及车辆的相关信息外，还必须包括路面情况、天气、突况、周边环境等诸多因素，传统的交通数据分析法已很难有效处理如此庞大的数据的问题。城市智能交通应具备的特点和需求分析如下。

1.1数据信息海量化

整个城市的交通行为主体作为城市智能交通的分析对象，海量数据必然成为固有特性。

1.2应用负载变化大

城市交通流特性呈现出区域关联性强，随时间变化大的特点，系统需要根据实时的交通流数据，做出全面采集、分析、处理等。而传统的智能交通方案由于无法在全局上统筹，往往会因此陷入彼此孤立的情形。

1.3高稳定性和高可用性

只有要求城市智能交通系统具有高可用性和高稳定性，才能更好地、更快捷地提供畅通、安全、高品质的行程服务，以保障交通运输的高安全、高时效和高准确性，让政府、社会和公众感觉到方便。而目前的很多方案中，由于各生产厂商繁杂、设备类型众多、质量参差不齐，而国内也缺乏统一的标准，这样不仅系统维护成本高，而且也很难做到保持智能交通系统的高稳定性。

1.4数据共享需求

目前，正在建设中的智能城市交通系统，大量的终端设备出自不同的厂商或不同平台，这样就形成了许许多多的信息孤岛，彼此间很难实现共享数据。这在很大程度上影响了系统功能的充分实现，智能交通系统在硬件、接口上应做的统一，从而使行业信息资源的全面整合与共享成为智能交通发挥整体方案优势、整体统筹资源、统一协调的基础。

1.5信息实时处理性能要求高

随着城市交通的拥堵日趋严重，人们在出行时要求能随时随地通过熟悉的方式获取所需的出行计划和实时的出行信息，因此，未来的智能交通需要满足高效性、实时性的要求。

2大数据与云计算技术对智能交通系统的影响与应用

云计算（cloudcomputing）是将计算任务分布在大量互联的计算机构成的资源池上，使各种应用系统能够根据需要获取存储空间、计算力和各种软件服务，该资源池被称为“云”。“云”是指一些可以自我管理和维护的虚拟计算资源，通常包括宽带资源、计算服务器、存储服务器等大型服务器集群[3]。而云计算（cloudcomputing）是一种基于互联网平台的计算方式，为计算资源提供全新的计算模式，其服务方式可动态、伸缩且虚拟化，云计算技术还会将所有的计算资源汇集在一起，并通过软件实现对资源的自动高效管理。这使用户能更加专注于自己的业务，无需为繁琐的处理细节感到烦恼。云计算技术之所以能有效处理和应对交通数据量大、可用性高、稳定性要求高、信息实时处理要求高、应用负载波动大、数据共享需求大等问题，并能实现应用的灵活性，高效整合资源，降低运维成本和总能耗，很大程度上是源于其自身的高可靠性、弹性扩容性好、快速部署及按需服务的特性。云计算技术以其高度的信息部署、优异的扩展性以及自动化IT资源调度，成为解决智能交通面临的问题的关键技术手段，成为一种全新概念的信息服务模式，有助于智能交通系统的快速实现。建设基于“云计算”的智能交通系统，要实现交通信息的动态采集、分析、处理及，并及时向用户提交动态交通信息，报告路况动态变化信息，指导用户出行计划，规划用户行车线路，从而有效提前进行分流拥堵流量，从而提高交通通行效率[4]。其具体应用如下。

（1）城市中的车、人或设备等每个交通终端节点，均可以实时地通过交通云得到基于整个城市交通信息智能分析后提供的服务。

（2）通过综合整个城区的交通流信息及汽车的运行计划信息，每个交通信号灯都得到高效控制，并在面控、立体多维的基础上进行相关预测；城市交通引导系统也可以与交通信息个性化服务进行无缝结合。

（3）为了更智能地提高交通运行效率，拓展一个智能交通信息服务市场，运营商要相应地通过手机基站定位，向用户提供实时的交通信息服务，这些信息与交通控制、引导相结合。随着移动通信网络的发展，从早期的2G网络到3G网络，再发展到当前的4G移动通信网络，4G网络使图像视频传输更加稳定，决策也更具有时效性，并为智能交通系统提供了更多应用的可能，移动网络在智能化交通信息系统中的运用日趋娴熟、准确，使智能交通系统真正、全面、高效地服务于社会，为缓减交通压力做出了更大的贡献。移动网络技术还有效地为智能交通系统的发展提供了新的发展思路。

34G移动网络的网络结构的核心技术及优点

3.14G移动网络的网络结构的核心技术

4G移动网络体系结构从下往上可分为物理网络层、中间环境层、应用网络层。正交频分复用（OFDM）技术是这一代移动通信网络的核心技术，该技术可以为用户提供速率高、时延小的数据交换服务，能达到下行50Mbit/s与上行100Mbit/s的峰值速率。OFDM技术特点包括：具有良好的抗噪声性能及抗多信道干扰能力，可扩展网络结构。

3.24G移动网络的优点

3.2.1通信速度高、灵活性好4G移动通信系统速率可以高达到l00Mbps，甚至是150Mbps。由于4G网络不仅是面向手机，还面向智能手表、控制器、眼镜等移动智能终端设备，这些终端设备极大丰富了人们的生活，使通信变得更加灵活多样。

3.2.2系统兼容性好未来的4G移动网络要面向全球发展，可以预测4G移动网络一定会开放出更多标准化的接口，并与全世界各种网络进行高速通讯、互联。

3.2.3网络采用宽频谱4G移动网络的每个信道会占有100MHz的频谱，是3G移动网络的20倍左右。

3.2.4通讯费用低目前，很多3G移动网络用户之所以能方便地过渡到4G移动网络进行通信，是因为4G移动网络与3G移动网络的兼容性较好，且4G移动网络的系统采用灵活的操作方式。在加上4G移动网络通讯费用相对较低，为4G移动网络的快速部署创造了条件。

3.2.5网络通信质量高4G移动网络通信时代是高质量通信的时代，与3G移动网络通信技术相比，4G移动网络通信技术将在很大程度上提升大数据的交互、处理能力，特别是跟云计算技术的结合，大大提高了效率，4G移动网络让广大人们拥有了前所未有的、便捷的移动网络交互体验，面对越来越复杂的网络环境，通信质量也得到了较好的保障，4G移动网络通信也能满足3G移动网络通信尚不能覆盖的区域。

4基于云计算的智能交通的关键技术

上述的需求，使大数据与云计算技术成为城市智能交通系统的重要支撑。为了有效地将云计算技术与跟4G网络相结合，提升信息传递的准确性和可达性，还需解决以下几个主要技术问题。

4.1最优路径规划问题

云计算技术在智能交通系统中的另一个重要应用是智能交通系统中的最优路径规划，它在各类应急系统及车辆路径导航系统中具有重要作用。智能交通最优路径规划是以交通运行数据为基础，在云计算数据中心对各交通影响因素进行分析、处理和判断后，再通过短讯、车载终端、GIS电子地图等各类终端帮助信息，为道路的使用人员提供最优路径，引导信息及各类实时交通帮助服务信息，以提高车辆的通行效率及行车安全。

4.2智能交通流预测与出行引导问题

基于云计算的智能交通流预测与出行引导可通过物联网对交通流量数据进行实时采集，对这些数据进行分析和快速处理，以便对道路交通流进行实时动态判别和准确预测，从而正确指导用户出行，这样必须建立起智能交通流量采集数据库及非结构化的数据库。

4.3智能交通事故预警处理问题

道路交通中的突发事故严重影响城市道路交通运行的安全性和可靠性，因此，面对突发事故，必须快速做出反应，提出处理预案，然后对其进行有效、及时地处置。基于大数据分析的交通事故应急处置方案的形成，是通过物联网技术快速采集和分析交通突发事件及整个道路流量信息，迅速地进行事故故障处理，并及时发出预警信息，提前、有效和安全地疏散车流，达到不影响交通正常运行的目的。

5我国智能交通系统发展趋势

众所周知，我国4G移动网络牌照已经发放，围绕4G移动网络的各项业务也快速展开，但目前，网络通讯费用并没有下降，这对基于4G移动网络智能交通系统的开发与使用具有较大影响，相信随着4G网络的普及、通信环境的改善、资费的下调，大数据的交互平台将有望在许多移动设备（如手机、平板电脑）上实现，云计算技术也将得到更广泛的应用。例如，未来的智能交通系统将会出现自动驾驶系统、大数据与智能交通、生态智能交通系统、移动互联网与智能交通等。近年来，基于移动网络智能终端的与交通相关的APP得到飞速发展，因而，移动互联网技术在人们出行中的作用将越来越大。

6结语

基于4G移动网络的大数据和云计算技术的智能交通系统是一个复杂的系统工程，它涵盖了网络构建、信息采集、系统集成及应用开发等多方面内容，同时也涉及城市交通运行管理中的许多领域。要在4G移动网络平台上加快推进大数据和云计算技术在城市智能交通系统中的研究及应用，必须不断加强技术革新、保障云安全、完善基础设施建设，并将政府构建的基础性开放平台与引导科研机构、高校、企业参与应用研发相结合。

参考文献

[1]吴忠泽．迎接中国智能交通的新时代[J].科学,2010(1):3-6．

[2]毕然,党梅梅．智能交通系统标准化现状及发展趋势[J]．电信网技术,2011(4):44-47.

大数据云计算技术篇8

中图分类号：TP18 文献标识码：A 文章编号：1674-098X（2017）04（c）-0158-02

身处于当今的大数据时代，电力企业信息化程度和智能电力系统的建设，将促使电力数据的体量实现指数级增长；在电力大数据应用方面，对于行业内外各方面的数据分析均会导致电力数据计算与处理类型成本增多。充分挖掘软硬件资源的潜在价值，减小投入支出，更多的从海量的数据信息当中发掘出其中有价值的数据，促使相关的管理人员能够获得更加多元化的知识内容，将是在大数据时代开展电网管理与控制工作最为重要的一项难题。

1 概述

在具体的电网数据分析工作中，对于最终决策起到主导作用的因素很可能仅是其中的某一部分，而要将这些最为关键的因素及时寻找出来将会对于缩减数据处理规模、提升数据处理效率意义重大。有研究人员就通过应用经典粗糙集理论将对于风力速度有可能产生影响的属性进行了约简处理，同时在对风力速度的预测过程之中也达到了较为满意的效果。一般的数据约简处理方法尽管在减小时间复杂程度、提升效率上价值明显，然而，此类属性所采取的约简算法都是假定将所有的数据内容一次性录入系统内，很明显这无法适用于电力大数据系统。还有研究采用传统关系数据库技术属性约简方式，来处理小规模属性约简问题，尽管在时间性能方面取得了较为满意的效果，然而采取此类方法所能够应对处理的数据规模及时效性均会受制于硬件限制。

而将云计算技术应用于电力大数据预处理当中，则能够给予其软件及硬件资源和相关的数据处理提供以新的途径方式。在本次研究中重点就针对美国谷歌公司所提出的MapReduce编程模型展开了深入的分析与探讨，具体就粗糙集相对正域理论和现行的知识约简计算方式展开了深入剖析，结合其模型设计与计算最终对基于云计算技术的电力大数据预处理属性约简方法的正确性，及其对节点数目的影响展开了实证分析，最终的实验结果显示，此项计算方法不当可大幅度提升电力大数据集的属性约简计算效率，同时还可达到较为优异的可拓展性效果。

2 基于MapReduce技术的电力大数据预处理属性约简

将一个电力大数据集视作为是一项电力知识表达系统，相应的便需求出对指定决策属性集的条件属性，也就是将这一电力大数据集的属性约简问题转归成计算正域势的问题。应用MapReduce计算以上问题，其具体方法为：map函数同时对于多个数据分片进行访问，依据实际需求，将属性及属性值取出，并以此产生出键值对（其所代表的意义即）。Reduce函数接收来自于各个节点map所发送出的key值所对应的键值对序列，并以此来求出相同等价类的具体数量。

Hadoop在进行复杂任务处理之时是对任务数量的增多，而并非是提高map与reduce的复杂性，因此基于云环境下进行电力大数据预处理属性约简，则可设计出多个函数及主程序。在此方面的约简处理过程当中，可将某项具体的电力大数据集视作为是一项电力知识表达系统，并基于这一基础之上，再开展属性约简处理，并可将其视作为是对正域势的计算，具体的计算方式如下所示：

（1）map函数位于同一时段内针对多项数据分片各自独立展开访问，同时依据实际要求规范来获取属性和属性值，进而产生出键值对；

（2）Reduce函数对即为各节点处的map与所发送的key值所相对应的键值对序列，同时还需针对相应的等价类个数予以计算处理。

应用Hadoop针对复杂任务予以处理之时，其主要侧重于对任务数量的增多，而并非是针对map以及Reduce函数复杂性的加强。因而，在基于云计算技术的电力大数据预处理属性约简方面，针对性设计出两项map，三项Reduce以及call job函数，同时还可携带一项主控程序，最终再结合以实际需求，各自给定算法，即可针对大数据预处理属性展开约简计算。

和传统约简方法相对比来看，基于云计算的约简方法不但可促使无法针对大数据集进行处理的情况迎刃而解，同时还能够显著提升整体简约处理的效率，大大减小简约复杂性，可同时实现对空间与时间的双重精简。鉴于此，在目前的电力企业发展过程之中，这一技术已成为电力大数据预处理属性约简的核心手段之一。

3 验证分析

现就针对基于云计算的电力大数据预处理属性约简方法，由算法正确性和节点数据的影响两方面来探讨其在电力大数据预处理之中的效用价值。

3.1 正确性

采用某一电网故障诊断决策表来阐明基于云计算的电力大数据预处理属性约简方法的正确性。下表1为由6个样本所构成的电网故障诊断决策表。

采用伪分布模式进行Hadoop程序的运行，便可获得决策表核{CO2，CO3}和一项约简{CO2，CO3，CB1，CO1}。经验证表明，结果正确。

3.2 节点数目的影响

在本次研究中选用Hadoop平台搭建了一个集群实验环境，其中的Hadoop版块为Hadoop-0.20.0，应用临均值针对缺失数值予以填补，促使数据离散成一系列的0，1列表，以促进数据处理效率的提升，并由此获得13项条件属性及1项据测属性电力知识表达系统S。

（1）可拓展性

这一特性是依据节点数量并按照特定比例来提高并行算法精确性。为验证算法的可拓展性，选取四个节点值来充当测试数据集，即2，4，8，16四个节点。如下图1所示，观察图1可发现，尽管因为硬件与平台运行资源耗损因素导致节点数上升到16之后算法能力有所降低，然而各作业的运行时间基本相当，此即表明了并行算法的良好拓展性。

（2）加速比

加速比即为在数据规模保持恒定不变的前提下，持续增多节点数量并行算法能力。较为合理的加速比往往是线性结构的，然而因为各项计算机设备间的通信、任务调度等因素影响，具体的加速比常常是要小于理想状态的。如下图2所示，测试数据集为20GB，同样为2，4，8，16四个节点，经观察约简时间与节点数量关系可表明，本次研究所提出的算法可达到较为优异的加速比性能。

4 结语

总而言之，在电力行业高速发展的当今时代，应大力加强对于相关云计算技术的深入研究及应用，同时在云计算技术的基础之上来开展关于电力大数据预处理属性约简，促进电力大数据处理效率能够得以大幅度的提升，并为企业的管理人员提供详尽、可靠的参考依据。

大数据云计算技术篇9

一、云计算

（一）云计算的概述。近年来，由于数据的快速增长，用户对计算机的数据存储能力，要求也越来越高。云计算是一项新兴的数据处理技术，改变着普通用户使用计算机分析、处理数据的方式，为用户提供了强大的数据分析、存储能力，方便用户进行数据管理，目的是让用户高效的使用计算机的数据资源[1]。云计算不仅是解决数据的计算问题，更多的是结合其他技术进行综合发展。

（二）云计算的技术原理。云计算以互联网作为发展平台，以计算机技术作为实现途径，将数据进行整合、处理、应用、存储等，云计算是一种有效性强、低成本的计算机技术，通过计算机系统，实现数据资源优化的计算方式。云计算的基本原理是使数据分布在计算机上完成，能够使计算的数据进行合理的应用，实现计算机的存储功能。这就意味着计算机的云计算能力就像商品一样可以进行流通，最主要的是使用方便，价格低，而主要方式又是通过互联网进行的，实现了与计算机技术的接轨。

（三）云计算的应用。云计算具有操作简单的优势，用户无需掌握太多的云计算技术，就可以直接进行操作。在云计算下，可以使用户快速获得信息，为用户提供一站式服务[2]。云计算的特征主要表现为管理性、分散性、储存性等特征，同时还具有服务性、经济性等更深层次性的特征。云计算系统是通过IP网络连接的，云计算系统的核心组成部分是云计算平台。目前，国内多数企业都采用了云计算来为用户服务，例如，谷歌推出的谷歌App服务，IBM推出的“云海”操作系统等等，许多知名的企业都在大力的开发云计算软件，随着云计算的发展，一些虚拟化服务、数据整合服务也都采用了云计算技术，争取创造出更多的云计算产品。

二、云数据管理技术

（一）GFS技术。GFS技术，是一个大型的文件计算系统，它为谷歌云计算提供大量的数据储存空间，形成谷歌的云计算解决方案[3]。GFS将整个系统分为客户端、主服务器、数据块服务器3类，使应用程序直接调用这些函数，与该数据库连接在一起，进行整个系统数据的保存。GFS将文件按照固定大小进行分块，每一块被称为一个数据块，并有相应的索引号。在客户端进行访问GPS时，需要先进行节点访问，然后进行数据信息的获得，这种数据存储方式实现了控制数据流的作用，使得云数据管理技术的整体性能得到了提高。

（二）Dynamo技术。云计算的数据具有数量庞大、数据不确定性的特点，需要采用有效的管理技术对数据进行分析和管理。在云数据的众多管理技术中Dynamo技术具有独特的技术优势，它不仅具有分布式的储存模式，而且还能进行数据存储的表格构建，Dynamo技术可直接提供底层支持，它的优点是通过它所提供的N、R、M三个使用参数，根据客户的需求来进行实例的调整，其中N是副本个数，R是读取个数，W是写入成功的个数，当读取个数大于副本个数，就可以保证数据的一致性，当读取个数小于副本个数，则就不能保证数据的一致性。Dynamo技术的工作原理其实就是提供不同的版本，并能够灵活应用。

（三）云数据管理技术的利与弊。云数据管理的数据具有海量性、异构性、非确定性的特点，而云数据管理技术本身又具有规模大、结构性强的特点，是针对云数据的特点使用的一种数据管理方式，在应用上为客户提供方便快捷的数据模型，来进行数据的读取。虽然云数据管理技术在不断的改进和完善，但也存在着一些问题，例如，在数据丢失时，如何进行数据的还原与修复的问题，是需要云数据管理进行技术提升的方面。

结论

随着社会大量数据信息的涌现，云计算和云数据管理技术受到越来越多的关注，这也充分体现了数据由密集型向技术型转变的发展趋势。传统的数据管理方式在海量数据的冲击下，会遇到一定的挑战，云数据管理技术应采用新的方式去处理数据，从更深层去管理数据，通过云计算的平台构建，实现为更多用户服务的理念，也将出现越来越多的数据管理技术，使数据存储和管理方式不断的更新与发展。

参考文献

[1]刘正伟,文中领,张海涛.云计算和云数据管理技术[J].计算机研究与发展,2012,1(07):26-31.

大数据云计算技术篇10

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2016）09-0277-02

随着科学技术的不断发展，云计算技术的应用大大促进了社会各个领域的发展，云计算作为一种新型的计算机技术，具有诸多的优势。云计算具有存储量大、对信息数据信息运算能力较强、平台规模较大等优势。现今物联网概念的提出云计算的出现，其技术的优势刚好解决了物联网中信息数据大、数据信息处理不得当的问题。随着云计算的不断被关注，文章从云计算的定义角度出发，首先对云计算进行了系统的介绍，其次对云计算的优势进行了简单的分析，最后对云计算在物联网中的应用进行了详细阐述。

1 云计算的概述

1.1 云计算的定义

云计算是一种对数据信息进行计算的计算模式。计算机技术发展的时代产物，作为信息时代具有颠覆性的信息技术。文章对其进行了简单介绍。云计算是以应用为目的，通过先进的计算机技术，能够在互联网上实现互享的计算机软件、计算机硬件资源和信息数据，能够依据客户的不同程度上的需求，将信息数据输送给计算机和其他信息数据设备。云计算是指通过网络的连接和所需的方式来获得所需要的资源。云计算是服务的交付和使用模式[1]。

1.2 云计算技术的优点

云计算是将互联网为运作平台，为用户提供便捷安全和快速的网络计算和数据存储服务。在云计算的模式中，用户需要各种各样的应用程序而并非在终端设备上运行，而是在互联网上的平台上进行运作的。

1） 对数据信息的存储方面

云计算通过使用分布式的方式，对数据和信息进行存储，分布式则利用冗余的方式进行对数据的存储。其能对统一分数据信息进行多个副本的存储，以此来保证存储信息的安全性和可靠性。此外，云计算系统为满足大量客户的需要，同时的为多个相关用户提供服务。所以，云计算对数据信息的存储技术要求较高，云计算具有先进的存储技术，同时还具有较高的数据传输速度等优势[2]。

2） 对数据信息的管理方面

云计算系统对数据库的数据信息进行管理时，通过高效的处理技术可以为用户提供便捷的服务。所以，云技术的数据管理和处理技术能实现对数据库有效管理的需求。此外，云计算还能在海量的数据库中搜寻到指定的数据信息。云计算的特点是云计算对数据库的信息读取和处理的频率超过数据库内数据信息更新的频率，基于云计算是一种读取优化的数据管理模式，使得云计算被广泛地应用。云计算在处理信息时利用的列存储的方式对数据和信息进行管理时，即将数据信息按列划分再进行存储[3]。

云计算规模大、信息调度便捷。云计算技术之所以成为现今被广泛利用与组织机构中，主要是由于云计算对计算机技术进行了综合性的运用，主要运用了虚拟化计算机技术、分布式的计算机计算方式、多副本信息数据中的容错的计算机技术等。从而使得云计算拥有较大的规模，由于综合运用了计算机各种技术，使得云计算对数据计算的能力大大增强。云计算能够搭建较为廉价的、高效的运算连接点，从而为企业及社会各组织，在信息数据资源上的查阅和调动上更为便捷和灵活。此外，云计算技术的安全性极高。其数据信息是由专业的安全专家来负责保存和对数据进行管理的。

2 云计算在物联网中的应用分析

1） 云计算和物联网的结合方式

物联网与云计算都是根据互联网的发展而衍生出来的时代产物，互联网是二者的连接纽带。物联网是把数据信息的载体扩展在实物上，物联网的目标是将实物进行智能化的管理，为了实现对海量数据的管理和计算，就要需要一个大规模的计算平台为支撑。云计算的技术能实现对海量数据管理。所以，作为这种特定的计算模式，能够实现对数据库的数据信息进行实时的动态管理和分析。将云计算应用到物联网的数据传输和数据应用中，很大程度上提高物联网的运行速度[4]。

2） 云计算对物联网的意义

云计算能为物联网提供技术支持，物联网为了实现规模化和智能化的管理和应用，对数据信息的采集和智能处理提出了较高的要求。基于云计算具有规模较大、虚拟化、多用户、较高的安全性等优势，能够满足物联网的发展需求。云计算通过利用其规模较大的计算集群和较高的传输能力，能有效地促进物联网基层传感数据的互享。云计算的虚拟化技术能使物联网的应用更容易被建设。云计算技术的高可靠性和高扩展性为物联网提供了更为可靠性的服务。基于云计算各种有死能为物联网的建设与发展提供了更好的服务[5]。

3） 云计算与物联网的结合优势

云计算的大规模服务器，很好地解决了物联网服务器节点不可靠的问题。随着物联网的逐渐发展，感知层和感知数据都在不断地增长，由于处理不当，使得服务器的各个部分较容易出现错误的状况，在访问量不断增加的情况下，会造成物联网的服务器间歇性的崩塌。增加更多的服务器资金成本较大，而且在数据信息较少的情况下，会使得服务器产生浪费的状态。基于这种情况，云计算弹性计算的技术很好地解决了该问题。

云计算能使物联网在更广泛的范围内进行数据信息互享。物联网的数据及信息直接存储到网络平台上，而网络平台的服务器分布在世界各地。在网络平台的服务器可以不受地域的限制，对信息的采集和传输能很大限度的实现数据信息互享。云计算技术中的挖掘数据技术，还能够有效地增强物联网的数据信息处理能力。同时，云计算还增强了物联网总的数据信息处理能力，提高了物联网的智能化化处理的程度。物联网应用用户的不断增加，使得其产生可大量的数据信息，云计算通过计算机群，为物联网提供了较大强大的计算能力[6]。

物联网的产生是建立在互联网基础之上的，云计算技术是云计算是一种依据互联网的计算方式，在这种新型的网络数据信息应用的模式总，可以预见在未来网络技术的发展中会形成一定规模。因此，云计算与物联网的有效结合会令云计算技术从理论走向实际应用中，并促进社会经济产业的辉煌发展[7]。

3云计算与物联网的应用实例

1） 在电网方面的应用

近些年来，我国电力部门开展了电网的智能化模式，其主要么地是支持物联网时代所带来的能源转换和节省资源。智能化的电网是把新型材料、先进电力设备、新型能源和国内当下先进的科学技术一家网络管理技术有效的相结合，用以实现国内电力的相关工作工作的顺利便捷地进行，保证电力行业更好地服务于社会各个领域，促进电力行业的稳定发展。云计算与物联网的有效结合，促进了国内电力行业的协调发展，有效地辅助电力企业的数据转换业务，为电力企业提高工作和服务效率[8]。

2） 在交通方面的应用

随着物联网的不断发展，物联网的理念已经转变到产业中来，物联网在交通系统中得到了广泛应用，物联网的有效应用为人们的生活出行带来了极大的便捷，尤其体现在较为繁华的城市中。智能化交通是将传感器和诸多电子信息系统综合地运用起来，并在地面上建立安全、实时、准确的交通运输系统，并通过先进的技术对交通运输系统进行全新地改造，从而形成一种自动化、智能化的交通系统[9]。

此外，在智能化交通的监控和管理的过程中，对云计算技术的应用中，不是改变了对计算机的思维模式，而是将多种先进的技术进行综合性地整合。主要表现在两个方面。其一是，目前交通数据信息的运行管理系统进入了聘问的运营阶段，对于原有的计算机硬件的需求，有别于以往的需求，对计算机的硬件更注重其平稳性。对云计算的数据信息资源的需求服务解决了计算机软件成本问题。其二是，在交通运输行业中，其基础设施和设备都在快速发展，对于机场、火车站、客运专线和铁路干线的建设也加入了软件设计和程序的思维，促进了交通运输领域的发展。所以，云计算和物联网有效地结合，使得交通运输系统实现信息化，加速了交通运输系统智能化的建设[10]。

3） 在公安系统中的应用

国内的公安联网系统是由大量的前端感应系统集合在一起形成的，对海量数据的村粗的需求较高，并且要求对海量数据进行有效的管理和计算，对有效的数据进行搜索的那个较为复杂的计算过程。所以，对数据和信息的计算能力和存储能力要求较高。基于数据库中的数据是不断更新的，因此对数据信息的计算要求也是动态式的。所以，云计算技术的计算模式较为符合公安系统的物联网，利用云计算的方式可以实现可配置的计算资源，进行较为便捷的查找和应用，对于较为紧急的资料，在进行查找时要做到快速的访问，云计算的技术满足了这种要求。云计算的框架的公共物联网体系框架可以北国类为感知层、传输层、支撑层和应用层等层面。网络平台的服务主要集中在公安物联网体制的框架的支撑层面和应用层面[11]。

4 结论

文章通过对云计算的概念及其特点进行了简单的介绍，通过介绍，可以了解到云计算的诸多优点，被社会各个领域广泛应用。其次对云计算和物联网的结合形式进行了阐述，可以很明确云计算与物联网结合的可行性。物联网是未来网络发展的趋势，其利用了现今的先进技术，开创了一个全新的技术应用领域，在思想上没有改变人们的思维方式，只是综合地运用了现有的计算机技术，创设了重要的信息数据产业。云计算技术对物联网的技术支持与相互地促进，使得二者在平台和应用中，相辅相成。共同为社会各界的生活提供更便捷的服务。

参考文献：

[1] 王姣龙.物联网与云计算、海计算的关系[J].物联网技术，2012，2（22）：15-19.

[2] 宫红彩，韩庆玉，刘影.浅析无线传感器网络技术在物联网中的应用[J].企业技术开发，2012，8（32）：25-26.

[3] 贾萍，刘聚海，王远.基于云计算及物联网的GIS综述[J].国土资源信息化，2012，6（21）：11-13.

[4] 郭之成.浅谈云计算技术在物联网智能家居系统中的应用[J].信息与电脑（理论版），2012，3（12）：189-190.

[5] 冯志杰.云计算在校园物联网中的应用研究[J].青岛大学学报（工程技术版），2014，3（32）：44-48.

[6] 张婷婷.物联网中云计算的创新应用分析[J].电子测试，2014（16）：63-65.

[7] 赵钧.构建基于云计算的物联网运营平台[J].电信科学，2010（6）：48-52.

[8] 任超，王鹏，董静宜，陈磊.云模式及其在物联网中的应用[J].成都信息工程学院学报，2010，5（27）：453-456.

大数据云计算技术篇11

1.1概念

云计算是通过将大量计算分布到分布式计算机上，实现虚拟化的计算机网络系统，使得数据的计算运行与互联网类似，能够按照需求访问资源和系统。但是云计算并非通过本地计算机或远程服务器进行计算，而是像计算机网络内部一样实现分布式处理计算，这种方式就好像电厂集中供电模式，将低成本的运算单元组织在一起，能够大幅度提升计算能力和数据处理能力。云计算的这种计算模式对用户完全透明，用户只需要向系统提交自己的要求，云计算软件和平台会自动进行处理，用户不需要了解云计算的具体方法就能够实现快速、高效的大数据处理。

1.2结构

云计算是借助虚拟技术，将大量分布服务器上的资源整合起来，然后根据用户需求进行分配和处理，是一个虚拟的、庞大的计算机网络辅助系统。因此其体系结构也十分复杂，可以大体上分为用户、服务要求、管理系统和服务器集合等四个部分。用户提出服务要求，然后由管理系统向服务器集群发出请求并整合和接收反馈，然后以一个完整的形式将结果反馈给用户，形成一个完整的虚拟计算机网络处理结构。

1.3特点

云计算具有虚拟、高效、资源共享度高等基本特点，同时，目前由于云计算技术还没有完全成熟，大部分企业和个人使用云计算技术需要付费。云计算是一种虚拟概念的计算，也就是说其计算过程并不是通过实际的物理方式实现的，因此不仅能够实现大量数据的运算，也能够提高资源之间的共享度，同时这种分布式处理方式也更大地保证了数据的保密性和安全性。重要数据大量分布在所有分布式终端中，不能简单地从一台终端中提取，提高了数据的保密性，并且如果某台终端处理机出现问题，也不会影响其他终端，极大地提高了数据的安全性，使得大量数据的保存管理成为可能。

2云数据管理技术类型简介

云计算是对海量的、分布性的数据进行计算处理，因此对于数据的管理要求很高，采用的数据管理技术必须能够高效地管理海量数据，于是云数据管理技术也随着云计算的广泛应用而出现，并且目前已经成为众多企业和研究机构研究的重要课题。目前已经存在了许多不同的云数据管理技术，这些云数据管理技术各有特点，但是都以不同的方式实现了对海量数据的有效管理。

2.1GFS技术

GFS技术即谷歌文件系统，是一种为谷歌云计算技术提供数据管理的系统。在这种技术中，所有资源文件以一种库文件的形式存在，并且有系统提供给用户一个专用的程序访问接口，用户提出请求后，由一个逻辑上唯一的管理者对整个库文件进行调度和统筹管理。这种文件系统管理技术不仅能够为谷歌云计算提供海量数据的存储管理，同时也可以进行云计算，满足各种用户要求，目前GFS技术已经成为云数据管理技术的主要技术之一，并且得到了非常广泛的应用。2.2BigTable技术BigTable技术也是谷歌开发的一种数据管理技术，这种技术是建立在谷歌文件系统的基础之上，通过将大量数据组织在一张虚拟的表格中进行管理。这种技术将云数据组织在一张巨大的表格中，从而实现数据的结构化管理。在使用时能够根据要求更加快速地进行数据查找和处理，合理进行资源的分配。这种方式比起文件系统更能够实现数据的架构化，对于结构化云数据的管理会产生更好的效果，取得更高的管理效率。

2.3Dynamo技术

Dynamo技术是一种分布式存储系统，具有数据库和分布式Hash表的特征，以分布式Hash表作为基本存储结构和理念，实现数据在环中的均匀存储形式。这种技术的主要特点是提供了三个参数：N、R、W，技术规定，有N个副本，如果有R个读取一致就可以认为是读取成功，如果有W个写入成功就认为是写入成功，即系统不要求N个全部读取或写入成功，只要能够保证R+W大于N，就能够确保数据的一致性，这种技术增加了数据读取的复杂性，但是降低了数据写入的复杂程度，实现了更加高速的存储管理。

3云数据管理技术特点分析

3.1提供可靠的数据存储管理

云数据管理技术尽管各有特点，但总体都采用了分布式存储管理的思想。这种数据存储管理方式能够为企业提供海量数据的存储管理，同时能够极大地提高数据的保密性和安全性。同时，云数据管理技术一般都具有较高的容错性，大量分布式服务器的支持也可以实现对数据的错误分析和报告，避免因失误产生的数据错误。云数据管理技术最大限度地降低了人为管理因素对数据管理的影响，从而更好地提升了数据管理的可靠性。

3.2实现数据的并行处理和分析

云数据管理技术是将数据进行分布式处理，尽管在逻辑上看来许多云数据管理技术是将数据整合到了一个统一的机构中，但事实上数据是分布存储在大量分布式服务器上，在对数据进行处理时，就可以按照用户的要求从各个服务器中调取数据。在这种技术支持下，就能够有效实现数据的并行处理，系统根据用户要求自动检索分析用户需求，迅速缩小范围，锁定用户关键词，迅速对用户命令做出处理和反馈。同时，多个用户如果提出同一要求，也能够迅速通过这种管理技术实现信息共享，将同样的信息返回不同的用户终端。云数据管理技术还能够根据用户提供的关键字对数据进行初步筛选和分析，节省用户的分析时间，对于需要进行大量数据分析的企业来说可以极大地提高工作效率。这种强大的数据提供和分析处理能力正是云数据管理技术得到广泛研究和应用的主要原因之一。

4云计算和云数据管理前景展望

4.1云计算技术发展前景

云计算技术目前正处于快速发展阶段，不论是个人、企业还是国家都十分重视云计算技术的研究和创新。同时，随着更多的“云”概念的提出，云计算也被赋予了更多的功能和含义，大数据等概念的提出也为云计算带来了新的发展方向。国际社会已经有越来越多的专家学者研究出了更多创新的云计算技术，并且提出了概念含义更加广泛的云计算概念。国内对于云计算的研究也正日益火热，科研机构也在进行新技术的研究，国内个人和企业也逐渐了解了云计算的概念和特点，并且有更多的企业单位开始运用和研究云计算技术。可以说，云计算技术发展前景大好，并且很可能会成为未来一段时间内计算机研究和应用的重点方向。

4.2云数据管理技术的发展

伴随着云计算概念和技术的更新，云数据管理技术也必然要随之更新，云数据管理技术是为了给云计算提供强大可靠的数据存储管理支持，为云计算技术提供数据基础，因此其发展也会随着云计算技术的需求而不断改善。在目前的发展趋势看来，正有着许多新技术和新思想不断涌现，不同概念和云数据管理概念的结合创造出来更多的云数据管理技术。目前云数据管理技术发展趋势正倾向于将不同学科、不同领域的概念与之相结合形成新的管理技术，这种发展不仅能够促进云数据管理技术的创新，也加强了云技术与其他学科技术的结合发展，促进了不同技术的融合与共同发展。

大数据云计算技术篇12

一、云计算技术的介绍以及应用

云计算技术是一种基于网络相关服务的增加交付以及使用模式，云计算是一种虚拟资源，一般通过网络提供动态易扩展，云计算中的“云”是代表网络的意思，一般情况下我们所指的云计算是一种IT基础设施的使用及交付模式，即通过网络的手段来获取所需资源。截止目前，云计算技术已经有了一定程度的发展，不仅对商业模式有着深刻的影响，同时也在很大程度上影响着商业部署、软件开发运行以及后续的交付运作。有了云计算技术之后，用户可以直接通过付费的渠道获取所需的计算能力，不再需要重新部署客户端。云计算关键技术包括是数据存储技术、数据管理技术、虚拟化的技术等几个方面。

二、云计算技术内容

1.数据储存技术。云计算技术是一种基于网络的超级计算形式，存在和发展的技术就是海量的数据储存，云计算技术采取一种分布式的储存技术将数据储存于服务器集群中，并为所储存的技术复制了多项副本。同时采取一种安全可靠的数据加密技术从本质上保证储存数据的安全和可靠，云计算技术传输率高并且有着很高的吞吐率，以此为技术职称为用户提供完善的数据服务。目前，云计算技术主要采取GOOGLE的GFS或者HDFS，GFS主要用于普通硬件，价格便宜，但可以为用户提供一种性能稳定的数据服务。

2.数据管理技术。由于必须处理和分析大量的分布式数据，云计算技术拥有高效的数据管理技术，主要依托BIGTABLE以及GOOSE的数据管理技术以及基于HADOOP团队的管理模块HBASE，BIGTABLE注意啊建立在GFS的基础上，本质就是采取多级映射的数据处理结构把所有的数据编制成为一个表格，利用庞大的数据储存为用户提供相关的服务。

3.虚拟化技术。虚拟化技术是在数据运行环境下在电脑系统以及相关组件的运行中虚拟出来的一种技术，在电脑的硬件以及操作系统和相关的应用程序中构建一个虚拟化层，这种虚拟化层肩负着承上启下的作用，作为中间层起着连接上层和下层的作用。除此之外，虚拟化技术不仅可以节约费用，达到资源整合的作用，还可以使相关的资源得到最大化的利用。根据不同的对象，虚拟化技术可以细分为软件虚拟、基础设施虚拟以及系统虚拟等方面。

三、云计算的主要服务形式

1. SAAS服务。SAAS服务可以让客户根据并发用户数量、数据存储容量、使用时间等按需支付费用，不用支付软件许可费用，以及支付采购服务器等硬件设备费用，也不需要承担软件项目定制、开发、实施费用，在中小企业的应用非常广泛。

2.PAAS服务。PAAS服务是一种分布式平台服务，开发商提供开发环境、硬件资源等服务给客户，用户可以在其平台基础上开发应用程序并通过互联网传递给其他客户。PAAS服务可以为企业或个人提供研发的中间件平台，提供应用程序开发、试验、托管等多项服务。

3.IAAS服务。IAAS服务即把厂商的服务器组成“云端”基础设施，并将其作为计量服务提供给客户。这种服务将内存、存储和计算能力整合成一个虚拟的资源池，是一种托管型硬件方式，用户付费即可使用。

四、对云计算技术未来的展望

全球信息化的浪潮影响深远，并且随着网络技术的发展以及社会的需求以及各国政府以及GOOGLE、微软等大公司的技术支持，云计算技术在全球都得到了一定程度的发展。到目前为止，云计算技术为科研、军事、娱乐服务、医学、生物学、天文学、地理学等行业提供着专业的数据服务，为人们提供天气预报、在线游戏、数据检索等服务，虽然其面临着一定的挑战，但是也有着广阔的发展前景，据估计，以后的云计算技术将朝着三个方向发展。