大数据技术合集12篇

时间：2023-03-21 17:16:35

大数据技术

大数据技术篇1

[9] FastDFS [EB/OL]. [2012-10-02]. .

[15] Storm [EB/OL]. [2012-10-02]. .

[24] Hive [EB/OL]. [2012-10-02]. http：//./conflunce/display/Hive/Home.

[25] Zookeeper [EB/OL]. [2012-10-02]. http：//.

[26] Sqoop [EB/OL]. [2012-10-02]. http：//.

[27] Flume [EB/OL]. [2012-10-02]. http：//.

大数据技术篇2

1引言

数据库技术主要是通过相关的技术措施对信息数据进行有效的存储管理、优化数据结构、设计数据管理模式等。另外，数据库技术还可以对库里的数据进行科学合理的整合分析，挖掘数据的真实性和实用性，找出不同数据之间的联系，这也是当前社会发展的实际需求，对于现代信息技术的发展起着十分重要的作用和意义。

2数据库技术简介

随着大数据技术的不断改革完善，作为近年来兴起的新型技术，它在一定程度上是随着云计算的出现而发展的。立足于云计算的相关技术，对人们生活和工作中产生的大量数据进行综合处理，结合计算机技术、网络通信技术、数据库技术等，有效推动社会经济的稳步发展。数据库技术在推广和普及过程中，主要是以计算机信息技术为载体，充分结合传统数据信息处理技术和互联网技术，对社会中的生产要素和业务要素进行及时有效的分析和更新，调整社会中现有的业务结构和发展模式，从而有效实现经济转型。

3大数据时代背景下数据库技术的应用现状

3.1构建与面向对象实际需求相结合的数据库

在进行数据库的开发和利用过程中，应当充分立足于用户的实际需求，有效结合面向对象方法，根据数据库的分析情况，充分了解用户的需求，为用户提供更为全面和细致的服务。从一定意义上来讲，不仅可以体现出个性化服务，还能保障数据传输过程中的安全性和实效性[1]。根据相关调查研究可以看出，当前我国数据库技术仍处于不断发展和创新时期，面向对象搭建出高效的数据库，并且根据用户需求不断进行调整优化。

3.2构建与多媒体技术相结合的数据库

一方面，对大多数群体来说，多媒体数据库中所存储的资料数据更多，界面的设置也更加多元化，能够在第一时间吸引人们的注意力，从而更好地满足人们的个性化需求，实现技术的多元化发展。另一方面，数据库的安全问题一直是人们最为关注的问题，安全隐患一直是制约数据库技术发展的重要因素，通过有效融合数据库技术与多媒体，可以在一定程度上提高数据库的安全性能和稳定性能。在实际工作过程中，为了充分推动数据库的发展和多媒体技术的有效融合，相关工作人员应当解决以下几个问题。第一，多媒体数据库在实际使用过程中必将涉及到用户的个性化需求，在进行设计时应当有针对性的融入相关数字数据，实现多媒体数据的有效管理和存储，已成为了技术节点搭建的重要模块。第二，数据库技术与多媒体技术要实现有效结合必将涉及到系统的兼容性，这不仅是数据之间的融合，还是数据交叉使用的重要内容，如何充分进行二者的融合和兼容，是全面深入实现多媒体数据库面临的主要问题[2]。

4大数据时代背景下的数据库技术特点

4.1统一性

受传统数据库系统搭建模式内容的影响，不同类型的数据库在使用中仍存在不兼容的情况。因此，无法充分利用数据库中的信息资源，造成了资源的闲置或浪费，无法充分满足用户的实际需求。大数据时代背景下的数据库技术可以有效解决这一问题，针对不同类型的数据库进行有效统一的数据库建设，不断完善数据信息资源的检索功能，从而提高用户的满意程度和工作效率，简化操作流程[3]。

4.2共享性

数据库技术的有效实现和价值体现，在一定程度上取决于数据信息资源的共享性。人们可以通过方便快捷的方式方法获取资源，不断提高信息的使用效率。在实践应用过程中，相关工作人员可以根据虚拟数据的实际情况对各个数据库中的子节点进行科学合理的搭建，逐渐实现功能的多元化发展和信息资源的共享。随着我国信息技术的不断发展，数据库技术的逐渐拓展和信息资源的共享，在一定程度上实现了信息资源的方便快捷，不断满足用户的多元化需求，从而充分体现出数据库的价值和作用。

5大数据时代背景下数据库技术的应用对策和手段

5.1数据标签

数据标签是大数据时代背景下使用数据库技术的基础，能够充分实现数据的查询和有效定位。在进行数据库的有效搭建和完善过程中，相关技术人员应当有针对性地凸显出数据库中相关资源的特殊性，充分立足于社会发展的实际需求，科学合理的设置相应字符长度，不断提高数据标签的科学性和合理性。

5.2节点建设

在使用数据库时，节点建设应当是建设的核心和关键，各个要素之间的有效搭建能够充分满足用户的实际需求，体现出个性化发展目标。根据实际情况可以看出，当前我国在节点建设中仍存在一定的问题，比如过于注重其标准性，采用固定的某种模式进行搭建，没有充分考虑到实际需求，使得节点建设脱离实际，无法充分发挥数据库技术的作用和功能。基于此，相关技术人员应当在原有数据库技术基础上进行优化完善，结合原有的地址内容和关键词检索信息，对整个数据信息资源进行重新整合，从而提高数据库的有效性。

5.3虚拟大数据系统

在数据库中灵活有效搭建出虚拟大数据技术可以更好地实现数据的海量管理，对数据库综合性能的提升和创新改革服务内容等都有着极其重要的作用和意义。虚拟大数据系统为数据群的前台，其功能的实现直接影响了数据库和节点信息资源的收集交汇，合理分配任务。虚拟大数据系统应当是整个虚拟数据中的关键所在，只有确保其正常高效运行，才能为用户提供更为更全面的服务[4]。

5.4信息获取

大数据技术篇3

一、智能电网、云计算和大数据的关系

（一）智能电网与大数据的关系

智能电网的理念是通过获取用户如何用电、怎样用电的信息，来优化电的生产、分配及消耗，利用现代网络、通信和信息技术进行信息海量交互，来实现电网设备间信息交换，并自动完成信息采集、测量、控制、保护、计量和监测等基本功能，可根据需要支持电网实时自动化控制、智能调节、在线分析决策和协同互动等高级功能。可以抽象的认为，智能电网就是大数据这个概念在电力行业中的应用。

（二）大数据与云计算的关系

云计算是一种利用互联网实现随时、随地、按需、便捷地访问共享资源池（如计算设施、应用程序、存储设备等）的计算模式。大数据根植于云计算，云计算的数据存储、管理与分析方面的技术是大数据技术的基础，云计算使大数据应用成为可能，但是没有大数据的信息沉淀，云计算的功能将得不到完全发挥，所以大数据与云计算是相辅相成的。

（三）智能电网、云计算、大数据的相互关系

云计算能够整合智能电网系统内部计算处理和存储资源，提高电网处理和交互能力，成为电网强有力的技术组成；大数据技术立足于业务服务需求，根植于云计算，以云计算技术为基础；所以三者是彼此交互的关系。

二、电力大数据关键技术

（一）电力大数据的集成管理技术

电力企业集成管理技术是为解决电力企业内部各系统间的数据冗余和信息孤岛而产生的。电力大数据的数据集成管理技术，包含关系型和非关系型数据库技术、数据融合和集成技术、数据抽取技术、过滤技术和数据清洗等。大数据的一个重要特点就是多样性，这就意味着数据来源极其广泛，数据类型极为繁杂，这种复杂的数据环境给大数据的处理带来极大的挑战，要想处理大数据，首先必须对数据源的数据进行抽取和集成，从中提取出实体和关系，经过关联和聚合之后采用统一的结构来存储这些数据，在数据集成和提取时需要对数据进行清洗，保证数据质量及可靠性。大数据存储管理中一个重要的技术是NoSQL数据库技术，它采用分布式数据存储方式，去掉了关系型数据库的关系型特性，数据存储被简化且更加灵活，具有良好的可扩展性，解决了海量数据的存储难题。

（二）电力大数据的数据分析技术

大数据技术的根本驱动力是将信号转化为数据，将数据分析为信息，将信息提炼为知识，以知识促成决策和行动。借助电力大数据的分析技术可以从电力系统的海量数据中找出潜在的模态与规律，为决策人员提供决策支持。

（三）电力大数据的数据处理技术

电力大数据的数据处理技术包括分布式计算技术，内存计算技术，流处理技术等。分布式计算技术解决大规模数据的分布式存储与处理，适用于电力系统信息采集领域的大规模分散数据源。内存计算技术解决数据的高效读取和处理在线的实时计算，解决大数据实时分析和知识挖掘的难题。流处理技术处理实时到达的、速度和规模不受控制的数据，应用于电力系统为决策者提供即时依据，满足实时在线分析需求。

（四）电力大数据的数据展现技术

电力大数据的数据展现技术包括可视化技术、空间信息流展示技术、历史流展示技术等。可视化技术广泛应用于电网状态的实时监控，显著提高了电力系统的自动化水平。空间信息流展示技术主要体现在电网参数与已有地理信息系统的结合上，有利于电网管理人员直观地了解设备情况，从而为其决策提供最新的地理信息。历史流展示技术体现在对电网历史数据的管理与展示上，可以绘制出数据的发展趋势并预测出未来的数据走势，可以模拟历史重大事件发生、演变，挖掘历史事件潜在的知识与规律。

三、大数据在智能电网中的应用

电力大数据的应用场合涵盖发、输、变、配、用、调等电力行业的各个环节，在电场选址、降低网损、光伏并网、电网安全监测、大灾难预警、电力企业精细化运营、电力设备状态监测等领域有非常强的可实现性。随着智能电网建设的进一步推进，大数据技术在智能电网中将发挥越来越大的作用。

四、结论与展望

本文探讨了大数据、云计算、智能电网三者之间的相互关系，阐述了电力大数据平台中四个核心的关键技术，即集成管理技术、分析技术、处理技术、展现技术。文章最后的典型应用，对电力企业开展相关研究具有参考价值。大数据技术在商业领域已经获得较为广泛的应用并创造出巨大的商业价值，但是在电力系统中的应用才刚刚起步，因此结合大数据的技术优势和电力系统的应用需求，发挥电力大数据的价值，将为智能电网的建设带来新的发展契机。电力企业应该牢牢抓住这个契机，从数据政策、人才培养、关键技术研发等层面，全面促成电力大数据技术的发展。

参考文献：

[1]孙柏林.“大数据”技术及其在电力行业中的应用[J].电气时代，2013（8）：18-23.

[2]罗军舟，金嘉晖，宋爱波，等.云计算：体系架构与关键技术[J].通信学报，2011，32（7）：3-21.

[3]姚宏宇.大数据与云计算[J].信息技术与标准化，2013（5）：21-22.

大数据技术篇4

中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2016）05-0000-00

1数据挖掘与数据挖掘技术的方法分析

“数据海量、信息缺乏”是相当多企业在数据大集中之后面临的尴尬问题，由此而诞生的数据挖掘技术其实就是用以处理这一尴尬问题的技术。数据挖掘实际上是相对比较新型的一门学科，在几十年的发展过程中，已经不可同日而语。其实数据挖掘技术的本质就是人工智能技术，而数据挖掘技术的利用相对应的就是指人工智能技术的开发与应用，也就是说数据挖掘其实是依赖技术的提升来实现数据的整体创新的技术，所以，整个数据挖掘技术实际上是非常具有信息价值的，它能够帮助决策者更快的得到重要信息并作出决策，提高效率和准确率，是非常重要的知识凭证，能够在一定程度上提高当下企业的整体竞争力。

数据挖掘技术的核心就是分析，通过分析方法的不同来解决不同类别的问题，以实现数据挖掘的潜在内容。简单来说就是对症下药以保证药到病除。

1.1聚类分析法

简单来说聚类分析就是通过将数据对象进行聚类分组，然后形成板块，将毫无逻辑的数据变成了有联系性的分组数据，然后从其中获取具有一定价值的数据内容进行进一步的利用。由于这种分析方法不能够较好的就数据类别、属性进行分类，所以聚类分析法一般都运用在心理学、统计学、数据识别等方面。

1.2人工神经网络

人工神经网络是通过大批量的数据进行分析，而这种数据分析方式本身是建立在一定的数据模型基础上的，因此通常都可以随时根据数据需求进行分类，所以人工神经网络也是当下数据挖掘技术中最常用的一种数据分析方式之一。

1.3关联性分析法

有时数据本身存在一定的隐蔽性使得很难通过普通的数据分析法进行数据挖掘和利用，这就需要通过关联性分析法完成对于数据信息的关联性识别，来帮助人力完成对于数据分辨的任务，这种数据分析方法通常是带着某种目的性进行的，因此比较适用于对数据精准度相对较高的信息管理工作。

1.4特征性数据分析法

网络数据随着信息时代的到来变成了数据爆炸式，其数据资源十分广泛并且得到了一定的普及，如何就网络爆炸式数据进行关于特性的分类就成为了当下数据整理分类的主要内容。在上文中提到的人工神经网络数据分析也属于这其中的一种，此外还有很多方法都是通过计算机来进行虚拟数据的分类，寻找数据之间存在的普遍规律性完成数据的特性分析从而进行进一步分类。

2大数据时代下数据挖掘技术的具体应用

数据挖掘技术的具体流程就是先通过对于海量数据的保存，然后就已有数据中进行分析、整理、选择、转换等，数据的准备工作是数据挖掘技术的前提，也是决定数据挖掘技术效率及质量的主要因素。在完成数据准备工作后进一步对数据进行挖掘，然后对数据进行评估，最后实现运用。因此，数据挖掘能够运用到很多方面。

2.1市场营销领域

市场营销其实就是数据挖掘技术最早运用的领域，通常根据客户的具体需求，进行客户分析，将不同的消费习惯和消费特点的客户进行简单的分类管理，以此来保证商品能够顺利销售，并提高个人销售的成功率和业绩。而销售的范围也从最初的超市购物扩展到了包括保险、银行、电信等各个方面。

2.2科学研究领域

科学研究与实验测试等都需要对数据进行关系分析为进一步的实验和总结失败做准备，而实验测试和科学研究产生的数据往往是巨大的，因此数据挖掘技术在科学研究领域也得以广泛运用。通常都是通过科学研究内容选择数据挖掘技术分析法进行计算来找到数据中存在的规律，实现数据挖掘的部分价值――科学知识的分析与运用。

2.3电信业领域

随着信息化时代的到来，电信产业也飞速发展起来，到目前为止，电信产业已经形成了一个巨大的网络信息载体，如何将其中信息数据进行整合就成为电信产业发展过程中的重要问题。而数据挖掘技术的运用则在一定程度上解决了这一问题，大量的数据通过数据挖掘技术得到了有效分类，并在这个过程中通过运算得出数据之间的关联性，运用规律进一步进行数据分类。

2.4教育教学领域

教学评价、教学资源、学生个人基本信息等组成了教育教学领域的数据库，利用数据挖掘技术来实现教学资源的优化配置，对学生的个人信息整理归档，从而保证教育教学领域中数据整理的良好运作。

3结语

综上所述，数据挖掘技术对于当今社会的发展有着不可替代的作用，而如何改善当下数据挖掘技术中存在的问题，进一步提高数据挖掘技术的质量和效率就成为了数据挖掘技术进步的方向。本文通过对于数据挖掘与数据挖掘技术的方法分析和大数据时代下数据挖掘技术的具体应用两个方面对于数据挖掘技术进行了简要的阐述和分析，相信在未来伴随着科学技术的进一步发展，数据挖掘技术也将更加强大。

参考文献

大数据技术篇5

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2016）03-0019-02

1 概述

当前，互联网的发展已经进入到一个全新阶段，互联网的应用已经深入到人们的日常生活中，尤其是移动互联网技术的发展和运用已经日益成熟，传统企业都已经开始自觉地运用移动互联网技术和概念拓展新业务和方向[1]。在此背景下，大数据技术应运而生，针对大数据这一新兴概念，麦肯锡全球研究所曾给出这样的定义：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

2 分布集群数据库

组成分布集群数据库系统的每台计算机可单独放在一个地方，其中每台计算机都可能保存一份数据库的完整拷贝副本，或者是部分副本，每台计算机单元具有自己局部的数据库，位于不同地点。这些计算机之间通过网络进行连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。

在分布式集群系统中，数据库对用户来说是一个逻辑上的数据库整体，数据库的一致性、完整性及安全性都是对这一逻辑整体进行管理控制的。分布集群服务器对共享的数据进行统一的管理，但是非数据库的处理操作可以由客户机来完成。

在分布式集群系统中，通常采用外部链接技术进行数据库的远程控制。组成分布式集群的各计算机之间可以通过网络进行相互通讯，用户可以远程透明地单独访问远程各数据库单元的数据，也可以组合多个数据库的数据以满足多工作组、部门的复杂应用需求。远程数据库链接技术连接了各分散的数据库单元，逻辑的将他们组合为一个整体，从应用视图的角度来看，分布集中数据库系统就是一个整体的数据库服务系统。用户对此系统的单一逻辑的数据库访问请求都被自动分解、自动寻址、自动转换为网络请求，并在相应数据库结点上实现相应的操作请求。

分布集群数据库系统支持混合的网络拓扑结构，并采用混合的网络协议，自动地进行网络协议的转换。在分布集群数据库系统中，在保证海量数据存储的基础上，混合了高可用集群和高可靠集群，提高了数据库系统的可用性和可靠性，满足了现代互联网应用的需求。

物化视图是从一个或几个基表导出的表，同视图相比，它存储了导出表的真实数据。当基表中的数据发生变化时，物化视图所存储的数据将变得陈旧，用户可以通过手动刷新或自动刷新来对数据进行同步。物化视图包括了查询结果的数据对象，是远程数据的本地副本快照。物化视图允许你在本地维护远程数据的副本，但是只能读取这些副本[2]。

3 高可用集群

数据库高可用集群通过缓存交换技术实现，它基于同一份数据文件、但提供了多个数据库实例，即数据库服务进程。高可用性首要确保数据不丢失，数据不丢失是高可靠性的最基本的要求，是必须要保证的；其次是使数据库一直维持在正常的运行状态，确保不停机，以避免给客户造成损失。

在大数据应用环境下，数据库系统的停机分为两类，即计划性停机和非计划性停机。计划性停机一般在数据库管理软件升级、系统维护或者硬件维护的情况下进行，是有计划地安排节点或者系统的停机。非计划性停机是异常突然停机，具有不可预见性，这种情况一般是数据库管理系统缺陷或系统故障或硬件故障等[3]。

高可用集群数据库技术主要包含如下几点：

1）负载均衡技术：支持静态和动态负载均衡技术，实现系统范围内各节点负载均匀，避免出现单一节点或者部分节点负载过重而影响整体性能。

2）全局事务并发控制技术：通过高速缓存复制技术，各节点保持字典数据一致，同时能够看到全局锁和事务视图，使得能够正常实现事务的ACID特性。

3）多节点并发访问文件控制技术：由于多个节点共享同一份数据，控制好各节点对同一份数据的更新操作，避免出现错误的文件读写导致的数据不一致的问题。

4）动态增加和移除节点技术：在高可用集群环境中，能够在不中断服务的情况下，通过增加节点来提升系统性能，同时也能够在节点出现故障时，从集群中自动移除该节点，并且不影响整个集群系统对外提供服务。

4 高可靠集群

一般采用数据复制技术来保证数据库系统的高可靠性，数据复制同时也是一种分担系统访问压力、加快异地访问响应速的技术，数据复制具有物理和逻辑之分。通过将一个服务器实例上的数据变更复制到另外的服务器实例。可以用于解决大、中型应用中出现的因来自不同地域、不同部门、不同类型的数据访问、请求导致数据库服务器超负荷运行、网络阻塞、远程用户的数据响应迟缓的问题。

高可靠集群提供数据库的容灾、数据保护、故障恢复等，实现数据库快速切换与灾难性恢复。在生产数据库的保证"事务一致性"时，使用生产库的物理全备份创建备库，备库能够通过生产库传输过来的归档日志或重做条目自动维护备用数据库。

高可靠集群的数据同步技术有以下优势：

1）数据库自身内置的功能；

2）配置管理较简单，不需要熟悉其他第三方的软件产品。

3）物理Standby数据库支持任何类型的数据对象和数据类型；

4）逻辑Standby数据库处于打开状态，可以在保持数据同步的同时执行查询等操作。

5）在最大保护模式下，可确保数据的零丢失。

5 MPP技术的应用

MPP 架构采用统一的并行操作数据库引擎，将数据分散在不同的数据库节点上，在高速的内部网络环境下，对于海量数据的并发查询可极大地减少 I/O，提高查询效率。MPP 系统工作起来就像是一台单独的计算机，由于采用自动化的并行处理，在分析型数据仓库等 OLAP 应用中，查询性能比传统的单节点数据库大大提高。MPP 系统为新一代数据仓库所需的大规模数据和复杂查询提供了先进的软件级解决方案，具有业界先进的架构和高度的可靠性，能帮助企业管理好数据，使之更好地服务于企业，推动数据依赖型企业的发展。

6 大数据中的应用

基于数据库管理系统，搭建高可用、高可靠的分布集群数据库系统，结构如图 1所示。

在此环境中，高可用集群之间可搭建成主备关系，与任意高可靠集群或任意单机数据库服务器通过外部链接构成逻辑上统一的分布集群数据库系统。对于用户而言，仍然是单一的数据库服务。

单机数据库服务器、高可用集群、高可靠集群都可通过外部链接作为单独节点加入到分布集群数据库系统中，利用数据库系统的分布集群事务机制，既保留了局部数据库的自治特性，又可以作为全局分布集群系统中的一员参与到整个海量数据分析中。

解决了海量规模数据存储的问题后，针对快速的数据流转、多样的数据类型和价值密度低问题，数据库技术还实现了以下功能：

1）物化视图技术和高级复制技术解决分布集群系统中数据流转速度慢的问题。

2）支持面相对象、xml数据类型，满足数据类型多样化的需求。

3）数据挖掘技术，是决策分析技术的一个更高层次，数据挖掘技术采用人工智能的决策分析方法，按照用户既定的业务目标，对数据进行筛选，揭示其中的规律，并进一步将其模型化。

7 结束语

随着计算机技术的发展，数据库管理系统作为处理数据的核心之一，在大数据中的应用不应被忽视。因此，加强数据库新技术的研发，对于各个国家在大数据时代的信息战中都显得尤为重要。

参考文献：

大数据技术篇6

目前，业界已经从对大数据重要性的认识阶段，发展到实践大数据必要性的战略实施阶段。中国市场在大数据概念产生的初期便已经步入大数据认知和探索阶段，并逐步成为全球市场最具行动力的市场之一。据IDC预测，2013年中国大数据市场将达到1.8亿美元。而赛迪顾问数据显示，到2016年，中国有望成为世界最大的大数据市场，市场份额达到8.03亿美元（约50亿人民币）。

数据改变世界

在感知化、物联化和智能化的交会下，世界的面貌即将改变。

2013年7月11日，IBM 2013技术峰会（IBM Tech Summit 2013）在京举行。牛津大学教授、大数据权威专家、《大数据时代》作者维克托·迈尔-舍恩伯格博士在会上表示：“大数据开启了一次重大的时代转型，正在变革我们的生活、工作和思维。中国是世界上最复杂的大数据国家，面临着充满变化的局面和无限的可能性，但是她同时也拥有最大的发展机会。因为在大数据环境下，充分的数据样本能够帮助企业揭示规律，更好的洞察和预测未来；另外，中国人凭借在数学和统计方面的优势，成为全球瞩目的大数据人才据点。我很高兴看到，在IBM和牛津大学年初的大数据调研中，中国市场有四分之一的企业已经步入大数据实践阶段。这表明中国不仅快速把握了创新的趋势，更有可能成为全球大数据领域的先驱。”

在大数据和分析领域，IBM已充分展现了在该市场的领先优势。近期，IBM被IT分析机构capioIT评为2013年亚太区商业智能和分析解决方案供应商行业第一名。作为目前业界唯一能够集咨询、服务、软硬件综合实力，提供端到端全面整合解决方案的厂商，IBM相关产品和服务覆盖了“大数据”相关领域的各个阶段和各个领域。

IBM软件集团大中华区战略及市场总监吴立东认为：在大数据时代，企业既可以基于数据更好地做到以客户为中心，也可以利用大数据帮助企业整合后端业务，从而更好地为客户服务。

同时，IBM在全球的大数据实践已经深入到包括中国在内的全球市场的各个行业。包括电信、金融、医疗、零售、制造等全球30000家客户已在IBM大数据平台及大数据分析等技术和理念支持下获得收益。

前不久，IBM更是推出了大数据方面的多款产品和技术，大力提升了其分析产品的加速性能，简化了开发和运营，并推出了企业级别的开源Hadoop系统，同时推出了企业移动业务解决方案MessageSight，以及升级DB2 10.5等系列产品。在认知计算领域，更推出第一款面向消费者的Waston应用。其中，业内首创的分析加速技术BLU Acceleration，延续了传统的内存管理系统功能，能够帮助用户更快速地抓取关键信息，并将数据分析速度提高25倍。全新的“大数据专家”PureData for Hadoop系统能够大幅提升企业部署Hadoop的速度，同时降低部署难度。新版本企业级Hadoop产品InfoSphere BigInsights可以利用现有的SQL技术，更便捷地开发应用组件。

技术维新助力再现代化

随着IT技术的进一步发展，技术正在彰显着前所未有的特殊作用，人们对技术的追求也越来越迫切。

IBM全球副总裁兼大中华区软件集团总经理胡世忠表示：“最新的IBM全球CEO调研显示全球企业领导者将技术列为最重要的外部力量，而‘科技是第一生产力’一直被广大中国的企业家和技术人们奉为至理名言。IBM认为，在由新一代技术组成的智慧计算时代，中国的企业家们需要更为战略地思考信息科技的定位，将其运用到自身的变革转型之中。作为智慧地球的推进者，IBM正在引领商业和科技的创新，通过业务前线化实现以客户为中心的业务转型，通过企业内部全面整合大幅优化流程和运营，充分发挥最新的科技能力，携手合作伙伴帮助中国企业、组织和政府共同打造‘再现代化’发展的全新方式。”

大数据技术篇7

【关键词】

互联网；大数据；网络安全技术

大数据已经开始影响人们的生活了，人们越来越依赖大数据。在商业领域，大数据成为预测行情、找准营销方向点的重要载体；在公共的服务领域，大数据为人们的出行、旅游、健康、环保等方面提供出参考信息；大数据为人们生活带来了方便、快捷、灵通的消息和服务。但是，也在人们的生活中增添了很多危险的因素。在大数据环境下，人们上网、购物、消费的同时也暴露了个人信息。提高网络的安全技术，在社会发展的同时保障人们的合法权益。

1大数据时代

最早提出大数据的人是维克托•迈尔-舍恩伯格及肯尼斯•库克耶，他们认为大数据是一个巨量资料库。大数据具有大量、高速、多样、价值等四个主要特点，大数据以多元的形式将很多信息资源收集在一起，形成一个实效性特别强的数据组。大数据与云计算的关系密不可分，在大数据需要使用分布式的计算结构时，云计算会帮助大数据进行分布式处理、建立分布式数据库和云存储。在人们的意识里，数据就是简单的信息。在互联网时代到来之后，大数据时代也紧跟着到来。大数据不是简单的互联网信息，在工业设备、汽车、电表、机械等方面安装上数码传感器，随着空气、温度、湿度、环境的变化数码传感器会发生变化，随之产生很多的数据信息，将这些数据汇集到一起进行研究处理就形成了数据库，也就是大数据。大数据的产生对社会的发展有着很大的影响，它可以通过数据间的信息变化，设计出适合生产的软件。将大数据运用到社会的各个领域中，可以节省资源、提高生产效益。企业中可以利用大数据对大量消费者的消费状况有一个详细的了解，找到消费者们共同的消费领域，制订精准的营销方案。大数据时代下，一些小型企业可以借助大数据的优势做服务转型。大数据环境下，企业的创新之路会走的更顺畅更久远。

2大数据环境中存在的问题

随着大数据时代的到来，很多新兴技术和软件应运而生。互联网的普及是人们出门携带的物品越来越少，甚至有人说拿着一部手机就可以走遍天下。无论是购物，还是吃饭，一个手机APP就可以全部搞定。但是，现在的软件都是实名制的，随着使用的数据软件越多，人们的个人信息就暴露的越全面。近几年，网络诈骗的案件层出不穷，人们的姓名、身份证信息、家庭住址等等，都已经不再是秘密。大数据环境下，人们的个人信息被盗取是最大的问题。在2014年，支付宝前技术员工利用职位便利将20万的支付宝用户信息非法卖给了他人，这个事件发生之后，在社会上引起了很大的轰动。人们开始意识到自己的信息并不安全，有了防范心理。但是，骗子的手段也是层出不穷，每年都有很多人因为轻信网络信息，被骗取了大量钱财。海量数据的安全存储问题大数据环境中的数据存储太多，存储数据的系统无法满足大数据的运用。大数据所带来的存储容量问题、延迟、并发访问、安全问题、成本问题等，对大数据的存储和安全保护系统提出了新的挑战。大数据的存储分为结构化存储和非结构化存储。结构化数据的存储中安全防护存在很大的漏洞，诸如物理故障、软件问题、病毒、黑客攻击等因素是威胁数据安全的问题。非结构化数据占大数据总量的80%，在对数据存储进行管理和处理工作中，一般使用NOSQL存储技术。虽然NOSQL存储技术有很大的优点，但是数据的多、杂、乱依然使数据存储工作一团糟。在非结构化的数据存储出现了访问控制和隐私管理模式问题、技术漏洞问题、验证安全问题等。

3提高网络安全技术的措施

出现问题就要解决问题，大数据在促进社会发展的过程中也产生了很多的弊端。找到问题的源头后，就应该付出实践去解决问题。通过对数据进行网络安全监控，提高大数据环境的安全性能。网络安全技术是在数据传输中保证数据安全性的一种技术手段，网络安全技术又分为网络结构安全分析技术、系统安全结构分析技术以及物理安全分析技术和管理安全分析技术。提高网络安全技术，在大数据环境中建立健全的网络安全体系。提高网络安全技术的具有措施有以下几点：

3.1使用入侵检测系统

入侵检测系统是网络安全技术中的新型系统，主要对数据进行实时的入侵检测，是一种保证数据安全、无病毒的防护系统。入侵检测系统分为两类，一类基于主机；一类基于网络。机遇主机的入侵检测系统可以保护重要的服务器，随时监测并可疑连接、非法访问的入侵。基于网络则是用来监控网络主要的路径信息、不良信息。一旦发现入侵现象立马发出警报，并自动采取防护措施。

3.2提高网络安全技术人员的综合素养

“监守自盗”是大数据时代下经常出现的问题，负责保护整理数据的人员成了贩卖数据信息的人。在企业或者媒体平台中，应该对所有的职员进行培训。建立网络数据管理制度，对不遵守制度的人严惩不贷。提高网络安全技术人员的专业能力和职业素养，对企业中的数据进行严格保管，不做有损人民利益和企业形象的事情。

4结语

在这个日新月异的时代中，人们的生活每天都有新的变化。随着大数据时代的到来，人们可以轻松解决很多事情。没有了时间和空间的上的阻碍，经济发展的脚步会越来越快的。将来，大数据在教育、消费、电力、能源、交通、健康、金融等全球七大重点领域都会得到全面广泛的应用。大数据已经成为了国家发展的趋势。为保证大数据能够利国利民的进行，国家的网络安全监测人员需要不断地提升自己的专业能力，加强对网络安全的管理。提高网络安全技术，使人们能有一个健康、安全的生活环境。

参考文献

[1]王元卓,靳小龙,程学旗等.网络大数据:现状与展望[J].计算机学报,2013,36(06):1125-1138.

大数据技术篇8

与电子消费产品受到了普通消费者越来越广泛的关注相比，关注数据中心的人要少得多，但这并不意味着数据中心的技术创新脚步就比电子消费品的慢。事实上，从事数据中心相关研究的科学家们同样在加紧研发各种先进的产品和技术，这些新产品和技术或者要解决数据中心面临的实际问题，或者致力于让系统工作得更加稳定。以下是近期最值得关注的6种创新性技术。

光纤技术

HDMI电缆在消费电子领域的成功经验已经证明。让一种电缆同时支持蓝光播放机、高清电视机和任意机顶盒，将会给消费者带来很多方便。英特尔基于同样的思路开发出了Light Peak技术，这种光纤将首先用于笔记本电脑和台式电脑，以提高传输速度，同时消除使用连接线时的麻烦。当然，这种光纤也可以用在数据中心，用于连接服务器和交换机。

这种光纤只有3.2毫米，粗细与USB电缆相仿，最长可以达到100英尺。英特尔已经设计了可安装在计算机中的控制器，光缆现在也进入生产环节。英特尔称，包括惠普、戴尔在内的多家公司将在2011年开始生产采用光纤连接的计算机，这些光纤将应用Light Peak技术。

Light Peak引发了人们将光纤技术应用于数据中心的兴趣。实际上，数据中心对光纤并不陌生。自20世纪90年代初，IBM推出了ESCON(企业系统连接)生产线，光纤就已经应用在数据中心，在大型机中它的数据传输速度可以达到200Mb/s。而Light Peak技术的不同之处在于，它的数据传输速度能达到10Gb/s。另外，英特尔还表示，采用该技术的光纤产品将更便宜，比现有的光纤产品更轻。

美国马萨诸塞州康科德Pund-IT公司的分析师Charles King说：“英特尔表示，由于去除了不必要的端口，Light Peak技术降低了复杂程度，也易于管理，能满足为高性能的e-SATA和DisplayPort系统提供较高吞吐量的需求。如果英特尔公司所说的这些优点真能实现，那么Light Peak将可以大大简化这些数据中心管理人员的工作。这些人一直被安装、管理和维修那些不太可靠的光缆所困扰。”

King认为，这项技术的成功与否将取决于开发商和供应商是否愿意接受Light Peak，并生产其周边产品。

全浸式液冷和水平机架

数据中心用液体冷却不是一个新概念，但下面介绍的这一冷却技术却为此带来了一个新的转折。这是由Green Revolution Cooling(以下称GR Cooling)带来的全浸式液冷和水平机架技术。

首先，它们的机架一侧是打开的，这有助于电缆管理，也让管理员能够更容易操作设备。同时，水平放置的机架完全浸入到液体中。GR Cooling的发言人表示，这种名叫GreenDEF的新冷却液是由矿物油提炼而来，无毒也不导电，更重要的是成本低。

美国德州高级计算中心(德州大学的一个下属单位)计算机系统主管Tommy Minyard说，“液体在底部和线路板之间循环流通，几乎流过了计算机的所有节点。”他解释说。这意味着更有效的冷却。Minyard正在他自己的数据中心安装GR的冷却系统，预计会比传统的空气制冷系统节省30％～40％的开支。

尽管和空气制冷相比，采用GR Cooling技术的前期投入成本要高，但是这些投入是值得的。因为这种制冷技术支持更高的功率密度，支持能耗更大的系统，比如采用了刀片服务器和英特尔最新处理器的计算机系统。超级计算机Ranger每个机架功耗就达到30千瓦。

Minyard介绍说，Cray很早以前就提出全浸入式液体冷却技术，后来一直没有真正普及，而最近这种液体冷却技术卷土重来，人们重新对它提起了兴趣。甚至IBM公司现在也重新研究计算机节点的液体冷却技术。

Pund-IT的King说，现在的主要问题是，企业对用液体冷却数据中心的回报有担心，因为这项技术的实施需要很高的投入，毕竟它还是一个未经广泛使用的技术。

GR Cooling创始人之一的Mark Tlapak说：“通常，液体冷却系统的前期安装成本比空气制冷系统要高，但是，采用我们的技术总体成本会比风冷更低。”

他解释了成本更低的原因，一个是他们所使用的液体成本比较低，另一原因采用他们的技术之后，数据中心的可扩展性更好。

“数据中心的成本与该数据中心的用电量很有关系，如果耗电量下降，那么很多方面的成本也会降下来，包括发电机、UPS、冷却塔等。”Tlapak说。

多条宽带线路合并为一

企业可以部署光纤线路，或者租用多个T1连接，但这些连接投资都不少。目前，有一种新兴技术可以提供一个低成本的解决办法。

Mushroom Networks的Truffle BBNA(BroadbandBonding Network Appliance，宽带联合网络设备)通过一种名为绑定的技术同时整合了多达6条独立的宽带连接，来提供一条高速连接。该公司说，Truffle技术能将所有可用的宽带线路组合成一条传输速度高达50Mb/s的宽带连接，这些宽带连接可以是DSL调制解调器、电缆调制解调器、T1线路或其他任何宽带连接。

这一技术既有助于提高访问互联网时的整体吞吐量。客观上也是一种备份。如果一条线路损坏，Truffle连接也能依靠其他可用的线路正常运行。

肯尼亚的一个电视制片人Steve Finn在其名为《挑战非洲》(这个节目在8个非洲国家播出)的电视节目中使用了Mushroom Networks公司的设备。他说，这个电视节日内容制作需要宽带，最多曾每月为宽带费花去4000美元。而该设备能提供4倍以上的连接速度(四个单独的线路速度叠加)，而花费大约是同等高速线路的一半。

Omni Consulting Group的分析师Frank J・Bernhard说，Mushroom Networks满足了那些不想支付多个Tl或T3连接的高昂费用，却仍然需要可靠和快速的互联网接入的公司的需求。尽管其他公司(包括恩科公司)也提供了同样的联合技术，但是要比Muahroom Networks的成本更高，安装更复杂。由此说明，该项技术还并没有广泛被应用。

让多数据中心的连接更容易

在一个大型企业中，保持多个数据中心的连接是一个很令人头疼的问题。这其中有安全问题、以太网传输的问题、操作问题(如保证各分支机构的交换机之间连接速度最快)，以及由于IT业务在多个地点运行必须考虑的容灾问题等。

思科新研发了一种名为OTV(Overlay Transport Virtualization)的技术，用这种技术连接多个数据中心比用传统方法要容易得多。它基本上是2层的网络传输技术，由软件来更新网络交换机(包括思科的Nexus 7000)连接位于不同地区的数据中心。

该OSV软件每个许可证约为25000美元，它能充分利用数据中心之间建立的连接的最大带宽。思科技术发言人表示，现在市场也有一些连接多个数据中心的技术，如多协议标签交换(MPLS)，更早的则有帧中继和异步传输模式协议等。该发言人解释说，与这些方法不同的是。思科OTV技术不需要重新设计网络，也不需要在内核中安装如标签交换这样的特殊服务。OTV只是简单地覆盖现有的网络，它在继承所有精心设计的IP网络优势的同时，保持了在第2层进行互联的数据中心的独立性。

总部设在迈阿密的云服务供应商Terremark使用思科的OTV来连接它在美国、欧洲和拉丁美洲的13个数据中心。该公司说，与“自己动手”进行连接的方法相比，OTV节省了很多开支。由于减少了复杂性，同时OTV还有自动错误恢复功能，这就使得在发生灾难时，多个数据中心的恢复就像一个那样简单。

Terremark的高级副总裁Norm Laudermileh说：“传统上，想要达到负载均衡或在紧急情况时实现各数据中心的自动恢复功能，需要专门的网络和复杂的软件。而采用思科的OTV，从一个地方发出的以太网信息被封装起来传送到另一个地方，这样就建立起了一个逻辑的数据中心。一旦发生故障，就可以采用像VMware的VMotion这样的技术把一个位置的虚拟机自动地迁移到其他物理位置。”

基于优先级的电子邮件存储

通信是现代企业经营的前提和基础，但我们常常见到，电子邮件在数据中心中仅仅是被当做需要归档的一个数据集来看待，没有加以细分。而Messagemind可以自动确定哪些电子邮件可以安全保存到成本更低的存储系统中、哪些邮件需要保存到性能更好的存储系统中。该工具能分析公司所有通信资料，跟踪最终用户对每一个邮件的阅读、删除或保存操作，然后按优先级分组。

数据中心管理员可以利用这些信息按照优先级存储电子邮件，这可以节省成本。例如，不用把所有电子邮件都存储在一个高成本的存储系统。那些标记为低优先级(根据最终用户的点击行为来确定)的邮件可以存储在更便宜一些的存储系统中，只有高优先级的电子邮件才存储在更高的性能、更高成本的介质中。

这个分析功能也可以用在数据中心之外的场合，比如。用到商务智能系统的仪表盘中，管理人员和最终用户在仪表盘上就可以看出某个项目谁帮助了他，企业还可以查看电子邮件的联络图，看出谁在工作项目上的沟通是高效的、谁是落后的、谁又是很少做出贡献的。

Pund-IT的King说，Messagemind有很有趣的应用前景，因为电子邮件系统现在似乎垃圾遍地，充斥着支离破碎的对话和不连贯的项目讨论。而对于常遭受诉讼困扰的公司来说，管理电子邮件非常痛苦，因为电子邮件已经成为法律证据的一部分。

“即使是最好的电子邮件解决方案，也要求员工来管理他们的信息，”King说，“如果真如广告所言，它会在企业中得到广泛应用。通过有效自动地管理电子邮件，Messagemind可以大大减轻数据中心管理员肩上的负担，让他们不用在不断增加的存储压力下苦苦挣扎。”

用户配置虚拟化

大数据技术篇9

大数据技术，是指大数据的应用技术，涵盖各类大数据平台、大数据指数体系等大数据应用技术。2018年，利用大数据技术打造指引行业发展的风向标，成为天津平行进口汽车行业向智能经济发展迈出的重要一步。天津市商务局机电产业处处长李建介绍了天津自贸试验区平行进口汽车大数据平台的进展情况及相关工作。大数据指数体系助力行业发展。

（来源：文章屋网 http://www.wzu.com）

大数据技术篇10

引言

在现今信息技术发展中，数据同计算可以说是信息技术发展过程中的两个重要主题，在这两个主题的基础上，信息技术也逐渐出现了大数据技术概念。从严格意义来说，所谓大数据技术，即是针对于海量数据的分析、存储以及技术。对于这部分海量数据来说，我们很难直接对其进行应用，在获得数据之后，需要在经过一定处理后才能够获得有用的数据，如何能够实现大数据时代下数据同计算的科学协作、并能够将其形成一种机制，则成为了目前非常重要的一项问题。

1 计算同数据协作机制对比

对于面对数据系统来说，其一般为分布式系统类型，即通过将计算向数据进行迁移对系统中数据传递代价进行降低，可以说是一种通过计算对数据进行寻找的方式。要想对数据进行计算，实现数据的定位可以说是一项重要的前提，而数据切分以及存储方式情况也将对计算的模式以及处理效率产生影响。对此，要想对数据同计算间的科学协作进行实现，就需要对数据在分布式文件系统中的存储方式进行研究。而由于在分布式系统当中，需要对数据冗余、节点失效以及备份等问题进行解决，就对数据同计算协作价值的研究带来了较大的挑战。在两者协作机制研究中，数据同计算的一致性可以说是研究重点，需要首先从该方面进行讨论与解决。

1.1 位置一致性映射模型

对于分布式系统中数据同计算的一致性问题，我们可以将其理解为将两者在同一节点位置映射，即在数据存储区域发起计算。以网格计算系统为例，其到达客户节点的数据是计算先于数据，并根据客户端请求将数据映射到客户端中进行处理。对于Hadoop系统来说，就是先将数据存储到系统的一个节点当中，当系统发起计算时，再对元数据进行查询后对数据存储位置进行获得，并将计算任务映射到节点当中进行处理。根据此种情况，我们可以将计算同数据间的映射比作是数据到节点的映射过程，在该过程中，数据片同计算程序在按照一定规则到节点进行定位之后将两者注入到节点当中，而到该节点失效时，数据片则会按照相应的规则进行数据备份以及迁移，并重新按照规则实现到节点的对应。

在上述模型中，我们可以将计算视作是一种具有特殊特征的数据类型，这是因为对于计算而言，其自身就是程序语言设计的可执行程序片，在系统映射过程中，可以将其同数据进行同等的看待，且在程序中一般也将包括相关数据的逻辑位置信息。在分布式文件中，其中的定位算法也正是数据同节点间的映射功能，即要想对两者的一致性位置进行实现，就离不开分布式文件系统的支持。同时，由于在分布式系统中计算迁移、存储迁移以及数据冗余问题的存在，在具体功能实现时，也将对存储冗余以及均衡调度等技术进行结合性的应用，以此对两者科学协作、且具有稳定健壮特征的系统进行实现。映射方式方面，则有哈希映射以及元数据映射等。

1.2 元数据映射算法

对于该类算法来说，其可以说是最为基础的对存储位置同计算一致性进行实现的方法，在实际应用中，该方式通过数据块存储位置的查找使该位置能够同指定的存储节点进行映射，在其对计算同数据的定位实现中，同网络路由表原理较为类似，即两者通过对有路由的查询保证数据能够同计算被分配到同一个节点当中。对于应用该方式的系统来说，其一般为主从结构类型，如果其中出现单点失效情况，则将对整个系统产生较大的影响。对于HDFS以及GFS结构来说，就是以该数据方式构建的。在实际对数据进行存储时，其一般会根据节点目前存储负载情况进行判断，而为了避免结构对失效情况具有过高的敏感性，也有学者通过对元数据进行复制的方式提升系统可用性。

通过该方式的应用，则能够以较为便利的方式对机群系统目前状态进行利用，在以其为依据的基础上对系统的负载均衡进行实现。此时，系统主节点则会通过一定调度算法的应用对数据计算以及存储进行分配，在对系统负载均衡进行实现的同将分配信息作为元数据进行保存。目前，很多针对集群负载均衡算法都能够在元数据方法中进行应用、并将其作为对柱节点资源进行分配的依据。在实际应用中，虽然该方式在网络信息搜索以及大量复杂均衡算法的应用方面具有较好的表现，但当系统具有较多数量小文件时，则需要对路由数据进行大量的维护，并因此对数据的查询效果产生影响。

1.3 哈希映射算法

哈希算法是一种从稀疏到紧密值的映射方式，在计算以及存储定位时，可以将其视作路由算法的一种，通过该方式的应用，则能够将目标定位到节点位置。对于传统的哈希算法，其在扩展性以及容错性方面的表现都一般，并不能够较为有效的对面向数据系统节点的动态变化相适应，1997年，学者David Karger提出了使用一致性哈希算法对数据进行定位，并在后续的改进中逐渐使其成为了分布式存储中的标准技术类型。当系统对该方式进行应用之后，则不需要对中心节点元数据进行维护，可以说对普通元数据服务器性能瓶颈以及单点失效问题进行了较好的解决，其实现过程为：首先通过Key值的应用将MD5算法变换成一个32位长度的16进制数值，在以该数值进行232取模后将其映射到环状哈希空间，并以相同的方式将节点映射到环状哈希空间当中，此时Key则会在哈希空间中寻找到节点值作为路由值。

2 计算同数据的流式拓朴协作机制

2.1 Storm系统

流水线技术是对高性能数据进行处理的重要技术类型，其主要技术思想即将一个任务分解成多个具有前后关系的子任务，在流水线模式中，各个子任务的启动同之前顺序任务的完成情况具有依赖，对具有先后相关性数据分析方面具有较好的实用性特征。目前，以分布式系统以及流式技术为协作的框架机制已经在应用中表现出了较好的生命力以及灵活性，在本研究中，将以Storm系统为例进行简单的介绍。

Storm是由Twitter所推出的一种流式分布式系统，在该集群中，由多个工作节点以及一个主节点组成，其中，主节点可以说是系统的核心，具有任务布置、代码分配以及故障检测等作用。在该系统中，当其要对实时计算任务进行完成时，需要对一个Topology进行建立，并由该模块对数据处理进行规划。在Storm系统中，元组是基本的数据流单位，可以将其看作是一个被封装的数据结构类型，在Storm系统中，Topology可以说是最高级别的执行单元，其是由很多个节点所组成的拓扑，在拓扑中，由不同节点对相应的计算逻辑进行完成。在该系统中，Spout是系统的数据流生成器，而Bolt则为不同的处理位置。对于数据流来说，由于Spout为数据源头，在实际运行中，其在对数据进行读取之后则会实现向Bolt的传送，其不仅能够对多个输入流进行接收，且能够较好的对数据进行特定处理。在Storm系统对Topology进行应用之后，其则具有了更为强大以及更为灵活的数据处理能力，节点在根据Topology逻辑对任务进行分配之后将任务分配到相应物理节点之上。而从整个架构情况看来，在数据以及计算协作处理方面，系统主要是通过Topology进行分配，并在按照其描述之后由对应的节点程序进行处理，并由主节点将根据一个逻辑实现物理节点的映射。

2.2 流式拓朴映射模型

在Storm系统中，其通过Topology结构的应用，则能够对较为复杂的分布式数据处理任务进行实现，在整个过程中，对于不同计算任务，Topology好比是逻辑规划，并没有对相应的物理节点进行对应，在系统主节点中，可能具有数量较多的该种结构，而对于每一个结构都可以将其视作为对特殊问题进行处理的逻辑规划，可以说，通过Topology结构的应用，则能够对大多数问题的处理方式进行描述。其整个过程可以抽象如图1所示。

在图1中，每一个操作就可以将其是作为Bolt，而数据发生器则为Spout，在该系统中，同样由主节点对很多个处理节点进行管理与监控，对于每个任务的逻辑规划，主节点都会在一定策略的基础上对物理节点进行分配，以此对相关的计算恩物进行完成。如上图中，主节点为操作1分配物理节点1，为操作2分配物理节点2，为操作3分配物理节点3，为操作4分配物理节点1，在以该种方式进行分配之后，Topology则能够被映射为集群物理结构，并能够对相应的计算任务进行完成。而作为编程人员，在工作当中仅仅需要对Topology的逻辑结构进行定义即可，其后续相关工作则完全由系统进行维护，作为设计人员，在整个操作过程中也不需要对失效问题进行担心，这是因为当某个节点出现失效情况时，主节点将根据对应操作将其对一个好的物理节点进行重新的映射，以此保证整个规划能够得到顺利的实现。

通过上述的分析可以了解到，通过流式拓朴映射方法的应用，则能够使系统根据Topology描述的情况对不同的集群计算结构进行自动组合，以此以更为灵活的方式对复杂问题进行处理。在整个过程中，系统的主节点具有数据路由以及计算的作用，并通过Topology的描述对协作机制的跟踪定位进行实现。

在此，我们以MPS对Topology到物理的映射过程进行模拟，在节点间，将通过Mpi_Send（）函数的应用将流数据元组注入到节点当中，并在该节点上对相关操作进行发起，之后，通过MPI_Recv（）函数的应用对前端数据进行接收，以此对节点间通讯进行实现。对于该种方式来说，其能够对不同数据系统仅仅能够进行非实时数据批处理的问题进行了较好的避免，具有较好的应用效果。

3 结束语

在现今大数据时代背景下，数据同计算间的协作具有了更为重要的意义。在上文章，我们对大数据技术中计算与数据的协作机制进行了一定的研究，需要能够联系实际进行系统模式的选择与应用，以此更好的对数据处理任务进行实现。

参考文献

大数据技术篇11

一、分布集群数据库在大数据中的应用

目前，许多数据增长率很高的大型数据库系统正被用于改善全球人类活动，如通信、社交网络、交易、银行等，分布集群数据库已成为提高数据访问速度的解决方案之一。为多种类型的用户在多个存储中组织数据访问，分布集群数据库的问题不仅在于如何管理大量的数据，而且在于如何组织分布式存储中的数据模式。智能数据组织是提高检索速度、减少磁盘I/O数量、缩短查询响应时间的最佳方法之一。基于规则的聚类是提供数据库自动聚类和数据存储模式解释的解决方案之一，基于规则的集群通过分析属性和记录上的数据库结构，将数据模式表示为规则。使用不同规则池分区的每个集群，每个规则与内部集群中的规则相似，与外部集群中的规则不同。分布集群数据库是一种有向图结构的进化优化技术，用于数据分类，在紧凑的程序中具有显著的表示能力，这源于节点的可重用性，而节点本身就是图形结构的功能。为了实现基于规则的集群，分布集群数据库可以通过分析记录来处理数据集的规则提取。分布集群数据库的图形结构由三种节点组成：起始节点、判断节点和处理节点。开始节点表示节点转换的开始位置；判断节点表示要在数据库中检查的属性。分布集群数据库规则提取的节点准备包括两个阶段：节点定义和节点排列。节点定义的目的是准备创建规则，节点排列是选择重要的节点，以便高效地提取大量规则。节点排列由以下两个顺序过程执行，第一个过程是查找模板规则，第二个过程是结合第一个过程中创建的模板生成规则。提取模板以获得数据集中经常发生的属性组合。在模板提取过程中，分布集群数据库规则提取中只使用了少数几个属性，它旨在增加获得高支持模板的可能性。与没有模板规则的方法相比，该节点排列方法具有更好的聚类结果，这两个过程中的规则生成都是通过图结构的演化来实现。

二、在线规则更新系统的应用

在线规则更新系统用于通过分析所有记录从数据集中提取规则，在大数据应用中，每个节点都有自己的节点号，描述每个节点号的节点信息。程序大小取决于节点的数量，这会影响程序创建的规则的数量。起始节点表示根据连接顺序执行的判断节点序列的起始点，开始节点的多个位置将允许一个人提取各种规则。判断节点表示数据集的属性，显示属性索引。在大数据应用环节，从每个起始节点开始的节点序列用虚线a、b和c表示，节点序列流动，直到支持判断节点的下一个组合不满足阈值。在节点序列中，如果具有已出现在上一个节点序列，将跳过这些节点。在更新每个集群中的规则时，重要的是要找到与最新数据不匹配的属性。因此，规则更新中要考虑的属性由以下过程确定。当计算集群中每个属性和数据之间的轮廓值时，阈值设置为0.85，只有轮廓值低于0.85的属性。将为规则更新过程中的判断节点的属性选择。一些数据的库存值和权重值低于0.85，因此这些值不包括在国民生产总值的规则更新中。在线规则更新系统中包含用于更新规则的属性，每个集群都具有属性的主要值，这些属性是集群质量的锚定点，进而影响轮廓值。在线规则更新系统应用中，完成主要的规则提取过程，这是一个标准的规则提取，在线规则更新系统考虑到数据集中的所有属性。执行该过程，对初始数据集进行初始集群；改善规则更新过程，仅对轮廓值低于阈值的数据执行。

三、大规模并行处理技术的应用

大数据技术篇12

大数据与数据仓库的异同

大数据时代的到来，确实对传统的数据仓库认知产生了重大的影响。什么是大数据？大数据的“大”实际上并不是最令人关注的特征。大数据是很多不同格式的结构化、半结构化、非结构化和原始数据，在某些情况下看起来与过去 30 年来我们存储在数据仓库中清一色的标量数字和文本完全不同。从另外一个角度来讲，小数据比较简单，有比较成熟的技术应对它。大数据是多种类型数据的组成，需要使用多种技术对待它。每一个识别和监测它的手段和方法是不一样的。

然而，很多大数据不能使用任何类似 SQL 这样的工具进行分析。对于企业及应用来说，数据仓库应用更加有效。两者并不形成替代，特别是银行业等行业里面，更多的是互为补充。

数据仓库的技术特点

被称为数据仓库之父的BillInmon在其著作《（Building the Data Warehouse））一书这样描述：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化（Time Variant）的数据集合，用于支持管理决策。可以从两个层面对数据仓库的概念进行理解，一是数据仓库是面向分析处理的，主要用来支持决策制定；二是数据仓库包含历史数据，是对多个异构的数据源数据按照主题的集成，它的数据相对固定，不会经常改动。

面向主题的：数据仓库的数据都是按照一定的业务主题进行组织的，面向主题体现在数据仓库的建设中，而且还包含在业务数据分析和存储上。

集成的：数据仓库中的数据来自各个不同的分散数据库中，它并不是对源数据库数据的简单拷贝，而是按照划分好的主题和数据分析要求，经过数据抽取、清理、汇总和整理等步骤，消除源数据中的错误和不一致的数据，保证数据仓库中数据的正确性和可用性。所以，它是整合集成的。

相对稳定的：数据仓库的稳定性体现在它的非易失性上，由于数据仓库是面向分析的，其中的数据是从业务数据中加载过来的历史数据，所进行的主要操作是查询和分析，供决策分析使用，所以其修改和删除操作很少，只需要定期的增量加载，所以具有相对稳定特征。

反映历史变化：数据仓库必须能够不断地捕捉业务系统中的变化数据，记录企业生产过程的各个阶段的信息，以满足决策分析的需要，所以必须实时地把新变化的业务数据追加到数据仓库中去，通过数据随时问变化的研究和分析，可以对企业的发展历程和未来趋势做出定量分析和预测。

选择实施方法

企业级数据仓库的实现通常有两种途径：一种是从建造某个部门特定的数据集市开始，逐步扩充数据仓库所包含的主题和范围，最后形成一个能够完全反应企业全貌的企业级数据仓库；另外一种则是从一开始就从企业的整体来考虑数据仓库的主题和实施。前一种方法是各个击破，投资少、周期短且易于见到成果，但由于该设计开始时是以特定的部门级主题为框架的，向其他的主题和部门扩充往往非常困难。而后一种方法恰恰相反：投资大、周期长，但是易于扩展。

以哪种方法进行实施，主要取决于各个行业和客户的实际情况。如电信和银行业，采用第二种方法比较可行，这是因为这两个行业业务发展变化快，为了能够适应将来的变化，整个数据仓库架构必须是可扩展的和易于维护的。如果只是基于部门级的需求去设计，将来肯定无法适应变化。如果重新设计，势必造成前期投入的浪费。对其他一些行业，如制造业和零售业，本着“急用先行”的原则，可以先从某一局部入手，慢慢扩展为数据仓库。

从技术上讲，以部门需求作为主要考虑因素建立的系统，它的数据量不会太大，会影响对将来数据膨胀风险的正确估计，当数据集市扩展到企业范围的时候，由于原有技术无法支撑新的数据规模，会造成数据装载和数据分析速度的降低，甚至达到不可用的地步。企业级的数据仓库会涉及更多的额业务系统，只有充分研究各业务系统，才能了解如何对不同格式、不同标准、不同接口的数据进行集成。

当然，对于第二种方法，也不是说把摊子铺的越大越好。合理的做法是“统筹规划，分步实施”。根据业务需求，把业务的主要方面都涵盖进去，确定彼此之间的联系；对于次要的需求，可以预留一些接口，以备将来细化。否则，如果整个调研周期拖得太长，等进入实施阶段，业务又发生变化，不得不重新修改设计，同样会造成浪费。

所以，先搭建好一个易于扩展且稳定的架构，在此基础上逐步实施，是一个兼顾长远发展与合理投入的最佳方式。此外，分步实施还可以减少风险：前一阶段的经验教训可以为下一阶段提供有益的借鉴，从而使得数据仓库的建设不断完善，不断发展。

结合先进技术从业务需求出发

和其他的应用系统相比，数据仓库对于需求分析和系统设计等前期工作要求更高，其重要性也更加突出。可以说，分析和设计阶段决定了数据仓库最终的失败。因为需求不明确、设计不合理造成的根本性缺陷是以后实施阶段所无法弥补的。因此在分析和设计阶段，对相关的业务部门和技术部门要进行详细的调研，在用户和开发人员之间的迭代和反馈是必须和重要的，它决定了数据仓库最终的成功与否。

由于数据仓库是面向业务分析的，所以最主要的需求应该从业务部门获取和收集，因为数据仓库最终是要服务于业务部门的。需求抓的不准，导致将来将无法解决业务部门的问题，这个数据仓库项目就是失败的，技术再先进也没有用。这是衡量数据仓库成败与否的唯一尺度。

实施的过程中，最好能够把行业专家的经验，与企业现有的需求进行整合，以期得到一个更加全面的需求范围，有利于适应将来业务的变化和扩展。

从技术角度来讲，必须建立一个可伸缩、可扩展、高性能的数据仓库平台，才能为将来不断的完善、不断发展打下一个良好的基础；由于数据仓库项目要涉及多个业务系统，数据量非常庞大，所以本身的投入也是很大的，在保证系统高效稳定的前提下，尽量降低成本是非常重要的。