大数据技术，大数据技术

大数据技术篇1

　　关键词：大数据；数据库技术；信息

　　在大数据发展的时代背景下，人们对于数据信息的收集和存储有了更为先进的飞跃，在数据信息总量呈几何倍数增长的态势下，数据信息来源并收集于各种传感移动设备和无线网络设备，这些数据信息的庞大已经远远超出人力所能组织、处理和分析的能力，与个别独立的小型数据而言，大数据之下的数据库技术具有更为综合的性能，可以将各种信息和数据关系，进行整合分析，构建多个独立数据库的巨型集合，并生成对海量数据进行处理应用的数据计算模型。

　　一、大数据的界定及特性

　　大数据发展背景下，它不再仅仅代表数据规模，更具有了一种划时代的意义和价值，它意味着对传统计算信息技术的挑战，是对大数据进行分析、处理的新技术和方法，是指在数据庞大到无法承受的状态下，用计算机软件工具进行信息数据捕捉、组织和分析处理的数据集合。大数据决策可以推动数据信息管理准则的重新定位，并在大数据分析和预测性分析不断发展的条件下，大数据会对各领域的管理决策产生颠覆性的影响。同时，大数据还可以推动新技术和新应用的开发，在大数据新技术不断被开发的基础上，数据信息的能量将会以不可预知的速度增大。

　　大数据的特性主要指以下几个方面的内容：（1）Volume。即大数据的庞大体量，一些个人计算机的容量已经到了TB量级，大型企业的容量更是接近了EB量级。（2）Variety。即大数据的类型。大数据总体而言有结构化数据和非结构化数据两大类，在新时代下，各种非结构化数据呈现迅速增长的态势，如：网络日志、视频、地理位置信息等。（3）Value。即大数据的价值密度。通常而言，数据总量与数据的价值密度呈反比关系。（4）Velocity。即大数据的处理速度。在未来迅猛发展的信息时代，对数据的信息处理速度将决定企业的效率和质量。

　　二、大数据发展背景下的数据库技术

　　1 键值存储技术

　　在传统的结构化数据之中，通常采用二维表数据模型，对结构化数据进行存储和分配，以实现不同二维表之间的链接和操作，然而，这种传统的数据库处理技术难以满足人类对数据库高并发读写的需求，也无法满足海量数据存储和访问的需求，使数据库具有较低的扩展性和可用性。

　　在大数据发展的背景下，产生新型的数据库――非关系型数据库，它通过键值与存储相对应，不同的元组可以拥有各自独立的字段，如果有增添键值的情况，则可以不再受到固定结构的禁锢，这种键值对存储的方式也称为KV存储方式，它借助于键值对的方式对大数据进行索引、组织和存储，可以有效地减少读写磁盘的次数，有更好的读写性能。

　　KV存储技术可以用于写操作和读操作，对数据进行简单查询和复杂查询，还可以对过期的数据进行定时的合并操作加以处理。

　　2 BigTable非关系型数据库

　　由于人类对非结构性数据的需求不断增加，由此也催生出了云数据库，它可以满足人们对非结构性数据的需求，可以支持多种数据模型，其中，BigTable非关系型数据库显示出一种多维的排序状态，它不是密集形式而是疏散状态的永久性的模型，利用行键、“列键”以及“时间戳”实现对图索引，它不存在各表之间的链接式操作，整个系统是采用一个“行键”索引的访问方式，来实现对大数据的组织和处理。

　　三、大数据发展背景下数据库技术的应用安全

　　1 巩固网络外部环境，确保数据安全支撑

　　大数据时代背景下，数据信息是一种重要的资产，要以数据库技术为手段，对网络外部环境进行安全建构，要在操作系统层进行漏洞管理和安全维护，并主要通过以下几项技术性内容加以实现：

　　1.1 科学合理地匹配网络资源。在大数据发展的趋势下，网络资源的科学合理匹配是安全运行和维护的前提，要利用网络资源管理程序，对其进行科学的调度和管理，使各种网络资源在良好、安全的运行状态下进行操作。

　　1.2 全面完善防火墙技术。在大数据处理和组织的过程中，要全面构筑和完善数据库系统的防火墙技术，它是网络安全的第一道屏障，可以确保数据库内部数据不受侵犯，对于未知的、非法的访问可以加以有效的拦截，在对数据库访问用户进行权限设定的前提下，对数据库访问并管理的区域进行有效的划分，通过防火墙过滤技术，对安全数据信息放行安全通道，而对于非法数据则予以拦截，从而避免数据库遭受外部的攻击和意外的损害。

　　1.3 全面运行入侵检测技术。除了数据库的防火墙技术之外，数据库还应当注重网络系统内部的安全攻击，由于防火墙技术侧重于对外部攻击的防范和拦截，然而，来自于网络系统内部的安全攻击则需要借助于入侵检测技术，在入侵检测技术的应用和运行状态下，数据库可以便捷而迅速地对恶意入侵进行检测并锁定，有效地对入侵行为或动作朝廷阻止，通过对入侵行为的追踪和记录，从而阻止试图入侵或病毒感染的异常活动，提高数据库系统的整体安全性能。

　　1.4 注重系统更新程序。数据库的系统漏洞有时也是一种致命的安全威胁，它有可能使不法侵入者进入而对数据库系统进行侵犯，因而，要安装数据库补丁程序和杀毒软件，并且还要对杀毒软件的杀毒引擎和病毒库进行及时的更新。

　　2 强化数据库的技术安全

　　在大数据发展背景下，要强化数据库安全技术和手段，（1）要选用安全可靠的文件系统，尽量选用NTFS文件系统和Unix系统，不仅可以提高数据库系统的访问性能，而且可以确保数据文件的安全。（2）对于数据库文件还要进行加密处理，可以采用库外加密和库内加密两种方式，根据数据信息的状况选取适宜的加密方式。（3）使用数据库视图技术，为需求用户提供不同的视图，在视图机制之下，限定和保密不同用户的访问范围，确保数据库应用的安全。（4）云安全。在大数据的发展背景下，“云安全”技术发展出了新兴的内容，可以运用并行处理、网格计算和病毒行为判断等策略，对数据库进行异常监测，并在自动分析和处理的前提下，对每一个客户端提供病毒解决方案，高效保证数据库系统环境的安全。

　　3 强化数据库管理与安全水平

　　数据库管理系统的安全是应用过程中的最后一道屏障，它主要可以采用两种方式实施安全管理，其一，采用数据库用户口令管理方式，对于数据库使用者采用口令和用户名的复杂性验证方式，以减少被攻击的几率。其二，对于数据库角色和权限管理的方式，它可以通过不同的权限管理方式，即：系统权限和对象权限，并在权限分配方案中，提高数据库管理的灵活性和安全性。

　　总而言之，在大数据发展背景下，数据库技术有了新的发展要求和机遇，各种结构化数据和非结构化数据相互融合和补充，使数据库技术不断地更新和优化，并在数据安全保障技术的实际应用下，实现对多源异构数据的存储和利用。

　　参考文献：

　　[1]何明，陈国华，梁文辉，赖海光，凌晨。物联网环境下云数据存储安全及隐私保护策略研究[J]。计算机科学。2012（05）

　　[2]王珊，王会举，覃雄派，周@。架构大数据：挑战、现状与展望[J]。计算机学报。2011（10）

　　[3]黄清云。浅谈当代信息技术条件下数据库安全技术[J]。广东科技。 2013（24）

大数据技术篇2

　　全球多家研究机构统计数据显示，大数据产业将迎来发展黄金期，IDC预计，大数据和分析市场将从2016年的1300亿美元增长到2020年的2030亿美元以上，中国报告大厅的大数据行业报告数据也说明，自2017年起，未来2-3年的市场规模增长率将保持在35%左右。大数据像空气一样，随处可见，日积月累的海量数据不得不让人们重新考虑大数据的存储和管理。

　　2传统关系数据库面临的挑战

　　基于二维关系模型的数据库在数据管理的发展历程中是一个标志性的时期，数据结构化存储，冗余较低、程序和数据具有一定的独立性、易扩充等特点。随着Internet技术的发展，涌现出半结构化、非结构化数据，对这些结构复杂的大数据的高效实时多维分析的需求越来越多。传统的关系数据库从70年展至今，虽然应用范围较广技术较成熟，但在处理海量数据方面还存在许多不足。（1）关系模型结构制约了快速访问大数据的能力。在二维关系表中，依据属性的值来检索相应的元组，受这种方式的束缚，在检索数据过程中，将耗费一定的时间，从而使访问数据的时间较慢。在存储对象设计上虽然可以使用分区的方法，提高数据访问冲突，但在大量数据的前提下，分区技术改善的性能较微弱。（2）处理大数据的灵活性不足。在应用系统中，用户的各种查询需求经常发生变化，不受时间和操作对象的约束，用户希望随时随地都能快速得到反馈结果。关系型数据库需要专门的数据库维护人员对用户的查询要求进行优化处理，不能及时的反馈给用户查询结果，这使得使用关系数据库存储数据的企业不具备对大数据的快速响应能力。（3）处理复杂结构数据能力较弱。关系型数据库对现实数据的处理常见类型为字符、数值等，对于半结构化和非结构化数据的处理只限于二进制代码文件的存储，而现今用户对复杂结构数据的要求上升为识别、检索和多维分析，如何处理占总数据量85%的非结构化数据，是许多关系数据库产品需要解决的问题。（4）存储维护管理PB级数据导致成本不断增加。数据量递增使得企业在硬件存储上投资不断增加，虽然存储设备的投入成本在逐步降低，但总成本却在逐步提高。此外，大量复杂结构的数据维护工作也给数据库管理员增加了很多负担。

　　3大数据库技术

　　随着大数据技术的日趋完善，各大公司及开源社区都陆续了一系列新型数据库来解决海量数据的组织、存储及管理问题。目前，工业界主流的处理海量数据的数据库有四种，分别是列式数据库、内存数据库、键值数据库及流式数据库。

　　3.1列式数据库

　　采用列族存储数据，将经常被使用的数据放到一个列族中，例如，经常会查询学生的学号和姓名，而不是专业，这样把学号和姓名放到一个列族中，专业放到另一个列族中，该数据库通常用来存储分布式大数据，HBase是列式数据库的典型代表。

　　3.2内存数据库

　　对数据库中所有数据的操作都在内存中完成，一般数据库也有一定的缓存机制，对大部分数据的操作都包含从外存到内存的读取，这一过程在很大程度上降低了系统的性能。由于在内存中的读/写是以纳秒为单位的，所以内存数据库的性能极高，Spark是内存数据库的典型代表。

　　3.3键值数据库

　　该数据库主要借助哈希表的结构，使用一个特定的键和一个指向特定数据的指针，利用键来完成对数据库中数据的添加、删除和查询操作，这种结构具有很好的扩展性，使系统具有较高的性能，Memcached、Redis、MemcacheDB都是键值数据库的典型代表。

　　3.4流式数据库

　　基本理念是数据的价值会随着时间的流逝而不断减少，因此，需要使式数据库来实现流式计算。流式计算处理模式是将源源不断的数据视为数据流，它总是尽可能快速地分析最新的数据，并给出分析结果，也就是尽可能实现实时计算。典型流式数据库：SparkStreaming、Storm。

　　4大数据SQL

　　大数据查询分析是基于互联网的相关服务的增加、使用和交互模式中的核心问题。由ApacheLucene的创始人DoungCutting使用GFS、Map-Reduce技术支持创建的ApacheHadoop，是一个能够对大量数据进行分布式处理的软件框架。Hadoop技术无处不在，其发展得益于Google发表的关于GFS和MapReduce的论文。在开源世界，ApacheHadoop的分布式文件系统HDFS和HadoopMapReduce完全是谷歌文件系统GFS和MapReduce的开源实现。Hadoop项目已经发展成为一个生态圈，触及了大数据领域的各个方面。由Google的BigTable和Amazon的Dynamo使用的NoSQL数据库，提倡使用非关系型的数据存储，这一全新的思维的注入，打破了关系型数据库管理系统在商用数据库领域几十年的统治性地位。

大数据技术篇3

　　2.1 大数据数据库的特点

　　传统的关系数据库，从其创立至现在，长期占据数据库的绝对统治地位。但是，数据挖掘、商业智能和可视化技术的发展，特别是它们处理非结构化数据的能力，动摇了传统数据库的牢固地位。于是善于处理非结构化数据的种种数据库工具大量产生，这其中必须优先提及的便是NoSQL（意为Not Only SQL）及NewSQL（意为New SQL）两大数据库阵营。

　　现在随着大数据时代的到来，由Carlo Strozzi开创的NoSQL以其技术上的先进性、方便性得到了越来越多的认可。NoSQL改变了数据的定义范围，其“数据类型”可以是文本、图片、影像、网页，也可以是整个文件；NoSQL数据库是非关系式的、数据间的关系更加复杂、多样，类型和相互关系具有多种扩展可能、存储方式也多采用分布式结构。经过十多年的发展，NoSQL取得了成功，采用NoSQL技术的产品也不断增长，目前NoSQL网站上（）已经收集了150余个相关产品，人们也把采用类似NoSQL结构和原理的数据库统称为NoSQL数据库。

　　最初NoSQL有意排斥关系数据库的ACID规则和SQL特性（后发现其弱点又在一定程度和一定范围内支持数据的一致性要求和SQL特性）。NoSQL坚持分布式领域的CAP理论，CAP的含义为：

　　Consistency，一致性。数据一致更新，所有节点访问同一份最新的数据副本；

　　Availability，可用性。对数据更新具备高可用性；

　　Partition tolerance，分区容错性。能容忍网络分区。

　　CAP理论主张任何基于网络的数据共享系统，都最多只能拥有以下三条中的两条。而这种“三取二”的法则以及具体理解与执行的争论就一直存在。想同时满足三者，或者过分强化割舍三者之间联系均会破坏数据系统的效率和效果。32岁便获得加州大学伯克利分校终身教授的Eric Brewer提出了BASE理论（Basically Available， Soft state， Eventually consistent；基本可用、软状态、最终一致性），它用一种更注重可用性、更便于理解的方式解释分布式系统的特点。

　　NewSQL注意到关系数据库的灵活性不足、数据库互锁机制效率低下的特点，同时也意识到NoSQL不支持SQL所带来的不便，它采用了一种近似折中的方案，既支持SQL并保证一定程度的数据一致性，同时也提供NoSQL数据库的非关系数据处理的扩展功能，因而从产生之初便受到业界的喜爱，相关产品不断涌现。NoSQL和NewSQL常见产品及其分类情况如图所示。

　　2.2 NoSQL及其发展趋势

　　在NoSQL潮流中，最重要的莫过于Apache基金会的Hadoop。它是一个领导者，是一个典型的分布式文件系统，是一个开源系统。用户可以在不了解分布式底层细节的情况下，借助Hadoop开发分布式程序，它取得了成功，成为分布式数据处理界的巨兽（Hadoop的Logo就是只大象）。 现在甚至出来了“无分布不Hadoop”——每个传统的数据库提供商都急切地声明支持Hadoop。关系数据库的传统霸主Oracle公司也将Hadoop集成到自己的NoSQL数据库中，Microsoft、Sybase、IBM也加入了收纳Hadoop功能的竞赛中。

　　第二位领导者，MongoDB，是一个成功的文档处理型数据库系统，它被称为“非关系式数据库中最像关系式数据库的产品”。MongoDB查询功能强大，特别适合高性能的Web数据处理。

　　Cassandra是这个领域中的一个另类产品，它兼有键值数据库和列值数据库两者的长处，它的查询功能很优秀。虽然运行Cassandra集群难度较高，但它升级后的分析能力使得很多人感到惊讶。

　　Redis也是相当好的一个产品。对故障恢复的良好支持以及使用Lua的服务器端脚本语言是明显区别于其他软件之处。使用Lua确实带来了一些震动，因为更多的人喜欢和习惯JavaScript服务器端语言。但是，Lua是一个整洁的语言，它并为Redis开启了潘多拉盒子。

　　CouchBase在可扩展性和其他潜在因素，使其看起来是一个很好的选择，尽管Facebook以及Zynga面临着关键开发者离开的风波。CouchDB会变得更好抑或相反？只要数据库做得好受众就会欢迎，现在看来，它确实做的很好。

　　还需要提及的是Riak，在功能性和监控方面它也有了巨大的提升。在稳定性方面，它继续得到大家的赞美：“像巨石一般稳定、可靠且不显眼……”。Riak 数据模块化方面做得很有特色。

　　在图中，涉及了多个维度：关系型的与非关系型的、分析型的或操作型的、NoSQL类型与NewSQL类型的。最后的两个分类中，对于NoSQL有著名的子分类“键值类数据库、文档数据库、图存数据库和列存数据库。对于NewSQL本已建立“存储引擎、簇享数据、云服务”等类别。

大数据技术篇4

　　［关键词］大数据；互联网+；农业；智能灌溉

　　引言

　　随着科技的日益进步，计算机的相关技术被引用到各个领域。智能灌溉系统是融合传感器技术、自动控制技术、计算机技术、无线通信技术与移动终端控制等多种高新技术，自动采集光照、温度、土壤水分、空气湿度等信息，通过无线通信技术传输给信息管理系统，自动控制喷水灌溉、通风除湿等设备，从而调节环境参数。智能灌溉系统应用大数据策略，在云服务平台进行数据分析处理，以关联图表显示历史记录，为农业专家提供决策支持，同时获取国家气象局天气预报信息，根据天气状况和作物需要智能调节喷水灌溉策略，调整用水量，实施精准灌溉，提高水资源利用率。智能灌溉系统支持多种应用场景如智能花园、温室大棚、高尔夫球场等，提供Web版、桌面版、移动终端3种管理系统供用户使用，使其随时随地操作管理。智能灌溉系统采用WiFi技术实现远程无线通信，采用Zigbee技术构建底层无线传感网，节能低耗，能够根据应用场景规模灵活增加无线节点模块，不会因为监测点过多而使布线复杂，降低系统维护运营成本。

　　1职能灌溉系统总体结构

　　系统总体结构如图1所示。系统实验室模型及部分实物操作界面如图2所示。

　　2智能灌溉系统功能模块简介

　　本系统根据物联网三层体系结构设计，功能模块划分及其主要设计内容如下表1所示。

　　3智能灌溉系统简易操作说明

　　下面主要说明桌面版管理系统、Web版管理系统、移动终端版管理系统的操作使用方法。3.1桌面版管理系统桌面版管理系统主要功能模块有：操作控制模块、数据与命令查看模块。其中，操作控制模块的功能如下：这部分提供了实时场景的选择，区域实时数据的显示，区域手动操作和自动控制的设置。可以通过输入服务器地址，进行场景的选择，然后对该场景下的区域进行手动控制，实时控制底层终端控制设备，也可以开启自动控制，输入要自动控制的参数范围，系统会根据输入的控制参数，进行自动控制。3.2Web版管理系统3.2.1登录界面系统的开始页面，界面简洁友好。只有获取权限才能进入控制系统。3.2.2首页这部分主要是显示项目的一些图片，页面下方是项目的介绍。3.2.3监控中心这是本程序的核心部分，在这个页面中，能够通过仪器表查看到当前的数据，并提供了天气预报，能够根据需要设置自动控制的外界条件，或是进行人工的操作处理。上述界面中，上面部分是最近一次采集到的数据，以仪器表的形式生动地展示出来，左下角是自动控制时的温湿度，光照强度的控制范围，在这里输入要控制的范围后，系统会根据用户输入的范围自动调控。右下角是系统的自动控制区域，在这里用户可以进行手动控制。3.2.4数据分析查看将历史记录以关联图表的形式展示出来，一目了然，为农业专家进行数据分析提供决策支持，最终确定适于作物生长的控制策略。3.2.5操作记录将用户的操作即自动操作记录下来，便于查看。3.2.6退出程序退出后，系统的工作模式不变，保持原状。点击退出后，登录状态被重置，并跳转到登录页面。3.3移动终端管理软件3.3.1登录部分这个是手机端的登录界面，简洁明了，选择联网模式，输入账号密码以及当前的服务器地址即可登录，可以选择保存密码，方便下次登录。3.3.2数据查看中心选择当前环境模式和区域，即可查看当前的实时数据。3.3.3控制中心选择当前的场景模式和区域，就可以对该区域进行控制，可以根据需要输入环境参数，设置自动控制的范围，也可直接进行手动控制。

　　4结语