导语：如何才能写好一篇数据管理，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。
1大数据时代的大数据管理发展历程
近几年，在大数据管理不断发展的过程中，也取得了一定的成绩。但是，大数据管理也经历了一个漫长的过程，主要经历的人工、文件、数据库等管理阶段。同时，随着大数据时代的大数据不断增加，所管理的范围和环境也在不断的变化。并且，在大数据管理不断发展的过程中，一些管理问题逐渐的暴露出来，为大数据管理的发展带来了新的挑战和机遇，下面就大数据管理的发展历程，管理中存在的不足进行简要的分析和阐述。
1.1大数据时代的大数据人工管理形式
在20世纪50年代，计算机技术的形成主要是针对科学计算等形式。同时，根据当时的发展技术来说，并没有磁盘、U盘等一些先进设备，将其计算的结果进行去全面的保存和整理，仅仅只是依靠纸带、卡片等形式，对大数据的进行有效的记录。大数据时代的大数据管理的人员管理形式，不仅仅对大数据的记录存在着一定程度上的误差，并且在保存的过程中，也会经常发生丢失的现象，对大数据时代的大数据管理形式的发展，是没有任何的帮助。但是，依照当时的技术水平来看，也只能的依靠人工管理的形式了。
1.2大数据时代的大数据的文件管理形式
1.3大数据时代的大数据库管理形式
数据库管理形式是大数据管理不断发展的重要成果，也是到目前为止最后的一个阶段。在计算机技术不断发展的过程中，计算机内部的容量得到了很大程度的提高，并且大数据的管理和维护成本也相应的有所下降。同时，在大数据管理形式不断发展的过程中，对其系统管理内存不足等现象，进行了全面的提高，有效的实现了资源共享，也在最大程度上保证了大数据的安全、稳定等性能。另外，在大数据时代的大数据库管理的过程中，不在近几年只是固定在某一个计算技术应用体系，而是面向整个管理体系，以此在最大程度上提高了大数据共享的性能，使大数据与大数据形成一个独立的个体，对其大数据进行了全面、有效的、统一的管理，为我国信息技术的发展提供了重要方向。
2大数据时代的大数据管理策略
2.1对大数据时代的大数据管理框架进行创新
在大数据时代的大数据管理形式不断发展过程中，给企业发展带来冲击非常巨大。因此，企业要根据我国信息技术不断发展的形式，对大数据管理框架进行全面的设计和创新，如图1所示。在大数据的处理的过程中，主要是围绕着数据资产进行管理的，同时对大数据时代的大数据管理制度，进行全面的规划行、设计、创新，这样对其它信息技术管理领域，提供了便利的条件。其实，大数据时代的大数据管理最主要的目的，就是将大数据的价值进行充分的展现。另外，在大数据时代的大数据管理框架不断创新的过程中，有效的实现了大数据共享等性能，不断扩大了大数据时代的大数据管理的内容，对我国现代化信息技术的发展，起到了重要的作用和意义。
2.2开发与内容的管理形式
在不断提高大数据时代的大数据管理形式的过程中，可以从两个方面进行，一是大数据开发管理，二是内容管理。其中大数据开发管理注重于大数据管理的定义，和管理解决策略，对其大数据的存在价值，进行有效的开发。换句话说，其实也就是在大数据时代的大数据管理的过程中，对其管理形式的开发，对大数据的功能和价值，进行充分的理解。
大数据时代的大数据管理中的内容管理是指：企业对大数据进行不断的获取、使用、存储、维护等工作活动。因此，传统的大数据时代的大数据管理形式，已经无法满足对这个时展需求。因此，在时代快速发发展的推动下，要对开发管理和内容管理，进行全面的创新和设计，对需要专门设定的管理形式，要给予高度的重视，可以利用的集合型的保存形式，进行全面的保存。
其实，大数据时代的大数据管理主要是为企业提供重要的发展方向，为企业提供重要的价值信息。大数据时代的大数据管理在数据应用和开发的过程中，起到了重要的衔接作用，也为我国信息技术的发展，打下了坚实的基础。
2.3对大数据架构进行全面的管理
在大数据时代的大数据管理的过程中，数据框架管理起到了重要的作用，并且与大数据开发的过程中，有很多相似的地方。在传统的大数据时代的大数据管理的过程中，对其数据的开发、处理、保存等形式，都受到了一定程度上的限制。因此，在对大数据时代的大数据架构管理的过程中，对其操作形式，进行了全面的管理创新，避免受到范围的限制。另外，随着大数据不断的增加，大数据构架管理可以根据大数据的用途，质量良好的应用形态。例如：社交网络等形式。
与此同时，在最近几年的发展中，大数据时代的大数据管理形式，也面临着新的挑战基机遇。以此，只有对大数据时代的大数据管理形式，对个人信息、隐私等进行全面的管理，避免个人信息、隐私等发生泄露、不对称等现象的发生，这样不仅仅企业在发展的过程中，提供了最大程度上的安全保障，也为大数据时代的发展，带来了新的发展篇章。
3结语
综上所述，大数据时代是信息技术时代不断发展的产物，不管对我国经济的发展，还是人们在日常工作、生活的过程中，都起到了重要的作用和意义。因此，本文对大数据时代的大数据管理发展的历程进行了简要的分析，并对大数据时代的大数据管理形式，提出了一些可参考性的建议，只有对大数据时代的大数据管理形式，进行不断的创新，对大数据时代的大数据管理框架，进行不断的构建，也只有这样的才能在最大程度上促进了我国信息技术的发展，也为我国各行各业的发展，提供了重要的发展方向，对我国经济的发展，也起到了推动性的作用。
IDC的数据显示，2017年，80%以上的企业IT部门将采用混合云架构。混合云模式不仅能够提供超强的敏捷性，而且能够保持对本地敏感数据的控制，因此成了企业的理想选择。未来，混合基础设施将成为企业主流的架构模式。
如今，越来越多的企业尝试从传统架构迁移到云平台，这对数据管理和安全提出了新的挑战。Commvault提醒用户，要想更好地管理数据，就必须确保数据能够在云和企业本地系统之间实现无缝、有序、安全的迁移。
虽然混合云模式具有非常明显的优势，但是如何部署还是一个难题。企业正在积极尝试各种方法，引入一个深度整合的、具有云端自动化和编排功能的混合模式，从而确保云端解决方案和本地基础设施的兼容性。
成功部署一个混合云模式，应注意两方面的问题：第一，了解哪些工作负载和应用最适合哪种托管方式；第二，利用一个综合的控制台，实时查看企业中各个系统中的数据。
为了更好地管理混合云中的数据，IT主管应制定一套完整的数据和信息管理策略，以便在数据创建时能够捕获工作负载，同时增强数据管理服务能力。为了支持混合云模式，企业应该监测在本地、私有云、混合云和公有云之间迁移的工作负载。借助Commvault的数据管理平台，企业可以将工作载迁移到任何地方，从本地到云平台，从云平台到云平台，或者从云平台回到本地。有了Commvault的帮助，企业可以自由选择最合适其工作负载、容量要求和预算的环境，并根据业务需求的转变自由改变云策略。
进入21世纪，人类在信息存储和处理能力方面不断涌现技术性的突破，大数据（BigData）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据。大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革。大数据时代的到来，各行各业都面临着对庞大而复杂的数据进行有效管理的巨大挑战，人们越来越认识到对自身产生和拥有的大数据进行有效管理的重要性和迫切性，灾害档案数据管理也不例外。随着计算机技术和网络通讯技术的飞速发展，灾害管理信息化程度不断提高，灾害档案数字化、网络化管理已成为网络信息时代档案管理工作的必然选择。面对汹涌而来的大数据，灾害档案数据管理工作如何应对，是摆在我们面前一个亟需研究的课题。
一、大数据的概念
从本质上看，大数据主要解决的是海量数据存储、计算、挖掘和利用的问题。其特点可概括为“4V”，一是规模性（Volume），数据容量巨大，大型数据集合一般在几十TB至PB级的数据量；二是多样性（Variety），数据类别繁多，数据来自多种数据源，数据种类和格式日渐丰富；三是高速性（Velocity），数据处理速度快，在数据量庞大的情况下，实现数据的实时处理；四是价值性（Value），数据真实性高，愈发需要有效的信息资源确保其真实性与安全性[3]。可以说，大数据时代是一个数据资源更加丰富的时代，是一个信息技术更加先进的时代。
二、大数据技术在灾害档案数据管理中的应用优势
目前大数据研究成果最多的是大数据技术和大数据应用。大数据技术的特色在于它依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术对海量数据进行分布式数据挖掘，在金融、医疗、教育、军事、电子商务甚至政府决策等几乎所有的领域都有非常广阔的应用空间。随着大数据时代的到来，应用大数据技术让灾害档案数据获取、储存、搜索、共享、分析，乃至可视化地呈现，成为了可能，为灾害档案数据管理提供新思路和新方法。
1.大数据技术对实现灾害档案智能管理提供强大保障。大数据技术具有的可靠安全的数据存储、方便快捷的云服务、超强的计算能力、诸多技术的集合体、良好的经济效益以及以用户为中心的个性化服务等优势，对实现灾害档案“存储数字化、管理自动化、利用网络化”智能管理提供保障。应用大数据技术对分散于不同部门、不同地理位置的档案数据资源进行管理、传输、检索和提供利用，满足用户对档案信息的远程访问操作，包括信息查询、检索、统计、提取等，实现档案数据资源的互联互通和共享利用，将档案“藏”和“用”的功能都提高到一个新的水平，对于充分发挥档案数据资源的价值具有前所未有的推动作用。
3.大数据技术对实现灾害档案知识服务提供解决途径，解决灾害档案如何实现知识服务，如何从浩如烟海的档案数据中快速识别、选择和有效利用档案信息，为灾害管理部门提供知识服务和智力支持，发挥档案的参考凭证、决策咨询、评估依据作用。应用大数据智能识别、传感与适配等技术，构建基于基础框架体系、大数据处理体系、过程管理体系、大数据分析与决策体系、交互体系的大数据知识服务平台[4]将成为有效的解决办法和途径。灾害档案大数据知识服务平台搭建的是一个大数据获取、存储、组织、分析和决策服务资源和服务能力共享、交易和协作的智慧平台，依据灾害管理不同行业、不同领域、不同需求的大数据处理需求，在平台上实现数据、知识、资源、能力、服务、过程和任务等资源和能力的共享和协作。
三、大数据时代下灾害档案数据管理的应对策略
当前，我国经济发展已进入新常态，认识新常态、适应新常态、引领新常态，是当前和今后一个时期中国经济发展的大逻辑，也是发展档案事业的基本遵循。灾害档案工作主动适应新常态，需要分析发展新变化，顺应发展新趋势，这既是经济社会发展对灾害档案管理提出的更高要求，也是档案事业深化改革和持续发展的内在需要。在大数据时代背景下，灾害档案的产生主体、利用群体、生态环境都发生着新变化，灾害档案数据管理应用大数据技术分析、挖掘出庞大的档案数据独有的价值，从“被动服务”向“主动服务”转变，还面临着诸多挑战，需要从以下方面加以完善和提高。
1.建立高效有序的运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统筹协调，搞好顶层设计。应当增强灾害档案数据管理意识，做好灾害档案数据发展规划，并将其纳入国家综合防灾减灾规划中，建立灾害档案数据标准与规范，构建档案数据管理系统，实现灾害档案数据有效组织、集中存储、共享与服务。
2.制定科学规范的建设标准。灾害管理涉及部门多、领域多、专业复杂，各部门都是按照各自定义的内部数据标准进行信息系统建设，因此存在灾害档案数据资源结构不统一、标准不配套等问题。没有标准就没有系统，应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。
关键词:交通管理数据挖掘平台
中图分类号：N37文献标识码：A
一、引言
然而面对大量数据，显然已不能再满足于只是简单地查询和修改数据，而是进一步希望能够发现数据之间的潜在关系，并随着现实中交通管理中“人、车、路、环境”和谐发展的迫切期望以及缓解交通堵塞、预防交通事故的职责所在，交通管理部门急切地希望通过快速处理这些数据获得进一步有利于科学管理的决策依据。特别是以往的交通管理规律常常不是基于数据库中信息丰富的数据，而是基于决策者的直觉，因为决策者缺乏从海量数据中提取有价值知识的工具，即使当前的专家系统技术，通常这种系统依赖于用户或交通管理领域专家人工地将知识输入知识库，因此这一过程可能会产生偏差和错误，并且耗时、费用也高。如何才能对大量数据进行分析，发现数据之间的潜在联系，为交通管理提供自动决策支持呢，运用数据挖掘技术从交通管理数据库中寻找知识发现给交通管理部门带来了希望。
在这些海量交通数据中存在着大量的有着潜在关联和规则的数据，因此将数据挖掘技术中的关联规则算法应用在交通领域，通过关联规则挖掘发现交通数据之间的潜在关系，为交通管理提供自动决策支持有着重要的意义。本文设计了一个交通管理数据挖掘平台方案，并对平台架构和挖掘流程进行了详细分析和讨论。
二、交通管理数据挖掘平台架构
在交通数据库中，所涉及的违章信息、驾驶员信息、机动车信息比较繁琐。交通数据的特点是：交通数据库的核心业务表较多、表的定义复杂、表中的数据量大、表数据的实时更新速度快。数据间的潜在关系和规则未被发现和利用，目前的处理还是停留在见到的统计报表，没有智能性的分析处理。这些交通的原始数据对于交通管理决策支持有限，需要设计一个基于数据挖掘的交通管理数据挖掘平台对交通数据进行有效的挖掘和分析，对交通决策提供有力的支持。图1给出了我们所设计的交通管理数据挖掘平台框架，该平台主要由三部分组成：数据仓库模块、数据分析处理模块和接口与会话管理模块。
1、数据仓库。在辅助决策方面，数据仓库能为其提供高质量、纯净、集成的数据，从而极大地提高决策支持系统的性能与信息分析能力，因此，数据仓库业已成为进行数据分析与挖掘的基础平台。构建交通信息数据仓库是本系统结构的核心，其实现形式包括：数据采集与ECTL（数据抽取、转换和装载）、数据仓库管理系统、元数据管理系统三部分。本系统采取星型模型建模，其中，主题是其基本组成单位，每个主题由多个事实表和维表组成，而一个事实表可以关联多个维表，构成一个以事实表为中心的星型结构，多个星型结构共同组成一个主题。在建模过程中，考虑到智能交通领域涵盖范围广泛，要求数据仓库具有很强的可伸缩性：既可以集成智能交通领域交通流采集系统、信号控制系统、电视监控系统、违章取证系统、公路车辆监测系统、122接处警系统、GPS车辆定位系统、可变情报板显示系统等各个应用系统提供的交通信息，又可以针对特定应用系统。
图1交通管理数据挖掘平台框架
3、接口与会话管理模块。该模块通过可视化技术，提供易于被用户理解和使用的，具有智能纠错、自我学习的界面系统，并提供自然语言和人类思维方式与计算机之间进行转换的功能。当系统在产生相应的决策后，该模块可以按照有关智能交通应用子系统的指令格式生成相应的指令供决策者直接调用。
三、交通管理数据的挖掘流程
图2交通数据挖掘流程图
参考文献
[1]朱建秋,数据挖掘平台及其关键技术研究[D],上海:复旦大学博士学位论文,2002.5.
关键词：云计算；数据管理；查询技术；系统框架
随着计算机信息技术的不断发展与应用，越来越多的互联网应用技术被研发应用，极大的改善了人们的生活观念与工作习惯，促进社会快速进入一种全新的信息化时代。云计算技术就是这样一种具有跨时代性质的新兴互联网应用技术，实现了高效海量、存取方便的数据云端管理，极大的提高了信息查询速度和数据存储能力，为互联网的进一步发展提供了更大的空间。
云计算是一种具有可扩展性、海量性、高可用性、种类多样性、按需服务性等诸多优点的高性价比的计算技术，可以实现异地备份，随时随地存取数据，因而节省了大量的存储设备投资，具有很大的经济性。但需要注意的是云计算是为了能够实现快速高效的为用户提供信息资源而服务的，因而其所需的云数据管理系统以及查询技术是与传统的计算机管理与查询技术有着很大区别的。云数据管理系统需要一个能够灵活运用数据模型来进行高效多样化管理的数据管理与查询技术，以实现按需索取、快速高效可靠的数据存取与查询服务。
1云数据管理系统的基本框架构成
为了能够更好的体现出云计算技术的优越性能，就需要对云数据管理系统的管理技术与查询技术进行全面优化升级，改进传统数据库中存在的诸多问题，使云数据管理系统的整体架构更加合理健全。在此，我们来简要概述云数据管理系统的基本框架构成主要包含哪些内容。一般认为，云数据管理系统的基本构架应当含有应用接口层、查询处理层、数据控制层以及数据存储层等四部分。具体分析如下所示：
1.1应用接口层
这个环节主要是为了接收用户上传的信息数据请求，并将这些信息数据转交给查询处理层进行一定处理，从而提供云数据管理中所需的查询语言接口、用户自定义接口、数据分析以及在线聚集等诸多应用，这样就可以使用户不但能够通过查询接口和用户自定义接口操作数据，也能够以可视化工具来对数据进行分析，或者在线聚集。
1.2查询处理层
这个环节主要是为了将应用接口层中所提交的用户数据信息做出解析处理和逻辑优化之后再将其转变为操作符树，以促使其生成MapReduce执行计划。但若应用接口在提交信息数据时是以用户自定义操作的模式来实现的，那么就可以无须处理直接生成MapReduce执行计划。除此之外，查询处理层还具有依照查询类型与数据的分布特点将信息数据做成查询计划并对计划作出逻辑性优化的重要任务。
1.3数据控制层
这个环节主要起到三个作用，即通过全局索引以及原数据信息将数据进行定位处理，备份数据以及数据迁移。并在在线聚集的环节中将数据信息做出统一采样收集，并对进程进行估计。由于数据层是至直接影响到查询执行与在线聚集的重要环节，因此做好数据控制层的管理技术改进是非常重要的。
1.4数据存储层
顾名思义，数据存储层就是对数据信息进行存储的主要环节，并负责将每个节点范围中的所有数据进行索引设计，对缓冲区及日志进行管理。其中存储层的节点是能够通过以多种形式组合形成的。但不管是利用哪种形式结构，其所含的数据都是要被分区到各个节点进行存储的，因此，保证数据分布的均匀合理，提高节点的数据存取效率是当前数据存储层发展中的重点问题。
2云数据查询处理技术的目标特点
目前，在云数据的管理系统中，若要促使云数据管理的服务更方便快捷，就需要不断提高其查询处理技术，在此，我们来详细分析云数据查询处理技术需要达到的目标特点，即可扩展性、可用性、异构环境的运行能力以及丰富灵活的用户接口、高效的数据存取性能。
2.1可扩展性
由于不同的云系统其所具有的云平台是有很大不同的，无论是从规模大小方面，还是服务应用方面都是有着一定的差异。一般小规模的个人或者私有云平台只具有十几个节点，而一些规模较大的公有的云平台则可以有几千个之多的节点。另外，由于云计算技术是一种以用户需求为依据来实现服务的技术，因此其必须要根据用户的需要来进行不同的云平台规模变换，这些都给云数据管理系统提出了良好扩展性的要求。这种扩展性不但要体现在查询处理的性能方面，还体现在优化算法方面。要使信息资源不但能扩展到云平台上，还要能够最大程度的实现资源的可动态增长，提高其所带来的良好性能。
2.2可用性
由于云平台主要是通过普通的计算机为基本硬件来构成的，因此其与其他性能较高的服务器相比，硬件设备性能较差，因而云平台的硬件较易出现错误。而云数据管理系统则要将这一错误看做常态，在发生硬件错误时，也要保证所有的数据都完整无缺，以确保数据的正常操作。
2.3在异构环境中运行能力较强
就目前的计算机互联网技术的发展来看，会有越来越的数据需要被储存与管理，这就给云平台提出了更高的要求，如增多节点来提升云数据系统的存储能力。所以，要确保同一云平台所有的计算机硬件都达到同样的配置显然是不可能的，这样就要求云数据的查询技术必须要具备一定的异构环境运行能力，只有这样才能有效的减少性能差的节点对整个云数据管理系统运行效率的影响。
2.4丰富灵活的用户接口
为了满足用户的不同需求和不同阶段与层次的用户要求，云数据管理系统需要不断增多用户接口的种类，要做到能够满足所有的用户对数据库的上传与下载需求。因此除了要对SQL接口要进行改进外，还要对UDF接口进行增多种类，以满足用户自行操作需求。
2.5高效的数据存取性能
由于云数据管理系统的优良特性，其在成本维护方面要远远低于传统的数据管理成本，而其海量的数据处理效率也成为用户最关心的问题，因而实现高效的数据存取性能与处理查询能力是非常重要的。
3云数据管理系统的查询技术
在对云数据管理系统的基本框架与查询处理技术的目标特点进行分析后，可以看出在云计算的技术应用中，基于云计算海量、高效、异构等特点，其查询技术必须要具备强大的功能方能满足云计算查询需求。在此，笔者介绍两种常用的云数据管理系统的查询管理技术，具体介绍如下所示：
3.1BigTable技术
Google提出的BigTable技术是建立在GFS和MapReduce之上的一个大型的分布式数据库，BigTable实际上的确是一个很庞大的表，它的规模可以超过1PB（1024TB），它将所有数据都作为对象来处理，形成一个巨大的表格。
第1层是一个存储在Chubby中的文件，它包含了RootTablet的位置信息，RootTablet包含了一个特殊的METADATA表里所有的Tablet的位置信息。METADATA表的每个Tablet包含了一个用户Tablet的集合。RootTablet实际上是METADATA表的第1个Tablet，只不过对它的处理比较特殊（RootTablet永远不会被分割）这就保证了Tablet的位置信息存储结构不会超过3层。其中在Chubby中存储着多个RootTablet的位置信息。MetadataTables中存储着许多UserTable的位置信息。因此当用户读取数据时，需先从Chubby中读取RootTablet的位置信息然后逐层往下读取直至找到所需数据为止。
BigTable的负载均衡采用的是传统的方式，BigTable在执行任务时，在任意时刻每个Tablet只被分配到一个Tablet服务器。依靠一个master服务器监视子表server的负载情况，根据所有子表服务器的负载情况进行数据迁移的，比如将访问很热的列表迁移到压力轻的子表服务器上，以调节Tablet服务器的负载平衡。
3.2Dynamo技术
Dynamo是一个高可用，专有的键值结构化存储系统，或分布式存储系统.它同时具有数据库和分布式Hash表（DHT）的特征，并不直接暴露在外网，而是为AmazonWebServices（AWS）提供底层支持。目前Dynamo已经有很多实现，典型的有：ApacheCassandra，ProjectVoldemort，Riak。
Dynamo是采用DHT作为基本存储架构和理念，这个架构最大特点是能让数据在环中“存储”均匀，各存储点相互能感知（因数据需要在环内转发，以及相互之间进行故障探测，因此需要节点之间的通信），自我管理性强，因为它不需要Master主控点控制，无单点故障危险。
此外，Dynamo的主要优点是，它提供了使用3个参数（N，R，W），根据自己的需要来调整它们的实例。Dynamo支持对对象的不同版本进行记录和处理，并且可以将不同版本提供给应用，供应用自己更灵活地进行合并。对象的副本数遵循（N，R，W）的规则，N个副本，如果R个读取的一致则确定读取成功，如果W个写入成功则认为写入成功，不要求全部N个都成功完成，只要R+W>N，数据的最终一致性就可以得到保障。这里，读取比一次写多次读的系统（如HDFS）麻烦，但写入变简单了，这反映了应用的需求。
4结束语
随着科技的进步与计算机信息技术的不断推广发展，信息产业对数据的存储、处理、查询功能提出了更高的要求，这样就使得计算机的传统数据库已经远远不能满足需求。而云数据管理系统的应用很好的解决了数据的存储难题。但由于云数据管理系统还处于初期应用阶段，其在索引管理、查询处理、查询优化和在线聚集等诸多方面都还存在着很大的进步空间。尤其是云数据管理系统中的查询技术，更是需要加大研究力度，进一步提高查询技术水平，以促使云计算以及云数据管理系统能够更好的为用户提供服务。
参考文献：
[1]吉义，傅建庆，张明西，等.云数据管理研究综述[J].电信科学，2010.
数字正射影像图是对航空或航天像片进行数字微分纠正和镶嵌，按一定图幅范围裁剪成的数字影像集，它是同时具有地图几何精度和影像特征的图像。正射影像的制作过程:利用像片范围内的数字高程模型对像片进行倾斜改正和投影改正,像片重采样后生成正射影像,并将多个单幅影像拼接到一起,按规定的图幅进行裁切,进行色彩调整。利用JX4数字摄影测量工作站制作DOM的基本流程如图1所示。
图1基于JX-4DOM的制作流程
1数字空三加密
影像扫描必须确定扫描分辨率，扫描分辨率是由成图比例尺、航测比例尺来计算。收集外业控制数据，相机数据，使用Geolord-AT平差软件加密。该空三软件由数字影像处理、框标量测内定向、加密点自动匹配、加密点人工修侧、相对定向模型连接、旁向连接点自动转点、旁向连接点人工修侧、多项式整体平差、光束法整体平差、区域网接边、加密成果最终检定等十几个模块组成。
2DEM的生产
在JX4测图模式下调出需要匹配的像对，设置好参数对影像进行自动匹配。匹配完成后对匹配的点进行编辑，保证DEM点切准地面，能真实的反映地貌形态。利用匹配点构建不规则三角网(TIN),再利用TIN内插规则正方形格网DEM，DEM的间隔根据作业要求设置。生成的DEM必须套合到立体模型下进行检查，观察DEM的点位是否全部切准地面，如果DEM与地面模型的高程差超过作业要求中误差，则需要进行修侧和编辑，保证DEM符合精度要求。DEM镶嵌时要调入图幅内所有像对的DEM文件，将DEM拼接起来并在屏幕上显示，目视判断如果发现漏洞区域则应该进行修侧。
3DOM的生产
在DEM成果达到所需精度要求后创建像对正射影像，像元大小根据成图比例尺确定。为了保证影像的完整和质量，一般情况下左右像片的正射影像都要生成，并将合并后的正射影像作为像对成果进行DOM镶嵌。在DEM的质量达到要求后，DOM在数学精度方面是有保证的，主要问题是对影像质量的控制。
DOM是根据DEM，利用数字微分纠正技术，改正原始影像的几何变形。要得到一幅标准图幅DOM，一般需要多个像对的正射影像进行拼接镶嵌，为保证影像的协调性，DOM的镶嵌之前应该调整每个像对的正射影像，使它们达到接近一致色调。镶嵌之后还应该在Photoshop等图像处理软件下进行灰度、反差、色调的调整，对于局部区域也可使用平滑功能进行平滑和滤波，但是必须注意参数的设置，以免影响影像的精度和视觉效果。理想的影像数据应该反差适中、色调饱满，灰度在0到255之间，其直方图呈正态分布。
在JX4系统中有正射影像的拼接和裁切环境，要注意的是镶嵌线的选取，在选取镶嵌线时应注意尽量避开大型建筑物和影像差异较大的地方，一般可选择河边、路边、沟、渠等地方。DOM成果的裁切按照标准图幅裁切，依内图廓裁切影像数据，不作外扩，图内不作任何整饰，这样是为了便于用户的拼接。
4DOM的质量控制
DOM的接边精度主要体现在像对间的接边，图幅之间通常是由一个像对裁切而成，因此没有误差。可在屏幕上目视检查相邻像对DOM接边线两侧接边处是否有影像错位，发现异常时用量测工具进行定性分析，其次是观察影像是否模糊，色彩是否均衡等。
DOM图幅影像质量主要检查影像是否清晰易读、反差是否适中、色调是否均匀一致，对于彩色DOM还要检查色彩的真实性，影像的清晰度，色彩的鲜明度以及连续色调的变化。必要时利用图像分析工具进行量测，使用曲线、彩色平衡、亮度、对比度、色相、饱和度等工具进行调整。
DOM的外业检查,平面精度最直接的检测是采用明显地物点外业实测坐标与数字正射影像上同名像点坐标相比较，每幅图的检测点数量视具体情况而定，一般不少于30个点。
5DOM影像数据管理
DOM数据库管理系统，完成DOM数据输入、DOM数据管理、系统维护、DOM查询分析、DOM数据输出等功能。具体功能如下：
(1)数据库用户管理：负责数据库用户的增加、删除和用户权限的修改。
(2)DOM数据输入：交互方式单幅影像入库，系统提供对话框，在对话框中输入要入库的图像的文件名及所在路径，并准确输入入库后对应的各种属性及元数据，确定后系统则将该幅影像入库;交互方式批量影像入库，将批量影像及其属性和元数据置于同一目录下，系统提供对话框，在对话框中输入该目录，确定后系统则将该目录下所有影像入库。
(3)DOM数据显示和浏览：任意放大、缩小、平移
按比例尺显示DOM：在对话框中输入比例尺，确定后系统则按照该比例尺显示DOM。
按坐标范围显示：在对话框中输入构成一定范围的一组X,Y坐标，确定后系统则显示该范围的DOM。
按区域显示：在对话框中输入行政区域名称，确定后系统则显示该区域的DOM。或者先在图书选定一定行政区域，系统则显示选定区域的DOM。
导航窗口：导航窗口显示影像范围的略图，导航窗口和人地图主窗口实现互动，与矢量要素叠加显示功能。
(5)DOM数据输出分为按地理范围输出、按行政区域输出、按图幅号输出三种方式，用户可以根据需要进行输出
(6)元数据查询
查询屏幕上图像任意一点的元数据信息：点击地图上任意一点，系统弹出该点影像的元数据信息列表;
按照图幅号查询元数据信息：输入一个标准图幅号，系统弹出该图幅影像的元数据信息列表;
(7)系统维护
DOM数据库的备份与恢复：利用数据库的备份功能，将DOM数据库异地备份。利用数据库的恢复功能，恢复DOM数据库。
DOM数据库的更新：利用最新的影像更新DOM数据库，并将更新前的影像及其属性和元数据存入历史库中。
关键词：安防领域；数据管理；技术
前言
不同领域对数据运用存在差异性，但无论哪类行业运用数据，均应提升数据管理技术，以确保数据更好的在所用领域中发挥价值。现如今，安防领域面临较多的数据管理难点，并在一定程度上影响安防领域的发展，本文针对安防领域数据管理技术及发展展开探究，具有重要意义。
1安防领域中数据管理的积极作用
2安防领域存在的数据管理技术难点
从上述分析中可知，安防领域应用数据管理技术能够起到积极的促进作用，但是该领域的不同行业中同样表现出了差异性的技术难点。
2.1行业差异性
IT行业中，数据管理技术的发展相对完善，并且可供选择技术类型和技术途径具有多样性，但是由于这一行业与安防领域仍存在差异性，进而IT行业适用的技术未能在安防领域同样适用。这主要是因为二者的数据类型不同，安防行业主要处理文字、图片、音（视）频等等数据，然而IT行业主要处理计算便捷的浏览记录、网页搜索等。并且，安防行业接触的内存量较大，无论是视频，还是图像均需高清晰度。此外，二者所要求的数据存在实时性差异，相对来说，IT行业的实时性较弱[2]。
2.2技术难点
一方面，存在小文件存储方面的问题。安防领域中数据管理技术存在的这一难点较为明显，这一领域的小文件即指图片。由于这部分文件与多元数据管理之间的联系较密切，进而要对这类小文件妥善存储，以便在安防应用中及时发挥小文件数据的价值，制定合理的解决方案。另一方面，存在存储成本方面的问题。上述IT行业主要利用分布式存储系统来实施数据管理和存储，同时，还会针对数据重复备份，并不同位置保存。在安防领域中，由于存储对象内存较大，进而备份存储时，需加大资金和技术投入，进而应重新制定适用性方针，将技术难点有效攻破。
3优化安防领域数据管理技术的措施
首先，合理建立索引，文件整合式存储。应用分布式存储技术将单机存储困难数据进行不同位置存储，并将众多小文件合理整合，以大文件的形式来规范化、统一化管理[3]。
其次，融入擦除码技术，优化利用存储空间。所谓擦除码，即指独立信息由M个符号组成，这一信息经过数学放映后进行发送，最终形成（M+N）个符号组成的信息，由于信道具备的可靠性较小，当信息被传送后，传送过程中会出现符号丢失的现象，如果丢失符号能够被控制在N个范围之内，那么信息接受方能在数学变换的作用下，将M符号的原始信息合理还原。
综上所述，安防领域数据管理技术在实际发展中面临较多的技术难点，采取有效措施解Q这一技术难点，能够将已存的技术问题合理解决，并且还会促进数据管理技术向技术融合性发展和数据可视化发展。同时，这还会促进社会经济、科技水平不断提升。
[1]陈子平.基于物联网技术的安防定位管理系统研究和设计[D].复旦大学，2014.
[2]叶飞.BL公司大数据安防技术的应用效益分析与发展路径研究
[D].浙江工业大学，2014.
[3]张曲铭.浅析云存储在安防领域的应用与发展[J].中国安防，
2014，16：51-53.
2车身关键数据管理系统总体设计
该系统以Windows和CATIAV5为操作平台，使用作为开发语言，通过MySL作为底层数据库进行数据存储。图1为系统的体系结构框图，可分为集成层、用户层和数据存储层。集成层使用RADE和CAAAPI实现用户层与CATIA的集成。用户层体现了系统功能，目前可分为3个基础模块（分别为系统管理模块、车型管理模块、材料管理模块）和1个关键数据模块，关键数据管理模块作为车身关键数据的载体，根据用户对不同零件的需求，可进行实时扩展。数据存储层为用户层的各模块提供相应的数据支持，其和用户层通过接口和Automation进行数据交流与更新。系统的工作流程可描述为：进入CATIA，点击开发工具条上的车身关键数据管理系统命令按钮，打开已加载到CATIA内部的车身关键数据管理系统，通过访问数据库，进行车身关键数据的功能性操作。
3系统关键结构的实现本系统关键结构包括集成层的实现和用户层的开发。
3.1基于CAA的集成层开发
3.2车身关键数据管理系统
2城市地下管线调查的方法及要求分析
2.1调查要求与调查方法
在探查城市地下管线的过程中一般采用仪器探查和实地调查这两种方法。管线探查的工作主要包括探查管线附属设施、电缆条数、管线规格、管线性质、管线材质、管线种类和管线载体，地下管线测绘人员还应当探查地下管线埋藏深度、地下管线铺设的地理位置和铺设状况等。为了保证城市地下管线探查的准确性和完整性，应当积极采用地下管线探测仪、测地雷达等先进的设备做好管线物理探测方面的技术。随着人们对城市地下管线的测绘集数据管理要求的不断提高以及工程物探技术的不断发展，物探技术成为了城市地下管线资料收集的一种重要手段。城市地下管线的测绘集数据管理的调查方法主要有高精度磁法、地面测温法、浅层地震法、探地雷达法、高密度电阻率法和电磁感应法。探测技术人员在进行具体的探测工作时，要综合考虑城市的实际情况，采用灵活全面的地下管线探测解决方案，并通过地下管线定位仪来对地下管线进行精确的探测，实现地下管线物理探测的经济合理性。
2.2各种管线编号数据管理
在进行数据探测的过程中，城市地下各类管线在进行调查时应当做好管线编号的数据管理工作，以号区专业管线进行科学的分区。城市地下管线编号主要分为主管线和支管线两级。在对城市地下管线进行具体编号时，坚持线号在前面，点号在后面的原则。一定要表达清楚每一条地下管线的起点、终点、分支、折点、变径、变坡等点标。在对街道管线进行编号时，也要严格按照线号在前、点号在后的顺序。对于南北走向的街道，自西向东的街道采用奇数进行编号，对于东西走向的街道，自北向南的街道采用偶数编号。在进行点号编辑时，应当严格按照自北向南、自西向东的顺序进行编号管理。对于交叉的管线，一般只编辑一个号；在编辑分支管线时，应当按照地下管道的主干线管线点进行顺向编号。比如，倘若城市地下主干管线的排水井编号是W9-7，那么支管线的编号是WZ9-1。在编辑点号时应遵循方便识别和记忆的原则，可以适当的简化编号名称。
3完善城市地下管线图绘制的策略
3.1科学使用地下管线数字测绘系统
在进行城市地下管线的测绘集数据管理过程中，应当严格审核地下管线数字测绘系统的成图，采用先进的测绘软件进行城市地下管线的成图作业，仔细分析经转换后的野外采集基本数据，整理好连线文件和坐标文件的绘图数据。由于测绘软件集传输功能、电子平板、数据处理、平差计算、图形生成、数字化编辑、数据报表生成、数据表格输出等优点于一体，因而具有较强的系统性。在绘制管线图前，应当对外业数据进行有效的处理，提取相应的绘图信息，做好数据计算和数据结构的存储工作，建立起适合地下管线铺设的数据绘图和编辑处理工作，建立完备的管线编号数据库，根据数据库内的空间数据和属性数据，及时绘制可生成数字管网图，以此方便城市地下管线的设置。
3.2对地下管线图进行合理分类
地下管线工作者将地下管线图分为综合管线图和专业管线图这两大类。综合管线图主要是指合理展现测区内所有探测过的附属设施和各种管线，将有关地面的建构筑物清楚展现在管线图上。采用线画的黑色背景作为地形图，按照规定做好各种专业管线的颜色绘制工作，尤其要用文字标明管线的路名、属性和单位名称，对不能压盖图上的其它要素进行注记。专业管线图和综合管线图应当采用相同背景的地形图，绘制专业管线和属性注记图，专业管线要素的颜色及注记方式与综合管线一致。
3.3优化城市地下管线分层管理机制
城市地下管网作为城市市政工程的重要组成部分，完善城市地下管线的测绘集数据的科学管理工作是进一步优化城市地下空间的科学有效的途径。随着测绘技术的不断发展和数据管理工作的不断完善，测绘管网应当对出图、出表进行有效存储，在网络平台上对管网信息进行有效的科学管理工作，建立全面的城市地理信息系统数据库，扩宽地下管网图的适用范围，同时完善数字化的管网测绘系统。一般将同一类管线和附属设施放置在一层，将背景地形图放置在另一层，同时做好编码编辑工作和背景地形图的绘制工作，对不同的对层进行开关控制和颜色定义工作，要对编码元素和注记进行颜色设定,为地下管线图的专业应用提供方便。
4结论
1.1物联网
物联网是可将物与物、人与人、人与物相互关联，实现智能控制的一种网络技术。就是利用局部网络或互联网等通信技术把自来水厂既有的传感控制器、机器、人员等通过新的方式联在一起，实现信息化、远程管控和智能化的网络。
1.2大数据
1.3机器人
传统一线工人是通过对设备的看、触、听、嗅、测等感观进行巡视判断。而设备巡检机器人一旦投运，将不受环境影响，实现24小时不间断高强度的自动巡检，甚至还可以将每次巡检的内容上传大数据库进行储存，方便以后查阅。
2面向智慧水厂的大数据管理理论
对于智慧水厂而言，其大数据往往是从各种复杂系统中得到的，每一个系统都有着独立的数据集和分散的链接，数据的共性和网络的整体特征隐藏在这些数据网络的集合中，但通过大数据可以将这些反映相互关系的链接整合起来，构成一张完整的大数据关系网。分析大数据也就是分析大数据后面的网络，大数据面临的科学问题本质上可能就是网络科学问题，一些网络参数和性质也许能刻画大数据背后网络的共性［5］。智慧水厂部分大数据及这些数据之间可能的联系，其中包含了来自水厂自身、调度及外部的诸多数据，这些不同数据之间彼此关联、交织成网，以一种现阶段看来无比混杂并且难以准确描述的方式支撑和推动着配水厂的运行与发展。