随着信息技术特别是信息通讯技术的发展,互联网、社交网络、物联网、移动互联网、云计算等相继进入人们的日常工作和生活中,全球数据信息量呈指数式爆炸增长之势。根据国际数据公司IDC发布的研究报告,2011年全球创建和复制的数据总量为1.8ZB(约1.8万亿GB),预计全球数据量大约每两年翻一番,到2020年全球将达到35ZB的数据信息量。
随着前所未有巨量数据信息的聚集,“大数据”呈现出两大发展趋势:一,大数据从商业行为上升到国家发展战略。美国2012年3月启动“大数据研究和发展计划”,同时,联合国和很多国家都加大了对大数据的投入均印证大数据已经越来越被视为国家的一种战略资源。二,从大数据技术到大数据科学的发展趋势。美国“大数据研究和发展计划”以政府资金支持大数据科学研究,来推动大数据科学核心技术发展的模式显示了大数据科学不可阻挡的发展趋势。同时,大数据科学核心技术在众多领域所展现的积极作用激励了广大科研人员研究大数据的热情。
大数据不仅仅是消费驱动的,也并非互联网公司的专属。政府中大量非结构化数据的存量,以及企业内部大量数据的处理需求都是大数据发展的驱动力。大数据的包容性将有利于推进我国政府信息公开的进度,打开政府各部门间、政府与市民间的边界,同时又能通过大数据应用提升政府管理服务水平。
通过大数据对用户行为进行分析,有助于企业在创新经营模式和技术时更加贴近消费者、深刻理解需求、高效分析信息并作出预判,从而改善企业自身经营水平、提升经营效率,这将是当今企业核心竞争力所在。
2010年,全球企业新存储的数据超过了7000PB,全球消费者新存储的数据约为6000PB,每一天都有无数的数据被收集、交换、分析和整合。数据已经如一股“洪流”注入了世界经济,成为全球各个经济领域的重要组成部分,数据将和企业的固定资产、人力资源一样,成为生产过程中的基本要素。
2011年麦肯锡在其研究报告《大数据:下一个创新、竞争和生产率的前沿》中指出,在美国,仅仅制造行业就拥有比美国政府还多一倍的数据,此外,新闻业、银行业、医疗业、投资业、零售业都拥有可以和美国政府相提并论的海量数据。
据IDC发布的《中国大数据技术与服务市场2012-2016年预测与分析》报告显示该市场规模将会从2011年的7760万美元增长到2016年的6.17亿美元,未来5年的复合增长率达51.4%,市场规模增长近7倍。
据美国信息经济领域著名教授ThomasH.Davenport认为:随着全球性竞争的不断深化,企业的地理优势将淡化,各种国家和地区性的保护措施也在逐步取消,一项专利会很快地被模仿、复制、推广,创新将越来越难。但在除去这些要素之外,还有一点可以构成企业竞争的基础,那就是以“低成本、高效率”的方式来开展公司的业务,这种竞争,要求公司制定流线型的商务过程,各个过程之间必须无缝隙、无摩擦地对接,并保证每一个商业决策明智、正确,在竞争的过程中不犯错误。
而要做到“低成本、高效率”的运营以及决策正确,企业必须广泛推行以事实为基础的决策方法,大量使用数据分析来优化企业的各个运营环节,通过基于数据的优化和对接,把业务流程和决策过程当中存在的每一分潜在的价值都“挤”出来,从而节约成本、战胜对手、在市场上幸存。
作为天生需要靠数据驱动财务增长的企业来说,数据显然已经成为企业的核心竞争力。
因此可见,充分使用大数据和挖掘大数据商业价值将为企业带来强大的竞争力,但目前在企业数据的应用中,这些大数据并没有得到充分有效地利用,反而给企业带来了巨大的挑战。
随着互联网和通信技术的迅猛发展,企业中的数据类型早已不是单一的以文本为主的结构化数据,还充斥着广泛存在于社交网络、物联网、电子商务等之中的网络日志、音频、视频、图片、地理位置信息等等多类型的数据。这些数据被命名为非结构化数据。据统计,企业中85%的数据属于非结构化数据。这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新的渠道和技术的不断涌现和应用。但是企业现有的数据处理方法仅适用于结构化数据,无法将大量的非结构化数据与结构化数据进行统一、整合,就无法发掘数据中的价值。
当今企业环境中存在着:不同业务模块的数据分布在不同的系统平台,这些被割裂的数据在单一业务平台无法得到有效利用;不同业务模块的数据无法实现共享、关联;仅对关键业务的数据进行收集、整合和利用,非关键业务的数据被忽视等现状。企业中的数据由于业务模块的划分而被割裂开来,单一业务模块的数据价值远远小于所有业务模块数据关联起来进行分析运用所产生的价值,企业将如何实现跨业务平台数据的关联与整合将面临巨大的挑战。
社交网络、移动互联网、企业信息化在最近这几年得到了迅猛发展,不断产生的海量数据将越来越影响企业从战术到战略制定的各个方面。麻省理工学院斯隆管理学院的教授ErikBrynjolfsson表示,基于数据分析的决策实现的生产率增长,要比任何其他因素高5%到6%。这种生产率增长能够决定大多数行业的胜负。
企业的决策行为将日益基于数据和分析而做出,并非基于经验和直觉,这对于企业来说是一个巨大的挑战。
大数据中,机器数据是份额最大且增长最快的一部分。每个现代企业机构,无论规模大小,都会产生海量的机器数据,如何管理和利用机器数据,进行业务创新并获取竞争优势,已经成为目前企业或机构所面临的关键任务。
机器数据,顾名思义,是由机器(软硬件系统)产生的数据,也是大数据最原始的数据类型,它通常包括所有软硬件设备生产的信息,这些数据包括了日志文件、交易记录、网络消息、传感器采集的数据等,这些信息几乎包含了所有客户、交易、设备等元素的动作行为。
在大数据时代,结合IT运维、系统安全、搜索引擎、电子商务等特定应用的需求实现大数据环境下机器数据的存储、管理、检索和分析将是目前企业或机构管理和利用机器数据的重点所在。
实现机器数据良好的IT运营管理包括统一管理、关联分析。
政府机构经过多年信息化建设,为方便业务开展和更好的服务民众,在系统内搭建了多个应用系统,但各类数据库和信息资源在方便开展业务的同时,数据信息的安全、违规操作、异常访问等问题日益突出,个别事件还在社会上产生较大的负面影响。
实现机器数据的IT系统安全包括基于敏感信息的用户行为检测、用户异常访问行为自动检测。
基于敏感信息的用户行为检测分为基于关键字的敏感信息的用户行为检测、基于工作角色与数据资源匹配的敏感信息的用户行为检测。基于关键字的敏感信息指预先定义一组敏感信息关键字,系统对日志的用户访问行为进行扫描和检测,如果发现某个用户查询了系统预先定义的关键字,则认为该用户访问了敏感信息;基于工作角色与数据资源匹配的敏感信息指对系统内的用户进行工作角色定义,每个角色授予一定的数据资源访问权限。如果发现某个用户访问的数据资源超出了其工作角色限定的范围,访问的信息与工作范围不匹配,则可认为是访问敏感信息。
访问轨迹分析指分析用户的访问路径,发现最常访问的路径,进行网站路径优化。
随着社交网络的流行,国内外社会化媒体得到了迅猛发展。截止2012年10月,Facebook的用户数超过10亿,Twitter的用户数超过5亿。据中国互联网络信息中心(CNNIC)最新发布的报告显示,中国的网民已达5.55亿,其中超过4亿的用户分布在微博、SNS、个人空间等社会化媒体上。
社会化数据与以前采集的静态的、事务性数据完全不一样,它具有实时性和流动性。人们在社会化媒体上通过交流、购买、出售和其他日常生活活动以免费的方式提供着大量信息。这些数据由每个网民的微行为汇集而成,蕴含着巨大的价值,将带来政府在公共管理方面、企业在市场调研和营销方面的变革。
2012年5月,联合国推出了名为“全球脉动”(GlobalPulse)的新项目,希望利用“大数据”来促进全球经济发展,使用自然语言解密软件来对社交网站和文本消息中的信息进行“情绪分析”,帮助预测某个给定地区的失业率、支出削减或是疾病爆发等现象,其目标在于利用数字化的早期预警信号来提前指导援助项目,以阻止某个地区重新陷入贫困等困境。
联合国“全球脉动”项目为我们展示了社会化数据在政府公共管理方面发挥的巨大作用。
但由于政府机构设置的历史原因,致使很多机构和部门之间信息不沟通、不对称,这样极大的妨碍了政府公共管理工作的开展。大数据的包容性将打开政府各部门间、政府与市民间的边界,使数据共享成为可能。
政府将庞大的社会化数据作为一项战略资源,以社会化数据为支撑,利用社会化数据的实时性、流动性,通过广大民众在社会化媒体上反映出来的真实的社情民意,使政府在公共管理方面做到提前预警、实时监测、动态跟踪、科学决策和有效评估,通过社交媒体大数据分析平台建立以用户为中心的解决方案,提供令人信服的服务,为广大民众提供更好的健康医疗、教育、金融、农业等服务。
面对社会化数据如洪水般泛滥,商业帝国就如同飘浮在数据海洋上的航空母舰,浩瀚的大海每一秒都在孕育着万千变化,企业要想做到游刃有余就必须如熟悉水性的鲨鱼一般熟悉和用好海量的社会化数据。那么企业在此背景下,应该秉承怎样的营销智慧?
传统的市场调研是根据提前设计好的调查问卷来搜集市场资料,这种方式具有很大的局限性。社会化媒体的流行,使社会化媒体平台上汇集了庞大的用户群。如此巨大的用户群及其产生的大量用户行为为市场调研提供了大量的一手资源,为企业提供了分析消费者群体特征的机会。
用户已经迁移到社会化媒体,传播路径在泛化,用户行为在变化,企业不仅发现了潜在的危机,同时随着社会化数据积聚增加,企业也发现了以社会化数据为支撑的市场营销蕴含的巨大价值。
拓尔思将其在数据处理上的丰富经验与Hadoop开源平台高效整合。TRS海贝大数据管理系统与Hadoop无缝集成,充分利用HDFS的可靠性,MapReduce的引入大大扩展了系统在数据分析方面的扩展能力;TRS机器数据挖掘引擎是基于Hadoop平台进行数据挖掘与分析。
拓尔思从1993年陆续推出TRS非结构化数据管理系统系列版本,一直立足于结构化数据、非结构数据、半结构数据的统一管理和检索。作为国家核高基专项“非结构化数据管理系统”的参与研制单位之一,拓尔思在2012年1月6日举办的中国非结构化数据管理高峰论坛上,有三项成果被列入核高基非结构化数据库管理系统典型成果,拓尔思在非结构化数据管理方面积累了多年的实践经验,从而奠定了拓尔思中国非结构化信息管理领军企业的地位。
TRS数据中心具有强大的数据采集能力和强大的运算能力。基于TRS数据中心为基础建设的拓尔思大数据系列产品,以庞大的数据量为支撑,能够实现对数据及时、准确的采集、管理、分析。
TRS海贝大数据管理系统是拓尔思在大数据环境下,为满足数据处理要求而倾力打造的一款具有革命性架构设计的平台级产品。TRS海贝大数据管理系统由服务器、管理台、开发接口三部分组成,系统支持PB级海量数据管理,采用高可靠架构设计,兼容Hadoop标准,创新多检索引擎机制,支持线性扩展。TRS海贝大数据管理系统是一款完全分布式、多副本机制、对等、不共享的系统,不存在单点故障或瓶颈。
采用扁平化架构设计,系统不存在单点故障,且可进行弹性扩展;
服务器异常自动感知、自我修复,保障系统稳定性;
系统采用柔性多引擎技术,并满足用户构建自己的引擎扩展系统数据处理能力的要求;
采用多副本机制,实现了容灾备份,避免单点故障,同时也实现了负载均衡,提高并发检索能力;
采用混合索引方式,满足不同应用场景对查全和查准的不同需求;
支持内存表适应数据量较少,但查询并发与响应速度要求很高的应用需求;系统支持列存储,实现特定数据列的高效访问,提高特定数据列的分类统计和排序的速度;
支持异步检索模式,适应大并发(高连接数)的应用场景要求,避免了同步检索模式时消耗太多线程资源的问题;
多层次、多粒度的分布式CACHE,大大提高了缓存的命中率,减轻高并发下的检索节点压力,从而大幅度提高系统在高并发情况下的数据检索能力;
具有可扩展的检索模式;
系统支持异构数据的统一搜索;
系统实现与Hadoop无缝集成,充分利用HDFS的可靠性,MapReduce的引入大大扩展了系统在数据分析方面的扩展能力。
TRS机器数据挖掘引擎是面向物联网、电子商务、医疗、电信、金融等领域,为了满足大数据环境下的机器数据存储、管理、检索、分析、可视化等应用需求,推出的日志挖掘和用户行为分析系统。
TRS机器数据挖掘引擎针对硬件、软件等日志数据,进行采集、分析、存储、挖掘和检索,广泛应用于IT运维、安全审计和用户行为分析等方面,满足政府和企业的需求。
采用可伸缩的线性扩展系统架构,支持简易地扩展与管理;
支持主流格式机器数据的采集、解析、管理和搜索;
可实现基于Web的机器数据搜索与分析界面;
基于Hadoop平台的数据挖掘与分析;
系统支持协同推荐算法、基于内容的推荐引擎、基于关联规则的推荐引擎多种推荐模型。
信息采集一体机是一款软件与硬件集成并优化整合的产品,可实时监控、采集Internet网站内容,自动对信息进行过滤、分类、排重等智能化处理,实现全方位信息查询。信息采集一体机对软硬件进行了优化整合,在空间占用、采集性能、能耗、成本、管理等多方面具有突出优势。
信息检索一体机是一款经深度优化和技术融合的高性能检索服务器,支持自然语言及智能扩展检索,提供结构化、半结构化和非结构化数据的联合检索。一体机设计了高可靠的体系架构,兼容国际主流技术标准,接口开放,支持PB乃至EB级大数据的精确搜索,能够满足用户的高并发访问。
TRS社会媒体分析云服务平台是建立在TRS数据中心基础上的大型在线服务平台,该服务面向政府、企事业单位和个人,以在线云服务的方式提供信息监测、统计分析、关系挖掘、传播效果评估等一系列服务,范围涵盖网络媒体、论坛博客、微博SNS等全媒体,囊括了事前预警、事中分析、事后处理,为信息的全面分析构建了完整的生态链条。TRS社会媒体分析云服务平台在大数据的智能挖掘、热点分析方面具有业内领先的技术优势,从复杂的社会关系中挖掘出有用的信息,并通过即买即用的在线方式为客户提供必要而有效的应用。
提供试用体验,也欢迎客户在体验中提出新的需求,定制化的服务将充分满足您的要求;
基于传统媒体、论坛、博客、新媒体的信息立体化全覆盖,保障信息无遗漏;
基于TRS数据中心构建的公有云服务,可以充分共享数据中心强大的运算能力,实现综合的SocialComputing社会化运算。同时还可以为政府、企业提供定制化的社会媒体分析云服务平台(即私有云),满足用户保密性的要求;