如何释放非结构化数据的价值?雷峰网

在这一背景下,对象存储由于主要操作对象是对象(Object),它既能够像块存储一样高效检索,又能像文件存储一样极致扩展,结合了块和文件存储的优势,受到了市场不断的认可。其存储协议,也是大家熟知的S3、Swift等。

戴尔科技集团大中华区非结构化数据存储事业部技术总监胡渊汶

胡渊汶表示:“对象存储由于其具有高扩展性和易管理的特性,作为企业存储战略的关键元素,对象存储已经成为更多企业在数字化转型中的第一选择。”

同时,越来越多的公有云厂商把对象存储当做“云存储”在售卖。

但在实际应用中,虽然公有云的对象存储服务有其优势,但考虑到安全合规以及带宽成本等问题,企业倾向于部署企业私有的对象存储方案。

胡渊汶介绍说,在企业私有化部署场景中,对象存储主要有两类用法,一类是面向传统场景提供归档存储。另外一类,面向现代化的应用程序,比如互联网大数据分析、AI等场景,比如云原生架构这类负载。

第一类用法利用的是对象存储低成本以及写入少读取多(WORM)的特性;第二类主要利用其高扩展性和高灵活性的优点,更为关键的是,就是其存储协议支持S3,而大多数现代化应用和云原生应用都能够兼容S3,这就让对象存储有了更多的“用武之地”。

此外,为了克服对象存储性能上的不足,业内近几年来开始尝试用全闪存来提升性能,性能型的对象存储成为趋势后,应用场景将进一步扩大。

当前,对象存储越来越快的走入到了企业的应用场景之中,并在各个方面担当“重任”。

随着非结构数据呈现指数级的增长,对于面向企业的对象存储产品提供了更多更高的要求。

基于对企业用户的需求,戴尔科技集团更新了旗下的企业级对象存储平台——戴尔易安信ECS。

据胡渊汶介绍,ECS采用横向扩展式架构,在容量、对象数量、文件规模或节点数量等方面无限制,因此无论行业客户的数据中心位于何处,都可以轻松跟上指数级数据增长的步伐,同时也只需以类似于公有云的规模添加新节点和支持工作负载,就能同时实现私有云基础架构的可靠性和控制。

由此也实现了更好的TCO成本,数据显示,与行业领先的公有云提供商相比,通过ECS构建一个对象存储云,总拥有成本可降低59.5%。

同时,它还具备全球可访问能力,支持8个站点的虚拟数据中心的联合;此外,ECS采用Active-active架构,支持XOR等能力,也带来更加简化的管理;ECS还能充当二级存储,为关键业务应用释放昂贵的主存储资源。

在存储协议方面,ECS支持包括S3、NFS、SMB、CIFS、Swift、CAS、ATMOS、HDFS等多协议,同时也能通过RESTfulAPI来支持云原生的应用,这样就能适应目前企业往云原生转型的趋势;更为关键的是,多协议支持和良好的互操作性,企业也可以借助ECS构建现代数据湖,进而通过数据湖实现Splunk分析,以及流数据分析存储等能力。

在数据安全保护方面,ECS内置了数据保护功能,具有静态数据加密、纠删码、三重镜像等功能,能够使得存储平台安全性增强,同时还新增了更多的安全能力,包括支持新的安全管理员角色,能够将特定的使用权和特权授予安全管理员;提供了新的安全API,不仅方便自动化地报告安全设置,同时企业也能将ECS整合到已有的安全解决方案中;此外,也支持外部的密匙管理器,帮助企业满足合规要求。

在部署方面,ECS支持软件定义模式部署,也可以通过一体机这种“交钥匙”的方式部署,同时服务供应商也能通过ECS提供相应的部署,灵活的部署方式,可以让企业拥有更好的可扩展性、性能、弹性和经济性,真正满足了企业现代化应用的需求。

除此之外,ECS还能够定制元数据,内置元数据搜索功能,可以支持多达30个元数据字段,不但可以快速轻松定位数据,也能支持元数据更加精细的搜索。

值得注意的是,ECS还具有强一致性的多站点访问能力,能够通过全局命名空间,让任意数据可以在任意站点进行读写,支持应用访问无缝切换。

“ECS的多站点和强一致性能力,能够给前端业务带来很大的便利性,不需要处理很复杂的一致性的关系,就能实现数据的完整性、数据一致性的保证。”戴尔科技集团大中华区非结构化数据存储事业部资深系统工程师白光茁说到。

据IDC《2020年Q2,中国软件定义存储及超融合存储系统市场季度跟踪报告》显示,SDS在2020年上半年较去年同期实现38.3%增长,其中对象存储出货比例增长46%,超过软件定义存储市场总体增长率,对象存储是存储市场增长的新动力。

这表明着越来越多的企业都开始选择使用对象存储,据胡渊汶介绍,海通证券利用ECS对象存储的扩展性建立了存储资源池,不仅降低了初期成本投入和TCO,还解决了传统磁带库性能低下、可靠性不足等问题,同时还获得了数据全生命周期管理能力,更为后续在业务中融入人工智能等技术做好了准备。

胡渊汶认为,企业在对旧的定制应用系统做现代化改造时,最好的做法是改变应用使用存储的方式。

因为基于NAS文件存储来开发传统应用的体系其实非常复杂,有几个应用就需要对应有几套文件系统,甚至还有五花八门的专有API,这导致应用开发和存储管理的成本都很高。而且,许多应用都只能本地使用,无法以Web应用和移动应用方式来访问,非常不现代化。

现代化的云原生应用中直接使用对象存储来存储数据,数据绕过Web服务器,直接通过API存取数据到对象存储,开发过程简化。而且对象存储的管理成本很低,一个人就能轻松管理PB级的数据。配合对象存储,云原生架构会使得企业软件的开发迭代速度变得非常快。

从胡渊汶的介绍中了解到,国内某大型商业银行的手机银行有许多新应用需要大量频繁迭代,于是,该银行逐步把这部分业务转型为云原生业务,底层存储中采用了ECS,存放着超过100亿个对象,每天大概要接受2亿左右的请求,在ECS之上部署了200多个应用。

该银行的应用开发部署的节奏明显加快,最多一个季度上线了50个应用这在以前是不可想象的,这是云原生架构以及对象存储技术的价值体现。(雷锋网雷锋网雷锋网)

THE END
1.一文读懂结构化数据和非结构化数据的区别在这个数字化时代,数据无处不在,它们构成了我们理解和分析世界的基础。在众多的数据类型中,结构化数据和非结构化数据是最常见的两种形式。今天,老鱼带大家了解一下这两种数据的基本概念、特点以及它们之间的联系和差异。 什么是结构化数据? 结构化数据是指那些以固定格式或模式存储的信息,通常可以被快速检索和处理。https://blog.csdn.net/Python_cocola/article/details/141829123
2.什么是结构化数据非结构化数据半结构化数据?结构化数据 (Structured Data) :结构化数据是用二维表格的形式进行数据的存储,二维表格由多列组成,每一列的数据具有严格的同质性,所以每一行数据都具有完全相同的结构。在结构化数据中每一行数据都是对现实世界实体的一个对象的描述,由于同一实体的不同对象具有相同的属性,因此用二维表格中数据结构相同的行数据来描述https://easylearn.baidu.com/edu-page/tiangong/questiondetail?id=1799202032808421388&fr=search
3.结构化数据和非结构化数据区别结构化数据:结构化数据也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,主要通过关系型数据库进行存储和管理。 非结构化数据:非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML, HTML、https://www.10100.com/article/89842
4.一文读懂结构化非结构和半结构数据的定义特点和应用领域结构化数据具备可搜索、可维护和可跟踪的特点,常见的例子有关系型数据库中的客户数据、订单数据、产品数据等。这种数据形态对于企业和组织来说至关重要,能够通过预定义的数据模型进行分析和挖掘,为决策提供有力支持。 非结构化数据的自由释放 与结构化数据相对应的是非结构化数据,它是指没有固定组织原则的未经过滤的https://cloud.tencent.com/developer/news/1114374
5.什么是非结构化数据和结构化数据在计算机科学领域,数据大致可以分为两种类型:结构化数据和非结构化数据。这两种数据类型不仅在数据存储、处理和分析的方式上有所不同,它们的使用场景也各具特点。理解这两种数据类型对https://www.jianshu.com/p/94fceaeb63ec
6.什么是结构化半结构化和非结构化数据?①结构化数据:指关系模型数据,即以关系数据库表形式管理的数据,结合到典型场景中更容易理解,比如企业ERP、OA、HR里的数据。 ②非结构化数据:指数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。如word、pdf、ppt及各种格式的图片、视频等。 https://it.ynnu.edu.cn/info/1054/2898.htm
7.半结构化非结构化数据是什么?价值密度低是什么意思?非结构化一般指无法结构化的数据,没有固定的结构,例如图片,文件,视频等,大数据时代可以利用信息技术处理这类数据。 半结构化数据是指有基本固定的结构的数据,介于结构化数据和非结构化数据之间。如邮件系统就是半结构化数据:其中的收发件功能、主题等,有一定规律的数据属于结构化数据;而附件内容,如图片、音频等属于https://www.dongao.com/dy/zckjs_zl_53655/12803215.shtml
8.了解结构化数据与非结构化数据的差异数据用途广泛,有多种形式,并且可以通过多种方式进行组织。一种常见的分类是结构化或非结构化数据,具有不同的存储、处理和分析方法。了解这些差异有助于从任何数据集中提取有价值的见解。 结构化数据与非结构化数据:主要区别 结构化和非结构化数据在许多方面都有所不同。两者都使用不同的工具和方法来处理和分析信息https://www.360doc.cn/article/68899713_1124424478.html
9.什么是非结构化数据?我们所处理的数据分为三类,分别是规格化数据、半结构化数据以及非结构化数据,其中非结构化数据的定义为:呈现出不规则且无明显结构特征的数据。 -规格化数据:数据与字段相对应,数据以表格和数据集形式存在。 -半结构化数据:这种数据形态介于规格化数据和非结构化数据之间,方法是结合不明晰的规则来补足规格化数据的缺陷。https://www.filez.com/news/detail/faee08ab6bdc85c2d6216e4773bcc01f.html
10.什么是结构化数据?结构化数据完整指南Elastic定义结构化数据,通过探索示例理解它与非结构化数据和半结构化数据有哪些不同,并了解如何使用结构化数据。https://www.elastic.co/cn/what-is/structured-data
11.什么是结构化数据和非结构化数据?零代码知识中心二、什么是非结构化数据? 顾名思义,其他所有不能按照行列格式整齐排列的数据都是结构化数据,如录音、视频片段、图像、社交媒体帖子、电子邮件内容、客户服务聊天记录、机器传感器数据等等。据 Gartner 估计,非结构化数据约占企业所有数据的 80%,来自其他机构的估计甚至更高。 https://www.jiandaoyun.com/fe/gdyqhj/
12.什么是非结构化数据(unstructureddata)?机器之心随着AI和5G时代的到来,我们对信息的渴望被极大的唤起,常规的结构化数据交互已经不能满足人们的需求,而伴随着数字化的快速发展,非结构化数据扮演起越来越重要的角色,图片、视频、语音蕴含的丰富信息将被广泛利用。然而真正能够使用并且管理非结构化数据是现在人工智能领域的一大问题。 https://www.jiqizhixin.com/articles/2020-05-20-10
13.数据库中什么是结构化数据非结构化数据存储的基础王利头在现代化的数字世界中,数据已经成为组织运作的命脉。理解不同类型的数据存储方式对于优化数据管理和从数据中提取价值至关重要。本文将深入探讨数据库中的结构化数据和非结构化数据,揭示其基础,了解其优缺点以及它们在企业数据战略中的应用。 结构化数据 结构化数据是指以预定义模式和特定数据类型组织和存储的数据。它通https://www.wanglitou.cn/article_30065.html
14.请简述什么是结构化数据和非结构化数据。上述错账分别采用什么错账更正方法,并说明更正方式。8分钟前 u*** 购买了资源 云南开放大学电工电子技术第二次作业17分钟前 a*** 下载了资源 江苏开放大学纳税实务第三次形考作业25分钟前 a*** 购买了资源 江苏开放大学纳税实务第三次形考作业25分钟前 a*** 下载了资源 2024春江苏开放大学外国留学生汉语偏误https://www.ddwk123.cn/archives/652785
15.爱数非结构化数据中台解决方案针对文档、图片、视频等非结构化数据,打造统一数据管理、统一分析洞察、统一安全体系、统一内容服务的融合式中台。 非结构化数据中台围绕非结构化数据以DIKW模型为指引,消除数据孤岛,深度融合人工智能技术,实现汇集、治理、分析洞察和知识服务,全方位赋能业务与人。 https://www.aishu.cn/cn/unstructured-data-solution
16.大数据中非结构化数据的挖掘:文本非结构化数据是大数据数据多样化的的一个特点,而点击流中的数据是多样化数据的一部分。依托强大的网站分析工具,可以得到最细粒度的原始数据(Raw Data),如果这些原始数据仅仅用来看看报表,那意义太小。非结构化化数据包括文本、视频、文档、音频、甚至地理位置信息等等https://www.51cto.com/article/432085.html
17.为什么我们称文本为“非结构化”?为什么计算机对结构化和非结构化的定义会有所不同? 该计算机可以处理结构化数据,而非非结构化数据,计算机希望数据整齐,整齐地堆在一起,称为记录,每个记录都有一个键和其他属性,一旦将数据组织成结构化格式,计算机就会加快速度,就像子弹穿过机枪一样,如果没有子弹则机枪卡住。 https://www.chinacpda.com/data/detail/?id=1951
18.结构化与非结构化的区别多源异构数据源半结构化数据①结构化数据:指关系模型数据,即以关系数据库表形式管理的数据,结合到典型场景中更容易理解,比如企业ERP、OA、HR里的数据。 ②非结构化数据:指数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。如word、pdf、ppt及各种格式的图片、视频等。 https://www.fanruan.com/bw/doc/154297
19.数据架构:大数据数据仓库以及DataVault这里的全体数据包括与企业中各类型数据相关的所有事项。 进一步细分企业中的全体数据有很多种方式。一种细分方式(但是肯定不是唯一方式)是将全体数据划分为结构化数据和非结构化数据,如图1.1.2所示。 结构化数据是一种可预见、经常出现的数据格式。通常,结构化数据包括记录、属性、键和索引等,可以通过数据库管理系统(https://www.ituring.com.cn/book/tupubarticle/11854
20.大数据基础术语精粹来袭结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、标准通用标记语言下的子集XML、HTML、各类报表、图像和音频/视频信息等等。 http://www.mudan.gov.cn/2c908084831c4eb30183205259ac001f/2c908084831c4eb3018320df837d0020/1669185201282129920.html