如何释放非结构化数据的价值?雷峰网

在这一背景下,对象存储由于主要操作对象是对象(Object),它既能够像块存储一样高效检索,又能像文件存储一样极致扩展,结合了块和文件存储的优势,受到了市场不断的认可。其存储协议,也是大家熟知的S3、Swift等。

戴尔科技集团大中华区非结构化数据存储事业部技术总监胡渊汶

胡渊汶表示:“对象存储由于其具有高扩展性和易管理的特性,作为企业存储战略的关键元素,对象存储已经成为更多企业在数字化转型中的第一选择。”

同时,越来越多的公有云厂商把对象存储当做“云存储”在售卖。

但在实际应用中,虽然公有云的对象存储服务有其优势,但考虑到安全合规以及带宽成本等问题,企业倾向于部署企业私有的对象存储方案。

胡渊汶介绍说,在企业私有化部署场景中,对象存储主要有两类用法,一类是面向传统场景提供归档存储。另外一类,面向现代化的应用程序,比如互联网大数据分析、AI等场景,比如云原生架构这类负载。

第一类用法利用的是对象存储低成本以及写入少读取多(WORM)的特性;第二类主要利用其高扩展性和高灵活性的优点,更为关键的是,就是其存储协议支持S3,而大多数现代化应用和云原生应用都能够兼容S3,这就让对象存储有了更多的“用武之地”。

此外,为了克服对象存储性能上的不足,业内近几年来开始尝试用全闪存来提升性能,性能型的对象存储成为趋势后,应用场景将进一步扩大。

当前,对象存储越来越快的走入到了企业的应用场景之中,并在各个方面担当“重任”。

随着非结构数据呈现指数级的增长,对于面向企业的对象存储产品提供了更多更高的要求。

基于对企业用户的需求,戴尔科技集团更新了旗下的企业级对象存储平台——戴尔易安信ECS。

据胡渊汶介绍,ECS采用横向扩展式架构,在容量、对象数量、文件规模或节点数量等方面无限制,因此无论行业客户的数据中心位于何处,都可以轻松跟上指数级数据增长的步伐,同时也只需以类似于公有云的规模添加新节点和支持工作负载,就能同时实现私有云基础架构的可靠性和控制。

由此也实现了更好的TCO成本,数据显示,与行业领先的公有云提供商相比,通过ECS构建一个对象存储云,总拥有成本可降低59.5%。

同时,它还具备全球可访问能力,支持8个站点的虚拟数据中心的联合;此外,ECS采用Active-active架构,支持XOR等能力,也带来更加简化的管理;ECS还能充当二级存储,为关键业务应用释放昂贵的主存储资源。

在存储协议方面,ECS支持包括S3、NFS、SMB、CIFS、Swift、CAS、ATMOS、HDFS等多协议,同时也能通过RESTfulAPI来支持云原生的应用,这样就能适应目前企业往云原生转型的趋势;更为关键的是,多协议支持和良好的互操作性,企业也可以借助ECS构建现代数据湖,进而通过数据湖实现Splunk分析,以及流数据分析存储等能力。

在数据安全保护方面,ECS内置了数据保护功能,具有静态数据加密、纠删码、三重镜像等功能,能够使得存储平台安全性增强,同时还新增了更多的安全能力,包括支持新的安全管理员角色,能够将特定的使用权和特权授予安全管理员;提供了新的安全API,不仅方便自动化地报告安全设置,同时企业也能将ECS整合到已有的安全解决方案中;此外,也支持外部的密匙管理器,帮助企业满足合规要求。

在部署方面,ECS支持软件定义模式部署,也可以通过一体机这种“交钥匙”的方式部署,同时服务供应商也能通过ECS提供相应的部署,灵活的部署方式,可以让企业拥有更好的可扩展性、性能、弹性和经济性,真正满足了企业现代化应用的需求。

除此之外,ECS还能够定制元数据,内置元数据搜索功能,可以支持多达30个元数据字段,不但可以快速轻松定位数据,也能支持元数据更加精细的搜索。

值得注意的是,ECS还具有强一致性的多站点访问能力,能够通过全局命名空间,让任意数据可以在任意站点进行读写,支持应用访问无缝切换。

“ECS的多站点和强一致性能力,能够给前端业务带来很大的便利性,不需要处理很复杂的一致性的关系,就能实现数据的完整性、数据一致性的保证。”戴尔科技集团大中华区非结构化数据存储事业部资深系统工程师白光茁说到。

据IDC《2020年Q2,中国软件定义存储及超融合存储系统市场季度跟踪报告》显示,SDS在2020年上半年较去年同期实现38.3%增长,其中对象存储出货比例增长46%,超过软件定义存储市场总体增长率,对象存储是存储市场增长的新动力。

这表明着越来越多的企业都开始选择使用对象存储,据胡渊汶介绍,海通证券利用ECS对象存储的扩展性建立了存储资源池,不仅降低了初期成本投入和TCO,还解决了传统磁带库性能低下、可靠性不足等问题,同时还获得了数据全生命周期管理能力,更为后续在业务中融入人工智能等技术做好了准备。

胡渊汶认为,企业在对旧的定制应用系统做现代化改造时,最好的做法是改变应用使用存储的方式。

因为基于NAS文件存储来开发传统应用的体系其实非常复杂,有几个应用就需要对应有几套文件系统,甚至还有五花八门的专有API,这导致应用开发和存储管理的成本都很高。而且,许多应用都只能本地使用,无法以Web应用和移动应用方式来访问,非常不现代化。

现代化的云原生应用中直接使用对象存储来存储数据,数据绕过Web服务器,直接通过API存取数据到对象存储,开发过程简化。而且对象存储的管理成本很低,一个人就能轻松管理PB级的数据。配合对象存储,云原生架构会使得企业软件的开发迭代速度变得非常快。

从胡渊汶的介绍中了解到,国内某大型商业银行的手机银行有许多新应用需要大量频繁迭代,于是,该银行逐步把这部分业务转型为云原生业务,底层存储中采用了ECS,存放着超过100亿个对象,每天大概要接受2亿左右的请求,在ECS之上部署了200多个应用。

该银行的应用开发部署的节奏明显加快,最多一个季度上线了50个应用这在以前是不可想象的,这是云原生架构以及对象存储技术的价值体现。(雷锋网雷锋网雷锋网)

THE END
1.非结构化数据存储非结构化数据存储文档介绍内容阿里云为您提供非结构化数据存储相关的75775条产品文档内容及常见问题解答内容,还有等云计算产品文档及常见问题解答。如果您想了解更多云计算产品,就来阿里云帮助文档查看吧,阿里云帮助文档地址https://help.aliyun.com/。https://help.aliyun.com/wordpower/382390-1.html
2.AzureBlob存储MicrosoftAzure大规模存储和访问非结构化数据 Azure Blob 存储可帮助你创建数据湖以满足分析需求,并提供存储以构建功能强大的云原生和移动应用。通过分层存储优化你的长期数据的成本,并灵活地纵向扩展高性能计算和机器学习工作负载。 Video container可缩放、持久且可用 设计持久性高达 99.99999999999999%,具有异地复制功能,并且可根据https://azure.microsoft.com/zh-cn/services/storage/blobs/
3.非结构化数据存储方案DarrenChan陈驰非结构化数据存储方案 我的知乎:DarrenChan陈驰 ceph 官方网站:http://docs.ceph.org.cn/ 简单介绍: Ceph是一个开源的分布存储系统,同时提供对象存储、块存储和文件存储。linux内核2.6.34将ceph加入到内核中,红帽基于ceph出了redhat ceph storage. 支持TB级存储https://www.cnblogs.com/DarrenChan/p/9494755.html
4.非结构化数据存储结构化数据如日期、电话号、账户余额、产品名称等,严格遵循数据格式与长度规范、易于由二维表结构进行逻辑表达和实现,与之相反,非结构化数据结构不规则或不完整、缺乏预定义数据模型、格式多种多样,比如文档、图片、音频、视频、社交媒体记录等,往往呈现出杂乱无章的特点。 https://www.jianshu.com/p/ddcc2d76c7eb
5.对象存储:非结构化数据的首选存储方式数据类型:块存储适用于随机读写性能要求高的场景;文件存储适用于结构化数据和文件共享的场景;对象存储适用于非结构化数据存储的场景。 数据大小:块存储适用于小数据量的场景;文件存储适用于中等数据量的场景;对象存储适用于大量数据的场景。 数据访问模式:块存储适用于随机访问的场景;文件存储适用于按文件路径访问的场景https://developer.baidu.com/article/detail.html?id=2276139
6.非结构化数据存储管理网易数帆为您提供非结构化数据存储管理相关产品介绍、帮助文档,与非结构化数据存储管理感兴趣的用户在网易数帆社区进行知识和技术交流互动。网易数帆 - 领先的数字化转型技术与服务提供商!https://m.163yun.com/search/6Z2e57uT5p6E5YyW5pWw5o2u5a2Y5YKo566h55CG
7.非结构化数据存储与查询小结非结构化数据存储方案非结构化数据存储与查询小结 本文总结了海量非结构化数据的存储和查询,重点介绍了NoSQL数据库中的Hbase。Hbase是一个分布式、面向列的数据库,基于Hadoop的HDFS,适合存储半结构化和非结构化数据。其设计理念来源于Google的Bigtable,提供了高容错性和可扩展性。Hbase的存储结构包括行键、列族和时间戳,数据以列族的https://blog.csdn.net/liangzou/article/details/7964830
8.非结构化数据的存储方案1.深入理解非结构化数据存储方案的意义 在企业中,非结构化数据一般指的是大型文档、图片、视频、日志、音频、微博等形式的数据。对于传统的SQL关系型数据库来说,非结构化数据是比较难被管理和处理的,在处理这种类型的数据时,就需要考虑一些简便的存储方案。基于文件系统的存储方案是最为常见的方式之一,因为它比传统https://www.filez.com/news/detail/f258a16a3ce8fdc4aa02e5e7c67d5785.html
9.IBMCloudObjectStorage在银行业非结构化数据存储嘲下的对象1. 对象存储在银行业的应用机会 随着银行业IT技术的快速发展和业务的不断升级变革,业务应用系统产生的非结构化数据(包括文件、图片、音视频文件等)的规模也越来越大,银行业非结构化数据呈指数式爆发式增长。目前使用非结构化数据的主要系统包括内容管理平台、后督影像系统、身份验证、柜员办业务扫描件等需要用到影像图https://redhat.talkwithtrend.com/Article/242823
10.非结构化数据湖存储解决方案XSKY星辰天合将自身先进的 SDS 技术和行业经验,融入到金融行业的数字化转型中,针对金融客户非结构化数据存储场景, 提供文件、对象融合的统一非结构化数据存储平台,利用分布式架构、软硬解耦、多协议互通等特性应对海量小文件的高性能、 高扩展、数据共享等需求;通过冷、温、热数据分层流动/自动归档、自动化运维平台等实https://www.xsky.com/solution/finance/unstructured-data
11.NASvs.对象存储:什么是非结构化数据存储的优秀选择?NASvs.对象存储这两种方法各有利弊,尤其是在非结构化数据存储的情况下。而且,在NAS与对象存储的争论中,适合您组织的存储类型还取决于支持的工作负载类型。 ?将NAS或对象存储用于非结构化数据各有利弊。了解在可扩展性、性能和工作负载类型方面需要考虑的事项。 https://www.51cto.com/article/718813.html
12.非结构化数据一键式对象存储Nutanix告别单点解决方案、存储孤岛和复杂性。Objects 存储可为混合云环境提供大规模的安全 S3 兼容对象存储。 产品试用 客户为何选择 Objects 存储? 简单、安全、支持横向扩展的对象存储,面向大数据、云原生应用和深度归档。 告别非结构化数据的复杂性 对象存储的容量没有上限,数十 PB 的数据位于多个存储孤岛上。现在,通过一https://www.nutanix.com/cn/products/objects
13.适用于非结构化数据的戴尔科技云平台存储解决方案Dell中国树立云存储新标杆 Dell Technologies 提供广泛的专门面向非结构化数据而设计的私有云、多云和原生云存储服务。我们的云服务将戴尔 PowerScale(一款极为灵活1、安全2且高效3的横向扩展 NAS 解决方案)的多项功能扩展到了云中,例如大规模提高性能、提升运营效率以及实现管理简易性。我们助力企业利用其整个数据资产来运行诸如https://www.dell.com/zh-cn/dt/solutions/cloud/powerscale-for-google-cloud.htm
14.非结构化数据中心结构化数据与非结构化数据上传数据至OBS及授权给ModelArts使用 对象存储服务(Object Storage Service)是一款稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 产品详情立即注册一元 域名华为 云桌面 [ 免费体验中心 ]免费领取体验产品,快速开启云上之旅免费 最新文章 替换VolcanoJobr 来自:https://www.huaweicloud.com/theme/103294-3-F
15.非结构化数据越来越复杂,该怎么处理?非结构化数据存储的同城容灾实现方式是:在线区高性能SSD NAS依靠SnapMirror技术,提供数据高可用性和快速https://www.zhihu.com/question/538792203/answer/2731196230
16.非结构化数据管理专家基于文件云实同统一文件平台硬件和网络管理、统一存储管理、实现数据存储生命周期管理,大幅度节省投入和运维 07 安全部门 基于文件云实现非结构化数据资产安全治理&统一安全管控 08 软件开发中心 基于文件云非结构化中台内容存储、内容计算、内容安全相关API 二次开发, 大幅度降低应用开发成本 https://www.linkapp.cn/products/42/0
17.什么是结构化数据和非结构化数据?零代码知识中心如今的企业依靠数据运行。目前的挑战在于存储、管理和保护数据。数据正呈指数级增长,给传统的存储系统带来了压力。 管理数据的第一步是了解不同类型的数据,以及为什么这些差异至关重要。两种主要的数据类型是结构化和非结构化。这两种数据类型在组织和管理方式上存在巨大差异,但在很多方面都可以为企业提供帮助。 https://www.jiandaoyun.com/fe/gdyqhj/
18.非结构化数据的购房(cunchu)选型要点DOIT购房要看地段,看预算,看均价,看品质等等,非结构化数据存储和买现房一样也要看选型,本身体量大,从前选择经济适用型为佳,现在数据存储与生产价值密切关联,“开发商”要做到服务至上才是重点。 为了助力企业实现非结构化数据价值最大化,戴尔科技集团推出UDS非结构化数据解决方案,包含NAS存储PowerScale和对象存储ECS两个系https://www.doit.com.cn/p/475585.html
19.爱数博客揭秘AnyBackup对象存储海量非结构化数据高性能备份这就是为什么海量非结构化数据备份恢复性能低下的根本原因:单位时间内磁盘的吞吐率无法提升。 对象场景下高性能备份恢复方案 面对上述难题,AnyBackup进行了相关研究,设计并研发出了基于AnyShare的高性能备份恢复方案,有效解决了对象存储场景下海量小文件备份恢复性能低下问题。 https://www.aishu.cn/cn/blog/182
20.向量数据库正在重塑非结构化数据的分析方式用于存储非结构化数据的文件系统 在计算机中存储电子数据可以有多种方式,一种可行的方式是文件系统。它将数据安排为文件,然后保存在目录结构中。 由于文件系统允许存储不同的文件类型,因此它是管理非结构化数据的理想方式。它还允许您通过有效地获得洞察力来跨环境和应用程序利用这些数据。 http://cdn.modb.pro/db/609398
21.大数据基础术语精粹来袭结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、标准通用标记语言下的子集XML、HTML、各类报表、图像和音频/视频信息等等。 http://www.mudan.gov.cn/2c908084831c4eb30183205259ac001f/2c908084831c4eb3018320df837d0020/1669185201282129920.html
22.什么是非结构化数据?非结构化数据完整指南Elastic定义非结构化数据并探索数据示例以理解它与结构化数据有哪些不同。了解如何分析非结构化数据,非结构化数据的优点和带来的挑战。https://www.elastic.co/cn/what-is/unstructured-data
23.探索非结构化数据入湖方式及相关技术的最佳实践数字经济观察网非结构化数据入湖的方式取决于数据的类型和来源。其中主要有两类,一类是非结构化数据原始数据入湖,另外一种是非结构化数据的元数据入湖,原始数据存储在原始系统,元数据中包含实际的存储地址。 伴随着人工智能的兴起和数据湖的广泛应用,非结构化数据入湖变得尤为重要。非结构化数据,如文本、图像、音频和视频等,包含https://www.szw.org.cn/20230817/62871.html
24.了解结构化数据与非结构化数据的差异数据用途广泛,有多种形式,并且可以通过多种方式进行组织。一种常见的分类是结构化或非结构化数据,具有不同的存储、处理和分析方法。了解这些差异有助于从任何数据集中提取有价值的见解。 结构化数据与非结构化数据:主要区别 结构化和非结构化数据在许多方面都有所不同。两者都使用不同的工具和方法来处理和分析信息https://www.360doc.cn/article/68899713_1124424478.html