手把手教程MinIO对象存储高效入门MinIO对象存储对象存储为什么引入对象存储然而,随着时代的发展,一种新的

随着互联网的高速发展,我们会面对越来越多海量非结构化数据的存储需求,在这样的背景下,对象存储解决方案为我们文件的存取提供了很大的便利和保障

然而,随着时代的发展,一种新的数据存储形态诞生,开始挑战前面三者的垄断地位,没错,它就是云计算时代存储技术的新网红——对象存储。

对象存储,也称为“面向对象的存储”,英文是Object-basedStorage,现在很多云厂商,也直接称之为“云存储”。

20世纪末,随着互联网的爆发,数据存储需求发生了两个重大的变化。

根据此前的预测,到2020年,全球数据总量的80%,将是非结构化数据,面对这两大趋势,因为本身技术和架构的限制,DAS、SAN和NAS无法进行有效应对。

下面我们来看下最常见的三种存储技术

块存储像是一块块硬盘直接挂载在主机上,以卷或硬盘形式体现,对于存储的数据内容和格式一无所知,只关心读取和写入,不关心关系和用途,数据按字节来访问,性能很高,但是太偏向于底层,不利于扩展,常见的有DAS(直连式存储)、SAN(存储区域网络)。

块存储,操作对象是磁盘,存储协议是SCSI、iSCSI、FC,以SCSI为例,主要接口命令有Read/Write/ReadCapacity/Inquiry等等。

文件存储一般以文件和目录形式体现,有多级访问路径和基于文件系统的目录结构,数据以文件的形式进行存取,也可以进行一些高级管理功能,比如文件层面的访问权限控制等。文件存储可以很方便的进行共享,用途也非常广泛,但是其读写速度相对较慢,常见的有NAS(网络附加存储服务器)。

NAS设备本质就是将本地主机的文件系统迁移至IP网络设备上,多个用户节点可以公用同一个NAS上的同一个文件系统。

由于块存储和文件存储的存储特点,并不适合公有云存储,一般只适合在局域网内部使用,另外随着互联网需求的发展,数据量爆炸式的增长,不断吞食着存储资源;数据类型也逐渐多元化,各类非结构化的数据占比显著增加,如何应对新的存储需求?对象存储应运而生。

文件存储,操作对象是文件和文件夹,存储协议是NFS、SAMBA(SMB)、POSIX等

对象存储是一种基于对象的存储设备,综合了NAS和SAN的优点,同时具有SAN的高速直接访问和NAS的分布式数据共享等优势。适合存储海量图片、视频、日志文件、备份数据、容器镜像等。

对象存储底层存储硬件介质,仍旧是硬盘,这一点和块存储、文件存储没有区别,但是底层硬件之上的系统和两者完全不同。

对象存储,主要操作对象是对象(Object)

存储协议是S3、Swift等,以S3为例,主要接口命令有PUT/GET/DELETE等,看出来了吧?接口命令非常简洁,没有那种目录树的概念,在对象存储系统里,你不能直接打开/修改文件,只能先下载、修改,再上传文件。

对象存储是用来描述解决和处理离散单元的方法的通用术语,对象在一个层结构中不会再有层级结构,是以扩展元数据为特征的

对象存储呈现出来的是一个“桶”(bucket),你可以往“桶”里面放“对象(Object)”,这个对象包括三个部分:Key、Data、Metadata。

可以理解文件名,是该对象的全局唯一标识符(UID)

Key是用于检索对象,服务器和用户不需要知道数据的物理地址,也能通过它找到对象,这种方法极大地简化了数据存储,看上去就是一个URL网址。如果该对象被设置为“公开”,所有互联网用户都可以通过这个地址访问它。

也就是用户数据本体。

Metadata叫做元数据,它是对象存储一个非常独特的概念,元数据有点类似数据的标签,标签的条目类型和数量是没有限制的,可以是对象的各种描述信息。

在传统的文件存储里,这类信息属于文件本身,和文件一起封装存储,而对象存储中,元数据是独立出来的,并不在数据内部封装,元数据的好处非常明显,可以大大加快对象的排序,还有分类和查找。

对象存储的架构是怎样的呢?如下图所示,分为3个主要部分:

这是对象存储的核心,具有自己的CPU、内存、网络和磁盘系统。它的主要功能当然是存储数据,同时,它还会利用自己的算力,优化数据分布,并且支持数据预读取,提升磁盘性能。

它控制Client和OSD的交互,还会管理着限额控制、目录和文件的创建与删除,以及访问控制权限。

提供文件系统接口,方便外部访问。

根据上面的架构可以看出,对象存储系统可以是一个提供海量存储服务的分布式架构。

对象存储的优点很多,简单归纳如下:

对象存储的容量是EB级以上,EB有多大?大家的硬盘普遍是TB级别,1EB约等于1TB的一百万倍,请自行脑补…

对象存储的所有业务、存储节点采用分布式集群方式工作,各功能节点、集群都可以独立扩容,从理论上来说,某个对象存储系统或单个桶(bucket),并没有总数据容量和对象数量的限制。

换句话说,只要你有足够的money,服务商就可以不停地往架构里增加资源,这个存储空间就是无限的,你可以根据自身需求购买相应大小的对象存储空间,如果需要调整大小,也是支持弹性伸缩的,你不要进行数据迁移和人工干预。

对象存储采用了分布式架构,对数据进行多设备冗余存储(至少三个以上节点),实现异地容灾和资源隔离

根据云服务商的承诺,数据可靠性至少可以达到99.999999999%(不用数了,一共11个9),这意味着,1000亿个文件里,每月最多只会有1个文件发生数据丢失,这比一个人被陨石击中的概率还要小143000倍。

数据访问方面,所有的桶和对象都有ACL等访问控制策略,所有的连接都支持SSL加密,OBS系统会对访问用户进行身份鉴权,因为数据是分片存储在不同硬盘上的,所以即使有坏人偷了硬盘,也无法还原出完整的对象数据

对于用户来说,对象存储是一个非常方便的存储方式。

很多人把它比喻为“代客泊车”,你只需要把车扔给他,他给你一个凭证,你通过凭证取车就可以了,你不需要知道车库的布局,也不需要自己去费力停放。

MinIO是一个基于ApacheLicensev2.0开源协议的对象存储服务

它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等

MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合,类似NodeJS,Redis或者MySQL。

阿里云收费的oss也是对象存储,和与阿里云oss有什么区别呢?

HDFS也是经常使用的文件存储方案,与HDFS相比有什么区别呢

虽然HDFS能够利用内部的服务器级存储,它实际上是按照其标准的数据保护策略将所有数据做了三个副本

因此,尽管可以使用较便宜的服务器内部的硬盘驱动器,它可能并不像最初希望的那样经济,因为容量需求要乘以3。

HDFS具有一个主节点和一系列从节点,从节点处理数据并将结果发送给主节点,主节点还需要维护数据复制策略以及基本的集群管理

如果主节点发生故障,集群的其余节点将不能被访问,HDFS对主节点只提供了有限的保护,所以企业需要采取特殊措施来实现主节点的高可用性。

如上所述,在对象存储系统中,主节点与从节点都能受到相同的纠删编码的数据保护,此外,由主节点维护的管理Hadoop集群所需的所有元数据(metadata)都可以存储在集中化的对象存储系统中。这样当主节点发生故障时,从节点或备用节点可以迅速变成为主节点。

像任何其他架构一样,Hadoop对计算和存储容量也会有不同程度的需求,问题是,HDFS要求计算能力和存储容量需要按比例进行扩展,这意味着你不能单独对某一种资源进行扩充。

要说明这一点最常见的方式是当一个Hadoop架构的存储容量用尽时,因为增加更多容量就意味着加入另一个装满硬盘的节点,这也增加了更多的计算能力。反之亦如此,作为Hadoop基础设施,往往需要更多的处理能力,但存储空间却很充裕。大多数时候,当购置了一个新的服务器以增加计算能力时,它也带来了新的存储空间。其结果是,Hadoop架构总是在某种资源上浪费金钱,而对另一种资源却总是缺乏。

对象存储允许容量和计算能力各自独立地进行扩展,计算节点可以是1U或2U的机箱,通过固态存储引导,对象存储系统可以装满高容量驱动器,从而保持每GB成本最低。更重要的是,随着应用环境的变化,每一层都可以独立扩展。

MinIO是全球领先的对象存储先锋,目前在全世界有数百万的用户.在标准硬件上,读/写速度上高达183GB/秒和171GB/秒。

对象存储可以充当主存储层,以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为HadoopHDFS的替代品。MinIO用作云原生应用程序的主要存储,与传统对象存储相比,云原生应用程序需要更高的吞吐量和更低的延迟,而这些都是MinIO能够达成的性能指标。

MinIO利用了Web缩放器的来之不易的知识,为对象存储带来了简单的缩放模型。

据有“简单可扩展”的特点,在MinIO,扩展从单个群集开始,该群集可以与其他MinIO群集联合以创建全局名称空间,并在需要时可以跨越多个不同的数据中心,通过添加更多集群可以扩展名称空间,,更多机架,直到实现目标。

其中包括支持Kubernetes、微服和多租户的的容器技术。使对象存储对于Kubernetes更加友好。

目前MinIO支持市面主流的开发语言并且可以通过SDK快速集成快速集成使用。

亚马逊云的S3API(接口协议)是在全球范围内达到共识的对象存储的协议,是全世界内大家都认可的标准

MinIO在很早的时候就采用了S3兼容协议,并且MinIO是第一个支持S3Select的产品.MinIO对其兼容性的全面性感到自豪,并且得到了750多个组织的认同,包括MicrosoftAzure使用MinIO的S3网关-这一指标超过其他同类产品的总和。

只需下载一个二进制文件然后执行,即可在几分钟内安装和配置MinIO,配置选项和变体的数量保持在最低限度,这样让失败的配置概率降低到接近于0的水平,MinIO升级是通过一个简单命令完成的,这个命令可以无中断的完成MinIO的升级,并且不需要停机即可完成升级操作-降低总使用和运维成本。

MinIO基于ApacheV2license100%开放源代码

这就意味着MinIO的客户能够自动的、无限制、自由免费使用和集成MinIO、自由的创新和创造、自由的去修改、自由的再次发行新的版本和软件.确实,MinIO强有力的支持和驱动了很多世界500强的企业。此外,其部署的多样性和专业性提供了其他软件无法比拟的优势。

下面我们来看下MinIO的一些基础概念

Set/Drive这两个概念是MINIO里面最重要的两个概念,一个对象最终是存储在Set上面的。

我们来看下边MINIO集群存储示意图,每一行是一个节点机器,这有32个节点,每个节点里有一个小方块我们称之Drive,Drive可以简单地理解为一个硬盘。

图中,一个节点有32个Drive,相当于32块硬盘,Set是另外一个概念,Set是一组Drive的集合,图中,所有蓝色、橙色背景的Drive(硬盘)的就组成了一个Set。

MINIO是通过数据编码,将原来的数据编码成N份,N就是一个Set上面Drive的数量,后面多次提到的N都是指这个意思,上图中,一个Set上面Drive的数量,是3。

对象被编码成N份之后,把每一份,写到对应的Drive上面,这就是把一个对象存储在整个Set上。

一个集群包含多个Set,每个对象最终存储在哪个Set上是根据对象的名称进行哈希,然后影射到唯一的Set上面,这个方式从理论上保证数据可以均匀的分布到所有的Set上。

根据的观测,数据分布的也非常均匀,一个Set上包含多少个Drive是由系统自动根据集群规模算出来的,当然,也可以自己去配置,一个Set的Drive系统会考虑尽可能把它放在多的节点上面,保证它的可靠性。

THE END
1.非结构化数据存储非结构化数据存储文档介绍内容阿里云为您提供非结构化数据存储相关的75775条产品文档内容及常见问题解答内容,还有等云计算产品文档及常见问题解答。如果您想了解更多云计算产品,就来阿里云帮助文档查看吧,阿里云帮助文档地址https://help.aliyun.com/。https://help.aliyun.com/wordpower/382390-1.html
2.AzureBlob存储MicrosoftAzure大规模存储和访问非结构化数据 Azure Blob 存储可帮助你创建数据湖以满足分析需求,并提供存储以构建功能强大的云原生和移动应用。通过分层存储优化你的长期数据的成本,并灵活地纵向扩展高性能计算和机器学习工作负载。 Video container可缩放、持久且可用 设计持久性高达 99.99999999999999%,具有异地复制功能,并且可根据https://azure.microsoft.com/zh-cn/services/storage/blobs/
3.非结构化数据存储方案DarrenChan陈驰非结构化数据存储方案 我的知乎:DarrenChan陈驰 ceph 官方网站:http://docs.ceph.org.cn/ 简单介绍: Ceph是一个开源的分布存储系统,同时提供对象存储、块存储和文件存储。linux内核2.6.34将ceph加入到内核中,红帽基于ceph出了redhat ceph storage. 支持TB级存储https://www.cnblogs.com/DarrenChan/p/9494755.html
4.非结构化数据存储结构化数据如日期、电话号、账户余额、产品名称等,严格遵循数据格式与长度规范、易于由二维表结构进行逻辑表达和实现,与之相反,非结构化数据结构不规则或不完整、缺乏预定义数据模型、格式多种多样,比如文档、图片、音频、视频、社交媒体记录等,往往呈现出杂乱无章的特点。 https://www.jianshu.com/p/ddcc2d76c7eb
5.对象存储:非结构化数据的首选存储方式数据类型:块存储适用于随机读写性能要求高的场景;文件存储适用于结构化数据和文件共享的场景;对象存储适用于非结构化数据存储的场景。 数据大小:块存储适用于小数据量的场景;文件存储适用于中等数据量的场景;对象存储适用于大量数据的场景。 数据访问模式:块存储适用于随机访问的场景;文件存储适用于按文件路径访问的场景https://developer.baidu.com/article/detail.html?id=2276139
6.非结构化数据存储管理网易数帆为您提供非结构化数据存储管理相关产品介绍、帮助文档,与非结构化数据存储管理感兴趣的用户在网易数帆社区进行知识和技术交流互动。网易数帆 - 领先的数字化转型技术与服务提供商!https://m.163yun.com/search/6Z2e57uT5p6E5YyW5pWw5o2u5a2Y5YKo566h55CG
7.非结构化数据存储与查询小结非结构化数据存储方案非结构化数据存储与查询小结 本文总结了海量非结构化数据的存储和查询,重点介绍了NoSQL数据库中的Hbase。Hbase是一个分布式、面向列的数据库,基于Hadoop的HDFS,适合存储半结构化和非结构化数据。其设计理念来源于Google的Bigtable,提供了高容错性和可扩展性。Hbase的存储结构包括行键、列族和时间戳,数据以列族的https://blog.csdn.net/liangzou/article/details/7964830
8.非结构化数据的存储方案1.深入理解非结构化数据存储方案的意义 在企业中,非结构化数据一般指的是大型文档、图片、视频、日志、音频、微博等形式的数据。对于传统的SQL关系型数据库来说,非结构化数据是比较难被管理和处理的,在处理这种类型的数据时,就需要考虑一些简便的存储方案。基于文件系统的存储方案是最为常见的方式之一,因为它比传统https://www.filez.com/news/detail/f258a16a3ce8fdc4aa02e5e7c67d5785.html
9.IBMCloudObjectStorage在银行业非结构化数据存储嘲下的对象1. 对象存储在银行业的应用机会 随着银行业IT技术的快速发展和业务的不断升级变革,业务应用系统产生的非结构化数据(包括文件、图片、音视频文件等)的规模也越来越大,银行业非结构化数据呈指数式爆发式增长。目前使用非结构化数据的主要系统包括内容管理平台、后督影像系统、身份验证、柜员办业务扫描件等需要用到影像图https://redhat.talkwithtrend.com/Article/242823
10.非结构化数据湖存储解决方案XSKY星辰天合将自身先进的 SDS 技术和行业经验,融入到金融行业的数字化转型中,针对金融客户非结构化数据存储场景, 提供文件、对象融合的统一非结构化数据存储平台,利用分布式架构、软硬解耦、多协议互通等特性应对海量小文件的高性能、 高扩展、数据共享等需求;通过冷、温、热数据分层流动/自动归档、自动化运维平台等实https://www.xsky.com/solution/finance/unstructured-data
11.NASvs.对象存储:什么是非结构化数据存储的优秀选择?NASvs.对象存储这两种方法各有利弊,尤其是在非结构化数据存储的情况下。而且,在NAS与对象存储的争论中,适合您组织的存储类型还取决于支持的工作负载类型。 ?将NAS或对象存储用于非结构化数据各有利弊。了解在可扩展性、性能和工作负载类型方面需要考虑的事项。 https://www.51cto.com/article/718813.html
12.非结构化数据一键式对象存储Nutanix告别单点解决方案、存储孤岛和复杂性。Objects 存储可为混合云环境提供大规模的安全 S3 兼容对象存储。 产品试用 客户为何选择 Objects 存储? 简单、安全、支持横向扩展的对象存储,面向大数据、云原生应用和深度归档。 告别非结构化数据的复杂性 对象存储的容量没有上限,数十 PB 的数据位于多个存储孤岛上。现在,通过一https://www.nutanix.com/cn/products/objects
13.适用于非结构化数据的戴尔科技云平台存储解决方案Dell中国树立云存储新标杆 Dell Technologies 提供广泛的专门面向非结构化数据而设计的私有云、多云和原生云存储服务。我们的云服务将戴尔 PowerScale(一款极为灵活1、安全2且高效3的横向扩展 NAS 解决方案)的多项功能扩展到了云中,例如大规模提高性能、提升运营效率以及实现管理简易性。我们助力企业利用其整个数据资产来运行诸如https://www.dell.com/zh-cn/dt/solutions/cloud/powerscale-for-google-cloud.htm
14.非结构化数据中心结构化数据与非结构化数据上传数据至OBS及授权给ModelArts使用 对象存储服务(Object Storage Service)是一款稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 产品详情立即注册一元 域名华为 云桌面 [ 免费体验中心 ]免费领取体验产品,快速开启云上之旅免费 最新文章 替换VolcanoJobr 来自:https://www.huaweicloud.com/theme/103294-3-F
15.非结构化数据越来越复杂,该怎么处理?非结构化数据存储的同城容灾实现方式是:在线区高性能SSD NAS依靠SnapMirror技术,提供数据高可用性和快速https://www.zhihu.com/question/538792203/answer/2731196230
16.非结构化数据管理专家基于文件云实同统一文件平台硬件和网络管理、统一存储管理、实现数据存储生命周期管理,大幅度节省投入和运维 07 安全部门 基于文件云实现非结构化数据资产安全治理&统一安全管控 08 软件开发中心 基于文件云非结构化中台内容存储、内容计算、内容安全相关API 二次开发, 大幅度降低应用开发成本 https://www.linkapp.cn/products/42/0
17.什么是结构化数据和非结构化数据?零代码知识中心如今的企业依靠数据运行。目前的挑战在于存储、管理和保护数据。数据正呈指数级增长,给传统的存储系统带来了压力。 管理数据的第一步是了解不同类型的数据,以及为什么这些差异至关重要。两种主要的数据类型是结构化和非结构化。这两种数据类型在组织和管理方式上存在巨大差异,但在很多方面都可以为企业提供帮助。 https://www.jiandaoyun.com/fe/gdyqhj/
18.非结构化数据的购房(cunchu)选型要点DOIT购房要看地段,看预算,看均价,看品质等等,非结构化数据存储和买现房一样也要看选型,本身体量大,从前选择经济适用型为佳,现在数据存储与生产价值密切关联,“开发商”要做到服务至上才是重点。 为了助力企业实现非结构化数据价值最大化,戴尔科技集团推出UDS非结构化数据解决方案,包含NAS存储PowerScale和对象存储ECS两个系https://www.doit.com.cn/p/475585.html
19.爱数博客揭秘AnyBackup对象存储海量非结构化数据高性能备份这就是为什么海量非结构化数据备份恢复性能低下的根本原因:单位时间内磁盘的吞吐率无法提升。 对象场景下高性能备份恢复方案 面对上述难题,AnyBackup进行了相关研究,设计并研发出了基于AnyShare的高性能备份恢复方案,有效解决了对象存储场景下海量小文件备份恢复性能低下问题。 https://www.aishu.cn/cn/blog/182
20.向量数据库正在重塑非结构化数据的分析方式用于存储非结构化数据的文件系统 在计算机中存储电子数据可以有多种方式,一种可行的方式是文件系统。它将数据安排为文件,然后保存在目录结构中。 由于文件系统允许存储不同的文件类型,因此它是管理非结构化数据的理想方式。它还允许您通过有效地获得洞察力来跨环境和应用程序利用这些数据。 http://cdn.modb.pro/db/609398
21.大数据基础术语精粹来袭结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、标准通用标记语言下的子集XML、HTML、各类报表、图像和音频/视频信息等等。 http://www.mudan.gov.cn/2c908084831c4eb30183205259ac001f/2c908084831c4eb3018320df837d0020/1669185201282129920.html
22.什么是非结构化数据?非结构化数据完整指南Elastic定义非结构化数据并探索数据示例以理解它与结构化数据有哪些不同。了解如何分析非结构化数据,非结构化数据的优点和带来的挑战。https://www.elastic.co/cn/what-is/unstructured-data
23.探索非结构化数据入湖方式及相关技术的最佳实践数字经济观察网非结构化数据入湖的方式取决于数据的类型和来源。其中主要有两类,一类是非结构化数据原始数据入湖,另外一种是非结构化数据的元数据入湖,原始数据存储在原始系统,元数据中包含实际的存储地址。 伴随着人工智能的兴起和数据湖的广泛应用,非结构化数据入湖变得尤为重要。非结构化数据,如文本、图像、音频和视频等,包含https://www.szw.org.cn/20230817/62871.html
24.了解结构化数据与非结构化数据的差异数据用途广泛,有多种形式,并且可以通过多种方式进行组织。一种常见的分类是结构化或非结构化数据,具有不同的存储、处理和分析方法。了解这些差异有助于从任何数据集中提取有价值的见解。 结构化数据与非结构化数据:主要区别 结构化和非结构化数据在许多方面都有所不同。两者都使用不同的工具和方法来处理和分析信息https://www.360doc.cn/article/68899713_1124424478.html