Docker仓库之分布式Harbor清白之年980410

Habor是由VMWare公司开源的容器镜像仓库。事实上,Habor是在DockerRegistry上进行了相应的企业级扩展(也就是二次开发,底层是Registry),从而获得了更加广泛的应用,这些新的企业级特性包括:管理用户界面,基于角色的访问控制,AD/LDAP集成以及审计日志等。容器的核心在于镜象的概念,由于可以将应用打包成镜像,并快速的启动和停止,因此容器成为新的炙手可热的基础设施CAAS,并为敏捷和持续交付包括DevOps提供底层的支持。

总结:Harbor以Docker公司开源的registry为基础,额外提供了如下功能:

->基于角色的访问控制(RoleBasedAccessControl)->基于策略的镜像复制(Policybasedimagereplication)

->镜像的漏洞扫描(VulnerabilityScanning)->AD/LDAP集成(LDAP/ADsupport)

->镜像的删除和空间清理(Imagedeletion&garbagecollection)->友好的管理UI(Graphicaluserportal)

->审计日志(Auditlogging)->RESTfulAPI(可以理解成公共的标准接口)->部署简单(Easydeployment)

Harbor的所有组件都在Dcoker中部署,所以Harbor可使用DockerCompose快速部署。需要特别注意:由于Harbor是基于DockerRegistryV2版本,所以docker必须大于等于1.10.0版本,docker-compose必须要大于1.6.0版本!

Harbor的每个组件都是以Docker容器的形式构建的,可以使用DockerCompose来进行部署。如果环境中使用了kubernetes,Harbor也提供了kubernetes的配置文件。Harbor大概需要以下几个容器组成:

ui(Harbor的核心服务)、

log(运行着rsyslog的容器,进行日志收集)、

mysql(由官方mysql镜像构成的数据库容器)、

Nginx(使用Nginx做反向代理)、

registry(官方的Dockerregistry)、

adminserver(Harbor的配置数据管理器)、

jobservice(Harbor的任务管理服务)、

redis(用于存储session)。

Harbor依赖的外部组件

->Nginx(即Proxy代理层):Nginx前端代理,主要用于分发前端页面ui访问和镜像上传和下载流量;Harbor的registry,UI,token等服务,通过一个前置的反向代理统一接收浏览器、Docker客户端的请求,并将请求转发给后端不同的服务。

->Registryv2:镜像仓库,负责存储镜像文件;Docker官方镜像仓库,负责储存Docker镜像,并处理dockerpush/pull命令。由于我们要对用户进行访问控制,即不同用户对Dockerimage有不同的读写权限,Registry会指向一个token服务,强制用户的每次dockerpull/push请求都要携带一个合法的token,Registry会通过公钥对token进行解密验证。->Database(MySQL或Postgresql):为coreservices提供数据库服务,负责储存用户权限、审计日志、Dockerimage分组信息等数据。

Harbor自有组件

->Coreservices(AdminServer):这是Harbor的核心功能,主要提供以下服务:

->webhook:为了及时获取registry上image状态变化的情况,在Registry上配置webhook,把状态变化传递给UI模块。

->Auth服务:负责根据用户权限给每个dockerpush/pull命令签发token.Docker客户端向Registry服务发起的请求,如果不包含token,会被重定向到这里,获得token后再重新向Registry进行请求。

->API:提供HarborRESTfulAPI(一种统一发规范化请求接口)

->ReplicationJobService:提供多个Harbor实例之间的镜像同步功能。

->Logcollector:为了帮助监控Harbor运行,负责收集其他组件的log,供日后进行分析

Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器,通过上面的自有组件介绍,下面的结构还是比较清楚了。

再来仔细看下Harbor主要组件和数据流走向:

->proxy,它是一个nginx前端代理,主要是分发前端页面ui访问和镜像上传和下载流量,上图中通过深蓝色先标识;->ui提供了一个web管理页面,当然还包括了一个前端页面和后端API,底层使用mysql数据库;->registry是镜像仓库,负责存储镜像文件,当镜像上传完毕后通过hook通知ui创建repository,上图通过红色线标识,当然registry的token认证也是通过ui组件完成;->adminserver是系统的配置管理中心附带检查存储用量,ui和jobserver启动时候回需要加载adminserver的配置,通过灰色线标识;->jobsevice是负责镜像复制工作的,他和registry通信,从一个registrypull镜像然后push到另一个registry,并记录job_log,上图通过紫色线标识;->log是日志汇总组件,通过docker的log-driver把日志汇总到一起,通过浅蓝色线条标识。

误区一:Harbor是负责存储容器镜像的(Harbor是镜像仓库,那么它就应当是存储镜像的)其实关于镜像的存储,Harbor使用的是官方的dockerregistry服务去完成,至于registry是用本地存储或者s3都是可以的,Harbor的功能是在此之上提供用户权限管理、镜像复制等功能,提高使用的registry的效率。

误区二:Harbor镜像复制是存储直接复制(镜像的复制,很多人以为应该是镜像分层文件的直接拷贝)其实Harbor镜像复制采用了一个更加通用、高屋建瓴的做法,通过dockerregistry的API去拷贝,这不是省事,这种做法屏蔽了繁琐的底层文件操作、不仅可以利用现有dockerregistry功能不必重复造轮子,而且可以解决冲突和一致性的问题。

Harbor仓库部署的官方要求的最小系统配置->2个cpu->4g内存->40g硬盘,因为是存储镜像的所以推荐硬盘大点。

Python2.7+(centos7自带的python版本就是2.7.5)DockerEngine1.10+DockerCompose1.6.0+系统版本在Centos7.5以上ip_forward路由转发功能要打开

另Docker18.09.1及以上的版本,系统内核版本需要升级到4.4.x,原因如下

1)CentOS7.x系统自带的3.10.x内核存在一些Bugs,导致运行的Docker、Kubernetes不稳定。2)高版本的docker(1.13以后)启用了3.10kernel实验支持的kernelmemoryaccount功能(无法关闭),当docker节点压力大(如频繁启动和停止容器)时会导致cgroupmemoryleak;3)Docker18.09.1及以上的版本,需要手动升级内核到4.4.X以上;

内核升级步骤如下:

环境的检查和补充

[root@manager-node1~]#cat/etc/redhat-releaseCentOSLinuxrelease7.6.1810(Core)[root@manager-node1~]#uname-r4.4.248-1.el7.elrepo.x86_64#开启路由转发[root@manager-node1~]#echo1>/proc/sys/net/ipv4/ip_forward[root@manager-node1~]#vim/etc/sysctl.confnet.ipv4.ip_forward=1#关闭防火墙,并检查[root@manager-node1~]#systemctlstopfirewalld&&systemctldisablefirewalld&&firewall-cmd--statenotrunning[root@manager-node1~]#vim/etc/sysconfig/selinuxSELINUX=disabled[root@manager-node1~]#getenforceDisabled#检查python版本[root@manager-node1~]#python--versionPython2.7.5#检查docker版本[root@manager-node1~]#docker--versionDockerversion20.10.1,build831ebea#检查docker-compose版本[root@manager-node1~]#docker-compose--versiondocker-composeversion1.27.4,build40524192

如果线上环境有已购买好的HTTPS证书可以直接拿过来用,如果没有,就在Harbor本机进行HTTPS证书自签。这里Harbor本机ip地址是192.168.195.166

harbor的用法概念和我们在Gitlab上的用法概念差不多。

比如创建一个私有项目"test-Harbor",点击进去可以看到推送镜像的信息提示

这里我们就可以在Harbor服务器的终端命令行里到Harbor仓库进行镜像的推送和拉取操作了:

镜像的下载

[root@manager-node2~]#dockerimagesREPOSITORYTAGIMAGEIDCREATEDSIZEcentoslatest300e315adb2f3weeksago209MB[root@manager-node2~]#dockerpull192.168.195.166/test-harbor/nginx@sha256:13e4551010728646aa7e1b1ac5313e04cf75d051fa441396832fcd6d600b5e71192.168.195.166/test-harbor/nginx@sha256:13e4551010728646aa7e1b1ac5313e04cf75d051fa441396832fcd6d600b5e71:Pullingfromtest-harbor/nginx6ec7b7d162b2:Pullcompletecb420a90068e:Pullcomplete2766c0bf2b07:Pullcompletee05167b6a99d:Pullcomplete70ac9d795e79:PullcompleteDigest:sha256:13e4551010728646aa7e1b1ac5313e04cf75d051fa441396832fcd6d600b5e71Status:Downloadednewerimagefor192.168.195.166/test-harbor/nginx@sha256:13e4551010728646aa7e1b1ac5313e04cf75d051fa441396832fcd6d600b5e71192.168.195.166/test-harbor/nginx@sha256:13e4551010728646aa7e1b1ac5313e04cf75d051fa441396832fcd6d600b5e71[root@manager-node2~]#dockerimagesREPOSITORYTAGIMAGEIDCREATEDSIZE192.168.195.166/test-harbor/nginxae2feff98a0c2weeksago133MBcentoslatest300e315adb2f3weeksago209MB

#harbor服务搭建成功后,默认会在安装目录下生成docker-compose.yml文件,通过这个文件harbor可以通过docker-compose进行服务的启停[root@manager-node1harbor]#docker-composestart[root@manager-node1harbor]#docker-composestop#如果需要修改harbor的一些配置,最好配合上面的启停中间加上下面的命令让配置生效[root@manager-node1harbor]#./prepare

THE END
1.GotoLearnGo之基本数据类型除了上述的基本整数类型,Go语言还提供了其他几种整数类型,包括: rune:该类型表示Unicode码点,通常用来表示一个Unicode字符。 byte:与uint8是同义词,表示一个字节。 uintptr:该类型的大小不确定,与平台和编译器有关,但足以存放指针。uintptr通常用于底层编程,特别是与C程序库交互的地方。 https://www.jianshu.com/p/9a47fe922ca3
2.Go语言开发入门与实战一、Go语言的特点 简单易学:语法简洁,易于阅读和维护。 高效并发:原生支持goroutine和channel实现高效并发编程。 跨平台支持:编译后的二进制文件可以直接在多种操作系统上运行。 静态类型:强类型语言,编译时检查错误,提供更高的安全性。 强大的标准库:内置大量网络、I/O、字符串处理等功能模块。 https://zhuanlan.zhihu.com/p/13376334671
3.深入浅出:Go项目依赖管理与gomod的使用gomod依赖go mod是 Go 官方提供的依赖管理工具,它通过go.mod文件来记录项目的依赖关系。go.mod文件包含以下信息: 模块路径:项目的唯一标识符,通常为项目的 Git 仓库 URL。 依赖项:项目所需的外部库及其版本。 替换规则:用于临时替换某些依赖项的路径或版本。 https://blog.csdn.net/zhaoxilengfeng/article/details/144315476
4.文档中心虹软AIA:虹软提供独立离线版 SDK,支持离线或在线运行,可实现局域网、互联网等多种网络需求,并可根据场景需求,将应用部署在公有云上,或者搭建私有云,保障数据隐私性以及安全性。注意当前免费版本SDK首次使用需联网激活,激活后可离线使用;人脸识别增值版SDK同时支持联网激活和纯内网环境离线激活离线使用。 https://ai.arcsoft.com.cn/manual/docs#/42
5.testopenback.axbinsur.com/kta62551438.htm麻豆av中文字网在线观看免费 看我是怎么c哭你叫出来 911.21MB 6769好评 四虎在线网站8848 大香蕉一区二区三区大东北 打肿菊玉势调教姜刑打烂 115.48MB 15好评 好属妞在线观看 色老头人体艺术网 农村人乱弄一区二区 60.14MB 5090好评 天天天操夜夜夜操 四虎影库一级黄片 成人aTV网站 http://testopenback.axbinsur.com/kta62551438.htm
6.GitHub【超全golang面试题合集+golang学习指南+golang知识图谱+入门成长路线】 一份涵盖大部分golang程序员所需要掌握的核心知识。常用第三方库(mysql,mq,es,redis等)+机器学习库+算法库+游戏库+开源框架+自然语言处理nlp库+网络库+视频库+微服务框架+视频教程+音频音乐库+图形图片库+物联网库+地理位置信息+嵌入式脚本https://github.com/18737628639/golangFamily
7.gopkg/awesomegocn:golang的一些第三方包合集awesomeAwesome Go 此项目是 awesome-go 中文版,最后一次同步时间 : 2023-05-16 07:12:32(每隔1天同步一次) 为Awesome Go打赏~ 精选了一系列很棒的Go框架、库和软件。灵感来自于awesome-python。 小图标说明 : 小图标说明 最近一周有更新。可以基本判断当前库处于积极维护状态。 最近三年没有更新。反应了此库的维护https://gitea.mrx.ltd/Go-pkg/awesome-go-cn/src/commit/191279a019bab2dc25fa88dcf388656ef251ea32
8.Docker镜像仓库库来获取最新漏洞信息,并扫描用户上传的容器是否存在已知的漏洞信息,这两个安全功能对于企业级私有仓库来说是非常具有意义的。 Harbor安装有3种方式: 在线安装:从Docker Hub下载Harbor相关镜像,因此安装软件包非常小 离线安装:安装包包含部署的相关镜像,因此安装包比较大 https://developer.aliyun.com/article/1317766
9.好用的在线客服系统Go语言源码go env-wGOPROXY=https://goproxy.cn,direct 下载源码 Github 代码语言:javascript 复制 git clone https://github.com/taoshihan1991/go-fly.git Gitee 代码语言:javascript 复制 git clone https://gitee.com/taoshihan/go-fly.git 导入数据库 提前创建好数据库 https://cloud.tencent.com/developer/article/2167870
10.《Go编程基础》首页文档和下载Go语言的视频语音教程《Go编程基础》是一套针对 Google 出品的 Go 语言的视频语音教程,主要面向新手级别的学习者。 开发环境:Go 语言 1.0.3-1.8.* 版本 开发工具:Sublime Text 2-3 开发系统:Windows 7 64 位 其它说明:每堂课都会建立一个文件(例如:lecturehttps://www.oschina.net/p/go-fundamental-programming
11.FALCON:使用离线和在线学习实现快速准确的多路径调度? 我们设计了 FALCON,一种基于 ML 的多路径调度器,它结合了离线和在线学习的好处在于,使用较少的输入数据即可获得训练有素的多路径调度策略。据我们所知,我们的工作是首次系统地研究多路径调度,该调度优化了适应速度和对时变网络条件的准确性; ?我们使用 quic-go 在 MPQUIC 中实现 FALCON 的协议方面,使用 kerashttp://help.louzhutie.cn/?developer/article/2470399
12.BookStack:BookStack,基于MinDoc,使用Beego开发的在线文档管理增加版本库支持 8个月前 conf merge video 4年前 controllers 增加版本库支持 8个月前 dictionary 替换结巴分词(因为依赖C) 4年前 docker 升级html2md包 5年前 graphics 代码优化 6年前 models 增加版本库支持 8个月前 oauth github oauth登录调整 https://gitee.com/truthhun/BookStack
13.无涯教程网Golang教程完整离线版.pdf它提供垃圾回收,类型安全,动态键?功能,许多?级内置类型,如可变长度数组和键值映射,它还提供了丰富的标准库,Go编程语?于 2009年 ?发布,并在Google的某些?产系统中使?。 本教程是为需要从头了解Go编程语?的软件程序员设计的,本教程将使您对Go编程语?有?够的了解,从那?您可以进?更https://m.book118.com/html/2021/0513/6002242134003145.shtm
14.数据智能知识地图:数据应用+数据能力+数据架构+数据采离线态和在线态均需服务化 精度有微小损失,ML场景影响不大 百万/千万/亿级规模(带宽依赖) 数据提供方增多后性能有所下降,适用5方以下 数据控制力强 不依赖特殊硬件 无硬件信任根,国密化方案较为可控 需融入其它技术联合使用以实现数据安全保护效果 支持部分运算能力,需算法/研发投入,目前主要支持ML 离线态和在线https://doc.mbalib.com/view/0132ff1adc002fd16638cda75f2aa8b4.html
15.隐私政策GoPro本隐私政策适用于作为数据控制方的 GoPro, Inc.(以下简称“GoPro”、“我们”或“我们的”)在我们的业务过程中收集的有关您的信息,包括通过链接到本隐私政策的 GoPro 网站收集的信息;我们的产品;我们的移动和桌面应用程序;以及由 GoPro 运营或代表 GoPro 运营的其他相关在线或离线产品。我们将这些产品、服务、https://gopro.com/zh/cn/legal/privacy-policy
16.jeecg但是打成jar包,运行会提示找不到支付宝依赖。 显示java.lang.NoClassDefFoundError: com/alipay/api/domain/ZolozAuthenticationCustomerFtokenQueryModel之类错误。 原因:因jeecg新版的jeewx-api包与ijpay都引入了alipay-sdk-java,打jar包会有两个alipay-sdk-java包,所以冲突找不到。 http://blog.wandouwang.cn/archives/jeecg-boot245-shi-yong-ijpay-yun-xing-jar-bao-zhao-bu-dao-zhi-fu-bao-ku-yi-lai-wen-ti-jie-jue
17.go语言离线51CTO博客已为您找到关于go语言离线的相关内容,包含IT学习相关文档代码介绍、相关教程视频课程,以及go语言离线问答内容。更多go语言离线相关解答可以来51CTO博客参与分享和学习,帮助广大IT技术人实现成长和进步。https://blog.51cto.com/topic/ad31d0ad60af668.html
18.唐福林博客雨唐福林博客雨进行完这两个操作之后,他就产生了一个 VM,这个 VM 就是一个你可以一键 ssh 进去,它自动把你所有东西都搭配好,这是一个属于你的开发环境,那有了这个东西之后,整个公司可以有一套一致的开发环境,因为是一个 VM,它在哪台机子上运行的方式都一样,所有的依赖库都可以放进去,所以最后的结果就是我们有一个几G的https://tangfl.wordpress.com/