目錄

搭建本地私有倉庫

Docker容器的重啟策略

Harbor 簡介

什么是Harbor

Harbor的特性

Harbor的構(gòu)成

Docker harbor私有倉庫部署

Harbor.cfg配置文件中的參數(shù)

維護管理Harbor?

總結(jié)

---

搭建本地私有倉庫

#首先下載 registry 鏡像
docker pull registry#在 daemon.json 文件中添加私有鏡像倉庫地址
vim /etc/docker/daemon.json
{"insecure-registries": ["192.168.233.10:5000"],?? ??? ??? ??? ??? ??? ?#添加，注意用逗號結(jié)尾"registry-mirrors": ["https://ae3f5qei.mirror.aliyuncs.com"]
}systemctl restart docker.service

運行 registry 容器?

docker run -itd -v /data/registry:/var/lib/registry -p 5000:5000 --restart=always --name registry registry:latest

-itd：在容器中打開一個偽終端進行交互操作，并在后臺運行
-v：把宿主機的/data/registry目錄綁定到容器/var/lib/registry目錄(這個目錄是registry容器中存放鏡像文件的目錄)，來實現(xiàn)數(shù)據(jù)的持久化；
-p：映射端口；訪問宿主機的5000端口就訪問到registry容器的服務了
--restart=always：這是重啟的策略，在容器退出時總是重啟容器
--name registry：創(chuàng)建容器命名為registry
registry:latest：這個是剛才pull下來的鏡像

#為鏡像打標簽
docker tag centos:7 192.168.233.10:5000/centos:v1#上傳到私有倉庫
docker push 192.168.233.10:5000/centos:v1#列出私有倉庫的所有鏡像
curl http://192.168.233.10:5000/v2/_catalog#出私有倉庫的 centos 鏡像有哪些tag
curl http://192.168.233.10:5000/v2/centos/tags/list#先刪除原有的 centos 的鏡像，再測試私有倉庫下載
docker rmi -f 8652b9f0cb4c
docker pull 192.168.233.10:5000/centos:v1

Docker容器的重啟策略

no：默認策略，在容器退出時不重啟容器
on-failure：在容器非正常退出時（退出狀態(tài)非0），才會重啟容器
on-failure:3 ：在容器非正常退出時重啟容器，最多重啟3次
always：在容器退出時總是重啟容器
unless-stopped：在容器退出時總是重啟容器，但是不考慮在Docker守護進程啟動時就已經(jīng)停止了的容器

Harbor 簡介

什么是Harbor

Harbor 是 VMware 公司開源的企業(yè)級 Docker Registry 項目，其目標是幫助用戶迅速搭建一個企業(yè)級的 Docker Registry 服務。

Harbor以 Docker 公司開源的 Registry 為基礎，提供了圖形管理 UI 、基于角色的訪問控制(Role Based AccessControl) 、AD/LDAP 集成、以及審計日志(Auditlogging) 等企業(yè)用戶需求的功能，同時還原生支持中文。

Harbor 的每個組件都是以 Docker 容器的形式構(gòu)建的，使用 docker-compose 來對它進行部署。用于部署 Harbor 的 docker-compose 模板位于 harbor/docker-compose.yml。

Harbor的特性

1、基于角色控制：用戶和倉庫都是基于項目進行組織的，而用戶在項目中可以擁有不同的權限。
2、基于鏡像的復制策略：鏡像可以在多個Harbor實例之間進行復制（同步）。
3、支持 LDAP/AD：Harbor 可以集成企業(yè)內(nèi)部已有的 AD/LDAP（類似數(shù)據(jù)庫的一張表），用于對已經(jīng)存在的用戶認證和管理。
4、鏡像刪除和垃圾回收：鏡像可以被刪除，也可以回收鏡像占用的空間。
5、圖形化用戶界面：用戶可以通過瀏覽器來瀏覽，搜索鏡像倉庫以及對項目進行管理。
6、審計管理：所有針對鏡 像倉庫的操作都可以被記錄追溯，用于審計管理。
7、支持 RESTful API：RESTful API 提供給管理員對于 Harbor 更多的操控, 使得與其它管理軟件集成變得更容易。
8、Harbor和docker registry的關系：Harbor實質(zhì)上是對docker registry做了封裝，擴展了自己的業(yè)務模板。

Harbor的構(gòu)成

Harbor 在架構(gòu)上主要有 Proxy、Registry、Core services、Database（Harbor-db）、Log collector（Harbor-log）、Job services 六個組件。

●Proxy: 是一個 nginx 的前端代理，Harbor 的 Registry、UI、Token 服務等組件，都處在 nginx 反向代理后邊。 該代理將來自瀏覽器、docker clients 的請求轉(zhuǎn)發(fā)到后端不同的服務上。

●Registry: 負責儲存 Docker 鏡像，并處理 Docker push/pull 命令。由于要對用戶進行訪問控制，即不同用戶對 Docker 鏡像 有不同的讀寫權限，Registry 會指向一個 Token 服務，強制用戶的每次 Docker pull/push 請求都要攜帶一個合法的 Token， Registry 會通過公鑰對 Token 進行解密驗證。

認證方式有三種
擴展
令牌
用戶密碼
ssl

●Core services: Harbor的核心功能，主要提供以下3個服務:
1）UI（harbor-ui）: 提供圖形化界面，幫助用戶管理 Registry 上的鏡像（image）, 并對用戶進行授權。
2）WebHook：為了及時獲取Registry上image 狀態(tài)變化的情況，在Registry 上配置 Webhook，把狀態(tài)變化傳遞給 UI 模塊。
3）Token 服務：負責根據(jù)用戶權限給每個 Docker push/pull 命令簽發(fā) Token。Docker 客戶端向 Registry 服務發(fā)起的請求， 如果不包含 Token，會被重定向到 Token 服務，獲得 Token 后再重新向 Registry 進行請求。

●Database（harbor-db）：為core services提供數(shù)據(jù)庫服務，負責儲存用戶權限、審計日志、Docker 鏡像分組信息等數(shù)據(jù)。

●Job services: 主要用于鏡像復制，本地鏡像可以被同步到遠程 Harbor 實例上。

●Log collector（harbor-log）: 負責收集其他組件的日志到一個地方。

Harbor 的每個組件都是以 Docker 容器的形式構(gòu)建的，因此，使用 Docker Compose 來對它進行部署。
總共分為7個容器運行，通過在docker-compose.yml所在目錄中執(zhí)行 docker-compose ps 命令來查看， 名稱分別為：nginx、harbor-jobservice、harbor-ui、harbor-db、harbor-adminserver、registry、harbor-log。
其中 harbor-adminserver 主要是作為一個后端的配置數(shù)據(jù)管理，并沒有太多的其他功能。harbor-ui 所要操作的所有數(shù)據(jù)都通過 harbor-adminserver 這樣一個數(shù)據(jù)配置管理中心來完成。

Docker harbor私有倉庫部署

Harbor服務器?? ??? ??? ?192.168.233.10? ? ? ? docker-ce、docker-compose、harbor-offline-v1.2.2
client服務器?? ??? ??? ?192.168.233.20? ? ? ? docker-ce

1. 部署 Docker-Compose 服務

//下載或者上傳 Docker-Compose

curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-composechmod +x /usr/local/bin/docker-composedocker-compose --version

2. 部署 Harbor 服務
（1）下載或上傳 Harbor 安裝程序

wget http://harbor.orientsoft.cn/harbor-1.2.2/harbor-offline-installer-v1.2.2.tgztar zxvf harbor-offline-installer-v1.2.2.tgz -C /usr/local/

（2）修改harbor安裝的配置文件

vim /usr/local/harbor/harbor.cfg
--5行--修改，設置為Harbor服務器的IP地址或者域名
hostname = 192.168.233.10
--59行--指定管理員的初始密碼，默認的用戶名/密碼是admin/Harbor12345
harbor_admin_password = Harbor12345

Harbor.cfg配置文件中的參數(shù)

關于 Harbor.cfg 配置文件中有兩類參數(shù)：所需參數(shù)和可選參數(shù)
1、所需參數(shù)：這些參數(shù)需要在配置文件 Harbor.cfg 中設置。如果用戶更新它們并運行 install.sh 腳本重新安裝 Harbor， 參數(shù)將生效。具體參數(shù)如下：
●hostname：用于訪問用戶界面和 register 服務。它應該是目標機器的 IP 地址或完全限定的域名（FQDN），例如 192.168.233.10 或 hub.kgc.cn。不要使用 localhost 或 127.0.0.1 為主機名。

●ui_url_protocol：（http 或 https，默認為 http）用于訪問 UI 和令牌/通知服務的協(xié)議。如果公證處于啟用狀態(tài)，則此參數(shù)必須為 https。

●max_job_workers：鏡像復制作業(yè)線程。

●db_password：用于db_auth 的MySQL數(shù)據(jù)庫root 用戶的密碼。

●customize_crt：該屬性可設置為打開或關閉，默認打開。打開此屬性時，準備腳本創(chuàng)建私鑰和根證書，用于生成/驗證注冊表令牌。當由外部來源提供密鑰和根證書時，將此屬性設置為 off。

●ssl_cert：SSL 證書的路徑，僅當協(xié)議設置為 https 時才應用。

●secretkey_path：用于在復制策略中加密或解密遠程 register 密碼的密鑰路徑。

2、可選參數(shù)：這些參數(shù)對于更新是可選的，即用戶可以將其保留為默認值，并在啟動 Harbor 后在 Web UI 上進行更新。如果進入 Harbor.cfg，只會在第一次啟動 Harbor 時生效，隨后對這些參數(shù)的更新，Harbor.cfg 將被忽略。

注意：如果選擇通過 UI 設置這些參數(shù)，請確保在啟動 Harbor 后立即執(zhí)行此操作。具體來說，必須在注冊或在 Harbor 中創(chuàng)建任何新用戶之前設置所需的 auth_mode。當系統(tǒng)中有用戶時（除了默認的 admin 用戶）， auth_mode 不能被修改。 具體參數(shù)如下：
●Email：Harbor 需要該參數(shù)才能向用戶發(fā)送“密碼重置”電子郵件，并且只有在需要該功能時才啟用。請注意，在默認情況下 SSL 連接時沒有啟用。如果 SMTP 服務器需要 SSL，但不支持 STARTTLS，那么應該通過設置啟用 SSL email_ssl = TRUE。

●harbor_admin_password：管理員的初始密碼，只在 Harbor 第一次啟動時生效。之后， 此設置將被忽略，并且應在 UI 中設置管理員的密碼。請注意，默認的用戶名/密碼是admin/Harbor12345。

●auth_mode：使用的認證類型，默認情況下，它是 db_auth，即憑據(jù)存儲在數(shù)據(jù)庫中。對于LDAP身份驗證，請將其設置為 ldap_auth。

●self_registration：啟用/禁用用戶注冊功能。禁用時，新用戶只能由 Admin 用戶創(chuàng)建，只有管理員用戶可以在 Harbor 中創(chuàng)建新用戶。注意：當 auth_mode 設置為 ldap_auth 時，自注冊功能將始終處于禁用狀態(tài)，并且該標志被忽略。

●Token_expiration：由令牌服務創(chuàng)建的令牌的到期時間（分鐘），默認為 30 分鐘。

●project_creation_restriction：用于控制哪些用戶有權創(chuàng)建項目的標志。默認情況下，每個人都可以創(chuàng)建一個項目。 如果將其值設置為“adminonly”，那么只有 admin 可以創(chuàng)建項目。

●verify_remote_cert：打開或關閉，默認打開。此標志決定了當Harbor與遠程 register 實例通信時是否驗證 SSL/TLS 證書。 將此屬性設置為 off 將繞過 SSL/TLS 驗證，這在遠程實例具有自簽名或不可信證書時經(jīng)常使用。

另外，默認情況下，Harbor 將鏡像存儲在本地文件系統(tǒng)上。在生產(chǎn)環(huán)境中，可以考慮 使用其他存儲后端而不是本地文件系統(tǒng)，如 S3、Openstack Swif、Ceph 等對象存儲。但需要更新 common/templates/registry/config.yml 文件。
Harbor的默認鏡像存儲路徑在 /data/registry 目錄下，映射到docker容器里面的 /storage 目錄下。
這個參數(shù)是在 docker-compose.yml 中指定的，在 docker-compose up -d 運行之前修改。
如果希望將 Docker 鏡像存儲到其他的磁盤路徑，可以修改這個參數(shù)。

---

3. 啟動 Harbor
cd /usr/local/harbor/
在配置好了 harbor.cfg 之后，執(zhí)行 ./prepare 命令，為 harbor 啟動的容器生成一些必要的文件（環(huán)境）
再執(zhí)行命令 ./install.sh 以 pull 鏡像并啟動容器

4. 查看 Harbor 啟動鏡像

cd /usr/local/harbor/
docker-compose ps

5. 創(chuàng)建一個新項目
（1）瀏覽器訪問：http://192.168.233.10 登錄 Harbor WEB UI 界面，默認的管理員用戶名和密碼是 admin/Harbor12345

（2）輸入用戶名和密碼登錄界面后可以創(chuàng)建一個新項目。點擊“+項目”按鈕

（3）填寫項目名稱為“myproject-kgc”，點擊“確定”按鈕，創(chuàng)建新項目（4）此時可使用 Docker 命令在本地通過 127.0.0.1 來登錄和推送鏡像。默認情況下，Registry 服務器在端口 80 上偵聽。

//登錄 Harbor
docker login -u admin -p Harbor12345 http://127.0.0.1//下載鏡像進行測試
docker pull nginx//將鏡像打標簽
格式：docker tag 鏡像:標簽 ?倉庫IP/項目名稱/鏡像名:標簽
docker tag nginx:latest 127.0.0.1/myproject-kgc/nginx:v1//上傳鏡像到 Harbor
docker push 127.0.0.1/myproject-kgc/nginx:v1

（5）在 Harbor 界面 myproject-kgc 目錄下可看見此鏡像及相關信息

6. 在其他客戶端上傳鏡像
以上操作都是在 Harbor 服務器本地操作。如果其他客戶端登錄到 Harbor，就會報如下錯誤。出現(xiàn)這問題的原因為Docker Registry 交互默認使用的是 HTTPS，但是搭建私有鏡像默認使用的是 HTTP 服務，所以與私有鏡像交互時出現(xiàn)以下錯誤。

docker login -u admin -p Harbor12345 http://192.168.233.10
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
Error response from daemon: Get https://192.168.233.10/v2/: dial tcp 192.168.233.10:443: connect: connection refused

（1）在 Docker 客戶端配置操作

//解決辦法是：在 Docker server 啟動的時候，增加啟動參數(shù)，默認使用 HTTP 訪問。
vim /usr/lib/systemd/system/docker.service
--13行--修改
ExecStart=/usr/bin/dockerd -H fd:// --insecure-registry 192.168.233.10 --containerd=/run/containerd/containerd.sock
或
ExecStart=/usr/bin/dockerd --insecure-registry 192.168.233.10//重啟 Docker，再次登錄
systemctl daemon-reload
systemctl restart docker//再次登錄 Harbor
docker login -u admin -p Harbor12345 http://192.168.233.10
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Login Succeeded
//將自動保存憑據(jù)到/root/.docker/config.json，下次登錄時可直接使用憑據(jù)登錄 Harbor//下載鏡像進行測試
docker pull 192.168.233.10/myproject-kgc/nginx:v1//上傳鏡像進行測試
docker pull cirros
docker tag cirros:latest 192.168.10.23/myproject-kgc/cirros:v2
docker push 192.168.233.10/myproject-kgc/cirros:v2

（2）刷新 Harbor 的 Web 管理界面進行查看，會發(fā)現(xiàn) myproject-kgc 項目里面有兩個鏡像

維護管理Harbor?

1. 通過 Harbor Web 創(chuàng)建項目
在 Harbor 倉庫中，任何鏡像在被 push 到 regsitry 之前都必須有一個自己所屬的項目。
單擊“+項目”，填寫項目名稱，項目級別若設置為"私有"，則不勾選。如果設置為公共倉庫，則所有人對此項目下的鏡像擁有讀權限，命令行中不需要執(zhí)行"Docker login"即可下載鏡像，鏡像操作與 Docker Hub 一致。

2. 創(chuàng)建 Harbor 用戶
（1）創(chuàng)建用戶并分配權限
在 Web 管理界面中單擊系統(tǒng)管理 -> 用戶管理 -> +用戶，
填寫用戶名為“kgc-zhangsan”，郵箱為“kgc-zhangsan@kgc.com”，全名為“zhangsan”，密碼為“Abc123456”，注釋為“管理員”（可省略）。
附：用戶創(chuàng)建成功后，單擊左側(cè)“...”按鈕可將上述創(chuàng)建的用戶設置為管理員角色或進行刪除操作，本例不作任何設置。

（2）添加項目成員
單擊項目 -> myproject-kgc-> 成員 -> + 成員，填寫上述創(chuàng)建的用戶 kgc-zhangsan 并分配角色為“開發(fā)人員”。
附：此時單擊左側(cè)“...”按鈕仍然可對成員角色進行變更或者刪除操作（3）在客戶端上使用普通賬戶操作鏡像

//刪除上述打標簽的本地鏡像
docker rmi 192.168.233.10/myproject-kgc/cirros:v2//先退出當前用戶，然后使用上述創(chuàng)建的賬戶 kgc-zhangsan 登錄
docker logout 192.168.233.10docker login 192.168.233.10
或
docker login -u kgc-zhangsan -p Abc123456 http://192.168.233.10//下載和上傳鏡像進行測試
docker pull 192.168.233.10/myproject-kgc/cirros:v2docker tag cirros:latest 192.168.233.10/myproject-kgc/cirros:v3
docker push 192.168.233.10/myproject-kgc/cirros:v3

3. 查看日志
Web 界面日志，操作日志按時間順序記錄用戶相關操作

4. 修改 Harbor.cfg 配置文件
要更改 Harbor的配置文件中的可選參數(shù)時，請先停止現(xiàn)有的 Harbor實例并更新 Harbor.cfg；然后運行 prepare 腳本來填充配置； 最后重新創(chuàng)建并啟動 Harbor 的實例。使用 docker-compose 管理 Harbor 時，必須在與 docker-compose.yml 相同的目錄中運行。

cd /usr/local/harbor
docker-compose down -vvim harbor.cfg?? ??? ??? ?#只能修改可選參數(shù)./preparedocker-compose up -d

//如果有以下報錯，需要開啟防火墻 firewalld 服務解決
Creating network "harbor_harbor" with the default driver
ERROR: Failed to Setup IP tables: Unable to enable SKIP DNAT rule: ?(iptables failed: iptables --wait -t nat -I DOCKER -i br-b53c314f45e8 -j RETURN: iptables: No chain/target/match by that name.
?(exit status 1))

systemctl restart firewalld.service
docker-compose up -d

5. 移除 Harbor 服務容器同時保留鏡像數(shù)據(jù)/數(shù)據(jù)庫，并進行遷移
//在Harbor服務器上操作
（1）移除 Harbor 服務容器

cd /usr/local/harbor
docker-compose down -v

（2）把項目中的鏡像數(shù)據(jù)進行打包
//持久數(shù)據(jù)，如鏡像，數(shù)據(jù)庫等在宿主機的/data/目錄下，日志在宿主機的/var/log/Harbor/目錄下

ls /data/registry/docker/registry/v2/repositories/myproject-kgc
cd /data/registry/docker/registry/v2/repositories/myproject-kgc
tar zcvf kgc-registry.tar.gz ./*

6. 如需重新部署，需要移除 Harbor 服務容器全部數(shù)據(jù)

cd /usr/local/harbor
docker-compose down -v
rm -r /data/database
rm -r /data/registry

總結(jié)

?Harbor的核心組件
①Proxy
通過一個前置的反向代理統(tǒng)一接收瀏覽器、Docker 客戶端的請
求，并將請求轉(zhuǎn)發(fā)給后端不同的服務
這是一個反向代理組件
②Registry
負責儲存 Docker 鏡像
處理 docker push/pull 命令來上傳和下載
③Core services
Harbor 的核心功能，包括UI、webhook、 token 服務
webhook：網(wǎng)站的一些服務功能
token：令牌，提供身份驗證服務
④Database
為 core services 提供數(shù)據(jù)庫服務
數(shù)據(jù)庫記錄鏡像的元信息及用戶的身份信息
⑤Log collector
負責收集其他組件的日志，以供然后進行分析
健康檢查等

docker Harbor私有倉庫操作的過程

1.所有的請求或認為的操作都會首先交給proxy（反向代理）
2.proxy會先將請求轉(zhuǎn)發(fā)給后端Core services，Core services 中包含 3.UI、token（身份驗證服務）、webhook（網(wǎng)站的一些服務功能）
4.轉(zhuǎn)發(fā)給registry（鏡像存儲），若需要下載鏡像等權限操作，需要通過Core services中的token令牌的身份驗證服務才行
5.每一次下載和上傳都產(chǎn)生操作記錄，生成日志，保存至database中
6.database記錄保存鏡像的元信息及用戶與組的身份信息，通過驗證授權才能允許相關操作
?