k8s+Jenkins+GitLab-自動(dòng)化部署asp.net core項(xiàng)目

0、目錄

整體架構(gòu)目錄：ASP.NET Core分布式項(xiàng)目實(shí)戰(zhàn)-目錄




k8s架構(gòu)目錄：Kubernetes(k8s)集群部署（k8s企業(yè)級(jí)Docker容器集群管理）系列目錄

此文閱讀目錄：

1、閑聊

2、部署流程介紹

3、部署Harbor倉(cāng)庫(kù)

4、jenkins-slave鏡像搭建

5、部署jenkins

6、jenkins+gitlab掛鉤

7、k8s部署asp.net core項(xiàng)目

一、閑聊

現(xiàn)在基本上是隔幾天寫(xiě)一篇文章，還是不夠勤奮，努力把自己打造成勤奮的人，把工作上面所用到的技術(shù)點(diǎn)分享給大家。為了研究k8s自動(dòng)化部署aspnet
core項(xiàng)目，足足花費(fèi)了我一個(gè)禮拜的時(shí)間，過(guò)程是痛苦的，但結(jié)果是美好的。

如果以下內(nèi)容有不足的地方，請(qǐng)指出，我會(huì)第一時(shí)間更正。謝謝大家。

二、部署流程介紹

1、先上一下手繪導(dǎo)圖，大致的流程圖如下：（不喜勿噴呀）

大致的部署流程是這樣的：開(kāi)發(fā)人員把做好的asp.net core項(xiàng)目代碼通過(guò)git推送到gitlab，然后Jenkins通過(guò) gitlab webhook
（前提是配置好），自動(dòng)從拉取gitlab上面拉取代碼下來(lái)，然后進(jìn)行build，編譯、生成鏡像、然后把鏡像推送到Harbor倉(cāng)庫(kù)；然后在部署的時(shí)候通過(guò)k8s拉取Harbor上面的代碼進(jìn)行創(chuàng)建容器和服務(wù)，最終發(fā)布完成，然后可以用外網(wǎng)訪(fǎng)問(wèn)。（ps:看著我講這么簡(jiǎn)單，但心里有許多小鹿在心里亂撞，沒(méi)關(guān)系，下面將會(huì)好好的分享給大家）

當(dāng)然啦，上面只是粗略的，請(qǐng)看下圖才更加形象。

2、先介紹一下我的服務(wù)器IP和在各個(gè)服務(wù)器上面所安裝的內(nèi)容

ps:由于我的電腦配置有限，運(yùn)行太多的虛擬機(jī)會(huì)導(dǎo)致內(nèi)存空間不夠用，因此就弄了三臺(tái)，已經(jīng)是極限了。

如果大家對(duì)于k8s怎么部署，請(qǐng)看我之前的文章有介紹。前提是要安裝好docker環(huán)境、gitlab等

IP 角色
192.168.161.151 master1、Harbor、Jenkins
192.168.161.152 node1
192.168.161.153 node2、Gitlab
三、部署Harbor倉(cāng)庫(kù)

第一步：下載harbor二進(jìn)制文件：https://github.com/goharbor/harbor/releases

第二步：安裝 docker compose

命令：

sudo curl -L
https://github.com/docker/compose/releases/download/1.22.0/docker-compose-$(uname
-s)-$(uname -m) -o /usr/local/bin/docker-compose

然后把下載的docker-compose 設(shè)置可執(zhí)行權(quán)限

命令：chmod +x /usr/local/bin/docker-compose

第三步：此處應(yīng)該設(shè)置自簽證書(shū)的，即訪(fǎng)問(wèn)的時(shí)候是采用HTTPS進(jìn)行訪(fǎng)問(wèn)的。此處略去，不影響我們接下去的部署。（后期會(huì)出一篇關(guān)于自簽證書(shū)的文章，僅供參考）

第四步：將下載好的Harbor二進(jìn)制包上傳到服務(wù)器上面，然后解壓出來(lái)

解壓的命令為： tar xzvf 包名

第五步：進(jìn)入解壓出來(lái)的文件夾harbor中，有如下文件。

配置文件，vi harbor.cfg

把其中的hostname修改為：master1 的IP地址。

然后 修改harbor的登錄密碼：為了方便起見(jiàn)，我修改為123456,大家可自行修改

第六步：在當(dāng)前文件夾中開(kāi)啟harbor

執(zhí)行命令：

./prepare

./install.sh (運(yùn)行此處的時(shí)候需要一定的時(shí)間，請(qǐng)等待吧)

第七步：?jiǎn)?dòng)成功，查看一下（完美的運(yùn)行）

docker-compose ps

用瀏覽器查看一下（出現(xiàn)以下內(nèi)容，代表成功，完美）

進(jìn)入到里面后，我先在用戶(hù)管理中創(chuàng)建了一個(gè)用戶(hù) louie 。大家自行創(chuàng)建，為了后期需要把一些依賴(lài)鏡像先推送到harbor倉(cāng)庫(kù)中。然后在項(xiàng)目中創(chuàng)建項(xiàng)目，如下：

所創(chuàng)建的項(xiàng)目，并且，我在每個(gè)項(xiàng)目中都加入了我剛才所創(chuàng)建的用戶(hù)，方便后期登錄并推送鏡像

此處介紹一下我的項(xiàng)目，coresdk 主要用來(lái)存放 asp.net core
所需要的sdk；ops主要是用來(lái)存放的jenkins鏡像和jenkins-slave鏡像；projectdemo 主要存放我的asp.netcore
項(xiàng)目的鏡像，供k8s拉取。

至此，harbor部署完成。

四、jenkins-slave鏡像搭建



操作服務(wù)器：node1

說(shuō)明:jenkins-slave 主要是為了分擔(dān)jenkins-master的壓力。如下圖所示：（在多任務(wù)運(yùn)行的時(shí)候可以采用）

1、為了創(chuàng)建jenkins-slave鏡像，我這邊準(zhǔn)備了三個(gè)文件

Dockerfile：構(gòu)建jenkins-slave鏡像

jenkins-slave：shell腳本（需要加入可執(zhí)行權(quán)限 chmod +x jenkins-slave），在鏡像構(gòu)建時(shí)需要用到。

slave.jar: 啟動(dòng)腳本

Dockerfile 文件內(nèi)容如下（如需源文件可加入QQ群獲取），如下圖所示：可以看到 jenkins-slave需要依賴(lài)java的一些環(huán)境。

2、配置java的基礎(chǔ)環(huán)境。

配置 JDK和maven，把下載的二進(jìn)制包放到如下目錄（由于文件太大，可移步到群中下載）

apache-maven-3.5.3-bin.tar.gz解壓到的地址為 /usr/local/maven里面。
jdk-8u45-linux-x64.tar.gz解壓到的地址為 /usr/local/jdk里面。

3、準(zhǔn)備好環(huán)境后，剛才構(gòu)建鏡像，如下：

執(zhí)行命令：

構(gòu)建完成后把鏡像推送到Harbor倉(cāng)庫(kù)中。

在推送的過(guò)程中需要先登錄到harbor倉(cāng)庫(kù)

執(zhí)行命令： docker login 192.168.161.151

執(zhí)行后發(fā)現(xiàn)及時(shí)輸入賬號(hào)和密碼也無(wú)法登錄，由于在node1中沒(méi)有添加harbor倉(cāng)庫(kù)的IP地址導(dǎo)致無(wú)法登錄，因此

執(zhí)行命令： vi /etc/docker/daemon.json

把下圖的紅色圈的部分加入，然后重啟一下docker。

執(zhí)行 docker info ，看一下IP地址是否生效，發(fā)現(xiàn)已加入。好了，在試一下登錄，發(fā)現(xiàn)登錄成功，然后開(kāi)始推送把。

當(dāng)然harbor 上也給出了 鏡像推送的語(yǔ)句

開(kāi)始推送：docker push 192.168.161.151/ops/jenkins-slave

至此，jenkins-slave 鏡像已推送完畢。

五、部署jenkins



部署jenkins時(shí)，我把jenkins的數(shù)據(jù)卷采用pv/pvc、nfs 進(jìn)行掛載。

1、需要準(zhǔn)備文件有

jenkins-service-account.yml :jenkins的服務(wù)賬號(hào)創(chuàng)建

jenkins.yml : 創(chuàng)建容器和service 服務(wù)得。進(jìn)行可以訪(fǎng)問(wèn)。

Dockerfile ：主要用來(lái)生成 jenkins 鏡像的。

registry-pull-secret.yaml：主要是用來(lái)部署時(shí)可以直接登錄harbor倉(cāng)庫(kù)來(lái)拉取鏡像（在部署jenkins需要用到）

2、開(kāi)始吧。

切換到node1服務(wù)器，把之前準(zhǔn)備好的Dockerfile文件構(gòu)建一下

命令：docker build -t 192.168.161.151/ops/jenkins:lts-alpine .

然后推送到Harbor倉(cāng)庫(kù)中，命令：docker push 192.168.161.150/ops/jenkins:lts-alpine

3、切換到master 服務(wù)器上

構(gòu)建 jenkins-service-account.yml 和jenkins.yml 文件以及registry-pull-secret.yaml

特別注意registry-pull-secret.yaml 中的namespace,需要早k8s中創(chuàng)建，以及
data里面的64位認(rèn)證信息（需要登錄harbor倉(cāng)庫(kù)后生成的信息黏貼在這里）

執(zhí)行上上面的文件后，命令： kubectl create -f 文件名。

生成如下，發(fā)現(xiàn)jenkins已在運(yùn)行，而且是運(yùn)行在153節(jié)點(diǎn)上。那么開(kāi)始用瀏覽器訪(fǎng)問(wèn)把

查看一下 service ，jenkins的外部訪(fǎng)問(wèn)端口為誒 30001.

4、輸入訪(fǎng)問(wèn)地址：http://192.168.161.153:30001/

在第一次登陸的時(shí)候需要密碼進(jìn)行解鎖jenkins，按照提示獲取密碼即可。

然后選擇 “”插件來(lái)安裝“”，如果需要特別的插件直接選擇，否則直接安裝即可。

5、要想把jenkins關(guān)聯(lián)到k8s中需要安裝幾個(gè)插件

打開(kāi) “系統(tǒng)管理” =》“管理插件” 然后安裝

Kubernetes Continuous Deploy、Kubernetes、Gitlab Hook 、GitLab、Build
Authorization Token

6、安裝完畢后就開(kāi)始構(gòu)建項(xiàng)目啦。

我新建一個(gè)項(xiàng)目，然后選擇 流水線(xiàn)、然后點(diǎn)擊確定。

7、創(chuàng)建完任務(wù)后先不進(jìn)行配置，我們先要設(shè)置一下jenkins掛鉤k8s的環(huán)境

點(diǎn)擊 “系統(tǒng)管理”=》“系統(tǒng)設(shè)置”。一直往下滑動(dòng)，點(diǎn)擊“新增一個(gè)云”，選擇k8s，如果這邊沒(méi)有出現(xiàn)k8s，則代表你的插件沒(méi)有安裝成功，請(qǐng)重新安裝吧。


然后配置一下里面的內(nèi)容，只要配置這兩個(gè)地方就可以了。針對(duì)URL，我這邊是采用kube-dns來(lái)做服務(wù)發(fā)現(xiàn)，不需要實(shí)際的ip地址進(jìn)行輸入。至此搞定。不過(guò)還得配置一下
“憑證”，即SSH密鑰，方便可以從gitlab那邊拉取代碼，有玩過(guò)gitlab應(yīng)該知道，拉取代碼分為git和http。

8、添加憑證

在這里我添加了兩個(gè)憑證，一個(gè)是ssh，和k8s的憑證。這個(gè)可自行添加一下即可。root中的密鑰時(shí)私鑰，并且在服務(wù)器上需要把公鑰配置到gitlab上。

這下面是gitlab 上面配置ssh， ssh的私鑰和公鑰，直接在 node服務(wù)器上生成一下即可 ssh-keygen, 然后把里面的內(nèi)容復(fù)制出來(lái)即可。

六、jenkins+gitlab掛鉤



上面已經(jīng)創(chuàng)建了一個(gè)任務(wù)。然后我們開(kāi)始配置這個(gè)任務(wù)里面的內(nèi)容并且與gitlab掛鉤把

1、進(jìn)入testproject里面配置。按照以下圖配置完后即可。然后點(diǎn)擊保存。這樣就完成了任務(wù)配置，接下來(lái)就是要配置一下gitlab啦

2、配置gitlab

在gitlab中我創(chuàng)建了一個(gè)項(xiàng)目Testproject

然后進(jìn)入到項(xiàng)目中，點(diǎn)擊 “Settings”=》Integrations

把上面URL和Token復(fù)制到這邊，然后點(diǎn)擊保存即可。接下來(lái)就是測(cè)試一下這個(gè)配置是否可以用

將上面創(chuàng)建好的webhook 進(jìn)行測(cè)試，gitlab會(huì)模擬代碼推送事件，返回200就代表成功啦。

成功啦。

七、終于到了我們asp.net core項(xiàng)目啦

github地址：上面有完整的代碼 https://github.com/LouieGuo/testproject,記得fork me喲。感謝感謝。

在這里我創(chuàng)建了一個(gè)asp.net core webapi 的項(xiàng)目，不做任何修改。然后在項(xiàng)目中加入了這幾個(gè)部署文件。

deploy文件里面包含 Jenkinsfile 和deploy.yml(用來(lái)部署項(xiàng)目鏡像的)

Dockerfile ：中是用來(lái)構(gòu)建項(xiàng)目鏡像 的

dockerfile 內(nèi)容，當(dāng)然里面的sdk我已經(jīng)打包好了，已經(jīng)上傳到我的harbor倉(cāng)庫(kù)中。

到目前為止 我們就可以開(kāi)始上傳代碼到gitlab上，然后自動(dòng)觸發(fā)構(gòu)建啦。

上傳后再這邊會(huì)出現(xiàn)構(gòu)建進(jìn)行，我們可以查看 控制臺(tái)輸出

輸出、以及構(gòu)建成功

在master上面查看

發(fā)現(xiàn)已經(jīng)運(yùn)行我的項(xiàng)目啦，用瀏覽器訪(fǎng)問(wèn)以下。

查看一下外部發(fā)布的端口

運(yùn)行成功啦。這篇文章寫(xiě)了好久，可能中間有漏掉的步驟，歡迎大家留言，后期補(bǔ)充。

github：fork me

本文轉(zhuǎn)自CSDN-k8s+Jenkins+GitLab-自動(dòng)化部署asp.net core項(xiàng)目
<https://yq.aliyun.com/go/articleRenderRedirect?url=https%3A%2F%2Fblog.csdn.net%2Fahilll%2Farticle%2Fdetails%2F81980875>

• ? 上一篇： 6 個(gè) K8s 日志系統(tǒng)建設(shè)中的典型問(wèn)題，你遇到過(guò)幾個(gè)？
• ? 下一篇： 十分鐘帶你理解Kubernetes核心概念