Docker on 丸子有记, 记录生活、分享技术，专注于运维架构、运维开发(devops)。

kind构建轻量级kubernetes集群

wzdushu@gmail.com (wanzi) — Thu, 13 Apr 2023 18:22:42 +0800

最近在复习Golang，写了一个web应用，本地跑通以后想在k8s集群测试一番，苦于机器配置原因，搭建一套完整的k8s集群还是有一些力不从心，记得之前有朋友说过docker里也可以跑k8s，于是这就折腾了一番。

今天的主角是kind,那么kind是什么呢？kind可以用来干什么呢？

一、kind介绍

kind是Kubernetes In Docker缩写，一个使用docker容器节点来运行本地的kubernetes集群工具，kind主要用于测试kubernetes本身，适用于本地开发或者CI。

对于kind目前几乎支持kubernetes官方所有版本，对于运行时目前仅支持docker，未来会逐步支持CRI里常用运行时，相信未来一些日子，会慢慢支持conterned。

其实，kind管理集群过程，是在使用kubeadm、kustomize等开源组件来进行工作。

废话不多说，下面我们就快速安装使用kind。

二、kind安装

由于我系统是mac osx所以，我这里直接使用brew安装：

# brew install kind
==> Downloading https://mirrors.ustc.edu.cn/homebrew-bottles/kind-0.17.0.arm64_monterey.bottle.tar.gz
Already downloaded: /Users/wanzi/Library/Caches/Homebrew/downloads/bcd419997297730492f5cebc36be86fb51f21061a6ddb2e066e1e4d8ad33ddf3--kind-0.17.0.arm64_monterey.bottle.tar.gz
==> Pouring kind-0.17.0.arm64_monterey.bottle.tar.gz
==> Caveats
zsh completions have been installed to:
  /opt/homebrew/share/zsh/site-functions
==> Summary
🍺  /opt/homebrew/Cellar/kind/0.17.0: 8 files, 8.7MB
==> Running `brew cleanup kind`...
Disable this behaviour by setting HOMEBREW_NO_INSTALL_CLEANUP.
Hide these hints with HOMEBREW_NO_ENV_HINTS (see `man brew`).
# kind version
kind v0.17.0 go1.19.2 darwin/arm64

对于linux安装：

1
2
3

curl -Lo ./kind https://kind.sigs.k8s.io/dl/v0.17.0/kind-linux-amd64
chmod +x ./kind
sudo mv ./kind /usr/local/bin/kind

当然，如果你是windows，也可以使用Chocolatey安装；或者使用二进制方式，这些官方都支持。

三、创建第一个集群

在操作之前，docker和kubectl是我们需要提前准备，具体安装我这里就先忽略。

# kind help
kind creates and manages local Kubernetes clusters using Docker container 'nodes'

Usage:
  kind [command]

Available Commands:
  build       Build one of [node-image]
  completion  Output shell completion code for the specified shell (bash, zsh or fish)
  create      Creates one of [cluster]
  delete      Deletes one of [cluster]
  export      Exports one of [kubeconfig, logs]
  get         Gets one of [clusters, nodes, kubeconfig]
  help        Help about any command
  load        Loads images into nodes
  version     Prints the kind CLI version

Flags:
  -h, --help              help for kind
      --loglevel string   DEPRECATED: see -v instead
  -q, --quiet             silence all stderr output
  -v, --verbosity int32   info log verbosity, higher value produces more output

Use "kind [command] --help" for more information about a command.

对于kind help命令，我们知道kind支持build,create,delete,get,load等操作，对于子命令可以通过-h获取更多讯息。

kind创建一个集群，在创建集群之前我们需要确保~/.kube目录存在，因为创建过程中，kind会将集群API地址、证书等信息写入kubeconfig。

# kind create cluster
Creating cluster "kind" ...
 ✓ Ensuring node image (kindest/node:v1.25.3) 🖼
 ✓ Preparing nodes 📦
 ✓ Writing configuration 📜
 ✓ Starting control-plane 🕹️
 ✓ Installing CNI 🔌
 ✓ Installing StorageClass 💾
Set kubectl context to "kind-kind"
You can now use your cluster with:

kubectl cluster-info --context kind-kind

Have a nice day! 👋

# kubectl get node
NAME                 STATUS   ROLES           AGE     VERSION
kind-control-plane   Ready    control-plane   9m21s   v1.25.3
# kubectl get pods -A
NAMESPACE            NAME                                         READY   STATUS    RESTARTS   AGE
kube-system          coredns-565d847f94-kp6l7                     1/1     Running   0          9m15s
kube-system          coredns-565d847f94-ml28b                     1/1     Running   0          9m15s
kube-system          etcd-kind-control-plane                      1/1     Running   0          9m32s
kube-system          kindnet-hfsc8                                1/1     Running   0          9m15s
kube-system          kube-apiserver-kind-control-plane            1/1     Running   0          9m31s
kube-system          kube-controller-manager-kind-control-plane   1/1     Running   0          9m33s
kube-system          kube-proxy-m9zp5                             1/1     Running   0          9m15s
kube-system          kube-scheduler-kind-control-plane            1/1     Running   0          9m33s
local-path-storage   local-path-provisioner-684f458cdd-d7f29      1/1     Running   0          9m15s

这样我们第一个集群就用kind创建完成。

四、集群操作：

1、kind自定义集群名称：

# kind create cluster --name ci-cluster
Creating cluster "ci-cluster" ...
 ✓ Ensuring node image (kindest/node:v1.25.3) 🖼
 ✓ Preparing nodes 📦
 ✓ Writing configuration 📜
 ✓ Starting control-plane 🕹️
 ✓ Installing CNI 🔌
 ✓ Installing StorageClass 💾
Set kubectl context to "kind-ci-cluster"
You can now use your cluster with:

2、切换集群：

# kubectl cluster-info --context kind-ci-cluster
Kubernetes control plane is running at https://127.0.0.1:56527
CoreDNS is running at https://127.0.0.1:56527/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.

Have a nice day! 👋

3、查看kind所有集群

1
2
3

# kind get clusters
ci-cluster
kind

4、导入镜像

默认kind node节点是无法读取宿主机镜像，需要手动导入到kind

node节点：

# kind load docker-image --name ci-cluster --nodes  ci-cluster-control-plane  traefik:v2.9.5
# docker exec -it ci-cluster-control-plane bash
root@ci-cluster-control-plane:/# crictl images  |grep traefik
docker.io/library/traefik                  v2.9.5               a1252ce6bfaaa       132MB

五、集群配置：

1、多节点集群

对于前面，我们介绍了kind创建集群，默认集群只有一个节点，下面介绍如何创建多个节点。

创建config.yaml内容如下：

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
- role: worker
- role: worker

重新创建集群

# kind create cluster --config config.yaml
# kubectl get node
NAME                 STATUS   ROLES           AGE    VERSION
kind-control-plane   Ready    control-plane   110s   v1.25.3
kind-worker          Ready    <none>          74s    v1.25.3
kind-worker2         Ready    <none>          88s    v1.25.3

kind本身也可以支持多master高可用部署，这里我主要测试就不简单介绍。

### 2、自定义kubernetes集群版本

```Yaml
kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
- role: worker
  images: kindest/node:v1.24.7@sha256:577c630ce8e509131eab1aea12c022190978dd2f745aac5eb1fe65c0807eb315

3、挂载宿主机目录到节点容器持久化存储

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
  extraMounts:
  - hostPath: /Users/wanzi/tools/kind/files
    containerPath: /files
  - hostPath: /Users/wanzi/tools/kind/other-files/
    containerPath: /other-files
    readOnly: true
    selinuxRelabel: false
    propagation: None

4、端口映射

宿主机端口80映射到nodePort 30950，kind节点containerPort需要和Service的nodePort端口相同

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
  extraPortMappings:
  - containerPort: 30950
    hostPort: 80

kind: Pod
apiVersion: v1
metadata:
  name: foo
  labels:
    app: foo
spec:
  containers:
  - name: foo
    image: hashicorp/http-echo:0.2.3
    args:
    - "-text=foo"
    ports:
    - containerPort: 5678
---
apiVersion: v1
kind: Service
metadata:
  name: foo
spec:
  type: NodePort
  ports:
  - name: http
    nodePort: 30950
    port: 5678
  selector:
    app: foo

5、自定义label

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
- role: worker
  extraPortMappings:
  - containerPort: 30950
    hostPort: 80
  labels:
    tier: frontend
- role: worker
  labels:
    tier: backend

6、kubeadm自定义配置：

kind用kubeadm配置集群，他会在第一个控制平面节点上运行kubeadm init,我们可以对它进行自定义：

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
  kubeadmConfigPatches:
  - |
    kind: InitConfiguration
    nodeRegistration:
      kubeletExtraArgs:
        node-labels: "my-label=true"

如果你想做更多的定制，有四种配置类型可供选择kubeadm init

InitConfiguration
ClusterConfiguration
KubeProxyConfiguration
KubeletConfiguration

例如，我们可以使用 kubeadm ClusterConfiguration ( spec ) 覆盖 apiserver 标志:

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
  kubeadmConfigPatches:
  - |
    kind: ClusterConfiguration
    apiServer:
        extraArgs:
          enable-admission-plugins: NodeRestriction,MutatingAdmissionWebhook,ValidatingAdmissionWebhook

在 KIND管理HA的集群中配置的每个附加节点上，KIND运行kubeadm join可以使用JoinConfiguration自定义配置：

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
- role: worker
- role: worker
  kubeadmConfigPatches:
  - |
    kind: JoinConfiguration
    nodeRegistration:
      kubeletExtraArgs:
        node-labels: "my-label2=true"
- role: control-plane
  kubeadmConfigPatches:
  - |
    kind: JoinConfiguration
    nodeRegistration:
      kubeletExtraArgs:
        node-labels: "my-label3=true"

7、配置ingress

允许本地主机通过端口80/443向Ingress控制器发出请求，并配置控制器特定label

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
  kubeadmConfigPatches:
  - |
    kind: InitConfiguration
    nodeRegistration:
      kubeletExtraArgs:
        node-labels: "ingress-ready=true"
  extraPortMappings:
  - containerPort: 80
    hostPort: 80
    protocol: TCP
  - containerPort: 443
    hostPort: 443
    protocol: TCP

`1`	`kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/main/deploy/static/provider/kind/deploy.yaml`

六、完整集群配置

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
#增加多结点集群,并自定义node的集群版本
- role: control-plane
  images: kindest/node:v1.24.7@sha256:577c630ce8e509131eab1aea12c022190978dd2f745aac5eb1fe65c0807eb315
  kubeadmConfigPatches:
  - |
    kind: InitConfiguration
    nodeRegistration:
      kubeletExtraArgs:
        node-labels: "ingress-ready=true"
  extraPortMappings:
  - containerPort: 80
    hostPort: 80
    protocol: TCP
  - containerPort: 443
    hostPort: 443
    protocol: TCP
- role: worker
  images: kindest/node:v1.24.7@sha256:577c630ce8e509131eab1aea12c022190978dd2f745aac5eb1fe65c0807eb315
  labels:
    app: front
  extraMounts:
  - hostPath: /Users/wanzi/tools/kind/wwwroot
    containerPath: /wwwroot
- role: worker
  images: kindest/node:v1.24.7@sha256:577c630ce8e509131eab1aea12c022190978dd2f745aac5eb1fe65c0807eb315
  labels:
    app: backend
  extraMounts:
  - hostPath: /Users/wanzi/tools/kind/wwwroot
    containerPath: /wwwroot
networking:
  #自定义配置APIServer和网络
  apiServerAddress: "127.0.0.1"
  apiServerPort: 6443
  podSubnet: "10.244.0.0/16"
  serviceSubnet: "10.96.0.0/12"
  #disableDefaultCNI: true #默认CNI插件为kindnetd，也可以禁用使用其他插件比如calico
  kubeProxyMode: "ipvs" #设置kubeproxy模式为lvs,如果要禁用可以设置none

至此，使用kind来快速构建集群算是告一段落，平常就可以用它跑测试，验证功能了。

参考文档： https://kind.sigs.k8s.io https://github.com/kubernetes-sigs/kind

自定义Jenkins Agent集成docker和kubectl工具

wzdushu@gmail.com (wanzi) — Wed, 22 Mar 2023 18:22:42 +0800

由于我们Jenkins构建的时候，官方提供的jenkins-agent没有我们使用的工具，比如helm，kubectl，curl，argocd等，因此，我们需要集成进来。

注意官方镜像名称有变化： jenkins/agent镜像，原名称为jenkins/slave，从4.3-2 开始更名为jenkins/agent jenkins/inbound-agent 镜像：原名称为 jenkins/jnlp-slave ，从 4.3-2 开始更名为 jenkins/inbound-agent

Dockerfile

FROM jenkins/inbound-agent:4.11-1-alpine-jdk11
 
USER root
 
ADD docker/docker /usr/bin/docker
ADD kubectl /usr/bin/kubectl
ADD helm /usr/bin/helm
 
RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories
RUN chmod +x /usr/bin/docker /usr/bin/kubectl /usr/bin/helm
RUN apk add curl
 
ENTRYPOINT ["/usr/local/bin/jenkins-agent"]

构建

`1`	`docker build -t harbor.test.com/tools/jnlp-docker:4.11-1-alpine-jdk11 -f Dockerfile .`

Dockerfile多阶段构建

wzdushu@gmail.com (wanzi) — Mon, 02 Jul 2018 16:22:42 +0800

Docker多阶段构建理解:

构建镜像需要有一个基础镜像,后续操作就会基于该基础镜像构建
docker镜像文件里有层级概念,每执行一次RUN指令,镜像就会多一层,所以通过减少层级来减少镜像大小
多个from的时候,只有最后一个from的镜像才是镜像的根镜像

自己项目部署中多阶段构建示例, 这里基于golang基础镜像编译以后的二进制直接copy到基于alpine构建的最小镜像里:

FROM golang:1.12.7 as build
MAINTAINER wanzi <iwz2099@163.com>
 
# 编译配置相关
ARG NAME=gaia
ARG FLAGS=-tags=jsoniter
ARG GOOS=linux
ARG GOARCH=amd64
ARG PORT_TO_EXPOSE=10020
 
ENV GOPROXY https://mirrors.aliyun.com/goproxy/
ENV GO111MODULE on
 
WORKDIR /opt/gaia
COPY . .
RUN GOOS=$GOOS GOARCH=$GOARCH go build -mod vendor -ldflags="-s -w" -o $NAME $FLAGS
 
FROM alpine
WORKDIR /opt/gaia
COPY --from=build /opt/gaia/gaia .
RUN mkdir -p /opt/gaia/conf
VOLUME ["/opt/gaia/conf"]
 
CMD ["./gaia"]
EXPOSE $PORT_TO_EXPOSE

Dockerfile语法详情

wzdushu@gmail.com (wanzi) — Thu, 21 Jun 2018 16:22:42 +0800

FROM

指定构建镜像使用的基础镜像,FROM必须是Dockerfile中非注释行的第一个指令,如果本地没有指定的镜像，则会自动从Docker的公共库pull镜像下来。例子：

`1`	`FROM ubuntu:14.04 #继承ubuntu:14.04`

MAINTAINER

指定创建者信息

`1`	`MAINTAINER wanzi "iwz2099@163.com"`

ENV

设置环境变量，会被后续 RUN 指令使用，并在容器运行时保持。 ENV # 只能设置一个变量 ENV = … # 允许一次设置多个变量例子：

1
2

ENV LANG en_US.UTF-8
ENV LANG=en_US.UTF-8 LC_ALL=en_US.UTF-8

RUN

RUN 或 RUN [“executable”, “param1”, “param2”]。例子：

1
2

RUN yum -y install bind-utils
RUN ["/bin/bash", "-c", "yum -y install bind-utils"]

前者将在shell终端中运行命令,即 /bin/sh -c yum -y install bind-utils；后者则使用exec执行。指定使用其它终端可以通过第二种方式实现。每条RUN指令将在当前镜像基础上执行指定命令，并提交为新的镜像，后续的RUN都在之前RUN提交后的镜像为基础，镜像是分层的，可以通过一个镜像的任何一个历史提交点来创建，类似源码的版本控制。当命令较长时可以使用 \ 来换行。

COPY:

COPY 例子：

`1`	`COPY script/ /build/script/`

复制本地主机的（为Dockerfile所在目录的相对路径）到容器中的 ,当使用本地目录为源目录时，推荐使用 COPY。

ADD

ADD 例子：

1
2

ADD https://www.baidu.com/index.html   /var/www/html/
ADD ubuntu-xenial-core-cloudimg-amd64-root.tar.gz /

该命令将复制指定的到容器中的。其中可以是Dockerfile所在目录的一个相对路径；也可以是一个 URL(自动下载后复制到容器)；还可以是一个tar文件（自动解压为目录）。

VOLUME

1
2

VOLUME [ "/data" ]
VOLUME [ "/var/lib/redis", "/var/log/redis" ]

声明一个数据卷, 可用于挂载, []里面是路径，创建一个可以从本地主机或其他容器挂载的挂载点，一般用来存放数据库和需要保持的数据等。

USER

USER 镜像正在运行时设置的一个UID,RUN命令执行时的用户

CMD

支持三种格式 CMD [“executable”,“param1”,“param2”] 使用 exec 执行，推荐方式； CMD command param1 param2 在 /bin/sh 中执行，提供给需要交互的应用； CMD [“param1”,“param2”] 提供给 ENTRYPOINT 的默认参数；指定启动容器时执行的命令，每个 Dockerfile 只能有一条 CMD 命令。如果指定了多条命令，只有最后一条会被执行。

WORKDIR

指定RUN、CMD与ENTRYPOINT命令的工作目录例子:

`1`	`WORKDIR /opt/nodeapp`

ONBUILD

ONBUILD [INSTRUCTION] 配置当所创建的镜像作为其它新创建镜像的基础镜像时，所执行的操作指令。

例如:Dockerfile使用如下的内容创建了镜像image-A。

1
2

ONBUILD ADD . /app/src
ONBUILD RUN /usr/local/bin/python-build --dir /app/src

例如:如果基于 image-A 创建新的镜像时，新的Dockerfile中使用 FROM image-A指定基础镜像时，会自动执行 ONBUILD 指令内容，等价于在后面添加了两条指令。

FROM image-A
#Automatically run the following
ADD . /app/src
RUN /usr/local/bin/python-build --dir /app/src

使用 ONBUILD 指令的镜像，推荐在标签中注明，例如 ruby:1.9-onbuild。

ENTRYPOINT

配置容器启动后执行的命令，并且不可被docker run提供的参数覆盖，而CMD是可以被覆盖的。如果需要覆盖，则可以使用docker run –entrypoint选项。每个Dockerfile中只能有一个ENTRYPOINT，当指定多个时，只有最后一个生效。支持两种格式 ENTRYPOINT [ “nodejs”, “server.js” ] ENTRYPOINT command param1 param2（shell中执行）

EXPOSE

EXPOSE 告知服务器容器在运行时监听的端口,在启动容器时需要通过 -P，Docker 主机会自动分配一个端口转发到指定的端口。例子：

`1`	`EXPOSE 3000`

注意事项

尽量精简,不安装多余的软件包
编写.dockerignore 文件,排除一些目录和文件,语法类似于.gitignore
尽量选择 Docker官方提供镜像作为基础版本,减少镜像体积.
Dockerfile开头几行的指令应当固定下来,不建议频繁更改,有效利用缓存.
多条RUN命令使用’'连接,有利于理解且方便维护.
COPY与ADD优先使用前者
通过-t标记构建镜像,有利于管理新创建的镜像.
不在Dockerfile中映射公有端口.
Push前先在本地运行,确保构建的镜像无误.

Docker基础命令

wzdushu@gmail.com (wanzi) — Wed, 20 Jun 2018 16:22:42 +0800

常用命令

docker info     #查看本地docker信息
docker search  openresty   #搜索远程镜像仓库
docker images      #查看当前系统镜像仓库镜像
docker ps          #查看当前正在运行容器
docker pull centos  #获取远程镜像，默认不指定tag,为latest     
docker container  run -p 8000:80 --rm -t -i centos:latest /bin/bash  #-p将容器端口映射80到节点node8000端口，--rm终止后删除容器适合临时调试，-t 选项让Docker分配一个伪终端（pseudo-tty）并绑定到容器的标准输入上， -i 则让容器的标准输入保持打开
docker container exec -i -t b5d7bad57561 /bin/bash #进入正在运行容器
docker rmi $(docker images -f "dangling=true" -q) #批量删除无效的none镜像

导入导出镜像

1
2
3

docker save -o centos7.tar centos  #导出镜像
docker load < centos7.tar   #导入镜像(标准流载入，包括原数据如标签)
docker load  --input  centos7.tar   #从tar包中读取镜像（非标准载入）

导入导出处容器

docker ps   #默认显示当前正在运行中的container
docker ps -a   #查看包括已经停止的所有容器
docker ps -l   #显示最新启动的一个容器（包括已停止的）

docker export 5a80afa126ba > centos7.5a80afa126ba.tar  #导出容器快照
docker import 5a80afa126ba > centos7.5a80afa126ba.tar  #从容器快照文件导入到镜像仓库

注：用户既可以使用 docker load 来导入镜像存储文件到本地镜像库，也可以使用 docker import 来导入一个容器快照到本地镜像库。这两者的区别在于容器快照文件将丢弃所有的历史记录和元数据信息（即仅保存容器当时的快照状态），而镜像存储文件将保存完整记录，体积也要大。此外，从容器快照文件导入时可以重新指定标签等元数据信息。

删除镜像或容器

docker rmi jdeathe/centos-ssh #删除本地镜像
or
docker image rm jdeathe/centos-ssh #删除本地镜像
docker rm dbd4d83097f5    #删除本地容器
or
docker container rm dbd4d83097f5 #删除本地容器

关闭重启容器

1
2

docker container kill dbd4d83097f5  #关闭正在运行的容器
docker container restart dbd4d83097f5  #重启容器

构建镜像

1
2

docker image build    .      #根据当前目录dockerfile构建镜像
docker image build   -t cm-navigation:v0.0.1 .  #根据当前目录dockerfile构建镜像，并打tag