亮姥爷的博客

在写这篇文章的时候使用的 k8s 版本为 1.27.1

基础知识

Kubernetes 集群资源类型

一个 Kubernetes 集群包含两种类型的资源:

Master: 负责管理整个集群。 Master 协调集群中的所有活动，例如调度应用、维护应用的所需状态、应用扩容以及推出新的更新。
Node: 是一个虚拟机或者物理机，它在 Kubernetes 集群中充当工作机器的角色 每个 Node 都有 Kubelet , 它管理 Node 而且是 Node 与 Master 通信的代理。

基础工具

kubectl: kubectl 是 Kubernetes 的命令行工具，用于管理 Kubernetes 集群中的应用程序、服务、部署、状态等。

kubelet 负责管理每个节点上的容器，监视运行在节点上的容器的状态，以及与 master 节点上的其它组件进行通信，如 kube-apiserver 和 kube-proxy，以确保节点上的容器处于期望的状态，kubelet 还会从 etcd 中获取 Pod 的信息，并执行 Pod 的调度和容器的启动、停止、重启等操作。需要运行在每个节点上
kubeadm: 用于创建和部署 Kubernetes 集群。

kubeadm 可以用于安装 Kubernetes 集群的主节点（master）和工作节点（worker）。它可以执行以下任务：
- 初始化 Kubernetes 主节点并生成必要的证书和密钥。
- 部署 Kubernetes 控制平面组件，如 API Server、Controller Manager、Scheduler 等。
- 添加工作节点到 Kubernetes 集群中。
- 部署网络插件、存储插件等 Kubernetes 插件。
使用 kubeadm 创建的 Kubernetes 集群与手动安装的集群相比具有以下优势：
- 它是快速且一致的，因为所有的组件都是通过相同的工具和流程安装的。
- 它是可重复的，因为在不同环境中使用相同的命令和配置文件可以创建相同的集群。
- 它可以方便地进行升级和维护。

cgroup 驱动

在 Linux 上，控制组（CGroup）用于限制分配给进程的资源。

kubelet 和 容器运行时 都需要对接 CGroup 来强制执行为 Pod 和容器管理资源并为诸如 CPU、内存这类资源设置请求和限制。若要对接控制组，kubelet 和容器运行时需要使用一个 cgroup 驱动。关键的一点是 kubelet 和容器运行时需使用相同的 cgroup 驱动并且采用相同的配置。

kubelet 和底层容器运行时需要与控制组对接，以强制执行 Pod 和容器的资源管理，并设置诸如 CPU/内存请求和限制资源等。为了与控制组对接，kubelet 和容器运行时需要使用 cgroup 驱动。关键的一点是 kubelet 和容器运行时需要使用相同的 cgroup 驱动。

可用的 cgroup 驱动有两个：

cgroupfs
systemd

cgroupfs 驱动

略

systemd cgroup 驱动

大部分的 Linux 发行版(Debian 系 ReaHat 系)都默认使用 systemd cgroup 驱动，当使用 systemd 作为其初始化系统时，初始化进程会生成并使用一个 root 控制组（cgroup），并充当 cgroup 管理器。

systemd 与 cgroup 集成紧密，并将为每个 systemd 单元分配一个 cgroup。如果 systemd 用作初始化系统，同时使用 cgroupfs 驱动，则系统中会存在两个不同的 cgroup 管理器，这样就会产生一些问题，所以最好使用一个 cgroup 驱动。

安装 k8s 并使用 kubeadm 引导创建集群

安装 k8s 基础工具

1. 更新软件列表，安装需要的依赖包

1
sudo apt-get update
2
sudo apt-get install -y ca-certificates curl

2. 安装 kubeadm

在这里我们使用k8s 清华源来进行安装

1
# 信任 k8s 的 GPG 公钥
2
sudo curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg
3

4
# 添加 Kubernetes apt 仓库
5
echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://mirrors.tuna.tsinghua.edu.cn/kubernetes/apt kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list

3. 再次更新软件列表，安装 kubelet kubeadm kubectl

1
sudo apt-get update
2
sudo apt-get install -y kubelet kubeadm kubectl
3
# 锁定版本
4
sudo apt-mark hold kubelet kubeadm kubectl

安装容器运行时

k8s 需要一款容器运行时作为其运行的基础，从 1.24 版本起 k8s 将不再在项目包含 Dockershim ，因此我们在此使用的是 containerd

安装 containerd

我所使用的 Linux 发行版为 Ubuntu，安装方式使用 apt 进行安装，其他安装方式参考

containerd 的 DEB 包是由 Docker 进行分发的，所以我们需要添加 Docker 源，在国内因为网络隐私直接访问可能会无法正常进行，所以我们使用清华源来进行安装

1.清理掉旧的 docker 相关包,如果从未安装过可以跳过此步

1
sudo apt-get remove docker docker-engine docker.io containerd runc

2.安装依赖项

1
sudo apt-get install ca-certificates curl gnupg

3.信任 Docker 的 GPG 公钥并添加仓库

1
sudo install -m 0755 -d /etc/apt/keyrings
2
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
3
echo \
4
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/ubuntu \
5
  "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

4.更新软件列表并安装

1
sudo apt-get update
2
sudo apt-get install containerd.io

containerd 的基础配置

1.首先我们先初始化配置文件

1
containerd config default | sudo tee /etc/containerd/config.toml

2.启用 CRI 集成插件

使用apt安装 containerd，可能会默认禁用了 CRI 集成插件。需要启用 CRI 支持才能在 Kubernetes 集群中使用 containerd。查看 CRI 没有出现在 /etc/containerd/config.toml 文件中 disabled_plugins 列表内。如果存在的话将其移除.

1
# 使用任意工具编辑配置文件
2
sudo vim /etc/containerd/config.toml
3

4
# 找到 disabled_plugins 项,只将 cri 从列表中移除即可,如下
5
disabled_plugins = []
6

7
# 重启 containerd
8
sudo systemctl restart containerd.service

3.容器运行时配置 cgroup 驱动

1
# 使用任意工具编辑配置文件
2
sudo vim /etc/containerd/config.toml
3

4
# 找到 SystemdCgroup 配置,将其值改为 true
5
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
6
  ...
7
  [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
8
    SystemdCgroup = true
9

10
# 重启 containerd
11
sudo systemctl restart containerd

系统基础配置

1.转发 IPv4 并让 iptables 看到桥接流量

1
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
2
overlay
3
br_netfilter
4
EOF
5

6
sudo modprobe overlay
7
sudo modprobe br_netfilter
8

9
# 设置所需的 sysctl 参数，参数在重新启动后保持不变
10
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
11
net.bridge.bridge-nf-call-iptables  = 1
12
net.bridge.bridge-nf-call-ip6tables = 1
13
net.ipv4.ip_forward                 = 1
14
EOF
15

2 collapsed lines
16
# 应用 sysctl 参数而不重新启动
17
sudo sysctl --system

通过命令确认 br_netfilter 和 overlay 模块被加载

1
lsmod | grep br_netfilter
2
lsmod | grep overlay

通过运行以下命令确认 net.bridge.bridge-nf-call-iptables、net.bridge.bridge-nf-call-ip6tables 和 net.ipv4.ip_forward 系统变量在你的 sysctl 配置中被设置为 1

1
sysctl \
2
net.bridge.bridge-nf-call-iptables \
3
net.bridge.bridge-nf-call-ip6tables \
4
net.ipv4.ip_forward

2.禁用 swap 交换分区

1
# 临时禁用
2
sudo swapoff -a
3

4
# 在配置文件中禁用，防止重启机器需再次配置
5
sudo vim /etc/fstab
6

7
# 将 swap 行配置注释掉，
8
/swap.img      none    swap    sw      0       0

引导集群启动

1.使用 kubeadm 创建一个默认配置文件

1
kubeadm config print init-defaults > kubeadm.yaml

内容如下

1
apiVersion: kubeadm.k8s.io/v1beta3
2
bootstrapTokens:
3
  - groups:
4
      - system:bootstrappers:kubeadm:default-node-token
5
    token: abcdef.0123456789abcdee
6
    ttl: 24h0m0s
7
    usages:
8
      - signing
9
      - authentication
10
kind: InitConfiguration
11
localAPIEndpoint:
12
  advertiseAddress: 0.0.0.0
13
  bindPort: 9001
14
nodeRegistration:
15
  criSocket: unix:///run/containerd/containerd.sock
18 collapsed lines
16
  imagePullPolicy: IfNotPresent
17
  name: k8s-master
18
  taints: null
19
---
20
apiServer:
21
  timeoutForControlPlane: 4m0s
22
apiVersion: kubeadm.k8s.io/v1beta3
23
certificatesDir: /etc/kubernetes/pki
24
clusterName: kubernetes
25
controllerManager: {}
26
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
27
kind: ClusterConfiguration
28
kubernetesVersion: 1.27.0
29
networking:
30
  dnsDomain: cluster.local
31
  serviceSubnet: 10.96.0.0/12
32
  podSubnet: 10.244.0.0/16
33
scheduler: {}

我们只需要更改如下几项

1
# k8s 本地接口
2
localAPIEndpoint:
3
  # 此处为本机地址,只允许配置为ip地址
4
  advertiseAddress: 192.168.100.12
5
  bindPort: 9001
6
---
7
nodeRegistration:
8
  criSocket: unix:///run/containerd/containerd.sock
9
  imagePullPolicy: IfNotPresent
10
  # 集群名称
11
  name: k8s-master
12
---
13
# gcr 官方源国内可能不可访问,可以更改为国内源
14
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers

一些其他的 gcr 源

1
registry.aliyuncs.com/google_containers
2
registry.cn-hangzhou.aliyuncs.com/google_containers
3
gcr.azk8s.cn/google_containers

2.使用 kubeadm init 命令引导集群

1
sudo kubeadm init --config=kubeadm.yaml
2

3
# 集群已经初始化，您也可以使用以下命令将新的配置文件应用到集群中：
4
kubeadm config upload from-file=kubeadm.yaml

初始化成功之后会提示 Your Kubernetes control-plane has initialized successfully! 就像下面这样

1
Your Kubernetes control-plane has initialized successfully!
2

3
To start using your cluster, you need to run the following as a regular user:
4

5
  mkdir -p $HOME/.kube
6
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
7
  sudo chown $(id -u):$(id -g) $HOME/.kube/config
8

9
Alternatively, if you are the root user, you can run:
10

11
  export KUBECONFIG=/etc/kubernetes/admin.conf
12

13
You should now deploy a pod network to the cluster.
14
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
15
  https://kubernetes.io/docs/concepts/cluster-administration/addons/
5 collapsed lines
16

17
Then you can join any number of worker nodes by running the following on each as root:
18

19
kubeadm join 192.168.100.12:9001 --token abcdef.0123456789abcdee \
20
        --discovery-token-ca-cert-hash sha256:7880dc1eb6a43857d81d2871326cd0616e9be6e52404ad02d29fab436fc08a02

开始使用集群前需要进行以下操作:

普通用户:

1
mkdir -p $HOME/.kube
2
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
3
sudo chown $(id -u):$(id -g) $HOME/.kube/config

root 用户:

1
export KUBECONFIG=/etc/kubernetes/admin.conf

我们可以使用下列命令来查看集群状态

1
kubectl get pods --all-namespaces

我们需要部署一个基于 Pod 网络插件的容器网络接口 (CNI)，使得 Pod 可以相互通信。如果没有安装，集群 DNS (CoreDNS) 将不会启动。

集群中部署一个 pod 网络

在集群初始化完成之后我们可以看到下面的提示，让我们安装一个 pod 网络插件

1
You should now deploy a pod network to the cluster.
2
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
3
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

在这里我们安装 flannel

1
# 可以使用下面命令直接获取 yml 文件进行安装
2
kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml
3

4
# 也可以先下载下来，然后再进行安装
5
wget https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml
6
kubectl apply -f kube-flannel.yml

安装好之后我们在看集群状态都为 Running

1
kubectl get pods --all-namespaces
2

3
NAMESPACE       NAME                                        READY   STATUS
4
kube-flannel    kube-flannel-ds-czhsp                       1/1     Running     0
5
kube-system     coredns-65dcc469f7-hjznr                    1/1     Running     0
6
kube-system     coredns-65dcc469f7-wn4m4                    1/1     Running     0
7
kube-system     etcd-k8s-master                             1/1     Running     0
8
kube-system     kube-apiserver-k8s-master                   1/1     Running     0
9
kube-system     kube-controller-manager-k8s-master          1/1     Running     0
10
kube-system     kube-proxy-jq2rb                            1/1     Running     0
11
kube-system     kube-scheduler-k8s-master                   1/1     Running     0

到这里我们的 k8s 集群已经成功搭建好了，目前我们只搭建了 master 节点，node 节点之后再配。

Kubenetes 安装