修改 Kubernetes Master控制节点节点 IP地址（kubeadm）

101 阅读 0 评论 67 点赞

我是靠谱客的博主迷路香菇，最近开发中收集的这篇文章主要介绍修改 Kubernetes Master控制节点节点 IP地址（kubeadm），觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

一.环境

原来的环境

10.10.20.3 master01
10.10.20.6 work01
10.10.20.7 work02

修改IP地址的环境

10.10.20.201 master01
10.10.20.204 work01
10.10.20.205 work02

二,操作

1.将所有节点的/etc/hosts更改为新的地址

vim /etc/hosts

10.10.20.201 master01 
10.10.20.204 work01 
10.10.20.205 work02

二.master节点操作

1.备份/etc/kubernetes目录

cp -Rf /etc/kubernetes/ /etc/kubernetes-bak

备份kubernetes的资源脚本

kubectl get ns | sed 1d | awk '{print $1}' | while read -r ns; do :; echo "ns: $ns";   for obj in "cm" "pvc" "secrets" "svc" "ingress" "deployment" "statefulset" "hpa"; do :;     kubectl get $obj -n $ns 2>/dev/null | sed 1d | awk '{print $1}' | while read -r item; do :;       echo $item;       kubectl get $obj $item -n $ns -o yaml --export > k8s.$obj.$ns.$item.yaml;     done;   done; done

2.替换 /etc/kubernetes 中所有配置文件的 APIServer 地址

oldip=10.10.20.3
newip=10.10.20.201
# 查看之前的
find . -type f | xargs grep $oldip
# 替换IP地址
find . -type f | xargs sed -i "s/$oldip/$newip/"
# 检查更新后的
find . -type f | xargs grep $newip

3.识别 /etc/kubernetes/pki 中以旧的 IP 地址作为 alt name 的证书

cd /etc/kubernetes/pki
for f in $(find -name "*.crt"); do
  openssl x509 -in $f -text -noout > $f.txt;
done
grep -Rl $oldip .
for f in $(find -name "*.crt"); do rm $f.txt; done

4.找到 kube-system 命名空间中引用旧 IP 的 ConfigMap

# 获取所有的 kube-system 命名空间下面所有的 ConfigMap
configmaps=$(kubectl -n kube-system get cm -o name | awk '{print $1}' | cut -d '/' -f 2)

# 获取所有的ConfigMap资源清单

cmdir=$(mktemp -d)

for cf in $configmaps; do
  kubectl -n kube-system get cm $cf -o yaml > $cmdir/$cf.yaml
done

# 找到所有包含旧 IP 的 ConfigMap

grep -Hn $cmdir/* -e $oldip

#然后编辑这些 ConfigMap，将旧 IP 替换成新的 IP

 kubectl -n kube-system edit cm kubeadm-config
 kubectl -n kube-system edit cm kube-proxy

修改cm的地址，这一步非常非常重要，我在操作的时候忽略了这一步，导致 Flannel CNI 启动不起来，一直报错。

5.删除第3步中 grep 出的证书和私钥，重新生成这些证书

cd /etc/kubernetes/pki
rm apiserver.crt apiserver.key
kubeadm init phase certs apiserver

rm etcd/peer.crt etcd/peer.key
kubeadm init phase certs etcd-peer


#或者全部生成
kubeadm init phase certs all

6.生成新的 kubeconfig 文件

cd /etc/kubernetes
rm -f admin.conf kubelet.conf controller-manager.conf scheduler.conf
kubeadm init phase kubeconfig all

# 覆盖默认的 kubeconfig 文件
cp /etc/kubernetes/admin.conf $HOME/.kube/config

7.重启 kubelet

 systemctl restart docker
 systemctl restart kubelet

正常现在可以访问的 Kubernetes 集群了

8.node节点

虽然现在可以访问集群了，但是我们可以看到 Node 节点现在处于 NotReady 状态，我们可以去查看 node节点的 kubelet 日志。

journalctl -u kubelet -f

可以看到仍然是在访问之前的 APIServer 地址，那么在什么地方会明确使用 APIServer 的地址呢？我们可以通过下面的命令来查看 kubelet 的启动参数。

其核心配置文件为 /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf，内容如下所示：

cat /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf
# Note: This dropin only works with kubeadm and kubelet v1.11+
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/sysconfig/kubelet
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS

其中有一个配置 KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf，这里提到了两个配置文件 bootstrap-kubelet.conf 与 kubelet.conf，其中第一个文件不存在

而第二个配置文件就是一个 kubeconfig 文件的格式，这个文件中就指定了 APIServer 的地址，可以看到还是之前的 IP 地址：

 cat /etc/kubernetes/kubelet.conf
apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: <......>
    server: https://10.10.20.3:6443
  name: default-cluster
contexts:
- context:
    cluster: default-cluster
    namespace: default
    user: default-auth
  name: default-context
current-context: default-context
kind: Config
preferences: {}
users:
- name: default-auth
  user:
    client-certificate: /var/lib/kubelet/pki/kubelet-client-current.pem
    client-key: /var/lib/kubelet/pki/kubelet-client-current.pem

所以我们最先想到的肯定就是去将这里的 APIServer 地址修改成新的 IP 地址，但是这显然是有问题的，因为相关证书还是以前的，需要重新生成，那么要怎样重新生成该文件呢.。

首先备份 kubelet 工作目录：

cp /etc/kubernetes/kubelet.conf /etc/kubernetes/kubelet.conf.bak
cp -rf /var/lib/kubelet/ /var/lib/kubelet-bak

删除 kubelet 客户端证书

rm /var/lib/kubelet/pki/kubelet-client*

然后在 master1 节点（具有 /etc/kubernetes/pki/ca.key 文件的节点）去生成 kubelet.conf 文件：

kubeadm kubeconfig user --org system:nodes --client-name system:node:node2 --config kubeadm.yaml > kubelet.conf

然后将 kubelet.conf 文件复制到 node2 节点 /etc/kubernetes/kubelet.conf，然后重新启动 node2 节点上的 kubelet，并等待 /var/lib/kubelet/pki/kubelet-client-current.pem 重新创建。

systemctl restart kubelet
# 重启后等待重新生成 kubelet 客户端证书
ll /var/lib/kubelet/pki/

最好我们可以通过手动编辑 kubelet.conf 的方式来指向轮转的 kubelet 客户端证书，将文件中的 client-certificate-data 和 client-key-data 替换为 /var/lib/kubelet/pki/kubelet-client-current.pem：

备注：或者创建一个bootstrap-kubelet.kubeconfig 方式也是可以的，创建方式见官网。

再次重启 kubelet，正常现在 node2 节点就会变成 Ready 状态了，用同样的方法再次去配置 node1 节点即可。

三推荐方式（网上查找的资料）

1.首先停止 kubelet 并备份要操作的目录：

mv /etc/kubernetes /etc/kubernetes-bak
mv /var/lib/kubelet/ /var/lib/kubelet-bak

2.将 pki 证书目录保留下来：

mkdir -p /etc/kubernetes
cp -r /etc/kubernetes-bak/pki /etc/kubernetes
rm /etc/kubernetes/pki/{apiserver.*,etcd/peer.*}
rm: remove regular file ‘/etc/kubernetes/pki/apiserver.crt’? y
rm: remove regular file ‘/etc/kubernetes/pki/apiserver.key’? y
rm: remove regular file ‘/etc/kubernetes/pki/etcd/peer.crt’? y
rm: remove regular file ‘/etc/kubernetes/pki/etcd/peer.key’? y

3.现在我们使用下面的命令来重新初始化控制平面节点，但是最重要的一点是要使用 etcd 的数据目录，可以通过 --ignore-preflight-errors=DirAvailable--var-lib-etcd 标志来告诉 kubeadm 使用预先存在的 etcd 数据。

kubeadm init --config kubeadm.yaml --ignore-preflight-errors=DirAvailable--var-lib-etcd


输出
[init] Using Kubernetes version: v1.22.8
[preflight] Running pre-flight checks
        [WARNING DirAvailable--var-lib-etcd]: /var/lib/etcd is not empty
[preflight] Pulling images required for setting up a Kubernetes cluster

......

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 10.10.20.201:6443 --token abcdef.01dde6789abcdef 
        --discovery-token-ca-cert-hash sha256:23342cae9c76d18a1b800182c4c7ebc7a704ba1093400ed886f65e755423

上面的操作和我们平时去初始化集群的时候几乎是一样的，唯一不同的地方是加了一个 --ignore-preflight-errors=DirAvailable--var-lib-etcd 参数，意思就是使用之前 etcd 的数据。然后我们可以验证下 APIServer 的 IP 地址是否变成了新的地址.

cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
cp: overwrite ‘/root/.kube/config’? y
kubectl cluster-info
Kubernetes control plane is running at https://10.10.20.201:6443
CoreDNS is running at https://10.10.20.201:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.

4.对于 node 节点我们可以 reset 后重新加入到集群即可

kubeadm reset
kubeadm join 10.10.20.201:6443 --token abcdef.01dde6789abcdef 
        --discovery-token-ca-cert-hash sha256:23342cae9c76d18a1b800182c4c7ebc7a704ba1093400ed886f65e755423

这种方式比上面的方式要简单很多。正常操作后集群也正常了。