1. 首页
  2. 文章中心
  3. kubernetes

猿创征文｜云原生|kubernetes二进制1.18单master扩展为多master前言：

81 阅读 0 评论
我是靠谱客的博主 尊敬冬日，最近开发中收集的这篇文章主要介绍猿创征文｜云原生|kubernetes二进制1.18单master扩展为多master前言：，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

前言：

在此前已经部署了单master节点，但，出于集群稳定性的考虑，需要将其扩展为多master。原单master部署链接：kubernetes二进制安装教程单master_zsk_john的博客-CSDN博客

计划是在此基础上扩展，其中的细节还是比较多的，单master和多master的集群规划计划如下：

单master集群规划：

单master集群规划表
序号ip角色hostname安装的组件
1192.168.217.16master       master，k8s-masterkube-apiserver，kubelet，kube-controller-manager，kube-proxy，etcd，docker环境
2192.168.217.17slave1slave1，k8s-slave1kubelet，kube-proxy，etcd，docker环境
3192.168.217.18slave2slave2，k8s-slave2kubelet，kube-proxy，etcd，docker环境

多master集群规划：

多master集群规划表
序号ip角色hostname安装的组件
1192.168.217.16master1master，k8s-master（master节点）kube-apiserver，kube-controller-manager，kube-proxy，kubelet，etcd，docker环境
2192.168.217.11

master2

master2，k8s-master2（master节点）kube-apiserver，kube-controller-manager，kube-proxy，kubelet，docker环境
3192.168.217.17slave1，node1slave1，k8s-slave1（work节点）kubelet，kube-proxy，etcd，docker环境
4192.168.217.18slave2，node2slave2，k8s-slave2（work节点）kubelet，kube-proxy，etcd，docker环境
5

192.168.217.17

192.168.217.88（vip）

Load Balancer（Master）slave1，k8s-slave1nginx，keepalived
6192.168.217.18Load Balancer（backup）slave2，k8s-slave2nginx，keepalived

规划思路：

增加一台新的服务器，安装master节点所必须的三个组件：kube-apiserver，kube-controller-manager，kube-proxy，etcd由于已经是三个节点了，符合集群的奇数规定，因此，新服务器上不安装etcd，负载均衡软件使用的是nginx和keepalived，负载均衡不能安装在master节点上，因为会端口占用，因此，在两个work节点安装的。docker环境是不管哪个节点都必须安装的，kubelet是节点管理服务，因此，master和work节点都安装。

在实际的生产中，当然负载均衡应该是单独的部署在新服务器上。因服务器不够多，也是实验性质，因此，负载均衡安装在了两个work节点上。

扩展部署master节点步骤：

一，

新服务器11上面安装ntp时间服务器，与其他服务器做免密配置，设定主机名，四台服务器的hosts内容如下；

[root@centos1 nginx-offline]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.217.16 master  k8s-master
192.168.217.17 slave1 k8s-node1
192.168.217.18 slave2 k8s-node2
192.168.217.11 master2 k8s-master2

hosts文件通过scp命令同步到所有节点。

新服务上安装docker 环境，可简单一点，如果前面是使用二进制安装的docker，在master服务器也就是16服务器上面执行命令：

scp /usr/bin/{docker,dockerd,docker-init,docker-proxy,ctr,runc,containerd,containerd-shim} 192.168.217.11:/usr/bin/
scp /etc/docker/daemon.json master2:/etc/docker
scp /usr/lib/systemd/system/docker.service 192.168.217.11:/usr/lib/systemd/system/

在11服务器上执行命令，启动docker服务并查看docker状态是否正常：

systemctl enable docker && systemctl start docker && systemctl status docker

二，

在Master2创建etcd证书目录：

mkdir -p /opt/etcd/ssl

在master节点，16服务器上，直接拷贝原有的master节点的现有文件到新服务器上，并做相关修改即可，命令如下：

scp -r /opt/kubernetes root@192.168.217.11:/opt
scp -r /opt/cni/ root@192.168.217.11:/opt
scp -r /opt/etcd/ssl root@192.168.217.11:/opt/etcd
scp /usr/lib/systemd/system/kube* root@192.168.217.11:/usr/lib/systemd/system
scp /usr/bin/kubectl root@192.168.217.11:/usr/bin

三，

在master2节点，11服务器上，删除kubelet证书和kubeconfig文件：

删除的原因是kubelet服务会在启动的时候新生成这些文件，如果是旧的文件，将不会启动成功。

rm -f /opt/kubernetes/cfg/kubelet.kubeconfig
rm -f /opt/kubernetes/ssl/kubelet*

 四，

仍然在master2节点， 11服务器上，修改配置文件（是三个配置文件，不要遗漏了哦）：

修改apiserver、kubelet和kube-proxy配置文件为本地IP：
vim /opt/kubernetes/cfg/kube-apiserver.conf
...
--bind-address=192.168.217.11 
--advertise-address=192.168.217.11 
...
vim /opt/kubernetes/cfg/kubelet.conf
--hostname-override=k8s-master2
vi /opt/kubernetes/cfg/kube-proxy-config.yml
hostnameOverride: k8s-master2

五，

在11服务器上启动相关服务：

systemctl daemon-reload
systemctl start kube-apiserver
systemctl start kube-controller-manager
systemctl start kube-scheduler
systemctl start kubelet
systemctl start kube-proxy
systemctl enable kube-apiserver
systemctl enable kube-controller-manager
systemctl enable kube-scheduler
systemctl enable kubelet
systemctl enable kube-proxy

 六，

检测是否正常：

kubectl get cs
NAME STATUS MESSAGE ERROR
scheduler Healthy ok
controller-manager Healthy ok
etcd-1 Healthy {"health":"true"}
etcd-2 Healthy {"health":"true"}
etcd-0 Healthy {"health":"true"}

此时应该可以看到新的node节点了：

[root@centos1 nginx-offline]# k get no
NAME          STATUS   ROLES    AGE    VERSION
k8s-master    Ready    <none>   9d     v1.18.3
k8s-master2   Ready    <none>   172m   v1.18.3
k8s-node1     Ready    <none>   8d     v1.18.3
k8s-node2     Ready    <none>   8d     v1.18.3

七，

在17和18服务器上都执行：

yum install nginx keepalived -y
systemctl enable nginx keepalived && systemctl start nginx keepalived

 八，负载均衡相关配置文件

17主master：

nginx配置文件（17和18的配置文件都一样的）：

[root@master ~]# cat /etc/nginx/nginx.conf
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;

include /usr/share/nginx/modules/*.conf;

events {
    worker_connections 1024;
}

stream {

    log_format  main  '  - []  ';

    access_log  /var/log/nginx/k8s-access.log  main;

    upstream k8s-apiserver {
       server 192.168.217.16:6443;
       server 192.168.217.11:6443;
    }
    
    server {
       listen 6443;
       proxy_pass k8s-apiserver;
    }
}

http {
    log_format  main  ' -  [] "" '
                      '  "" '
                      '"" ""';

    access_log  /var/log/nginx/access.log  main;

    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    keepalive_timeout   65;
    types_hash_max_size 2048;

    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;

    server {
        listen       80 default_server;
        server_name  _;

        location / {
        }
    }
}

keepalived的配置文件：

[root@master ~]# cat /etc/keepalived/keepalived.conf 
global_defs { 
   notification_email { 
     acassen@firewall.loc 
     failover@firewall.loc 
     sysadmin@firewall.loc 
   } 
   notification_email_from Alexandre.Cassen@firewall.loc  
   smtp_server 127.0.0.1 
   smtp_connect_timeout 30 
   router_id NGINX_MASTER
} 

vrrp_script check_nginx {
    script "/etc/keepalived/check_nginx.sh"
}

vrrp_instance VI_1 { 
    state MASTER 
    interface ens33
    virtual_router_id 51 # VRRP 路由 ID实例，每个实例是唯一的 
    priority 100    # 优先级，备服务器设置 90 
    advert_int 1    # 指定VRRP 心跳包通告间隔时间，默认1秒 
    authentication { 
        auth_type PASS      
        auth_pass 1111 
    }  
    virtual_ipaddress { 
        192.168.217.88/24
    } 
    track_script {
        check_nginx
    } 
}

18服务器上的keepalived配置文件（两个文件，其中一个是检测脚本，脚本两个节点都要有）：

[root@slave2 nginx-offline]# cat /etc/keepalived/check_nginx.sh 
#!/bin/bash
count=$(ps -ef |grep nginx |egrep -cv "grep|$$")
if [ "$count" -eq 0 ];then
exit 1
else
exit 0
fi


[root@slave2 nginx-offline]# cat /etc/keepalived/keepalived.conf 
global_defs { 
   notification_email { 
     acassen@firewall.loc 
     failover@firewall.loc 
     sysadmin@firewall.loc 
   } 
   notification_email_from Alexandre.Cassen@firewall.loc  
   smtp_server 127.0.0.1 
   smtp_connect_timeout 30 
   router_id NGINX_MASTER
} 

vrrp_script check_nginx {
    script "/etc/keepalived/check_nginx.sh"
}

vrrp_instance VI_1 { 
    state BACKUP 
    interface ens33
    virtual_router_id 51 # VRRP 路由 ID实例，每个实例是唯一的 
    priority 80    # 优先级，备服务器设置 90 
    advert_int 1    # 指定VRRP 心跳包通告间隔时间，默认1秒 
    authentication { 
        auth_type PASS      
        auth_pass 1111 
    }  
    virtual_ipaddress { 
        192.168.217.88/24
    } 
    track_script {
        check_nginx
    } 
}

九，

重启负载均衡相关服务

systemctl restart nginx keepalived

十，

kube-apiserver服务所使用的证书文件内没有写vip地址，因此，16服务器上的kube-apiserver服务将会启动失败，需要重新生成证书：

在master节点，16服务器上，该文件内添加"192.168.217.88",

[root@master ~]# cat k8s/server-csr.json 
{
"CN": "kubernetes",
"hosts": [
"10.0.0.1",
"127.0.0.1",
"192.168.217.16",
"192.168.217.17",
"192.168.217.18",
"192.168.217.88",
"kubernetes",
"kubernetes.default",
"kubernetes.default.svc",
"kubernetes.default.svc.cluster",
"kubernetes.default.svc.cluster.local"
],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"L": "BeiJing",
"ST": "BeiJing",
"O": "k8s",
"OU": "System"
}
]
}

重新生成证书：

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

拷贝证书文件（拷贝到本地和新master上）：

cp server*pem /opt/kubernetes/ssl/
scp /opt/kubernetes/ssl/server*pem master2:/opt/kubernetes/ssl/

重启服务，使得相关证书生效： 

systemctl restart kube-apiserver kubelet

十一，

所有配置文件内添加VIP的IP地址192.168.217.88 ，并重启相关服务。

sed -i 's#192.168.217.16:6443#192.168.217.88:6443#' /opt/kubernetes/cfg/*
systemctl restart kubelet kube-proyx

十二，

测试单元

在17服务器上，也就是负载均衡的主节点上，可以看到ens33网卡两个ip：

[root@slave1 ~]#  ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000
    link/ether 00:0c:29:e9:9e:89 brd ff:ff:ff:ff:ff:ff
    inet 192.168.217.17/24 brd 192.168.217.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.217.88/24 scope global secondary ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fee9:9e89/64 scope link 
       valid_lft forever preferred_lft forever

此时，停止17上的nginx，在18服务上  ，ip a 命令应该可以看到ens33网卡两个IP，证明负载均衡漂移成功。

通过VIP 可以看到k8s版本：

[root@centos1 nginx-offline]# curl -k https://192.168.217.88:6443/version
{
  "major": "1",
  "minor": "18",
  "gitVersion": "v1.18.3",
  "gitCommit": "2e7996e3e2712684bc73f0dec0200d64eec7fe40",
  "gitTreeState": "clean",
  "buildDate": "2020-05-20T12:43:34Z",
  "goVersion": "go1.13.9",
  "compiler": "gc",
  "platform": "linux/amd64"

最后

以上就是尊敬冬日为你收集整理的猿创征文｜云原生|kubernetes二进制1.18单master扩展为多master前言：的全部内容，希望文章能够帮你解决猿创征文｜云原生|kubernetes二进制1.18单master扩展为多master前言：所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
点赞(54)

相关文章

二进制方式搭建K8S集群二进制方式搭建K8S集群
二进制方式搭建K8S集群二进制方式搭建K8S集群
Error response from daemon: Get https://registry-1.docker.io/v2/: dial tcp: lookup registry-1.docker
Error response from daemon: Get https://registry-1.docker.io/v2/: dial tcp: lookup registry-1.docker
这个高薪行业正在大量招人，你会考虑吗？
这个高薪行业正在大量招人，你会考虑吗？
如何调试Systemctl
如何调试Systemctl
猿创征文｜云原生|kubernetes二进制1.18单master扩展为多master前言：
猿创征文｜云原生|kubernetes二进制1.18单master扩展为多master前言：
Kubernetes多master节点搭建----基于单master节点改进Kubernetes多master节点搭建----基于单master节点改进
Kubernetes多master节点搭建----基于单master节点改进Kubernetes多master节点搭建----基于单master节点改进
《Istio 从懵圈到熟练：二分之一活的微服务》二分之一活的微服务绕不过去的大图代理与代理的生命周期管理就绪检查的实现控制面和数据面简单的原因结论第 3 期云原生网络研讨会邀您参加
《Istio 从懵圈到熟练：二分之一活的微服务》二分之一活的微服务绕不过去的大图代理与代理的生命周期管理就绪检查的实现控制面和数据面简单的原因结论第 3 期云原生网络研讨会邀您参加
Service Mesh Istio 从入门到放弃 (二) istio 流量管理VirtualService && DestinationRuleGatewayService Entry
Service Mesh Istio 从入门到放弃 (二) istio 流量管理VirtualService && DestinationRuleGatewayService Entry

评论列表共有 0 条评论

立即
投稿
返回
顶部