k8s搭建部署（超详细）
准备环境
三台机器,centos版本不要太低否者可能会出问题（最好7.7以上）
ip: 192.168.56.3 主机名：k8s-master 系统：centos7.7 配置：8核8G
ip: 192.168.56.4 主机名：k8s-node1 系统：centos7.7 配置：8核8G
ip: 192.168.56.5 主机名：k8s-node2 系统：centos7.7 配置：8核8G
三台主机都需要执行如下命令
关闭防火墙和selinux
systemctl stop firewalld
systemctl disable firewalld
sed -i 's/enforcing/disabled/' /etc/selinux/config
setenforce 0
关闭swap分区
#临时关闭
swapoff -a
#永久关闭
vim /etc/fstab
仅注释掉swap那一行
添加主机名与IP对应关系(三台主机都执行)
echo '''
192.168.56.3 k8s-master
192.168.56.4 k8s-node1
192.168.56.5 k8s-node2
''' >> /etc/hosts
或者如下，同效果
vim /etc/hosts
修改主机名（三台均执行）
hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node1
hostnamectl set-hostname k8s-node2
将桥接的IPv4流量传递到iptables的链(三台主机都执行)：
以下net.ipv4.ip_forward如存在=0，修改为1即可
cat > /etc/sysctl.d/k8s.conf << EOF
net.ipv4.ip_forward = 1
net.ipv4.tcp_tw_recycle = 0
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
或者如下，同效果
#vim /etc/sysctl.d/k8s.conf
加载配置
sysctl --system
所有机器升级内核到最新
详细内核升级步骤：linux（centos7）内核升级 （低内核会导致docker和k8s运行不稳定）
所有节点安装Docker/kubeadm/kubelet
Docker安装
参考以下链接（注意：这里docker可以先安装18.09版本，yum install -y docker-ce-18.09 docker-ce-cli-18.09 containerd.io，后续有问题再升级到19.03.9版本，防止集成到k8s出现bug，这里我出现过k8s监控服务无法获取资源信息）
docker部署搭建使用_本地部署docker_Anime777的博客-CSDN博客
https://blog.csdn.net/qq_40954652/article/details/123183094?spm=1001.2014.3001.5501
注意，新版本docker已经弃用grap,更名为data-root.
或者，降低docker版本
yum downgrade docker-ce-19.03.13 -y
可用以下命令，查看docker启动错误日志
tail -200f /var/log/messages
Docker配置修改，设置cgroup驱动，这里用systemd
配置修改为如下
vim /etc/docker/daemon.json
{
"data-root": "/data/docker",
"registry-mirrors": ["https://01xxgaft.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
}
重启docker
systemctl restart docker
添加k8s阿里云YUM软件源
所有机器执行
cat > /etc/yum.repos.d/kubernetes.repo << EOF[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF[kubernetes]
结果如下
vim /etc/yum.repos.d/kubernetes.repo
安装kubeadm，kubelet和kubectl
所有机器执行
yum install -y kubelet-1.16.2 kubeadm-1.16.2 kubectl-1.16.2
systemctl start kubelet
systemctl enable kubelet
部署k8s的master和node节点
部署master节点
初始化之前，最好检查flannel是否安装，以免后面需要使用kubeadm reset，那样会引发很多新的问题
初始化master节点
kubeadm init --apiserver-advertise-address=192.168.56.3 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.16.0 --service-cidr=10.140.0.0/16 --pod-network-cidr=10.240.0.0/16
网段问题，两个网段不要重，后面是/16，不要与当前机器网段一样
这里执行完会生成一串命令用于node节点的加入，记录下来，接着执行以下命令
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
部署node节点
在node1和node2执行
这里复制上面生成的一串命令，我这里只是示例，命令根据你实际生成的复制去node节点执行
kubeadm join 192.168.56.3:6443 --token 1146ci.3elqkwg3b2sdqp6l --discovery-token-ca-cert-hash sha256:3562d07fbe47d39ddc04c9170464e2699f1328c08ded2bb0198bde9a55ce8e5e
安装网络插件（CNI）
master上执行。
下面两种插件二选一，如果是云服务器建议按照flannel，calico可能会和云网络环境有冲突
安装flannel插件（轻量级用于快速搭建使用，初学推荐）
下载yaml文件
wget https://github.com/xuwei777/xw_yaml/blob/main/kube-flannel.yml
修改net-conf.json下面的网段为上面init pod-network-cidr的网段地址（必须正确否则会导致集群网络问题）
sed -i 's/10.244.0.0/10.240.0.0/' kube-flannel.yml
修改完安装插件，执行
kubectl apply -f kube-flannel.yml
kubectl get pods -n kube-system
安装calico插件（用于复杂网络环境）
下载yaml文件
wget https://github.com/xuwei777/xw_yaml/blob/main/calico-3.9.2.yaml
修改配置文件的网段为上面init pod-network-cidr的网段地址（必须正确否则会导致集群网络问题）
sed -i 's/192.168.0.0/10.240.0.0/g' calico-3.9.2.yaml
修改完安装插件，执行
kubectl apply -f calico.yaml
kubectl get pod --all-namespaces -o wide
测试kubernetes集群
在Kubernetes集群中创建一个pod，验证是否正常运行
创建一个pod，开放对外端口访问，这里会随机映射一个端口
kubectl create deployment nginx --image=nginx
kubectl expose deployment nginx --port=80 --type=NodePort
查看pod状态，必须是running状态而且ready是1，并查看nginx svc的80端口映射到了哪个端口
kubectl get pod,svc
访问任意机器的刚刚查看的映射端口，看看是否nginx已经运行
k8s常用命令
查看pod，service，endpoints，secret等等的状态
kubectl get 组件名 # 例如kubectl get pod 查看详细信息可以加上-o wide 其他namespace的指定 -n namespace名
创建，变更一个yaml文件内资源，也可以是目录，目录内包含一组yaml文件（实际使用中都是以yaml文件为主，直接使用命令创建pod的很少，推荐多使用yaml文件）
kubectl apply -f xxx.yaml # 例如kubectl apply -f nginx.yaml 这里是如果没有则创建，如果有则变更，比create好用
删除一个yaml文件内资源，也可以是目录，目录内包含一组yaml文件
kubectl delete -f xxx.yaml # 例如kubectl delete -f nginx.yaml
查看资源状态，比如有一组deployment内的pod没起来，一般用于pod调度过程出现的问题排查
kubectl describe pod pod名 # 先用kubectl get pod查看 有异常的复制pod名使用这个命令
查看pod日志，用于pod状态未就绪的故障排查
kubectl logs pod名 # 先用kubectl get pod查看 有异常的复制pod名使用这个命令
查看node节点或者是pod资源（cpu，内存资源）使用情况
kubectl top 组件名 # 例如kubectl top node kubectl top pod
进入pod内部
kubectl exec -ti pod名 /bin/bash # 先用kubectl get pod查看 有需要的复制pod名使用这个命令
- k8s高可用
如果已经掌握k8s单master节点部署想学习高可用部署，参考 k8s高可用搭建部署，如下链接
k8s高可用集群搭建部署_k8s高可用集群部署_Anime777的博客-CSDN博客
常用命令
查看所有容器
kubectl get pod --all-namespaces
· 查看具体的容器详情
· kubectl describe pod 容器name --namespace=name空间
kubectl describe pod peer0-org1-5d4c9bbb8f-d9phj --namespace=net
查看所有容器
kubectl get pods
查看具体某个容器
kubectl describe pod nginx-86c57db685-55ttk
参考
(96条消息) k8s出现ContainerCreating，问题解决_世事慕竹的博客-CSDN博客_containercreating
https://blog.csdn.net/qq_41547659/article/details/117381206
(96条消息) open /run/flannel/subnet.env: no such file or directory_DemonHunter211的博客-CSDN博客_open flannel-0.11.0-amd64.tar: no such file or dir
https://blog.csdn.net/kwame211/article/details/96032535
kubeadm reset 重置 - 一毛丶丶 - 博客园
https://www.cnblogs.com/shunzi115/p/14776507.html
k8s提示certificatesignedbyunknownauthority(possiblybecauseof\"crypto/rsa:verificationerror\"whiletryingtoverifycandidateauthoritycertificate\"kubernetes\")-爱码网
问题1
"Could not resolve host: mirrorlist.centos.org; Unknown error"解决方法
开启ens3网卡，即NAT网卡，否则无法上网及下载东西
问题2
File contains parsing errors: file:///etc/yum.repos.d/kubernetes.repo [line 6]: EOF
[kubernetes]抬头必须加上
Vim /etc/yum.repos.d/kubernetes.repo
否则安装k8s失败
参考：
错误：File contains parsing errors: file:///etc/yum.repos.d/kubernetes.repo [line 6]: EOF_张新玲的博客-CSDN博客_file contains parsing errors
https://blog.csdn.net/Zhang_0507/article/details/85000111
问题3
问题描述
执行命令kubectl get nodes,所有节点状态都为not ready
排查1
执行systemctl status kubelet -l 可以看到更多报错信息
参考：
(96条消息) NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized“_kainx的博客-CSDN博客
https://blog.csdn.net/qq_26545503/article/details/123234963
核心问题
flannel找不到
解决方案
需要下载CNI插件：CNI plugins v0.8.6
github下载地址：https://github.com/containernetworking/plugins/releases/tag/v0.8.6
(在1.0.0版本后CNI Plugins中没有flannel)
下载后通过xftp 上传到Linux /home目录解压
tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz
复制 flannel 到 /opt/cni/bin/
[root@k8s-node1 home]# cp flannel /opt/cni/bin/
查看节点状态
kubectl get nodes
查看到状态立马变为Ready，至此解决问题。
参考：
(96条消息) failed to find plugin “flannel” in path [/opt/cni/bin]，k8sNotReady解决方案_呆萌很的博客-CSDN博客
https://blog.csdn.net/qq_29385297/article/details/127682552
核心参考
(95条消息) k8s搭建部署（超详细）_Anime777的博客-CSDN博客_k8s部署
https://blog.csdn.net/qq_40954652/article/details/123208590
(95条消息) docker部署搭建使用_Anime777的博客-CSDN博客_docker部署使用
https://blog.csdn.net/qq_40954652/article/details/123183094?spm=1001.2014.3001.5501
最详细安装k8s步骤 - tangy1 - 博客园
https://www.cnblogs.com/tangy1/p/14925216.html
k8s基础搭建 - 砖头哥- - 博客园