kubeadm安装kubernetes 1.16.2

目录

• 简介
• 环境说明
• 安装
  • 准备基础环境
  • 安装docker
  • 安装kubeadm、kubelet、kubectl
  • 配置kubeadm-config.yaml
  • 部署master
  • 安装flannel网络插件
  • 添加节点
  • 安装dashboard
  • 部署ingress
• 重置集群

简介

当前kubernetes的最新版本已经到了1.16，而kubernetes官方推出的安装工具kubeadm也已经GA。本文就基于kubeadm来安装最新的kubernetes集群。

各组件示意图如下：

环境说明

部署环境：

主机名	ip地址	节点类型	系统版本
master.example.com	192.168.0.1	master、etcd	centos7
node1.example.com	192.168.0.2	node	centos7

相关组件版本说明：

组件	版本	说明
kubernetes	1.16.2	主程序
docker	19.03.3	容器
flannel	0.11.0	网络插件
etcd	3.3.15	数据库
coredns	1.6.2	dns组件
kubernetes-dashboard	2.0.0-beta5	web界面
ingress-nginx	0.26.1	ingress

安装

安装步骤说明：

• 配置主机名、防火墙、yum源
• 配置内核参数
• 加载内核模块
• 安装Docker
• 安装kubelet、kubectl、kubeadm
• 编辑kubeadm-config.yml文件
• 安装master节点
• 配置网络插件
• 添加node节点
• 安装addons之kubernetes dashboard
• 安装ingress

准备基础环境

修改主机名：

hostnamectl set-hostname master.example.com --static hostnamectl set-hostname node1.example.com --static

清空防火墙规则和selinux：

iptables -F setenforce 0 

设置yum源：

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

修改内核参数：

# cat  /etc/sysctl.conf net.ipv.ip_forward = 1  sysctl -p  

加载内核模块：

 cat > /etc/sysconfig/modules/ipvs.modules <<EOF #!/bin/bash modprobe -- br_netfilter modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack_ipv4 EOF  chmod 755 /etc/sysconfig/modules/ipvs.modules && \ bash /etc/sysconfig/modules/ipvs.modules && \ lsmod | grep -E "ip_vs|nf_conntrack_ipv4" 

安装docker

yum install -y yum-utils  yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo  yum install -y docker-ce  mkdir /etc/docker  cat > /etc/docker/daemon.json << EOF {     "exec-opts": ["native.cgroupdriver=systemd"],     "log-driver": "json-file",     "log-opts": {         "max-size": "100m",         "max-file": "10"     },     "bip": "169.254.123.1/24",     "oom-score-adjust": -1000,     "registry-mirrors": ["https://pqbap4ya.mirror.aliyuncs.com"],     "storage-driver": "overlay2",     "storage-opts":["overlay2.override_kernel_check=true"],     "live-restore": false } EOF  systemctl restart docker systemctl enable docker 

安装kubeadm、kubelet、kubectl

cat > /etc/yum.repos.d/kubernetes.repo <<EOF [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF  yum install -y kubelet kubeadm kubectl 

配置kubeadm-config.yaml

通过如下指令创建默认的kubeadm-config.yaml文件：

kubeadm config print init-defaults  > kubeadm-config.yaml

kubeadm-config.yaml组成部署说明：

• InitConfiguration： 用于定义一些初始化配置，如初始化使用的token以及apiserver地址等
• ClusterConfiguration：用于定义apiserver、etcd、network、scheduler、controller-manager等master组件相关配置项
• KubeletConfiguration：用于定义kubelet组件相关的配置项
• KubeProxyConfiguration：用于定义kube-proxy组件相关的配置项

可以看到，在默认的kubeadm-config.yaml文件中只有InitConfiguration、ClusterConfiguration 两部分。我们可以通过如下操作生成另外两部分的示例文件：

# 生成KubeletConfiguration示例文件  kubeadm config print init-defaults --component-configs KubeletConfiguration  # 生成KubeProxyConfiguration示例文件  kubeadm config print init-defaults --component-configs KubeProxyConfiguration

最终修改kubeadm-config.yaml文件如下：

apiVersion: kubeadm.k8s.io/v1beta2 bootstrapTokens: - groups:   - system:bootstrappers:kubeadm:default-node-token   token: abcdef.0123456789abcdef   ttl: 24h0m0s   usages:   - signing   - authentication kind: InitConfiguration localAPIEndpoint:   advertiseAddress: 192.168.0.1   bindPort: 6443 nodeRegistration:   criSocket: /var/run/dockershim.sock   name: master.example.com   taints:   - effect: NoSchedule     key: node-role.kubernetes.io/master --- apiServer:   timeoutForControlPlane: 4m0s   bind-address: 172.26.159.88   secure-port: 6443   authorization-mode: Node,RBAC   runtime-config: "api/all=true"   kubelet-https: true   anonymous-auth: false   requestheader-allowd-names: ""   requestheader-extra-headers-prefix: "X-Remote-Extra-"   requestheader-group-headers: X-Remote-Group   requestheader-username-headers: X-remote-User   disable-admission-plugins: PersistentVolumeLabel   enable-admission-plugins: NodeRestriction   enable-swagger-ui: true   allow-privileged: true   audit-log-maxage: 30   audit-log-maxbackup: 3   audit-log-maxsize: 100   event-ttl: 1h   v: 2   logtostderr: true apiVersion: kubeadm.k8s.io/v1beta2 certificatesDir: /etc/kubernetes/pki clusterName: kubernetes controllerManager:   address: 127.0.0.1   node-monitor-grace-period: 40s   node-monitor-period: 5s   pod-eviction-timeout: 1m0s   controllers: "*,bootstrapsigner,tokencleaner"   horizontal-pod-autoscaler-use-rest-clients: true       dns:   type: CoreDNS etcd:   local:     dataDir: /var/lib/etcd imageRepository: gcr.azk8s.cn/google_containers kind: ClusterConfiguration kubernetesVersion: v1.16.2 networking:   dnsDomain: cluster.local   serviceSubnet: 10.96.0.0/16   podSubnet: 10.244.0.0/16 scheduler:   leader-elect: true   address: 127.0.0.1   v: 2   logtostderr: true --- apiVersion: kubeproxy.config.k8s.io/v1alpha1 kind: KubeProxyConfiguration imageRepository: gcr.azk8s.cn/google_containers kubeProxy:   config:     featureGates:       SupportIPVSProxyMode: true     mode: ipvs --- apiVersion: kubelet.config.k8s.io/v1beta1 kind: KubeletConfiguration clusterDNS: - 10.96.0.10 

关于kubeadm-config.yaml更多配置语法参考： https://godoc.org/k8s.io/kubernetes/cmd/kubeadm/app/apis/kubeadm/v1beta2

使用kubeadm-config.yaml配置主节点：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/control-plane-flags/

kube-proxy开启ipvs参考： https://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/ipvs/README.md

kubelet的配置示例参考： https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/kubelet-integration/#configure-kubelets-using-kubeadm

部署master

安装master节点：

kubeadm init --config kubeadm-config.yaml

配置访问集群：

mkdir -p $HOME/.kube cp -i /etc/kubernetes/admin.conf $HOME/.kube/config chown $(id -u):$(id -u) $HOME/.kube/config

完成部署之后，发现两个问题：

1. master节点一直notready
2. coredns pod一直pending

其实这两个问题都是因为还没有安装网络插件导致的，接下来开始安装网络插件

安装flannel网络插件

 wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml  sed -i 's@quay.io/coreos@quay.azk8s.cn/coreos@g' kube-flannel.yml  kubectl apply -f kube-flannel.yml 

添加节点

生成用于添加节点的kubeadm-config.yaml文件

kubeadm config print join-defaults > kubeadm-config.yaml  # kubeadm-config.yaml内容如下：  apiVersion: kubeadm.k8s.io/v1beta2 caCertPath: /etc/kubernetes/pki/ca.crt discovery:   bootstrapToken:     apiServerEndpoint: kube-apiserver:6443     token: abcdef.0123456789abcdef     unsafeSkipCAVerification: true   timeout: 5m0s   tlsBootstrapToken: abcdef.0123456789abcdef kind: JoinConfiguration nodeRegistration:   criSocket: /var/run/dockershim.sock   name: node1.example.com   taints: null 

这里需要修改三个地方：

1. apiServerEndpoint：连接apiserver的地址，即master的api地址，这里可以改为192.168.0.1:6443,如果master集群部署的话，这里需要改为集群vip地址
2. token及tlsBootstrapToken：连接master使用的token，这里需要与master上的InitConfiguration中的token配置一致
3. name：node节点的名称，如果使用主机名，需要确保master节点可以解析该主机名。否则的话可直接使用ip地址

添加节点：

kubeadm join --config kubeadm-config.yaml

需要说明的是，添加node节点，也可以直接使用master安装完成时给出的添加方式，类似如下：kubeadm join 192.168.0.1:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:cad3fa778559b724dff47bb1ad427bd39d97dd76e934b9467507a2eb990a50c7

安装dashboard

dashboard的github仓库地址：https://github.com/kubernetes/dashboard

代码仓库当中，有给出安装示例的相关部署文件，我们可以直接获取之后，直接部署即可：

wget https://raw.githubusercontent.com/kubernetes/dashboard/master/aio/deploy/recommended.yaml kubectl apply -f ./recommended.yaml

默认这个部署文件当中，会单独创建一个名为kubernetes-dashboard的命名空间，并将kubernetes-dashboard部署在该命名空间下。dashboard的镜像来自docker hub官方，所以可不用修改镜像地址，直接从官方获取即可。

但是在默认情况下，dashboard并不对外开放访问端口，我这里简化操作，直接使用nodePort的方式将其端口暴露出来，修改serivce部分的定义：

kind: Service apiVersion: v1 metadata:   labels:     k8s-app: kubernetes-dashboard   name: kubernetes-dashboard   namespace: kubernetes-dashboard spec:   ports:     - port: 443       targetPort: 8443       nodePort: 32443   type: NodePort   selector:     k8s-app: kubernetes-dashboard

重新创建service：

kubectl delete svc kubernetes-dashboard -n kubernetes-dashboard kubectl apply -f ./recommended.yaml

此时，即可通过浏览器访问web端，端口为32443：

可以看到出现如上图画面，需要我们输入一个kubeconfig文件或者一个token。事实上在安装dashboard时，也为我们默认创建好了一个serviceaccount，为kubernetes-dashboard，并为其生成好了token，我们可以通过如下指令获取该sa的token：

 kubectl describe secret -n kubernetes-dashboard $(kubectl get secret -n kubernetes-dashboard |grep  kubernetes-dashboard-token | awk '{print $1}') |grep token | awk '{print $2}'      eyJhbGciOiJSUzI1NiIsImtpZCI6IkUtYTBrbU44TlhMUjhYWXU0VDZFV1JlX2NQZ0QxV0dPRjBNUHhCbUNGRzAifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291eeeeeeLWRhc2hib2FyZC10b2tlbi1rbXBuMiIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFxxxxxxxxxxxxxxxxxxxxxxxGZmZmYxLWJhOTAtNDU5Ni1hMzgxLTRhNDk5NzMzYWI0YiIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDprdWJlcm5ldGVzLWRhc2hib2FyZDprdWJlcm5ldGVzLWRhc2hib2FyZCJ9.UwAsemOra-EGl2OzKc3lur8Wtg5adqadulxH7djFpmpWmDj1b8n1YFiX-AwZKSbv_jMZd-mvyyyyyyyyyyyyyyyMYLyVub98kurq0eSWbJdzvzCvBTXwYHl4m0RdQKzx9IwZznzWyk2E5kLYd4QHaydCw7vH26by4cZmsqbRkTsU6_0oJIs0YF0YbCqZKbVhrSVPp2Fw5IyVP-ue27MjaXNCSSNxLX7GNfK1W1E68CrdbX5qqz0-Ma72EclidSxgs17T34p9mnRq1-aQ3ji8bZwvhxuTtCw2DkeU7DbKfzXvJw9ENBB-A0fN4bewP6Og07Q

通过该token登入集群以后，发现很多namespace包括一些其他的资源都没有足够的权限查看。这是因为默认我们使用的这个帐户只有有限的权限。我们可以通过对该sa授予cluster-admin权限来解决这个问题：

修改ClusterRoleBinding资源内容如下：

apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata:   name: kubernetes-dashboard roleRef:   apiGroup: rbac.authorization.k8s.io   kind: ClusterRole   name: cluster-admin subjects:   - kind: ServiceAccount     name: kubernetes-dashboard     namespace: kubernetes-dashboard

重新创建clusterrolebinding：

kubectl delete clusterrolebindgin  kubernetes-dashboard -n kubernetes-dashboard kubectl apply -f ./recommended.yaml

此时，kubernetes-dashboard相关配置即完成。

部署ingress

ingress提供外部访问kubernetes内部应用的入口。社区提供众多的组件实现，这里就直接使用官方的ingress-nginx组件。

github仓库地址：

和dashboard一样，代码仓库当中也提供部署文件示例，我们直接获取即可：

wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/mandatory.yaml

获取到部署文件之后，还需要改两个东西：

1. 替换镜像地址

sed -i 's/quay.io/quay.azk8s.cn/g' mandatory.yaml

1. 默认ingress会监听在80和443端口，我们需要让其监听在宿主机的80和443上，以实现外部访问，修改deployment资源,添加一个hostNetwork: true配置项：

...       hostNetwork: true       containers:         - name: nginx-ingress-controller           image: quay.azk8s.cn/kubernetes-ingress-controller/nginx-ingress-controller:0.26.1           args:             - /nginx-ingress-controller             - --configmap=$(POD_NAMESPACE)/nginx-configuration             - --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services             - --udp-services-configmap=$(POD_NAMESPACE)/udp-services             - --publish-service=$(POD_NAMESPACE)/ingress-nginx             - --annotations-prefix=nginx.ingress.kubernetes.io ...

部署：

kubectl apply -f ./mandatory.yaml 

同样的，该文件会创建一个名为ingress-nginx的命名空间，并部署ingress-nginx pod至该命名空间下。

[root@master ~]# kubectl get pods -n ingress-nginx NAME                                       READY   STATUS    RESTARTS   AGE nginx-ingress-controller-8fbcc4d76-vvgj5   1/1     Running   0          3m9s

默认情况下，ingress容器可随意在节点间调度，这样其实也存在一个问题，作为外部的访问入口，如果无法确定ingress容器所在的节点ip，则等于找不到入口。一个有效的解决方法是通过打标签的方式将ingress固定在特定的节点上，并且通过污点和容忍将这些特定节点上的其他应用排干，只用于入口流量转发

重置集群

下面给出重置集群的方法：

kubeadm reset ifconfig cni0 down ip link delete cni0 ifconfig flannel.1 down ip link delete flannel.1 rm -rf /var/lib/cni/ 

来源：https://www.cnblogs.com/breezey/p/11713521.html