Kubernetes 安装

部署目标

• 在所有节点上安装Docker和kubeadm，kubelet
• 部署容器网络插件flannel

部署架构

ip 域名 备注 安装软件

192.168.99.101	master	主节点	Docker Kubeadm kubelet kubectl flannel
192.168.99.102	node1	从节点 1	Docker Kubeadm kubelet kubectl flannel
192.168.99.103	node2	从节点 2	Docker Kubeadm kubelet kubectl flannel

环境准备

• 3台虚拟机CentOS7.x-86_x64
• 硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多
• 集群中所有机器之间网络互通
• 可以访问外网，需要拉取镜像
• 禁止swap分区

安装基础软件

• 配置 Master 和 work 节点的域名
  vi /etc/hosts

•  192.168.99.101 master
   192.168.99.102 node1
   192.168.99.103 node2 

• CPU 设置为 2 核
• 下载阿里云的yum源repo文件：

  curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
  

   
• 安装基本软件包

  yum install wget net-tools ntp git ‐y
  

   
• 同步系统时间

  ntpdate 0.asia.pool.ntp.org
  

   
• 配置Docker, K8S的阿里云yum源

  cat >>/etc/yum.repos.d/kubernetes.repo <<EOF
  [kubernetes]
  name=Kubernetes
  baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
  enabled=1
  gpgcheck=1
  repo_gpgcheck=1
  gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
  EOF
  

   
• 确保 br_netfilter 模块被加载。
  通过运行 lsmod | grep br_netfilter 来确认br_netfilter已经加载。若要加载该模块，可执行 sudo modprobe br_netfilter。
• 将桥接的IPv4流量传递到iptables
  为了让你的 Linux 节点上的 iptables 能够正确地查看桥接流量，你需要确保在你的 sysctl 配置中将 net.bridge.bridge-nf-call-iptables 设置为 1。执行：

  cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
  br_netfilter
  EOF
  

   
• 写入配置：

  cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
  net.bridge.bridge-nf-call-ip6tables = 1
  net.bridge.bridge-nf-call-iptables = 1
  EOF
  sudo sysctl --system
  

   
• 关闭 防火墙

  systemctl stop firewalld
  systemctl disable firewalld
  

   
• 关闭 SeLinux

  setenforce 0
  sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
  

   
• 关闭 swap

  swapoff -a
  yes | cp /etc/fstab /etc/fstab_bak
  
  

   vi /etc/fstab #注释下面这一行

  #/dev/mapper/centos-swap swap                    swap    defaults        0 0 

  Master节点安装 kubeadm, kubelet and kubectl

  • 首先确保虚拟机的 CPU 为 2 核（Kubeadm init 要求 2 核）
  • 修改docker配置文件，使用 systemd 作为 cgroup 的驱动（Kubeadm init 推荐）

    mkdir /etc/docker
    

     

    cat > /etc/docker/daemon.json <<EOF
    {
      "exec-opts": ["native.cgroupdriver=systemd"],
      "registry-mirrors": ["https://registry.cn-hangzhou.aliyuncs.com"]
    }
    EOF
    

     

    # Restart Docker
    
    systemctl daemon-reload
    systemctl restart docker
    systemctl enable docker
    

     
  • 安装kubelet、kubeadm、kubectl

    yum install -y kubelet-1.19.3 kubeadm-1.19.3 kubectl-1.19.3
    

• 制作虚拟机 Snapshot
  Clone 当前虚拟机，后续 worker node 的初始化可以基于这个 snapshot进行安装。

• 配置系统自动启动 kubelet

  systemctl enable kubelet  

   

  请使用 root账号在 Master 节点上安装，work node 也需要使用 root 账号。

  • 设置主机名，管理节点设置主机名为master

    hostnamectl set-hostname master
    

     
  • 初始化主节点

    kubeadm init --kubernetes-version=1.19.2 \
    --apiserver-advertise-address=192.168.99.101 \
    --image-repository registry.aliyuncs.com/google_containers \
    --service-cidr=10.1.0.0/16 \
    --pod-network-cidr=10.244.0.0/16
    

     此时会等待镜像拉取，网络 5M 的情况下 1 分钟能完成。
  • 执行以下命令

  • mkdir -p $HOME/.kube
    sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    sudo chown $(id -u):$(id -g) $HOME/.kube/config
    

     
  • 配置KUBECONFIG 环境变量

    echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
    

     
  • 安装网络插件 Flannel（只需要在 Master 安装 flannel）
    可以使用课程代码库的文件：

  • git clone https://git.imooc.com/coding-464/kubeblog.git
    kubectl apply -f kubeblog/docs/Chapter4/flannel.yaml
    ifconfig |grep flan
    [root@localhost ~]# kubectl get node
    kubectl get pod -n kube-system

     
    新建一个 worker node 虚拟机，按照之前安装 Master 节点的步骤，安装 kubeadm，kubectl, kubelet
    在 kubectl get node 显示 master 节点 ready 之后，执行 kubeadm join 命令（上一小节保持的命令），或者 kubeadm token create 命令，在执行 Kubeadm join。
    重新生成新的token，在master端执行

    kubeadm token create --print-join-command
    kubeadm join 192.168.99.101:6443 --token mpukvb.xbo0ejl71yp44k5h     --discovery-token-ca-cert-hash sha256:39b7001fcbddacdee7e104e7d77c3f0b0f39436cc254c1c6d3cf9644f4842641

   

  • Kubernetes 集群启动问题，用journalctl查看日志

    systemctl status kubelet
    journalctl -xefu kubelet
    journalctl -u kube-apiserver
    
    

     
  • 用kubectl 查看日志

  注意：使用Kubelet describe 查看日志，一定要注意是否应包含命名空间

  kubectl describe pod kubernetes-dashboard-849cd79b75-s2snt --namespace kube-system
  
  kubectl logs -f pods/monitoring-influxdb-fc8f8d5cd-dbs7d -n kube-system
  
  kubectl logs --tail 200 -f podname -n jenkins
  

   

   

  • 部署 dashboard:

    kubectl apply -f docs/Chapter4/kubernetes-dashboard.yaml
    

     
  • 查看pod,svc状态：

    kubectl get pod,svc -n kubernetes-dashboard 

  • 非安全的浏览器访问
    通过chrome浏览器访问https://192.168.99.102:31111, 此时会返回”Your connection is not private“,无法跳转页面到 Dashboard，这是由于 chrome 的安全设置，解决办法：鼠标点击当前页面，直接键盘输入‘thisisunsafe’，然后回车，即可进行页面跳转至 Dashboard登录页
  • 获取登录 token

    kubectl -n kube-system describe $(kubectl -n kube-system get secret -n kube-system -o name | grep namespace) | grep token
    

     
  •