更新安装步骤文档

justmine66 · Jan 5, 2018 · d7c6b8a · d7c6b8a
1 parent 583c79e
commit d7c6b8a
Show file tree

Hide file tree

Showing 12 changed files with 91 additions and 434 deletions.
diff --git a/90.setup.yml b/90.setup.yml
@@ -45,7 +45,7 @@
   roles:
   - kube-node
 
-# 集群网络插件部署
+# 集群网络插件部署，只能选择一种安装
 - hosts: kube-cluster
   roles:
   - { role: calico, when: "CLUSTER_NETWORK == 'calico'" }

diff --git a/99.clean.yml b/99.clean.yml
@@ -81,6 +81,7 @@
 	ip link del tunl0; \
 	ip link del flannel.1; \
 	ip link del cni0; \
+        ip link del mynet0; \
 	systemctl restart networking; \
 	systemctl restart network"
     ignore_errors: true

diff --git a/docs/00-集群规划和基础参数设定.md b/docs/00-集群规划和基础参数设定.md
@@ -11,22 +11,35 @@
 
 生产环境使用建议一个节点只是一个角色，避免性能瓶颈问题，这里演示环境将节点绑定多个角色。项目预定义了3个例子，请修改后完成适合你的集群规划。
 
-+ [单节点 AllInOne](../example/hosts.allinone.example)
++ [单节点](../example/hosts.allinone.example)
 + [单主多节点](../example/hosts.s-master.example)
 + [多主多节点](../example/hosts.m-masters.example)
 
 ## 集群所用到的参数举例如下：
 ``` bash
+# ---------集群主要参数---------------
 #集群 MASTER IP, 需要负载均衡，一般为VIP地址
 MASTER_IP="192.168.1.10"
 KUBE_APISERVER="https://192.168.1.10:8443"
 
-#pause镜像 基础镜像
+#pause镜像地址
 POD_INFRA_CONTAINER_IMAGE=mirrorgooglecontainers/pause-amd64:3.0
 
 #TLS Bootstrapping 使用的 Token，使用 head -c 16 /dev/urandom | od -An -t x | tr -d ' ' 生成
 BOOTSTRAP_TOKEN="c30302226d4b810e08731702d3890f50"
 
+# 集群网络插件，目前支持calico和flannel
+CLUSTER_NETWORK="calico"
+
+# 部分calico相关配置，更全配置可以去roles/calico/templates/calico.yaml.j2自定义
+# 设置 CALICO_IPV4POOL_IPIP=“off”,可以提高网络性能，条件限制详见 05.安装calico网络组件.md
+CALICO_IPV4POOL_IPIP="always"
+# 设置 calico-node使用的host IP，bgp邻居通过该地址建立，可手动指定端口"interface=eth0"或使用>如下自动发现
+IP_AUTODETECTION_METHOD="can-reach=223.5.5.5"
+
+# 部分flannel配置，详见roles/flannel/templates/kube-flannel.yaml.j2
+FLANNEL_BACKEND="vxlan"
+
 # 服务网段 (Service CIDR），部署前路由不可达，部署后集群内使用 IP:Port 可达
 SERVICE_CIDR="10.68.0.0/16"
 
@@ -42,7 +55,7 @@ CLUSTER_KUBERNETES_SVC_IP="10.68.0.1"
 # 集群 DNS 服务 IP (从 SERVICE_CIDR 中预分配)
 CLUSTER_DNS_SVC_IP="10.68.0.2"
 
-# 集群 DNS 域名，后续生成 master节点证书时也会用到这个默认根域名
+# 集群 DNS 域名
 CLUSTER_DNS_DOMAIN="cluster.local."
 
 # etcd 集群间通信的IP和端口, **根据实际 etcd 集群成员设置**
@@ -51,7 +64,7 @@ ETCD_NODES="etcd1=https://192.168.1.1:2380,etcd2=https://192.168.1.2:2380,etcd3=
 # etcd 集群服务地址列表, **根据实际 etcd 集群成员设置**
 ETCD_ENDPOINTS="https://192.168.1.1:2379,https://192.168.1.2:2379,https://192.168.1.3:2379"
 
-# 集群basic auth 使用的用户名和密码【可选】
+# 集群basic auth 使用的用户名和密码
 BASIC_AUTH_USER="admin"
 BASIC_AUTH_PASS="test1234"
 
@@ -65,11 +78,13 @@ ca_dir="/etc/kubernetes/ssl"
 #部署目录，即 ansible 工作目录，建议不要修改
 base_dir="/etc/ansible"
 
-#私有仓库 harbor服务器 (域名或者IP) 【可选】
-HARBOR_IP="192.168.1.8"
-HARBOR_DOMAIN="harbor.mydomain.com"
+#私有仓库 harbor服务器 (域名或者IP)
+#HARBOR_IP="192.168.1.8"
+#HARBOR_DOMAIN="harbor.yourdomain.com"
 ```
 
++ 请事先规划好使用何种网络插件(calico flannel)，并配置对应网络插件的参数
+
 ## 部署步骤
 
 按照[多主多节点](../example/hosts.m-masters.example)示例的节点配置，至少准备4台虚机，测试搭建一个多主高可用集群。
@@ -136,12 +151,15 @@ mv kubeasz /etc/ansible
 # 如果你有合适网络环境也可以按照/down/download.sh自行从官网下载各种tar包到 ./down目录，并执行download.sh
 tar zxvf k8s.190.tar.gz
 mv bin/* /etc/ansible/bin
-# 配置ansible的hosts文件，并且根据上文实际规划修改此hosts文件
 cd /etc/ansible
 cp example/hosts.m-masters.example hosts
+# 根据上文实际规划修改此hosts文件
+vi hosts
 ```
 + 验证ansible安装
 
+在deploy 节点使用如下命令
+
 ``` bash
 ansible all -m ping
 ```
@@ -171,9 +189,9 @@ ansible all -m ping
 #ansible-playbook 02.etcd.yml
 #ansible-playbook 03.kubectl.yml
 #ansible-playbook 04.docker.yml
-#ansible-playbook 05.calico.yml
-#ansible-playbook 06.kube-master.yml
-#ansible-playbook 07.kube-node.yml
+#ansible-playbook 05.kube-master.yml
+#ansible-playbook 06.kube-node.yml
+#ansible-playbook 07.calico.yml 或者 ansible-playbook 07.flannel.yml 只能选择一种网络插件
 #ansible-playbook 90.setup.yml # 一步安装
 ```
 

diff --git a/docs/01-创建CA证书和环境配置.md b/docs/01-创建CA证书和环境配置.md
@@ -85,7 +85,7 @@ cfssl gencert -initca ca-csr.json | cfssljson -bare ca
   - ca.csr
   - ca-config.json
 ```
-+ force=no 保证整个安装的幂等性，如果已经生成过CA证书，就使用已经存在的CA，简单说可以多次运行 `ansible-playbook 90.setup.yml` 
++ force=no 保证整个安装的幂等性，如果已经生成过CA证书，就使用已经存在的CA，可以多次运行 `ansible-playbook 90.setup.yml` 
 + 如果确实需要更新CA 证书，删除/roles/prepare/files/ca* 可以使用新CA 证书
 
 ### kubedns.yaml 配置生成
@@ -96,6 +96,7 @@ cfssl gencert -initca ca-csr.json | cfssljson -bare ca
 ``` bash
 roles/prepare/
 ├── files
+│   ├── 95-k8s-sysctl.conf
 │   ├── ca-config.json
 │   ├── ca.csr
 │   ├── ca-csr.json
@@ -110,6 +111,7 @@ roles/prepare/
 1. 修改环境变量，把{{ bin_dir }} 添加到$PATH，需要重新登陆 shell生效
 1. 把证书工具 CFSSL下发到指定节点
 1. 把CA 证书相关下发到指定节点的 {{ ca_dir }} 目录
+1. 最后设置基础操作系统软件和系统参数，请阅读脚本中的注释内容
 
 ### LB 负载均衡部署
 ``` bash

diff --git a/docs/04-安装docker服务.md b/docs/04-安装docker服务.md
@@ -142,4 +142,4 @@ iptables-save|grep FORWARD
 -A FORWARD -j ACCEPT
 ```
 
-[前一篇](03-配置kubectl命令行工具.md) -- [后一篇](05-安装calico网络组件.md)
+[前一篇](03-配置kubectl命令行工具.md) -- [后一篇](05-安装kube-master节点.md)
diff --git a/docs/05-安装kube-master节点.md b/docs/05-安装kube-master节点.md
@@ -1,4 +1,4 @@
-## 06-安装kube-master节点.md
+## 05-安装kube-master节点.md
 
 部署master节点包含三个组件`apiserver` `scheduler` `controller-manager`，其中：
 
@@ -212,4 +212,4 @@ etcd-2               Healthy   {"health": "true"}
 etcd-1               Healthy   {"health": "true"} 
 ```
 
-[前一篇](05-安装calico网络组件.md) -- [后一篇](07-安装kube-node节点.md)
+[前一篇](04-安装docker服务.md) -- [后一篇](06-安装kube-node节点.md)
diff --git a/docs/06-安装kube-node节点.md b/docs/06-安装kube-node节点.md
@@ -1,20 +1,18 @@
-## 07-安装kube-node节点.md
+## 06-安装kube-node节点.md
 
-node 是集群中承载应用的节点，前置条件需要先部署好master节点(因为需要操作`用户角色绑定`、`批准kubelet TLS 证书请求`等)，它需要部署如下组件：
+`kube-node` 是集群中承载应用的节点，前置条件需要先部署好`kube-master`节点(因为需要操作`用户角色绑定`、`批准kubelet TLS 证书请求`等)，它需要部署如下组件：
 
 + docker：运行容器
-+ calico： 配置容器网络
-+ kubelet： node上最主要的组件
++ calico： 配置容器网络 (或者 flannel)
++ kubelet： kube-node上最主要的组件
 + kube-proxy： 发布应用服务与负载均衡
 
 ``` bash
 roles/kube-node
-├── files
-│   └── rbac.yaml
 ├── tasks
 │   └── main.yml
 └── templates
-    ├── calico-kube-controllers.yaml.j2
+    ├── cni-default.conf.j2
     ├── kubelet.service.j2
     ├── kube-proxy-csr.json.j2
     └── kube-proxy.service.j2
@@ -56,6 +54,10 @@ kubelet 启动时向 kube-apiserver 发送 TLS bootstrapping 请求，需要先
 + 注意 kubelet bootstrapping认证时是靠 token的，后续由 `master`为其生成证书和私钥
 + 以上生成的bootstrap.kubeconfig配置文件需要移动到/etc/kubernetes/目录下，后续在kubelet启动参数中指定该目录下的 bootstrap.kubeconfig
 
+### 创建cni 基础网络插件配置文件
+
+因为后续需要用 `DaemonSet Pod`方式运行k8s网络插件，所以kubelet.server服务必须开启cni相关参数，并且提供cni网络配置文件
+
 ### 创建 kubelet 的服务文件
 
 + 必须先创建工作目录 `/var/lib/kubelet`
@@ -73,7 +75,7 @@ WorkingDirectory=/var/lib/kubelet
 ExecStart={{ bin_dir }}/kubelet \
   --address={{ NODE_IP }} \
   --hostname-override={{ NODE_IP }} \
-  --pod-infra-container-image=mirrorgooglecontainers/pause-amd64:3.0 \
+  --pod-infra-container-image={{ POD_INFRA_CONTAINER_IMAGE }} \
   --experimental-bootstrap-kubeconfig=/etc/kubernetes/bootstrap.kubeconfig \
   --kubeconfig=/etc/kubernetes/kubelet.kubeconfig \
   --cert-dir={{ ca_dir }} \
@@ -189,30 +191,6 @@ WantedBy=multi-user.target
 + --hostname-override 参数值必须与 kubelet 的值一致，否则 kube-proxy 启动后会找不到该 Node，从而不会创建任何 iptables 规则
 + 特别注意：kube-proxy 根据 --cluster-cidr 判断集群内部和外部流量，指定 --cluster-cidr 或 --masquerade-all 选项后 kube-proxy 才会对访问 Service IP 的请求做 SNAT；但是这个特性与calico 实现 network policy冲突，所以如果要用 network policy，这两个选项都不要指定。
 
-### 部署calico-kube-controllers 
-
-calico networkpolicy正常工作需要3个组件：
-
-+ `master/node` 节点需要运行的 docker 容器 `calico/node`
-+ `cni-plugin` 所需的插件二进制和配置文件
-+ `calico kubernetes controllers` 负责监听Network Policy的变化，并将Policy应用到相应的网络接口
-
-#### 准备RBAC和calico-kube-controllers.yaml 文件
-
-- [RBAC](../roles/kube-node/files/rbac.yaml)
-  - 最小化权限使用
-- [Controllers](../roles/kube-node/templates/calico-kube-controllers.yaml.j2)
-  - 注意只能跑一个 controller实例
-  - 注意该 controller实例需要使用宿主机网络 `hostNetwork: true`
-
-#### 创建calico-kube-controllers
-
-``` bash
-"sleep 15 && {{ bin_dir }}/kubectl create -f /root/local/kube-system/calico/rbac.yaml && \ 
-        {{ bin_dir }}/kubectl create -f /root/local/kube-system/calico/calico-kube-controllers.yaml"
-```
-+ 增加15s等待集群node ready
-
 ### 验证 node 状态
 
 ``` bash
@@ -225,17 +203,10 @@ journalctl -u kube-proxy
 
 ``` bash
 NAME           STATUS    ROLES     AGE       VERSION
-192.168.1.42   Ready     <none>    2d        v1.8.4
-192.168.1.43   Ready     <none>    2d        v1.8.4
-192.168.1.44   Ready     <none>    2d        v1.8.4
-```
-并且稍等一会，`kubectl get pod -n kube-system -o wide` 可以看到有个calico controller 的POD运行，且使用了host 网络
-
-``` bash
-kubectl get pod -n kube-system -o wide
-NAME                                      READY     STATUS    RESTARTS   AGE       IP              NODE
-calico-kube-controllers-69bcb79c6-b444q   1/1       Running   0          2d        192.168.1.44    192.168.1.44
+192.168.1.42   Ready     <none>    2d        v1.9.0
+192.168.1.43   Ready     <none>    2d        v1.9.0
+192.168.1.44   Ready     <none>    2d        v1.9.0
 ```
 
 
-[前一篇](06-安装kube-master节点.md) -- [后一篇]()
+[前一篇](05-安装kube-master节点.md) -- [后一篇](07-安装calico网络组件.md)