update doc 'metallb.md'

wz510172336 · Nov 2, 2018 · 845ee61 · 845ee61
1 parent 59396f5
commit 845ee61
Show file tree

Hide file tree

Showing 3 changed files with 132 additions and 3 deletions.
diff --git a/docs/guide/index.md b/docs/guide/index.md
@@ -11,6 +11,7 @@
 - 安装 [helm](helm.md)
 - 安装 [efk](efk.md)
 - 安装 [harbor](harbor.md)
+- 安装 [metallb](metallb.md)
 
 ### 基础特性演示
 

diff --git a/docs/guide/ingress.md b/docs/guide/ingress.md
@@ -10,7 +10,7 @@ ingress就是从kubernetes集群外访问集群的入口，将用户的URL请求
 
 集群外部 -> Ingress -> K8S Service
 
-+ 注意：ingress 本身也需要部署`Ingress controller`时暴露`NodePort`让外部访问
++ 注意：ingress 本身也需要部署`Ingress controller`时暴露`NodePort`让外部访问；如果你集群支持，可以方便地使用LoadBalancer地址暴露ingress服务
 
 ### 部署 Traefik
 
@@ -101,10 +101,28 @@ spec:
 ```
 打开浏览器输入域名 `http://hello.test.com:23456` 和 `http://traefik-ui.test.com:23456` 就可以访问k8s的应用服务了。
 
-- 如果你的环境中有类似 nginx/haproxy 等集群，可以做代理转发以去掉 `23456`这个端口，如下步骤。
+### 可选1: 使用`LoadBalancer`服务类型来暴露ingress，自有环境（非公有云）可以参考[metallb文档](metallb.md)
 
-### 部署`ingress-service`的负载均衡
+``` bash
+# 修改traefik-ingress 使用 LoadBalancer服务
+$ sed -i 's/NodePort$/LoadBalancer/g' /etc/ansible/manifests/ingress/traefik-ingress.yaml
+# 创建traefik-ingress
+$ kubectl apply -f /etc/ansible/manifests/ingress/traefik-ingress.yaml
+# 验证
+$ kubectl get svc --all-namespaces |grep traefik
+kube-system   traefik-ingress-service   LoadBalancer   10.68.163.243   192.168.1.241   80:23456/TCP,8080:37088/TCP   1m
+```
+这时可以修改客户端本机 `hosts`文件：(如上例192.168.1.241)
+
+``` text
+192.168.1.241     hello.test.com
+192.168.1.241     traefik-ui.test.com
+```
+打开浏览器输入域名 `http://hello.test.com` 和 `http://traefik-ui.test.com`可以正常访问。
+
+### 可选2: 部署`ingress-service`的负载均衡
 
+- 利用 nginx/haproxy 等集群，可以做代理转发以去掉 `23456`这个端口，如下步骤。
 如果你的集群根据本项目部署了高可用方案，那么可以利用`LB` 节点haproxy 来做，当然如果生产环境K8S应用已经部署非常多，建议还是使用独立的 `nginx/haproxy`集群。
 
 - 1. 修改 `roles/lb/vars/main.yml` 文件，设置 `INGRESS_NODEPORT_LB: "yes"`

diff --git a/docs/guide/metallb.md b/docs/guide/metallb.md
@@ -0,0 +1,110 @@
+# metallb 网络负载均衡
+
+`Metallb`是在自有硬件上（非公有云）实现 `Kubernetes Load-balancer`的工具，由`google`团队开源，值得推荐！项目[github主页](https://github.com/google/metallb)。
+
+## metallb 简介
+
+这里简单介绍下它的实现原理，具体可以参考[metallb官网](https://metallb.universe.tf/)，文档非常简洁、清晰。目前有如下的使用限制：
+
+- `Kubernetes v1.9.0`版本以上，暂不支持`ipvs`模式
+- 支持网络组件 (flannel/weave/romana), calico 部分支持
+- `layer2`和`bgp`两种模式，其中`bgp`模式需要外部网络设备支持`bgp`协议
+
+`metallb`主要实现了两个功能：地址分配和对外宣告
+
+- 地址分配：需要向网络管理员申请一段ip地址，如果是layer2模式需要这段地址与node节点地址同个网段（同一个二层）；如果是bgp模式没有这个限制。
+- 对外宣告：layer2模式使用arp协议，利用节点的mac额外宣告一个loadbalancer的ip（同mac多ip）；bgp模式下节点利用bgp协议与外部网络设备建立邻居，宣告loadbalancer的地址段给外部网络。
+
+## kubeasz 集成安装metallb
+
+因bgp模式需要外部路由器的支持，这里主要选用layer2模式（如需选择bgp模式，相应修改roles/cluster-addon/templates/metallb/bgp.yaml.j2）。
+
+- 1.修改roles/cluster-addon/defaults/main.yml 配置文件相关
+
+``` bash
+# metallb 自动安装
+metallb_install: "yes"
+# 模式选择: 二层 "layer2" 或者三层 "bgp"
+metallb_protocol: "layer2"
+metallb_offline: "metallb_v0.7.3.tar"
+metallb_vip_pool: "192.168.1.240/29"  # 选一段与node节点相同网段的地址
+```
+
+- 2.执行安装 `ansible-playbook 07.cluster-addon.yml`，其中controller 负责统一loadbalancer地址管理和服务监控，speaker 负责节点的loadbalancer地址的对外宣告（使用arp或者bgp网络协议），注意 **speaker是以DaemonSet 形式运行且只会调度到有node-role.kubernetes.io/metallb-speaker=true标签的节点**，所以你可以选择做speaker的节点（该节点网络性能要好），使用命令 `$ kubectl label nodes 192.168.1.43 node-role.kubernetes.io/metallb-speaker=true`
+
+- 3.验证metallb相关 pod
+
+``` bash
+$ kubectl get node
+NAME           STATUS                     ROLES                  AGE       VERSION
+192.168.1.41   Ready,SchedulingDisabled   master                 4h        v1.11.3
+192.168.1.42   Ready                      node                   4h        v1.11.3
+192.168.1.43   Ready                      metallb-speaker,node   4h        v1.11.3
+192.168.1.44   Ready                      metallb-speaker,node   4h        v1.11.3
+$ kubectl get pod -n metallb-system 
+NAME                        READY     STATUS    RESTARTS   AGE
+controller-9c57dbd4-798nb   1/1       Running   0          4h
+speaker-9rjmk               1/1       Running   0          4h
+speaker-n79l4               1/1       Running   0          4h
+```
+
+- 3.创建测试应用验证 loadbalancer 地址分配
+
+``` bash
+# 创建测试应用
+$ cat > test-nginx.yaml << EOF
+apiVersion: apps/v1beta2
+kind: Deployment
+metadata:
+  name: nginx3
+spec:
+  selector:
+    matchLabels:
+      app: nginx3
+  template:
+    metadata:
+      labels:
+        app: nginx3
+    spec:
+      containers:
+      - name: nginx3
+        image: nginx:1
+        ports:
+        - name: http
+          containerPort: 80
+
+---
+apiVersion: v1
+kind: Service
+metadata:
+  name: nginx3
+spec:
+  ports:
+  - name: http
+    port: 80
+    protocol: TCP
+    targetPort: 80
+  selector:
+    app: nginx3
+  type: LoadBalancer
+EOF
+$ kubectl apply -f test-nginx.yaml
+
+# 查看生成的loadbalancer 地址，如下验证成功
+$ kubectl get svc
+NAME         TYPE           CLUSTER-IP     EXTERNAL-IP     PORT(S)        AGE
+kubernetes   ClusterIP      10.68.0.1      <none>          443/TCP        5h
+nginx3       LoadBalancer   10.68.82.227   192.168.1.240   80:38702/TCP   1m
+```
+
+- 4.验证使用loadbalacer 来暴露ingress的服务地址，之前在[ingress文档](ingress.md)中我们是使用nodeport方式服务类型，现在我们可以方便的使用loadbalancer类型了，使用loadbalancer地址(192.168.1.241)方便的绑定你要的域名进行访问。
+
+``` bash
+# 修改traefik-ingress 使用 LoadBalancer服务
+$ sed -i 's/NodePort$/LoadBalancer/g' /etc/ansible/manifests/ingress/traefik-ingress.yaml
+# 创建traefik-ingress
+$ kubectl apply -f /etc/ansible/manifests/ingress/traefik-ingress.yaml
+# 验证
+$ kubectl get svc --all-namespaces |grep traefik
+kube-system   traefik-ingress-service   LoadBalancer   10.68.163.243   192.168.1.241   80:23456/TCP,8080:37088/TCP   1m
+```