Cluster Autoscaler
(CA)是一个独立程序,是用来弹性伸缩kubernetes集群的。在使用kubernetes集群经常问到的一个问题是,应该保持多大的节点规模来满足应用需求呢? cluster-autoscaler 出现解决了这个问题,它可以自动根据部署应用所请求资源量来动态的伸缩集群。
在以下情况下,集群自动扩容或者缩放:
扩容
:由于资源不足,某些Pod无法在任何当前节点上进行调度缩容
: Node节点资源利用率较低时,且此node节点上存在的pod都能被重新调度到其他node节点上运行
- 节点上有pod被
PodDisruptionBudget
控制器限制。 - 节点上有命名空间是
kube-system
的pods。 - 节点上的pod不是被控制器创建,例如不是被deployment, replica set, job, stateful set创建。
- 节点上有pod使用了本地存储
- 节点上pod驱逐后无处可去,即没有其他node能调度这个pod
- 节点有注解:
"cluster-autoscaler.kubernetes.io/scale-down-disabled": "true"
(在CA 1.0.3或更高版本中受支持)
Horizontal Pod Autoscaler 会根据当前CPU负载更改部署或副本集的副本数。如果负载增加,则HPA将创建新的副本,集群中可能有足够的空间,也可能没有足够的空间。如果没有足够的资源,CA将尝试启动一些节点,以便HPA创建的Pod可以运行。如果负载减少,则HPA将停止某些副本。结果,某些节点可能变得利用率过低或完全为空,然后CA将终止这些不需要的节点。
从CA 1.0
开始,节点可以打上以下标签:
"cluster-autoscaler.kubernetes.io/scale-down-disabled": "true"
可以使用 kubectl
将其添加到节点(或从节点删除):
$ kubectl annotate node <nodename> cluster-autoscaler.kubernetes.io/scale-down-disabled=true
- 不要直接修改属于自动伸缩节点组的节点。同一节点组中的所有节点应该具有相同的容量、标签和在其上运行的系统pod
- Pod 声明 requests 资源限制
- 使用
PodDisruptionBudgets
可以防止突然删除Pod(如果需要) - 再为节点池指定最小/最大设置之前,请检查您的云提供商的配额是否足够大
- 不要运行任何其他节点组自动缩放器(尤其是来自您的云提供商的自动缩放器)
GCE
https://kubernetes.io/docs/concepts/cluster-administration/cluster-management/GKE
https://cloud.google.com/container-engine/docs/cluster-autoscalerAWS
https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/aws/README.mdAzure
https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/azure/README.mdAlibaba Cloud
https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/alicloud/README.mdOpenStack Magnum
https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/magnum/README.mdDigitalOcean
https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/digitalocean/README.mdCloudStack
https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/cloudstack/README.mdExoscale
https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/exoscale/README.mdPacket
https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/packet/README.mdOVHcloud
https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/ovhcloud/README.mdLinode
https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/linode/README.mdHetzner
https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/hetzner/README.mdCluster API
https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/cloudprovider/clusterapi/README.md
请参考链接:https://github.com/kubernetes/autoscaler/blob/master/cluster-autoscaler/FAQ.md