本文分享自华为云社区《nginx-ingress工作原理以及多nginx-ingress部署注意事项》，作者： 可以交个朋友。
一、nginx-ingress 工作原理
nginx-ingress 对应的容器中有两个核心组件：nginx-ingress-controller 和 nginx。其中 nginx-ingress-controller 负责 list-watch kube-apiserver 监听 ingress、service、endpoint、configmap 资源的状态变化，转变为 nginx 配置，刷新给容器中 nginx 进程，再由 nginx 对外保留服务提供转发能力，大致工作流程如下：
nginx-ingress 实例运行，nginx-ingress-controller list-watch kube-apiserver，获取相关资源变化；
当用户创建 ingress 资源时，当 nginx-ingress-controller 开启 webhook 能力时，kube-apiserver 根据对应的 AdmissionWebhook 描述调用 nginx-ingress 的 8443 端口，校验 ingress 资源合法性，通过后写入 ETCD；
nginx-ingress watch 到 ingress 资源变化（创建新的 ingress 资源），获取对应的 service、endpoint、configmap（如果涉及证书），转为为 nginx 配置，重写 nginx.conf 配置；
当请求访问到 nginx-ingress 80 或者 443 端口时，nginx 开始处理转发请求，如果满足 nginx.conf 规则，nginx 的 lua 脚本会调用 kube-apiserver 接口获取转发到真实后端 podip；
理解 nginx-ingress 原理后，那么部署多个 nginx-ingress 的关键注意事项也就出来了：
创建多个 nginx-ingress，多个 nginx-ingress 如何标识自己？
创建一个 ingress 资源后，在有多个 nginx-ingress 都在 watch ingress 的情况下，希望哪一个或者几个 nginx-ingress““捕获”并作用?
当部署了多个 nginx-ingress，如果部分开启了 webhook 能力，当创建 ingress 资源后，kube-apiserver 会调用哪个 nginx-ingress 的 webhook 去校验？
二、多 nginx-ingress 安装注意事项
2.1 多个 nginx-ingress 启动参数中–controller-class 均不相同
nginx-ingress-a 实例启动参数
nginx-ingress-b 实例启动参数
2.2 通过 ingress 资源中 spec.ingressClassName 指定相关联 nginx-ingress
kubernetes 1.23.x 以下版本对应的 apiVersion：networking.k8s.io/v1beta1
apiVersion: networking.k8s.io/v1beta1 kind: Ingress metadata: name: test-a namespace: nginx-a annotations: kubernetes.io/ingress.class: custom-nginx-aspec: rules: - http: paths: - backend: service: name: nginx port: number: 80 path: / pathType: ImplementationSpecific property: ingress.beta.kubernetes.io/url-match-mode: STARTS_WITHSTARTS_WITH
复制代码
kubernetes v1.23 版本及以上 apiVersion 是 networking.k8s.io/v1
apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: test-a namespace: nginx-aspec: ingressClassName: custom-nginx-a rules: - http: paths: - backend: service: name: nginx port: number: 80 path: / pathType: ImplementationSpecific property: ingress.beta.kubernetes.io/url-match-mode: STARTS_WITH
复制代码
2.3 多 nginx-ingress 场景下，通过 admissionwebhook 作用域限制单个 nginx-ingress webhook 作用范围
admission webhook 作用域默认是全局的，如果一个集群中有多个 nginx-ingress 组件（通过 ingressClass 区域），由于有多个 ValidatingAdmissionWebhook，当某个 ingress 资源创建时，kube-apiserver 会调用多个 nginx-ingress webhok 能力进行校验，当某个 nginx-ingress 出现故障（可能与该 ingress 资源并不关联），将会阻塞所有的 ingress 的写入。
多 nginx-ingress 场景下建议通过 admissionwebhook 自带的 namespaceSelector 控制每个 nginx-ingress 的作用域，使其作用到指定的命名空间，只教验作用域命名空间下的 ingresses 资源。
admissionwebhook： namespaceSelector: matchExpressions: - key: kubernetes.io/metadata.name #需要教验的namespace含有的标签key operator: In values: ["${namespace}"] # namespace含有的标签value（默认命名空间本身） rules: - operations: ["CREATE","UPDATE"] apiGroups: ["*"] apiVersions: ["*"] resources: ["ingresses"] #限制作用资源 scope: "*" #由于限制了作用资源ingresses，无需配置 objectSelector: {}
复制代码
如果集群版本在 1.28 及以上，可以通过 matchConditions 匹配请求，直接筛选 ingressClassName 字段，官网详情
三、安装部署多个 nginx-ingress
登录到集群，将 ingress-controller helm 包下载到集群
wget https://github.com/kubernetes/ingress-nginx/releases/download/helm-chart-4.3.0/ingress-nginx-4.3.0.tgz
复制代码
新建 myvalue.yaml 文件，内容如下；安装时指定此配置文件，其它未进行指定的参数会使用安装包中 value.yaml 默认配置值。
imagePullSecrets: {} #若仓库开启认证需要配置该字段controller: name: controller #自定义controller名称，不可重复 image: repository: swr.cn-north-4.myhuaweicloud.com/hwofficial/nginx-ingress # controller镜像地址设定 tag: "v1.2.1" ingressClass: custom-nginx # 设定ingress-class值，不可重复 ingressClassResource: name: custom-nginx #设定ingressClass资源名称，不可重复 controllerValue: k8s.io/custom-nginx #设定监测ingressClass资源的controller，不可重复 # 设定controller要使用的loadbalancer service，本例中使用的是独享型ELB service: annotations: { # kubernetes.io/elb.class: performance #开启后turbo集群直通pod(仅限独享型elb) kubernetes.io/elb.id: 3660aa3c-xxxx-xxxx-xxxx-xxxxff97xxxx #ELB ID，不可重复 } # 设定controller的资源限制 resources: requests: cpu: 200m memory: 200Mi # 挂载节点上的/etc/localtime文件，进行时区同步 extraVolumeMounts: - name: localtime mountPath: /etc/localtime readOnly: true extraVolumes: - name: localtime hostPath: path: /etc/localtime admissionWebhooks: enabled: true failurePolicy: Fail port: 8443 certificate: "/usr/local/certificates/cert" key: "/usr/local/certificates/key" namespaceSelector: matchExpressions: - key: kubernetes.io/metadata.name operator: In values: ["${namespace}"] # ${namespace}修改为业务负载所在的命名空间,逗号分割 rules: - operations: ["CREATE","UPDATE"] apiGroups: ["*"] apiVersions: ["*"] resources: ["ingresses"] scope: "*" networkPolicyEnabled: false service: servicePort: 443 type: ClusterIP createSecretJob: resources: limits: cpu: 20m memory: 40Mi requests: cpu: 10m memory: 20Mi patch: enabled: true image: registry: registry.k8s.io # registry.k8s.io，webhook官网镜像仓库需要替换成自己镜像所在仓库地址 image: ingress-nginx/kube-webhook-certgen # ingress-nginx/kube-webhook-certgen tag: v1.1.1 # v20220916-gd32f8c343 pullPolicy: IfNotPresent nodeSelector: kubernetes.io/os: linux securityContext: runAsNonRoot: true runAsUser: 2000 fsGroup: 2000 defaultBackend: enabled: false # 关闭defaultBackend
复制代码
value 配置文件注解如下：
部署多个 nginx-ingress 场景下，不可重复字段的值需配置不同
文件中开启 admissionWebhooks 功能，通过配置 admissionwebhook，避免了因配置错误导致 ingress-controller 不必要的 reload。开启此特性后，如需卸载重装 ingress-controller，会有 webhook 对应的 secret 残留，如果再部署同名的 ingress-controller 有可能造成 controller 不可用，需要注意手动清理。
将 ingress-controller 部署到指定的命名空间 ${namespace}
helm install ingress-nginx-controller -f myvalue.yaml ./ingress-nginx-a -n ${namespace}
复制代码
效果展示
查看 controller 实例是否部署成功
ingressclasses 资源
查看访问入口 ELB 地址
创建测试工作负载、service 和 ingress 资源
访问测试
点击关注，第一时间了解华为云新鲜技术~
评论