在前面文章 (spring-cloud-k8s 跨 NS 的坑) 中,讲述了 spring-cloud-k8s
中,如何利用 k8s 基于 Ribbon 等负载均衡利器来实现 LB,但存在跨命名空间
的问题。
今天主要分享的是,基于 K8s 本身的 LB 利器,如何实现跨命名空间的应用服务互相访问,而且不是通过 K8s 原生的负载均衡 url 方式。还是基于 ServiceName。
直击源码
首先,我们新建一个服务提供者:diff-ns-service
,该服务提供了一个接口:
/**
* 返回远程调用的结果
* @return
*/
@RequestMapping("/getservicedetail")
public String getservicedetail(
@RequestParam(value = "servicename", defaultValue = "") String servicename) {
return JSON.toJSONString(discoveryClient.getInstances(servicename));
}
复制代码
该接口的功能是返回指定 service 的相关信息。比如:这个 Service 对应的有几个 pod,每个 pod 的节点信息,host 等。
image.png
如果想结合 K8s 来实现这个服务的发现,可以基于这个配置:
management:
endpoint:
restart:
enabled: true
health:
enabled: true
info:
enabled: true
spring:
application:
name: diff-ns-service
cloud:
loadbalancer:
ribbon:
enabled: false
kubernetes:
ribbon:
mode: SERVICE
discovery:
all-namespaces: true
复制代码
另外,如果想利用 k8s configMap 的配置来实现动态刷新应用服务的环境配置,可以这样配置:
spring:
application:
name: diff-ns-service
cloud:
kubernetes:
reload:
enabled: true
strategy: refresh
mode: event
config:
name: ${spring.application.name}
namespace: default
sources:
- name: ${spring.application.name}
namespace: ns-app
复制代码
这里的动态刷新的模式有两个:[polling
、event
。一个是主动拉取,一个是当 configmap 发生改变时,这种事件会被监听到,会主动刷新。
另外,这个刷新的策略也有几种:
这样,我们再来配置一下 Service:
apiVersion: v1
kind: Service
metadata:
name: diff-ns-service-service
namespace: ns-app
spec:
type: NodePort
ports:
- name: diff-ns-svc
port: 2008
targetPort: 2001
selector:
app: diff-ns-service
复制代码
这里我们设置了 Service 的 port,并且这个 Service 以 NodePort
类型创建。在(spring-cloud-k8s 跨 NS 的坑)一文中,我们使用的是默认的类型:ClusterIp。
这样,一个简单的服务提供者就创建成功了。接下来,我们看看服务消费者。
同样,我们先来创建一个服务 rest-service
,创建接口:
@GetMapping("/getClientRes")
public Response<Object> getClientRes() throws Exception {
HttpHeaders headers = new HttpHeaders();
MediaType type = MediaType.parseMediaType("application/json; charset=UTF-8");
headers.setContentType(type);
headers.add("Accept", MediaType.APPLICATION_JSON.toString());
HttpEntity<String> formEntity = new HttpEntity<String>(null, headers);
String body = "";
try {
ResponseEntity<String> responseEntity = restTemplate.exchange("http://diff-ns-service-service/getservicedetail?servicename=cas-server-service",
HttpMethod.GET, formEntity, String.class);
System.out.println(JSON.toJSONString(responseEntity));
if (responseEntity.getStatusCodeValue() == 200) {
return Response.ok(responseEntity.getBody());
}
} catch (Exception e) {
System.out.println(e.getMessage());
}
return Response.error("failed");
}
复制代码
同理地,结合 K8s 来实现这个服务的发现,可以基于这个配置:
management:
endpoint:
restart:
enabled: true
health:
enabled: true
info:
enabled: true
spring:
application:
name: rest-service
cloud:
loadbalancer:
ribbon:
enabled: false
kubernetes:
ribbon:
mode: SERVICE
discovery:
all-namespaces: true
复制代码
这里,我们不使用 RibbonLoadBalancerClient。
另外,如果想利用 k8s configMap 的配置来实现动态刷新应用服务的环境配置,可以这样配置:
spring:
cloud:
kubernetes:
reload:
enabled: true
strategy: refresh
mode: event
config:
name: ${spring.application.name}
namespace: default
sources:
- name: ${spring.application.name}
namespace: system-server
复制代码
对于这些,在前面的文章说过,我们需要依赖配置:
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-actuator</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-webflux</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-actuator-autoconfigure</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-kubernetes</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-kubernetes-config</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-kubernetes-discovery</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-kubernetes-loadbalancer</artifactId>
</dependency>
<dependency>
<groupId>com.squareup.okhttp3</groupId>
<artifactId>okhttp</artifactId>
</dependency>
复制代码
这里没有用 Ribbon 的,直接使用 spring-cloud-starter-kubernetes-loadbalancer
,但我们还是利用 RestTemplate
:
@LoadBalanced
@Bean
public RestTemplate restTemplate() {
SimpleClientHttpRequestFactory requestFactory = new SimpleClientHttpRequestFactory();
requestFactory.setReadTimeout(env.getProperty("client.http.request.readTimeout", Integer.class, 15000));
requestFactory.setConnectTimeout(env.getProperty("client.http.request.connectTimeout", Integer.class, 3000));
RestTemplate rt = new RestTemplate(requestFactory);
return rt;
}
复制代码
接下来,我们开始部署这两个应用服务了,同时,我们采用服务扩容方式实现多 pod:
kubectl scale --replicas=2 deployment diff-ns-service-deployment
复制代码
我们苦役看看服务节点信息:
image.png
查看 Service 信息:
接下来,我们访问服务rest-service
:http://192.168.8.107:5556/rest-service/getClientRes, 这里我们可以看到日志:
image.png
同时,去哦们可以看到返回结果:
这里,我们请求的是获取cas-server
这个服务的 pod 的分布信息。
同样地,我们通过 Service 的 Ip 和端口也可以直接访问:http://192.168.8.107:30916/getservicedetail?servicename=cas-server-service
image.png
PS:如果需要实现负载均衡,还是需要注入:@LoadBalanced
,如果我们把这个注解去掉会发生什么呢?
1636538633(1).png
我们发现去掉后,竟然不能访问了。
我们再做一组测试,如果我们利用 spring.cloud.kubernetes.ribbon.mode=POD
,我们来看看会有啥结果不?修改配置后,重新编译、部署,我们继续请求 urlhttp://192.168.8.107:5556/rest-service/getClientRes
:
image.png
新发现
如果我们引入的是基于 Spring cloud 本身的spring-cloud-starter-kubernetes-loadbalancer
,同时,我们没有去掉基于 Ribbon 的 LB 的能力,如:spring.cloud.loadbalancer.ribbon.enabled=false
,是有可能会报错的:
1636601324.png
总结
Spring cloud 本身:如果是基于 Spring cloud 本身的 LB,需要隐藏 Ribbon 的能力,同时基于RestTemplate
需要注解@LoadBalanced
。
k8s 本身:如果采用 Spring cloud 的负载,再结合 K8s,可以实现应用服务的 LB。如果设置spring.cloud.kubernetes.ribbon.mode=POD
,其禁用了 Ribbon 的 LB 能力,此时不会生效,走的还是 Spring cloud LoadBalancer。另外对于 Service,这里都设置为 NodePort 类型,如果是默认类型是否可以实现 LB,需要待确认,因为目前来看,没有实现,可能是网络问题,并不是说默认类型的 Service 不可实现 LB。
Ribbon,基于上面,下次可以尝试基于 NodePort 类型的 Service 来实现 Ribbon 的 LB,看是否是因为 Service 的网络导致的。
实践验证
在前面我们已经针对默认类型的 Service 进行 Ribbon 负载均衡测试过,发现无法对跨 NS 进行 LB。接下来,我们测试下基于 NodePort 类型的 Service,打开spring.cloud.loadbalancer.ribbon.enabled=true
,引入依赖:
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-kubernetes-ribbon</artifactId>
</dependency>
复制代码
按照以上配置,我们部署服务diff-ns-service
,我们发现服务启动后日志:
1636603546(1).png
请求后返回日志:
结论
不管怎样,Ribbon 无法解决跨 NS 的应用服务之间的相互访问。但对于 Service 类型来说,可能是网络设置问题,跟其类型无关。
评论