栏目头部广告

基于UCloud UDNS产品和NLB产品实现kafka多节点调度

‌‌Apache ‌Kafka是一个开源的分布式流处理平台,主要用于处理实时数据流。‌是业务环节不可或缺的一部分,但当集群节点数量较多时,便会给业务带来管理的痛点,需要记录多个IP地址。那么今天我们就通过UCloud UDNS产品和NLB产品为大家介绍两个解决方案。

一、UCloud UDNS内网域名解析方案

官网文档:https://docs.ucloud.cn/udns/README

UDNS服务是UCloud提供的高可用、可扩展的域名解析服务系统。当前支持配置内网域名解析及外网域名递归解析。

利用UDNS提供的内网解析服务,可以用于实现内网服务发现、负载均衡、服务高可用等场景。通过设置内网域名解析,可以使用域名记录来管理VPC内的云资源,包括云主机、负载均衡等。

1.1 以香港地域Kafka服务为例

20240909160902.png

当前集群有3个节点,为了方便对节点IP的管理,我将通过UDNS域名解析配置,实现通过域名来管理节点IP地址。

1.2 创建UDNS服务

在⾹港地域创建 UDNS,香港UDNS不分可⽤区,覆盖香港全地域。

(1)添加域名

image.png

image.png

image.png

(2)添加主机记录

⼀个主机记录对应⼀个 ip  ,下图则是域名 node1.kafka.com 会被 dns  解析为10.7.143.74

image.png

(3)主机添加解析DNS地址

具体操作见 https://docs.ucloud.cn/udns/intro/config

(4)验证

现在可以通过 node1.kafka.com 作为kafka 域名访问

image.png

二、UCloud NLB网络型负载均衡方案

⽹络型负载均衡,将客户端的流量并将请求转发到⼀个或多个后端服务器,客户测只需记录⼀个 IP 即可。

产品详情见 :https://docs.ucloud.cn/ulb/NLB/intro/whatisnlb

优点:只需记住⼀个 ip 就可以,NLB 会均衡并⾃动转发请求!

2.1 创建 NLB(⽹络型负载均衡)

需在同个地域创建,具体操作参考 https://docs.ucloud.cn/ulb/NLB/guide/instance/create-instance 

创建后即可得到⼀个 内⽹和外⽹地址。

20240909162550.png

2.2 添加监听器

image.png

image.png

2.3 添加服务节点

(1)资源类型 选择 内⽹ IP

(2)地域选择和 kafka 资源相同的地域

(3)vpc 选择和 kafka 资源相同的 vpc

(4)监听端⼜填 9092

(5)可选资源填写 kafka 节点 ip

image.png

image.png

image.png

2.4 验证

使⽤ NLB绑定的 IP 地址访问

image.png

作者:UStarGao
链接:https://www.starcto.com/Cloud-BigData-AI/329.html
来源:STARCTO
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处

UCloud云平台推荐


UCloud新用户专属注册连接

UCloud CDN超值特惠专场

UCloud全球云主机(UHost/VPS)大促页面

UCloud快杰云主机大促页面

文章页广告

随便看看

栏目底部广告
`