写点什么

腾讯云 ES:一站式接入,数据链路可视化重磅来袭!

  • 2023-09-22
    广东
  • 本文字数:2090 字

    阅读完需:约 7 分钟

腾讯云ES:一站式接入,数据链路可视化重磅来袭!


当前,各大云厂商均推出了 Elasticsearch 的云上托管服务,并通过提供运维管理、监控告警、日志查看等工具,方便用户进行集群的管理与维护。但在数据接入方面,腾讯云 Elasticsearch Service(ES)在实践中发现,用户仍需单独打通每一个组件的上下游,最终完成整个链路的创建,而数据链路涉及数据源配置、数据采集、数据缓存、数据加工、数据目的等复杂的流程,每一步都需要单独配置的情况下,用户接入以及运维的成本较高。

基于此,腾讯云 ES 推出了一站式的数据链路可视化接入服务,相对于传统的数据接入,数据接入可以大大的降低使用与维护成本,提高链路创建效率。数据接入提供了 CVM 与 TKE、MySQL 等数据源的接入,只需在界面上填写链路中相关组件的配置信息或者遵循相关指引,即可快速完成整个链路的创建。



使用介绍

进入新建页面

  • 登录 ES 控制台,单击数据接入进入数据链路列表。

  • 单击新建数据链路进入新建页面。

数据链路配置

填写基本信息

1.填写数据链路名称,将根据该名称自动生成数据链路 ID。

2.选择地域,后续数据链路的相关组件与资源,都将来自该地域。

3.选择数据源,当前日志场景支持 CVM 与 TKE 等等数据源、指标场景支持 CVM,后续将支持更多的数据源,其他数据同步配置如 MySQL 等可通过相关文档指引进行。

4.点击“开始创建”,将进入数据链路组件配置页面。

组件配置

1.建议数据链路各个组件在同一个 VPC 以保证网络互通,否则您需要自行打通网络连接。

2.通过选择数据链路模式,可切换该链路组件配置。

3.为了创建数据接入链路,通过助手下发配置时,要使用用户密钥,初次点击“新建数据链路”时,需要您授权创建服务相关角色,授权 “腾讯云 Elasticsearch 服务” 访问您的 "自动化助手服务”、“云服务器 CVM”、“容器服务 TKE”、”消息队列 CKafka”,使用相关服务接口完成相应功能。




以下将通过 CVM 及 TKE 日志采集链路的配置进行相关说明。

CVM-Filebeat-CKafka-Logstash-ES

数据源

1.选择 VPC。

2.选择 CVM,仅支持 Linux 系统的 CVM,且 CVM 必须安装自动化助手后才能采集数据。



数据采集

1.填写采集配置相关内容。

2.output 信息将在提交时根据您填写的链路配置自动填充,请勿在此输入相关信息。



数据缓存

1.选择 CKafka 实例。

2.从 Ckakfa 实例已经路由打通的 VPC 中,选择跟当前链路组件有交集的 VPC。

3.创建或者选择已有 Topic,当选择创建 Topic 时,如您未填写 Topic 名称,将自动生成格式为{数据链路 ID_topic_随机字符串}的 Topic 名称。



数据加工

1.选择 VPC。

2.选择 Logstash 实例。

3.生成数据链路时,将自动在该实例下创建名称为{数据链路 ID_lgpipe_随机字符串}的管道,如需对数据进行加工,可在数据链路创建完成后到对应的 Logstash 实例下修改相关管道的配置。



数据目的

1.选择 VPC。

2.选择 ES 实例。

3.选择写入的索引类型,自治索引适用于 2022 年 6 月 1 日之后创建的 7.14.2 版本集群,早于此时间创建的 7.14.2 版本集群重启后可支持。低于 7.14.2 版本的集群需升级至 7.14.2 版本。

4.填写索引名称,当写入的索引类型为普通索引时,该名称为索引别名,您可根据该别名访问您的数据。如您未填写索引名称,将自动生成格式为{数据链路 ID_index_随机字符串}的索引名称。

5.在写入的索引类型中,如您选择的是新建自治索引,您可对字段映射进行预定义;如您选择的是选择自治索引,请确保采集的 "时间字段" 与所选自治索引的 "时间字段" 完全一致,否则将导致数据写入失败。



TKE-Filebeat-CKafka-Logstash-ES

数据源

1.选择 VPC

2.选择 TKE 集群。



数据采集

1.命名空间:必选。第一个下拉可选择 包含/不包含。第二个下拉可选择命名空间,支持多选,不支持选择不包含全部命名空间。

2.Pod 标签:选填。支持创建多个 Pod 标签,标签之间是逻辑与关系。

3.容器名称:选填。填写的容器名称必须在采集目标集群及命名空间之下,为空时,Filebeat 会采集命名空间下符合 Pod 标签的全部容器。

4.日志内容过滤:选填。根据关键字过滤日志,可填多个关键字,以逗号分隔。

5.高级采集配置:选填。个性化设置解析方式、过滤等,一般采用默认配置。



数据缓存

1.选择 CKafka 实例。

2.从 Ckakfa 实例已经路由打通的 VPC 中,选择跟当前链路组件有交集的 VPC。

3.创建或者选择已有 Topic,当选择创建 Topic 时,如您未填写 Topic 名称,将自动生成格式为{数据链路 ID_topic_随机字符串}的 Topic 名称。



数据加工

1.选择 VPC。

2.选择 Logstash 实例。

3.生成数据链路时,将自动在该实例下创建名称为{数据链路 ID_lgpipe_随机字符串}的管道,如需对数据进行加工,可在数据链路创建完成后到对应的 Logstash 实例下修改相关管道的配置。



数据目的

1.选择 VPC。

2.选择 ES 实例。

3.选择写入的索引类型,自治索引适用于 2022 年 6 月 1 日之后创建的 7.14.2 版本集群,早于此时间创建的 7.14.2 版本集群重启后可支持。低于 7.14.2 版本的集群需升级至 7.14.2 版本。

4.填写索引名称,当写入的索引类型为普通索引时,该名称为索引别名,您可根据该别名访问您的数据。如您未填写索引名称,将自动生成格式为{数据链路 ID_index_随机字符串}的索引名称。

5.在写入的索引类型中,如您选择的是新建自治索引,您可对字段映射进行预定义;如您选择的是选择自治索引,请确保采集的 "时间字段" 与所选自治索引的 "时间字段" 完全一致,否则将导致数据写入失败。



用户头像

还未添加个人签名 2020-06-19 加入

欢迎关注,邀您一起探索数据的无限潜能!

评论

发布
暂无评论
腾讯云ES:一站式接入,数据链路可视化重磅来袭!_ES_腾讯云大数据_InfoQ写作社区