写点什么

什么是革命性技术 eBPF?为什么可观测性领域都得用它

  • 2024-01-02
    福建
  • 本文字数:3073 字

    阅读完需:约 10 分钟

如果有一种技术可以监控和采集任何应用信息,支持任何语言,并且应用完全无感知,零侵入,想想是不是很激动,那么这个技术是什么呢?就是 eBPF,它应该是最近一两年非常热门的技术名词,我相信你或多或少都看到过,但可能不知道它能做什么,今天我们来讲讲这个革命性的技术 eBPF,以及它在可观测领域的应用 eBPF 是什么?


eBPF 是什么?



eBPF(extended Berkeley Packet Filter)是在 Linux 内核中运行的虚拟机技术,2014 年它首次出现在 Linux 内核中,并经过这几年迭代,目前已经成熟。它提供了一种灵活并且安全的方式来扩展内核功能。eBPF 最初是为网络数据包过滤而设计的,但现在已经扩展到其它领域,如安全监控、性能分析和系统跟踪等。


eBPF允许用户在不修改内核源代码的情况下,通过加载和执行自定义的eBPF程序来扩展内核功能。这些eBPF程序通过 Hook 机制与内核交互,它们可以对进入和离开内核的事件进行过滤和处理,以实现网络数据包的监控、性能统计和安全审计等功能。


如下图,eBPF可以在文件写入和读取进行拦截处理,网络的发送和接受进行拦截处理



这段代码是一个 eBPF 过滤器程序,用于在网络数据包通过时打印源 IP 地址和目标 IP 地址。它使用 bpf_printk 函数来输出信息到内核日志。


#include <linux/bpf.h>#include <linux/if_ether.h>#include <linux/ip.h>#include <linux/in.h>
SEC("filter")int print_ip(struct __sk_buff *skb) { struct ethhdr *eth = bpf_hdr_pointer(skb); struct iphdr *ip = (struct iphdr *)(eth + 1);
if (eth->h_proto == htons(ETH_P_IP)) { bpf_printk("Source IP: %u.%u.%u.%u\n", ip->saddr & 0xFF, (ip->saddr >> 8) & 0xFF, (ip->saddr >> 16) & 0xFF, (ip->saddr >> 24) & 0xFF);
bpf_printk("Destination IP: %u.%u.%u.%u\n", ip->daddr & 0xFF, (ip->daddr >> 8) & 0xFF, (ip->daddr >> 16) & 0xFF, (ip->daddr >> 24) & 0xFF); }
return XDP_PASS;}
复制代码


eBPF 能做什么?


动态编程内核以实现高效的网络、可观测性、追踪和安全性。


1.可观测性


eBPF 程序是事件驱动的,当内核或用户程序经过一个 eBPF Hook 时,对应 Hook 点上加载的 eBPF 程序就会被执行。从而可以采集相关信息,而且它是完全无侵入,对应用系统来说完全无感知


想想以前我们用的监控系统CatSkyWalking或多或少都有侵入,只是代码多少的问题,有了它完全不用关心,而且它能对所有运行在 linux 上面应用进行监控,比如rediskafka


2.安全监控和审计


eBPF可以用于实时监控系统的安全事件和异常行为。它可以检测恶意软件、网络攻击、未经授权的访问等安全威胁,并触发警报或采取相应的防御措施。


3.自定义功能扩展


如数据包处理、协议解析、数据转换等。


eBPF 在可观测性方案的应用


可观测性,也是近几年非常热门的话题,因为目前互联网公司应用大部分都基于 k8s 部署,而 k8s 的网络模型比较复杂,如果系统出现异常,无法快速定位问题,所以需要有一个的平台可以去做系统故障定位、性能优化、以及监控等工作,而可观测性提供了更深入的洞察力和更好的理解,使得在复杂的分布式系统中构建、部署和维护应用程序更加可靠和高效如何做好一个可观测性系统,那么eBPF技术是绕不开的,下面看下eBPF是如何抓取应用数据


eBPF 是如何抓取应用数据的


可能有人会问 eBPF 是怎么抓取数据,因为进入系统内核都是二进制数据,如何知晓是 kafka 或者 mongodb 的数据,答案是基于通信协议,每个中间件都是属于自身的通信协议,比如 redis、mysql、mongodb 等,以下为 mongodb 的原始通信报文,这个报文每几位代表什么含义,在 mongodb 官方文档都有定义



引用于:郑志聪老师在 2023 云原生+可观测性广州 Meeup 分享


mongodb 消息解析


由于作者本人的电脑为 MAC M 系列芯片,对eBPF不怎么兼容,所以我们下面只讲原理,如下图是mongodb通信协议,基于这个协议,可以知晓消息内容、操作类型、响应码等。



struct MsgHeader {    int32   messageLength; // total message size, including this    int32   requestID;     // identifier for this message    int32   responseTo;    // requestID from the original request                           //   (used in responses from the database)    int32   opCode;        // message type}
复制代码


基于这个消息协议,eBPF就可以完成数据解析和抽取



基于 eBPF 构建的可观测性平台


目前很多公司都基于 eBPF 技术在构建自己的可观测性平台,下面介绍一些相关产品


阿里云应用监控 eBPF 版


它是一套针对 Kubernetes 集群开发的一站式可观测性产品,它能做到:


  • 代码无侵入:阿里云应用监控 eBPF 版通过旁路技术,不需要对代码进行埋点即可获取到丰富的网络性能数据。


  • 语言无关:阿里云应用监控 eBPF 版在内核层进行网络协议解析,支持任意语言,任意框架。


  • 高性能:阿里云应用监控 eBPF 版基于 eBPF 技术,能以极低的消耗获取丰富的网络性能数据。


  • 资源关联:阿里云应用监控 eBPF 版通过网络拓扑,资源拓扑展示相关资源的关联。


  • 数据多样:阿里云应用监控 eBPF 版支持可观测的各种类型数据(监控指标、链路、日志和事件)。


  • 整体性:阿里云应用监控 eBPF 版通过控制台的场景设计,关联起架构感知拓扑、Prometheus 监控、告警配置。


部分效果图


dashboard



拓扑图



https://help.aliyun.com/zh/arms/application-monitoring-ebpf/product-overview/what-is-alibaba-cloud-application-monitoring-ebpf-version


开源监控系统 deepFlow


DeepFlow 开源项目旨在为复杂的云基础设施及云原生应用提供深度可观测性。DeepFlow 基于 eBPF 实现了零侵扰(Zero Code)的指标、分布式追踪、调用日志、函数剖析数据采集,并结合智能标签(SmartEncoding)技术实现了所有观测数据的全栈(Full Stack)关联和高效存取,核心特性如下:


  • 任意 Service 的全景图:利用 eBPF 零侵扰绘制生产环境的全景图。


  • 任意 Request 的分布式追踪:基于 eBPF 的零侵扰分布式追踪能力,支持任意语言的应用程序,并完整覆盖网关、服务网格、数据库、消息队列、DNS、网卡等各类基础设施。


  • 任意 Function 的持续性能剖析:以低于 1% 的开销零侵扰采集生产环境进程的性能剖析数据。


  • 无缝集成流行的可观测性技术栈:可作为 Prometheus、OpenTelemetry、SkyWalking、Pyroscope 的存储后端。


  • 存储性能 10x ClickHouse:基于 SmartEncoding 机制,向所有观测信号注入标准化的、预编码的元标签,相比 ClickHouse 的 String 或 LowCard 方案均可将存储开销降低 10x。


部分效果图


redis 监控



请求日志



分布式链路追踪



sql 监控



https://github.com/deepflowio/deepflow/blob/main/README-CN.md


SkyWalking


众多周知 SkyWalking 基于 agent 方式采集可观测性数据,比如 java 用 java agent 相关 api 编写,其它语言则编写对应语言的 agent,这种方式可行,但是对技术人员要求较高。如果使用 eBPF 就不存在这种问题,目前看到 SkyWalking 也有往 eBPF 方向发展


部分效果图




引用于吴晟老师 SkyWalking2023 峰会演讲 PPT


Cilium


Cilium 是一个开源项目,为 Kubernetes 集群和其它容器编排平台等云原生环境提供网络、安全和可观测性,它主要使用的技术就是eBPF



总结


以上我们介绍了eBPF是什么,以及它有哪些优势,同时讲解了它在可观测性领域的一些应用,希望对你有所帮助。


文章转载自:架构成长指南

原文链接:https://www.cnblogs.com/waldron/p/17931107.html

体验地址:http://www.jnpfsoft.com/?from=001

用户头像

还未添加个人签名 2023-06-19 加入

还未添加个人简介

评论

发布
暂无评论
什么是革命性技术eBPF?为什么可观测性领域都得用它_架构_不在线第一只蜗牛_InfoQ写作社区