AWS S3 可观测性最佳实践

AWS S3 介绍
AWS S3(Amazon Simple Storage Service)是一种可扩展的对象存储服务,提供高可用性、持久性和安全性。它允许用户存储和检索任意数量的数据,并通过简单的 Web 服务接口访问这些数据。S3 支持多种存储类别,包括标准存储、智能分层存储、不频繁访问存储和归档存储,以满足不同的性能和成本需求。此外,S3 还提供丰富的功能,如版本控制、生命周期管理、数据加密和跨区域复制,帮助用户管理和保护数据。其高度可扩展性和灵活性使其成为企业和开发者的理想选择,广泛应用于备份、存档、大数据分析和内容分发等场景。
观测云
观测云是一款专为 IT 工程师打造的全链路可观测产品,它集成了基础设施监控、应用程序性能监控和日志管理,为整个技术栈提供实时可观察性。这款产品能够帮助工程师全面了解端到端的用户体验追踪,了解应用内函数的每一次调用,以及全面监控云时代的基础设施。此外,观测云还具备快速发现系统安全风险的能力,为数字化时代提供安全保障。
部署 DataKit
DataKit 是一个开源的、跨平台的数据收集和监控工具,由观测云开发并维护。它旨在帮助用户收集、处理和分析各种数据源,如日志、指标和事件,以便进行有效的监控和故障排查。DataKit 支持多种数据输入和输出格式,可以轻松集成到现有的监控系统中。
登录观测云控制台,在「集成」 - 「DataKit」选择对应安装方式,当前采用 Linux 主机部署 DataKit。

数据采集
登陆观测云控制台
点击【集成】菜单,选择【云账号管理】
点击【添加云账号】,选择【AWS】,填写界面所需的信息,如之前已配置过云账号信息,则忽略此步骤
点击【测试】,测试成功后点击【保存】,如果测试失败,请检查相关配置信息是否正确,并重新测试
点击【云账号管理】列表上可以看到已添加的云账号,点击相应的云账号,进入详情页
点击云账号详情页的【集成】按钮,在未安装列表下,找到 AWS S3,点击【安装】按钮,弹出安装界面安装即可

关键指标
场景视图
登录观测云控制台,点击「场景」 -「新建仪表板」,输入 “AWS S3”, 选择 “AWS S3 监控视图”,点击 “确定” 即可添加视图。
S3 bucket 列表可以查看对应区域 S3 bucket 开通信息

请求指标主要是包含 S3 对象数据被外部访问的请求相关指标

监控器(告警)
观测云内置了监控器模板,可以选择从模版创建监控器,并开启适合业务的监控器以及时通知相关成员关注问题,触发条件、频率等信息可以依据实际业务进行调整。
登录观测云控制台,点击「监控」 -「新建监控器」,输入 “AWS S3”, 选择对应的监控器,点击 “确定” 即可添加。

AWS S3 HTTP 请求量存在突增突降异常

总结
通过将 AWS S3 的原生监控数据集成到观测云平台,用户可以实现对 S3 存储桶的实时性能监控、资源使用分析以及安全事件的可视化。观测云的高级分析和可视化功能,如实时仪表板、智能告警和根因分析,能够帮助用户快速定位问题、优化成本,并确保数据的高可用性和安全性。这种结合不仅提升了监控的效率和准确性,还通过集中管理的方式简化了运维流程,使用户能够更好地应对复杂的云环境挑战。
评论