使用 Terraform 与事件驱动的 Amazon CodeBuild 提升云上数据应用运维效率

2023-08-21
天津
本文字数：4558 字
阅读完需：约 15 分钟

背景信息

企业客户在云上部署的一系列数据应用的过程中，数据开发团队往往负责脚本内容，而其背后一系列云上资源的管理通常由一支云运维职能团队通过 IaC（Infrastructre as Code）实现。然而，当数据开发团队开发及部署相应脚本内容时，不可避免会涉及到云上资源的变动，如 Glue、Lambda 的资源增改等。这就造成了两个团队在职能边界上的紧耦合：数据开发团队的迭代内容都需要提报需求至云运维团队进行相应 IaC 的运维，双方都增加了工作量。

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术，观点，和项目，并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏，看到这里请一定不要匆匆划过，点这里让它成为你的技术宝库！

优化方案概述

为了减轻数据应用代码增改给双方带来的额外压力，本文通过一个案例入手，优化数据应用增改及部署过程中的关键流程：数据开发团队通过接口化的形式调用相应 Terraform module，配合 Amazon CodePipeline 或 EventBridge 驱动的事件模式来实现 CI/CD 流水线。

此案例中，云运维团队负责 IaC 模块的部署和运维，使用 Terraform Cloud Workspace 进行 IaC 代码发布与管理。数据开发团队负责针对具体的 ETL 任务场景开发 Glue 脚本，使用 CodeCommit 进行代码管理，使用 CodeBuild 实现 CI/CD 内容，最后通过 CodePipeline 或 EventBridge 实现 CI/CD 流水线的串联。两支团队配合实现以下场景：

“某企业 hr 部门需要将某数据源摄取至 MySQL 中供下游数据应用使用。在数据工程师完成 Glue 脚本开发后，使用云运维团队开发的 Glue 模版批量新建 Glue 脚本（Python shell 模版）资源。在后续数据工程师新建或修改 Glue 脚本时，这一套流水线能自动捕获 CodeCommit 中的变更内容，并同步内容至 s3。s3 的变更将会直接反应至 Terraform 中触发新建/更新资源的功能，不需要 IaC 开发/云运维团队的介入。”

下文的优化方案将会清晰定义云运维团队和数据开发团队在开发、维护云上数据应用时的责任边界。

实施步骤

(1) 统一流程与规范

数据开发团队与云运维团队间确认关键流程及步骤，包括 CI/CD 流水线如何实现，Glue 脚本的上传方式和存储位置，资源所需的配置信息（如实例类型，所需的 IAM 权限，网络）等。

(2) Terraform 脚本开发

云运维团队负责 Glue 资源的 IaC 脚本开发，内容包括：配置参数，新增/变更资源的代码。开发好的内容会统一放置在 glue-etl 目录下。此目录中内容示例如下：

|____glue-etl| |____output.tf| |____data.tf| |____main.tf| |____Readme.md| |____policy.tf| |____variables.tf

复制代码

云运维团队对 glue-etl 模块进行封装( module )以及发布至 Terraform Cloud 相应的 Workspace 内。

上述 glue-etl 模块中包含以下内容：

tf 中包含了此 module 输出的一系列参数。
tf 包含了对 Amazon 环境中已有的一些资源的引用，如：当前所在区域，当前用户信息，Glue 脚本所需要访问的数据库所在的 Secret Manager 密钥串，和部署 Glue 资源所需的子网组等必要信息。
tf 中包含了 Glue 执行时所需的 IAM 角色对应的相关 IAM Policy 集合。
tf 中包含了需要用户调用此 module 需要传入的一系列配置参数。

由于篇幅问题，上述.tf 具体代码内容已略去。

(3) 监听 s3 内容变更

在云运维团队完成 glue-etl module 的开发与上传至 Terraform Workspace 后，数据开发团队需要初始化一份 .tf 文件，使用 local 关键词将脚本上传路径（如下方代码块中的变量 bucket_name, job_path_prefix 和 line_of_business 中）添加到 .tf 文件中。

locals {  bucket_name = "sample-bucket-glueetl"  job_path_prefix = toset(["hr-mysql-source1-python-scripts"])  line_of_business = "hr-department"}

复制代码

第二步，通过 Terraform 提供的 data.aws_s3_bucket_objects 获取 Glue 脚本在 s3 上的存放路径。

data "aws_s3_bucket_objects" "glue_job_objects_for_people_mdm_staging" {  for_each = local.job_path_prefix  bucket   = local.bucket_name  prefix   = "${local.line_of_business}/${each.key}"}

复制代码

下一步，配置 Glue module 所需的输入参数。以下示例中展现了如何通过字符串操作将 Glue 作业名与上传的脚本名进行对应（映射规则可以自定，本例中以 .py 文件前缀作为 Glue 作业名，见 Figure 8），并放入 job-name-map 的 local 变量中。在实际应用中，您有可能需要配置不止一个 local 变量作为 module 的输入参数。

locals {  job_name_map  = { for job_prefix in [for job_name in [for py_name in data.aws_s3_bucket_objects.glue_job_objects_for_people_mdm_staging["hr-mysql-source1-python-scripts"].keys : split("/", py_name)[2]] : split(".", job_name)[0]] : job_prefix => "${job_prefix}.py" if job_prefix != "" }}

复制代码

最后，通过调用在 Terraform Cloud Workspace 中的 module（此例中为 glue-etl ）批量创建某一规格下的 Glue Python shell 脚本。

module "glue-etl-type1" {  source                                  = "app.terraform.io/repo/glue-etl/aws"  subnet_list                             = ["subnet-1","subnet-2","subnet-3"]  bucket_name                             = local.bucket_name  line_of_business                          =  local.line_of_business  secret_manager_id                       = "some-secretmanager-id"  if_connection                           = true  conn_name                               = local.connection_name_staging  glue_job_name_list_for_python  = local.job_name_map  max_concurrent_runs_for_python = 4  max_retries_for_python         = 0}

复制代码

(4) 实现 CodeBuild 驱动的 CI/CD 流水线

本文使用 EventBridge 来串联 CodeCommit 与 CodeBuild，您也可以根据使用习惯选择 Amazon CodePipeline 实现同样的功能。在开始之前，请您务必确保相应的 Amazon CodeCommit 与 CodeBuild 已经被初始化。

设置 CodeCommit 仓库增、改事件触发的 EventBridge 规则，如下所示。

{  "source": [    "aws.codecommit"  ],  "detail-type": [    "CodeCommit Repository State Change"  ],  "detail": {    "event": [      "referenceCreated",      "referenceUpdated"    ]  }}

复制代码

为此规则配置 Input Transformer，分别定义输入路径及输入模版，如下所示：

{"referenceType":"$.detail.referenceType","region":"$.region","repositoryName":"$.detail.repositoryName","account":"$.account","referenceName":"$.detail.referenceName"}
{"environmentVariablesOverride": [      {          "name": "REFERENCE_NAME",          "value": <referenceName>       },      {          "name": "REFERENCE_TYPE",          "value": <referenceType>       },      {          "name": "REPOSITORY_NAME",          "value": <repositoryName>       },      {          "name": "REPO_REGION",          "value": <region>       },       {          "name": "ACCOUNT_ID",          "value": <account>       } ]}

复制代码

配置 buildspec.yml，体现 CI/CD 流水线具体流程。本例中，流水线内容包括：

安装 git-remote-codecommit 以及其他代码中所需的 Python 依赖包（本例中使用 Makefile 安装依赖）或命令（如本例中的 Terraform ）
实现对 ETL 脚本或.tf 文件代码的 CI 过程，如代码质量检查，语法检查，安全漏洞扫描，Unit Test 等
当 CI 过程结束后，同步 CodeCommit 中更新的代码至存放 Glue 内容的 s3 路径中。当 s3 收到更新代码后，进行以下操作：
Terraform 的语法检查( terraform fmt, validate & lint )
资源变更检查( terraform plan )
最终发布( terraform apply )

AWS CodeBuildversion: 0.2
env:  variables:    TF_VERSION: "1.0.6"    phases:  install:    runtime-versions:      python: 3.8    commands:      - pip install git-remote-codecommit      - make install  pre_build:    commands:      - echo Hello pre build      - cd /usr/bin      - "curl -s -qL -o terraform.zip https://releases.hashicorp.com/terraform/${TF_VERSION}/terraform_${TF_VERSION}_linux_amd64.zip"      - unzip -o terraform.zip      - cd -  build:    commands:      - echo build      - make format      - make lint      - make test      - env      - git clone -b $REFERENCE_NAME codecommit::$REPO_REGION://$REPOSITORY_NAME      - dt=$(date '+%d-%m-%Y-%H:%M:%S');      - echo "$dt"       - aws s3 sync . s3://sample-bucket-glueetl/hr-mysql-source1-python-scripts/      - terraform init      - terraform fmt -recursive      - terraform validate      - terraform apply -auto-approve  post_build:    commands:      - echo post build       - echo "terraform fmt & validate apply completed on `date`"

复制代码

将 buildspec.yml 文件上传至 CodeCommit 对应仓库内，新建 CodeBuild 项目并指向该仓库，使用 EventBridge 作为事件触发器监听 CodeCommit 内容变更，并将事件输出至 CodeBuild ，实现一整套 CI/CD 流水线。架构如下所示：

注意事项

为了实现上述解决方案，您需要注意各 Amazon 服务间的访问权限，所需的 IAM 角色执行权限是否足够等问题。
本文讨论的方法对于不同配置的 Glue 脚本，无法实现资源新建的完全自动化。需要数据开发团队重新调用对应 Terraform module 并按需重复上述流程。
本文提供的方案仅针对使用 Amazon Code 组件管理代码版本以及发布的场景。对于外部代码管理组件及 CI/CD 工具，本文不做进一步探讨。

总结

本文通过一个具体的案例，展现了数据开发人员通过 Terraform Cloud Workspace 调用远端 IaC 模块（module），结合 EventBridge 驱动的 Amazon CodeCommit 和 Amazon CodeBuild 开发 CI/CD 流水线，自动捕获数据应用脚本内的变更内容并批量创建相应的云上资源。通过对数据应用相关的资源管理与代码变更发布流程的自动化，云运维团队减轻了代码资产新增/变更带来的管理压力 – 他们不再需要关心数据应用中的代码增改带来的额外工作量，而数据开发团队也可以专注于 ETL 脚本的代码开发及运维，不需要担心代码变更对云上资源带来的后续影响。