写点什么

通过 EMR Serverless Spark 提交 PySpark 流任务

  • 2024-07-19
    浙江
  • 本文字数:1356 字

    阅读完需:约 4 分钟

在大数据快速发展的时代,流式处理技术对于实时数据分析至关重要。EMR Serverless Spark 提供了一个强大而可扩展的平台,它不仅简化了实时数据处理流程,还免去了服务器管理的烦恼,提升了效率。本文将指导您使用 EMR Serverless Spark 提交 PySpark 流式任务,展示其在流处理方面的易用性和可运维性。

前提条件

已创建工作空间,详情请参见创建工作空间

操作流程

步骤一:创建实时数据流集群并产生消息

  1. 在 EMR on ECS 页面,创建包含 Kafka 服务的实时数据流集群,详情请参见创建集群

  2. 登录 EMR 集群的 Master 节点,详情请参见登录集群

  3. 执行以下命令,切换目录。


cd /var/log/emr/taihao_exporter
复制代码


  1. 执行以下命令,创建 Topic。


# 创建名为taihaometrics的Topic,分区数10,副本因子2。kafka-topics.sh --partitions 10 --replication-factor 2 --bootstrap-server core-1-1:9092 --topic taihaometrics --create
复制代码


  1. 执行以下命令,发送消息。


# 使用kafka-console-producer发送消息到taihaometrics Topic。tail -f metrics.log | kafka-console-producer.sh --broker-list core-1-1:9092 --topic taihaometrics
复制代码

步骤二:新增网络连接

  1. 进入网络连接页面。

  2. 在 EMR 控制台的左侧导航栏,选择 EMR Serverless > Spark

  3. Spark 页面,单击目标工作空间名称。

  4. EMR Serverless Spark 页面,单击左侧导航栏中的网络连接

  5. 网络连接页面,单击新增网络连接

  6. 新增网络连接对话框中,配置以下信息,单击确定


状态显示为已成功时,表示新增网络连接成功。

步骤三:为 EMR 集群添加安全组规则

  1. 获取集群节点交换机的网段。您可以在节点管理页面,单击节点组名称,查看关联的交换机信息,然后登录专有网络管理控制台,在交换机页面获取交换机的网段。

  2. 添加安全组规则。

  3. 集群管理页面,单击目标集群的集群 ID。

  4. 基础信息页面,单击集群安全组后面的链接。

  5. 在安全组规则页面,单击手动添加,填写端口范围和授权对象,然后单击保存


步骤四:上传 JAR 包至 OSS

上传kafka.zip中的所有 JAR 包至 OSS,上传操作可以参见简单上传

步骤五:上传资源文件

  1. 在 EMR Serverless Spark 页面,单击左侧导航栏中的资源上传

  2. 资源上传页面,单击上传文件

  3. 上传文件对话框中,单击待上传文件区域选择pyspark_ss_demo.py文件。

步骤六:新建并启动流任务

  1. 在 EMR Serverless Spark 页面,单击左侧的任务开发

  2. 单击新建

  3. 输入任务名称,新建一个 Application(流任务) > PySpark 类型的任务,然后单击确定

  4. 在新建的任务开发中,配置以下信息,其余参数无需配置,然后单击保存



  1. 单击发布

  2. 发布任务对话框中,单击确定

  3. 启动流任务。

  4. 单击前往运维

  5. 单击启动

步骤七:查看日志

  1. 单击日志探查页签。

  2. Driver 日志列表中,单击 stdOut.log。在打开的日志文件中,您可以看到应用程序执行的相关信息以及返回的结果。

相关文档

  1. EMR Serverless Spark 版官网:https://www.aliyun.com/product/bigdata/serverlessspark

  2. 产品控制台:https://emr-next.console.aliyun.com/

  3. 产品文档:https://help.aliyun.com/zh/emr/emr-serverless-spark/

  4. PySpark 批任务的开发流程示例:PySpark任务快速入门




EMR Serverless Spark 在 2024 年 5 月正式开启公测,在公测期间可以免费使用最高 100 CU 计算资源,欢迎试用。如果您在使用 EMR Serverless Spark 版的过程中遇到任何疑问,可加入钉钉群(群号:58570004119)咨询。


用户头像

还未添加个人签名 2020-10-15 加入

分享阿里云计算平台的大数据和AI方向的技术创新和趋势、实战案例、经验总结。

评论

发布
暂无评论
通过 EMR Serverless Spark 提交 PySpark 流任务_大数据_阿里云大数据AI技术_InfoQ写作社区