写点什么

让海豚替你跑 SQL!DolphinScheduler 高效配置三步曲

作者:白鲸开源
  • 2025-03-18
    天津
  • 本文字数:604 字

    阅读完需:约 2 分钟

让海豚替你跑SQL!DolphinScheduler高效配置三步曲

今天,让我们来深入探讨 DolphinScheduler 中一种常见的任务类型:SQL 任务。


SQL 任务是 DolphinScheduler 中非常重要的一种任务类型,它允许用户在调度系统中运行 SQL 语句,通常用于数据处理、数据分析等场景。下面我分别以为 MySQL 和 Hive 为例,详细介绍如何在 DolphinScheduler 中创建和配置 SQL 任务。

源中心

首先要在源中心增加 MySQL 和 Hive 实例。


  • MySQL:填好 ip,端口,用户名,密码,数据库名称



  • Hive:选中 HIVE/IMPALA 数据源类型,填好 IP,端口是 10000,用户名,密码(有些用户没有密码可以不填),数据库名



MySQL SQL 任务

在 DolphinScheduler 的 Web 界面中,选择相应的项目和工作流,点击“新建任务”按钮,在任务类型中选择“SQL”,填写任务名称和描述等基本信息,然后点击“提交”按钮即可创建一个 SQL 任务。


  • 配置 SQL 任务在 SQL 任务的配置页面中,我们需要设置以下几个关键参数:

  • 数据源:选择 MySQL。数据源实例:选择刚才新增的 MySQL 实例

  • 查询:




  • 非查询



Hive SQL 任务


  • 日志



通过本文的介绍,我们深入了解了 DolphinScheduler 海豚调度中的 SQL 任务,掌握了创建和配置 SQL 任务的方法。SQL 任务作为 DolphinScheduler 中的重要功能之一,为用户提供了强大的数据处理和管理能力,帮助用户更高效地完成数据处理任务。希望本文能够对大家理解和使用 DolphinScheduler 中的 SQL 任务有所帮助,也欢迎大家在实践中进一步探索和应用,发挥出 SQL 任务的更多潜力。


原文链接:https://blog.csdn.net/weixin_44586883/article/details/136326326

用户头像

白鲸开源

关注

一家开源原生的DataOps商业公司。 2022-03-18 加入

致力于打造下一代开源原生的DataOps 平台,助力企业在大数据和云时代,智能化地完成多数据源、多云及信创环境的数据集成、调度开发和治理,以提高企业解决数据问题的效率,提升企业分析洞察能力和决策能力。

评论

发布
暂无评论
让海豚替你跑SQL!DolphinScheduler高效配置三步曲_sql_白鲸开源_InfoQ写作社区