写点什么

数据工程师吐槽:数据 API 开发的那些烦心事

作者:雨果
  • 2022 年 10 月 08 日
    北京
  • 本文字数:1101 字

    阅读完需:约 4 分钟

数据工程师吐槽:数据API开发的那些烦心事

数据工程师在岗位设置上位于业务端的上游和数据科学家的下游,在岗位职能上负责根据业务需求开发稳定可靠的数据服务 API,通过 API 的方式交付给业务端使用。


所以,很多时候数据开发工程师被人们认为是干苦活儿的,所以经常听到数据开发工程师吐槽。这篇文章就为大家解读数据 API 开发过程中,除了开发数据表还需要面对哪些烦心事。


(1)如何交付数据服务:业务部门通常需要使用数据接口(RPC 和 HTTP)的方式来使用数据,数据开发工程师要求建立对应的数据服务,更加高效、灵活、解耦。

(2)如何开发数据服务 API:主流的数据服务有多种形式,例如 KV API(简单点查)、SQL API(复杂灵活查询 API)、Union API(混合 API)等,需要数据开发工程师根据业务的具体需求进行选择开发。


(3)如何规范访问权限:数据服务 API 完成开发后,数据开发工程师要考虑权限问题,确保数据服务是在权限许可的范围内被安全的访问。

(4)如何确保服务可用性:这是开发数据服务 API 的核心价值。不管是某个业务部门访问,还是整个集团范围的访问,完成开发后都需要反复进行压力测试,用多种手段保障数据访问的稳定性。


(5)如何避免重复造轮子:很多时候公司在不同业务线下,经常会出现数据同步和微服务都是相同的,重复造轮子的情况屡见不鲜——重复开发数据服务,造成了一定程度的资源浪费;传统数据 API 开发方式效率低下,从数据开发到最终交付数据服务,短则几天长则数十天。

(6)如何解决 API 运维问题:一个数据服务 API 的完整生命周期将涉及多个运维环节的问题,如扩容、迁移、下线、接口变更、服务报警等,几十甚至成百上千的数据服务 API 所面临的运维问题可能是指数级的增加


根据数据开发工程师吐槽的这些问题,如果继续通过传统数据 API 开发方式寻找答案,只会越走越远。这里,为数据开发工程师推荐一款新工具——麦聪 DaaS 平台可以高效地解决传统 API 开发所遭遇的问题。

这里为大家简单解读一下麦聪 DaaS 平台在数据 API 开发和管理方面突出优势。在数据 API 开发方面,用户只需在 Web 界面上选数据库和表,设定请求参数、返回参数几分钟即可完成一个数据 API 开发。

在权限管理方面,调用数据 API 前,用户需要经管理员审批通过后,才能拿到 API 的调用地址和请求示例的使用权限,例如可设置访问用户的权限,只读、可读写等。

在解决重复造轮子的问题方面,用户可以基于往期创建的数据 API 或他人共享的数据 API 进行扩展和更新,提高 API 的利用率

在数据 API 运维方面,用户可以根据业务需求和资源限制针对数据 API 进行查看、下线、删除、修改、复制、分享及版本切换等运维操作,即便一个人面对成百上千的数据 API 也能轻松管控。

数据 API 创建和管理的实操视频(基于麦聪 DaaS 平台)

附:点击观看数据API创建和管理的实操视频

用户头像

雨果

关注

全球领先的DaaS厂商,构建下一代数据中台 2020.06.29 加入

500强集团中已有30多家选用;支持元数据管理,数据治理,数据开发,数据服务化,数据市场等功能; 免费下载试用官网地址:http://www.maicongs.com/#/home/probation

评论

发布
暂无评论
数据工程师吐槽:数据API开发的那些烦心事_数据api_雨果_InfoQ写作社区