写点什么

1 名工程师轻松管理 20 个工作流,创业企业用 Serverless 让数据处理流程提效

  • 2024-04-28
    浙江
  • 本文字数:2201 字

    阅读完需:约 7 分钟

作者:岳洋、陈德全、刘静娜


北京语势科技有限公司成立于 2023 年 6 月,语势科技定位为“智能投资时代的主题入口”,在资管行业从以机构为核心转向以用户为核心的变革时代,通过打造主题投资引擎,赋能普惠投资一体化,打造以投资者和资管机构为主题和核心、自然语言交互形式为入口的“新桥梁”。



语势科技日均处理万条金融资讯,通过收集信息、发掘新兴趋势、判断趋势拐点,形成了包含 10+ 个超级主题、40+ 个投资主题、200+ 子主题的主题投资体系;现有 10 个行业标杆客户, 通过数据 API 和周报月报等形式提供服务。目前已累计发出约 500 份报告,近 1000 份公众号分析文章。 远期将通过实时挖掘用户意图和进行主题计算,实现千人千面的主题投资 Agent。

平台特点及遇到的挑战

语势科技的产品属于典型的信息服务类产品。平台通过多种渠道汇集金融行业资讯并存储到本地后,按照投资分析框架启动相关流程进行处理,最终形成金融数据产品对外提供服务。平台业务功能及对系统资源的需求存在如下特点:


1. 数据量大,存储需求多样


a) 平台的核心数据以非结构化数据为主,各个处理阶段的数据包括源数据、中间数据及结果数据总量在 TB 级别,虽然这个量级对于文件或对象存储来讲是小菜一碟,但是对于分析/索引类存储还是存在一定压力。


b) 非结构化数据存储在面对不同的处理过程时,需要多种访问接口支持,包括文件、对象、OLAP 数据库和缓存及索引系统等。


c) 金融资讯的处理需要满足时效性要求,因此对于分析型存储系统的查询性能也存在较高要求。


2. 数据处理过程复杂多变


a) 数据处理流程是投资分析策略在系统中的体现,是整个平台的核心。这些流程中的关键节点处理逻辑是无法通过标准化的平台功能实现,需要通过 Java/Python 代码发布到平台,并可以由流程灵活调用。


b) 为了实现业务逻辑需求,在处理流程上各处理节点之间,以及节点和数据存储接口间,甚至各流程间都存在频繁的数据流动和交互需求。


c) 投资策略需要及时针对市场变化和客户需求进行调整。数据处理流程甚至核心处理逻辑就需要同步按照业务策略进行调整。


d) 因为数据处理逻辑的复杂性,导致开发上线后,还经常需要在生产环境针对特定数据的处理过程进行跟踪和分析,需要能够方便查看详尽的运行时信息。


3. 平台资源需求存在明显峰谷


a) 平台在全天运行期间会存在固定峰值,包括资讯集中流入和处理时段,业务人员集中查询时段。同时,在周初和月初也存在访问峰值。


b) 峰值时段对处理性能扩容比例要求较高,且不同的峰值类型对系统资源的需求类别也不一样,需要针对不同场景进行扩容动作的预先规划。


4. 可靠性/及时性要求


a) 资讯会 24 小时持续产生并流入平台,需要在进入平台若干分钟内处理完成并进入对外服务数据池,因此需要平台能够稳定持续进行处理,遇到峰值流量自动扩容以避免数据积压。如果处理过程存在遗漏或者出错要能够自动重试。


b) 对外服务相关系统作为最终用户的访问入口,对其服务连续性有一定要求。


针对上述的平台功能设计,语势科技对包括 IaaS/PaaS 在内的 IT 基础设施产生了如下需求:


1. 多样存储类型,各系统间流畅互访, 支持多样存储类型,各类存储系统间可以无缝互访,日常使用、管理和数据流转可以通过 GUI 配置。


2. 简单灵活的数据处理流程


a) 提供统一的处理流程管理入口,支持图形化的流程设计。


b) 支持使用常见开发语言实现复杂业务逻辑,并能够无缝嵌入流程。


c) 流程节点间,流程和数据存储接口,流程间可以实现复杂交互控制。


d) 可以对运行时流程跟踪分析处理过程,能够方便的对特定数据或流程进行跟踪分析。


3. 系统自动扩缩容


a) 数据处理流程的系统容量能够按照流量峰谷自动扩缩容,且其扩缩容可以按照一定脚本针对系统间依赖关系进行处理。


b) 其他业务系统需要按照业务访问峰谷自动调整。


4. 研发工作整体提质增效


a) 在保证系统可靠性的前提下,降低 IT 资源直接成本,以及管理成本 b) 提高 CI/CD 整体流程效率。

云工作流 CloudFlow + 函数计算 FC 助力复杂数据处理提

语势科技是在云原生浪潮下诞生的数据科技企业,在创立之初就决定采用云原生技术来提高 IT 工作整体质效并优化成本。


在提升质效过程中遇到的挑战主要集中在数据处理流程方面,因此除了使用阿里云效及容器化部署等 CI/CD 常规提效工具,经过团队考察,最终选择了云工作流 CloudFlow 和函数计算 FC 两个新产品。目标是通过云工作流 CloudFlow 解决管理复杂数据流程的需求,使用函数计算 FC 解决云工作流 CloudFlow 运行过程中部分节点处理复杂业务逻辑,同时处理能力可以完美解决弹性伸缩的需求。


数据流程图如下:



经过实践发现,对于常见的工作流,使用云工作流 CloudFlow 的 Web 界面开发相比使用主流 Java 应用框架减少约一半开发工作量,同时,由于省去了上线发布环节,上线调试工作效率也有所提升,基于 web 控制台的跟踪调试在经过一段时间适应后使用效率也有较大提升。


在这半年的使用期间,语势科技已累计开发了将近 20 个工作流,工作流调用数十个函数,运行几十万次。尽管在只有一名工程师负责工作流的情况下,还是能够保持平均每两周左右会上线一个新的工作流。对于工程师来讲,除了个别时候需要进行线上跟踪调试,工作流上线后基本不用关心其运行状态,真正做到了“发布后不用管”。

展望

作为一个大模型年代围绕数据为核心的创业企业,我们会更加深度挖掘数据平台和大模型能力结合的可能性,通过阿里提供的基础设施创新能力,提供给我们的最终客户能力更强、迭代更快的数据产品。

发布于: 刚刚阅读数: 4
用户头像

阿里云云原生 2019-05-21 加入

还未添加个人简介

评论

发布
暂无评论
1 名工程师轻松管理 20 个工作流,创业企业用 Serverless 让数据处理流程提效_阿里云_阿里巴巴云原生_InfoQ写作社区