您的当前位置:首页>国内 > 正文

天天要闻:火山引擎DataLeap引入任务模板,助力数据研发提效

  • 2023-04-25 00:33:48 来源:中关村在线

在数仓及中台研发过程中,研发人员经常需要在不同任务中维护相同或类似代码,不仅费时费力,并且代码迭代后也面临不同业务单元逻辑性不一致的问题,对运维管理形成挑战。


(资料图片仅供参考)

一般来说,研发人员往往通过代码模板来解决这一问题。具体而言,在核心数据处理逻辑相同的情况下,研发人员通过代码模版传入不同的任务参数,解决核心数据处理逻辑复用的问题,使得后续任务可以批量化,满足实时调用需求。

目前,任务模板已是火山引擎DataLeap研发治理能力之一,主要用于管理常用的任务逻辑,以此降低常用代码的运维成本。在产品功能上,DataLeap任务模板支持丰富的引擎能力,包括LAS/EMR HSQL 、LAS/EMR Java Flink、LAS/EMR Flink SQL、shell任务,满足离线实时任务的不同需求。此外,DataLeap还支持历史版本管理,即保存或更新模板后,记录各个版本更新情况,方便查看代码设置及参数。

在使用层面上,研发人员只需要三步骤即可完成任务模板创建,便捷复用核心数据处理逻辑。

第一步:选中支持的任务类型

· 在模板列表右侧的“+”(更多)按钮中,新建子目录或新建任务模板。

· 在新建任务模板窗口中,输入以下参数,并新建模板。

火山引擎DataLeap任务模板能力可应用于以下场景:

· 场景1:将预先设计好的离线、实时任务模板保存后,即可在多个任务中引用此类型模板,快速实现代码复用。

· 场景2:将shell任务代码制作为前置判断条件,在数据分析前的触发检测运行条件是否满足。

除了任务模板之外,作为大数据研发治理套件,火山引擎DataLeap还可以提供数据集成、开发、运维、治理、资产、安全等能力,帮助用户提升数据研发效率、降低管理成本,加速推动企业的数字化转型。(作者:宋岩)

标签:

推荐阅读

天天要闻:火山引擎DataLeap引入任务模板,助力数据研发提效

在数仓及中台研发过程中,研发人员经常需要在不同任务中维护相同或类似代码,不仅费时费力,并且代码迭代后

龙洲股份: 年度股东大会通知

龙洲股份:年度股东大会通知

相约安徽·向春而行|又见·非遗与遗_环球热推荐

相约安徽·向春而行|又见·非遗与遗

2023年三山经开区中小学教师招聘专业测试公告 焦点速读

2023年三山经开区中小学新任教师公开招聘专业测试公告为切实做好2023年三山经开区中小学新任教师招聘专业测

天天快报!天力锂能:一季度净利润49.95万元 同比下降99.15%

天力锂能公告,一季度营业收入5 8亿元,同比下降14 63%,净利润49 95万元,同比下降99 15%。

猜您喜欢

【版权及免责声明】凡注明"转载来源"的作品,均转载自其它媒体,转载目的在于传递更多的信息,并不代表本网赞同其观点和对其真实性负责。亚洲财富网倡导尊重与保护知识产权,如发现本站文章存在内容、版权或其它问题,烦请联系。 联系方式:8 86 239 5@qq.com,我们将及时沟通与处理。

金融