数据开发必读!火山引擎DataLeap怎样解决数据隔离难题?
在线下数仓实施过程中,研发团队应该根据业务流程转变,在研发/生产制造环境里持续转换、分析、调节。过去,公司一般通过人力方法核实,但是由于数据规模且类型不同,造成研发团队网络资源、时间精力投资大。
怎么使设计构成编码在各个自然环境恰当运作,避免因为调节过程的操作失误,对工作环境立即导致数据信息消极风险性,变成许多企业数仓研发部门的难题之一。
最近,火山引擎DataLeap发布“项目参数管理方法”水平,是指通过自定项目参数各自设定开发设计、工作环境变量值,主要参数适用配备各种类型,包含Region、DB、shecma、table、date及其自定等,且适用每日任务等级引入,迅速协助研发部门完成资源隔离。
火山引擎DataLeap“项目参数管理方法”水平
以湖仓一体分析服务(LAS)模块为例子,详细介绍如何运用“项目参数管理方法”区别不一样自然环境库和日期格式的查看。
使用以前,因为1个项目需求经常涉及到10 每日任务、30 主要参数,且不一样自然环境DB中、table基本一致,必须管理方法2套编码。数仓研发团队在所难免发生测试程序在工作环境实行、表误删除、数据信息误删除等诸多问题。
在使用后,只需3个阶段就可以处理生产制造、接口测试数据隔离难题:
· 步骤一:LAS有2套自然环境,包含接口测试库test_dev、工作环境库test_prod 。2套自然环境都是有同样表名LAS_table01、分区字段名datetimes。开发工具分区字段为yyyymmdd,工作环境分区格式为YYYY-MM-DD。在DataLeap中设置日期主要参数arg,开发工具变量值=\${date}、工作环境变量值=\${DATE}。设定库主要参数env,开发工具=test_dev、工作环境=test_prod。
·流程二:针对离线数据开发设计每日任务,研发团队完全可以在编码中应用项目参数,点一下“分析”“调节”,系统会替换为对应的开发工具变量值,然后进行语法解析、管理权限检测等。
·流程三:点一下“递交发布”、“每日任务常规实行”时,针对项目参数,系统会替换为对应的工作环境变量值,随后进行一定的语法解析及其管理权限查验。进而全面提升自然环境编码管理效益。
据了解,企业能够在下列情景应用火山引擎DataLeap“项目参数管理方法”水平:
【情景1】开发设计工作环境防护
·以HSQL每日任务为例子,为防止在研发产品测试,因操作失误危害生产制造库表的信息,研发团队还可以在HSQL编码中应用项目参数。调节时,系统会替换为开发工具变量值;正式上线任务常规实行,系统软件会自动替换为工作环境变量值。与此同时,DataLeap还支持编码一致,不用在上架前大批量将开发工具的库表名字替换为工作环境的库表名字。
【情景2】跨地域/项目代码设计构成
·一般来说,不一样Region中的库、表名不一样。要实现不一样Region、新项目下编码设计构成,研发团队还可以在HSQL编码中应用项目参数,来达到不一样条件下,同一个每日任务代码设计构成,全面提升自然环境编码管理效益。
火山引擎DataLeap让研发团队无需再根据”生产调度设定-每日任务输入数据”的形式加上项目参数,仅需界定一次主要参数就能轻松搭建,而且完成生产制造、检测条件下的数据信息全自动防护,编码设计构成。此外,DataLeap还具有数据聚合、开发设计、运维管理、整治、财产、安全等数据中台建设水平,助推企业提高数据信息研发效率、提高管理效率,为企业战略转型提供助力。(创作者:杨小蜜)
数据开发必读!火山引擎DataLeap怎样解决数据隔离难题?:等您坐沙发呢!