跳到主要内容

Flink 引擎

原理解释​

Flink 引擎是基于 Flink 开发的数据质量检查作业执行引擎，使得Datavines可以将 基于Flink开发的数据质量检查应用 提交到 Yarn 上去执行。

使用方法​

在数据质量检查作业和数据比对作业中的引擎配置中选择 FLink 引擎，填好各种 Flink 相关的基础配置信息 数据质量检查规则引擎配置

注意事项​

如果想要使用Flink引擎，需要完成Flink相关的配置

  • 将datavines部署在能执行bin/flink命令的机器上
  • 解压完安装包以后，将./plugins/flink/目录下的 jar 复制 flink 的lib目录下
  • 配置env环境变量，FLINK_HOME指向flink的安装目录 数据质量检查规则环境变量配置
  • 在参数配置页面添加data.quality.flink.jar.name配置/libs/datavines-engine-flink-core-1.0.0-SNAPSHOT.jar参数配置
  • 下载相应版本的flink-connector-jdbc包，并上传到flink的lib目录下