错误数据存储

介绍

错误数据存储引擎是用于存储数据质量检查中不符合规则的数据，便于用户可以查看有问题的数据来进行下一步的修复或者剔除操作，Datavines 目前支持写入至外部存储引擎和写入至检查数据源两种方式。

外部存储引擎目前只支持MySQL、写入至检查数据源支持MySQL、Doris、StarRocks。

使用方法

写入外部存储引擎

• 在错误数据管理页面创建存储引擎，填写上引擎的配置参数，点击测试连接，测试成功则保存存储引擎。
• 在作业配置页面进行配置，在错误数据存储配置里选择你所创建的引擎

写入外部存储引擎需要进行数据的读取和写入，为了保证系统的稳定，目前只支持前10000条错误数据的存储。

写入检查数据源

• 无需进行额外的配置
• 在作业配置页面进行配置，在错误数据存储配置里, 开启 是否输出至源数据源 配置，并且输入用于存储错误数据的数据库名。

错误数据的查看

点击数据质量检查作业的 查看执行记录，在执行记录中点击 错误数据 即可查看错误数据。