dataX数据同步报错：TIMESTAMP 类型转换错误，[DataX传输脏数据超过用户预期。。。一种解决方法

84 阅读 0 评论 56 点赞

我是靠谱客的博主传统航空，最近开发中收集的这篇文章主要介绍dataX数据同步报错：TIMESTAMP 类型转换错误，[DataX传输脏数据超过用户预期。。。一种解决方法，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

在这里插入图片描述

发生场景：dataX远程调用接口，将数据抽取到Oracle，抽取的数据有时间类型字段，允许为空。则可能会出现如图片中的错误。
原因分析：dataX远程调用接口时，获取时间类型的字段，默认格式为字符串，向目标表新增时，空字符串转化为时间类型格式报错。
解决思路：在dataX脚本读取reader中判断时间类型的字符串为空时，赋一时间戳类型的时间默认值，这个默认值应该是容易与数据真实时间值区分的时间。在写入writer中postSql中处理，将所赋值的字段重置为空。
说明：只是在此种抽取方式中碰到这问题，其他场景还未操作过。

一下为dataX参照脚本JSON

说明：dataX调用远程接口读取数据，源数据中time1不为空，time2，time3可为空。故在reader中判断如果时间为空，
则赋值一个默认时间戳（946659661000为2000-01-01 01:01:01），目标表中有一字段标注数据来源，
在postSql中进行更新处理。

{
  "job": {
    "setting": {
      "speed": {
        "channel": 3,
        "byte": 1048576
      },
      "errorLimit": {
        "record": 0,
        "percentage": 0.02
      }
    },
    "content": [
      {
        "reader": {
          "name": "httpreader",
          "parameter": {
            "host": "IP地址",
            "port": "端口号",
            "path": "请求url",
            "param": [
              {
                "name": "增量参数字段",
                "value": "参数值"
              }
            ],
            "column": [
              "col1",
              "col2",
              "time1",
              {
                "value": "{time2== '' ? 946659661000 : time2}",
                "type": "number"
              },
              {
                "value": "{time3== '' ? 946659661000 : time3}",
                "type": "number"
              },
              {
                "value": "shenmaku",
                "type": "string"
              }
            ]
          
          }
        },
        "writer": {
          "name": "oraclewriter",
          "parameter": {
            "username": "",
            "password": "",
            "column": [
              "col1",
              "col2",
              "time1",
              "time2",
              "time3",
              "shujulaiyuan"
            ],
            "postSql": [
              "update target_table set time2= null where shujulaiyuan= 'shenmaku' and  time2= to_date('2000-01-01 01:01:01','YYYY-MM-DD HH24:MI:SS')",
              "update target_table set time3= null where shujulaiyuan= 'shenmaku'  and time3= to_date('2000-01-01 01:01:01','YYYY-MM-DD HH24:MI:SS')"
            ],
            "connection": [
              {
                "table": [
                  "target_table"
                ],
                "jdbcUrl": "jdbc:oracle:thin:@**.**.**.**:orcl"
              }
            ]
          }
        }
      }
    ]
  }
}