谈最近项目上线遇到的数据问题

最近刚换工作去了一家跨境电子商务公司，正好赶上新系统替换老系统的磨合期，遇到了各种各样的数据问题。总结下来得到以下经验：

 

一、数据的前期准备

　　数据分三部分，用户、订单和商品数据。用户和订单直接是从老系统生成sql语句插入新数据库，商品数据由于新老系统差异比较大，有一个数据导入工具来将商品基础据导入到新系统。开发提供了数据的导入模板，业务人员从老系统导出后的数据后填入模板，中间由需求人员给业务做过一次填写培训。遇到了2个问题：

　　1.商品数据填写不规范，业务人员填写的数据未严格按照模板规范，导致部分导入数据无法使用。产生原因是双方的，首先是业务人员未足够重视数据的整理和核对，其次是导入工具未作严格的数据检查。

　　2.订单数据状态问题。由于处在新老系统的交替期，老系统的部分订单还未处理完，在新系统中显示时订单状态含义不明确。后全部改为“历史订单”处理。

二、数据的注意点

1.数据的完整性

　　最近运营过程中遇到很多数据填写不完整，导致商品无法备案何上架的问题。出现这种问题的原因在于，开发与业务人员之间未就基础数据的必填验证完全梳理清楚，很多字段由于不是必填业务人员就跳过不填，提交审核时也未限制住，致使不完整数据也得以提交流转到下一审批流程。这种问题只需业务与开发之间字段核对清楚就完全不会发生。另外在测试时也需要做最小边缘测试。

2.数据的准确性

　　由于系统设计多个外部接口和多个系统的对接。有部分数据由于字段长度不一致、字段传输值两边理解不一致导致商品无法备案、订单申报失败。此类问题应在开发时与对接系统开发人员保持信息沟通，需要找到有效的沟通渠道或机制，这样在联调时能提高效率和减少出错的比例。

3.数据的可控性

　　系统还未有有效的监控机制，所有日志需要在出现问题后查询log，不能有效的监控当前业务系统的业务异常，比如商品备案失败。这样一来导致业务人员业务过不去需通知开发人员查看，开发发现问题不及时。如果再加上业务人员与开发人员沟通渠道不畅，更加影响系统运行。解决办法是建立一套有效实时的业务异常监控系统。