海量数据去重 oracle,海量数据去重
前提通过id去重，而不是整条数据id由SnowFlake算法生成，参考之前的文章SnowFlake算法在数据链路中的应用需求在实时平台的各个环节中，由于网络或其他问题，有时会出现数据重复的情况，本质上是由于at least once保障机制造成的。例如flume agent之间的数据传输，如果网络不稳定，有可能出现src_agent发送数据超时而导致重发，但实际上dest_agent已经收到，造成...
