主数据同步、用户同步等

文章目录通用方案细节同步任务标志这是个常见的需求用户、机构等源头在主数据各业务系统自行拉取。有两种获取方式1、接口拉取 #2、mq实时分发 #通用方案为初始化时接口全量拉取后续mq实时接收当然mq也可以全量推但是肯定要申请走特批。通用方案1、中间表 # 原样接收主数据数据该表是必须的如果直接落到业务表一旦有问题查都没法查中间表要加处理状态字段信息等status #0:未处理;1:成功;2:失败;message # 成功 或 具体的错误原因 create_time # 创建时间 update_time # 更新时间2、mq记录表 # 记录每条mq一是为了便于回溯二是同步时如果不允许实时处理mq可以后续再处理status #0:未处理;1:成功;2:失败;message # 成功 或 具体的错误原因 create_time # 创建时间 update_time # 更新时间细节1、处理的时候按顺序处理建议按主数据的更新时间(注不是记录表的更新时间)处理2、可以给个同步标志同步的时候mq暂停消费避免乱序例如 主数据拉取的时候某条是禁用mq最新是启用那么状态实际应该为启用。但是mq如果实时消费该记录的状态变化为 mq发的启用主数据同步的禁用状态反而会错。如果主数据有更新时间的话那么可以加个时序校验如果更新时间原更新时间则认为是过时记录不予处理。建议还是同步的时候mq只落库不处理差异化处理虽然能做到但是需要逐条处理很影响性能同步的时候非常建议批量处理处理起来非常快。再进一步的话还可以同步后逐条处理的时候也先不处理mq避免时序错乱。同步及处理完毕后再处理最好。同步任务标志这个标志必须加可以放到redis中。作用如下1、同步任务正在运行时不可以再次运行避免界面点的时候并发同步2、避免同步及处理时处理mq消息3、避免多服务节点冲突