后台批量商品状态批量变更异步处理

摘要bidfans 代拍后台运营经常需要批量下架、批量置顶、批量修改商品分类同步执行上万条数据会造成接口超时、数据库锁等待。本文基于 RabbitMQ 实现商品状态批量变更异步任务分片处理海量商品数据。一、同步批量操作缺陷bid 早期批量修改商品采用同步接口一次性加载上千条商品数据更新时长时间占用数据库行锁导致商品查询、抓取接口阻塞高峰期频繁接口 504 超时。运营勾选几百件商品执行下架操作页面等待数十秒无响应多次重复点击提交产生多条重复更新脏数据。大批量操作无进度展示运营无法判断任务是否正常执行频繁联系运维确认处理状态沟通成本高。同时同步大批量写操作会拉高数据库 CPU影响代购订单、仓储等核心业务读写性能。二、异步分片任务完整架构用户在后台勾选商品 ID、选择变更操作下架 / 置顶 / 切换分类提交请求接口不执行数据库更新仅生成全局任务 ID按每 100 条商品分片分多条消息投递至专用批量交换机。消费服务单独部署独立线程池处理分片数据每条分片独立事务单批处理失败仅回滚当前分片不影响其他商品。任务处理过程实时记录成功、失败数量存入任务记录表运营可在后台任务进度页面实时查看完成比例失败商品单独生成明细支持单独勾选重新执行变更。任务区分优先级首页置顶类高优任务分配更多消费线程批量下架低优任务错峰凌晨执行避开日间业务高峰。// 批量商品状态变更分片处理核心方法 public void batchUpdateGoods(BatchUpdateDTO dto) { Long total goodsMapper.countByIds(dto.getGoodsIdList()); int batchSize 100; long totalPage (total batchSize - 1) / batchSize; for(long page 0; page totalPage; page){ ListLong sliceIds dto.getGoodsIdList().stream() .skip(page * batchSize).limit(batchSize).collect(Collectors.toList()); BatchTaskMsg msg new BatchTaskMsg(); msg.setSliceIds(slice); msg.setOperateType(dto.getOperateType()); msg.setOperatorId(SecurityUtil.getUserId()); rabbitTemplate.convertAndSend(goods_batch_exchange, goods.batch, msg); } // 返回任务ID供运营查看进度 taskRecordMapper.insert(TaskRecord.builder() .taskId(UUID.randomUUID().toString()) .totalNum(total) .build()); }三、事务与容错保障每一片商品更新开启独立事务更新完成立即提交避免长事务锁表数据库更新仅变更状态字段不修改商品标题、价格等大文本字段减少锁持有时间。消费失败消息自动转入死信队列间隔 5 分钟重试 2 次重试依旧失败标记为异常分片写入任务失败明细便于运营核对。批量任务执行全程记录操作人、操作时间后台操作日志永久留存方便后续追溯商品变更记录。四、资源隔离优化批量任务交换机、队列与订单、爬虫业务队列物理隔离大批量商品变更不会挤占核心业务消息通道。每日凌晨自动清理 7 天前的批量任务记录避免任务表无限膨胀。数据库读写分离批量更新走写库商品前台查询走只读从库两者互不干扰。五、落地收益bid 接入异步批量任务后批量操作接口超时反馈完全消失数据库锁等待告警下降 90%运营无需等待页面加载即可关闭窗口处理其他工作后台操作流畅度大幅提升。结语分片异步批量商品变更方案解决海量商品同步更新带来的数据库阻塞、接口超时问题适配日系代拍平台后台大批量商品维护场景兼顾系统稳定性与运营操作便捷性。