redun 工作流引擎生产部署：Postgres 后端配置与团队共享缓存完整指南

redun 工作流引擎生产部署Postgres 后端配置与团队共享缓存完整指南【免费下载链接】redunYet another redundant workflow engine项目地址: https://gitcode.com/gh_mirrors/re/redunredun 是一个基于 Python 的高表达式工作流引擎它通过惰性表达式自动完成并行调度、增量缓存与数据溯源。本文介绍如何将 redun 生产化部署配置 Postgres 后端数据库并搭建团队共享缓存让每位成员的重复计算都能直接命中缓存。为什么生产环境要换 Postgres 后端redun 把每次执行的调用图CallGraph和中间结果缓存写入本地仓库repo就像 git 把提交图存在仓库里一样。默认后端是本机 SQLite 文件.redun/redun.db单人使用足够但存在两个瓶颈无法共享A 同学跑完的缓存B 同学完全看不到重复计算不可避免单机局限数据库绑定在某台机器上换台开发机就要从零重跑。PostgreSQL 是官方支持的第二种后端见 docs/source/db.md。换成 Postgres 后团队所有人连同一个库任务结果一次计算、处处复用历史执行记录也全部集中方便用redun log和 ConsoleTUI统一审计。redun 用惰性表达式构建工作流调度器自动评估这张图、命中缓存、记录溯源原理如下图所示第一步用 Docker Compose 一键启动 Postgres项目根目录自带了完整的 Postgres 容器定义无需自己写镜像数据库初始化脚本db/postgres.sql创建redun库并设置 utf8 编码镜像构建文件db/Dockerfile基于 postgres:11编排文件docker-compose.yml固定暴露5432端口在项目根目录执行docker-compose up db一个带有 redun 数据库的 Postgres 容器就起来了密码为postgres。第二步初始化数据库并写入 redun 后端配置容器就绪后先初始化 schema这一步会自动建好 call_node、task、value 等 16 张表PGUSERpostgres PGPASSWORDpostgres redun init然后在工作流项目的.redun/redun.ini中配置后端。参考现成的示例 examples/postgres/.redun/redun.ini[backend] db_uri postgresql://localhost:5432/redun几个关键配置项完整说明见 docs/source/config.md 的 Backend 一节配置项说明db_uri数据库连接串支持 sqlite / postgresql 协议出于安全考虑不能在 URI 里写用户名密码db_username_env/db_password_env凭据放在环境变量中默认REDUN_DB_USERNAME/REDUN_DB_PASSWORD避免密码进代码库db_retries连接失败重试次数默认 3 次带指数退避automigrate共享库默认关闭自动迁移避免多人并发时意外改表db_aws_secret_name可选从 AWS Secrets Manager 读取连接信息一个可直接运行的最小工作流见 examples/postgres/workflow.py配套演示说明在 examples/postgres/README.md。跑一次后直接查库验证psql postgresql://postgreslocalhost:5432/redun -c select * from task;能查到任务名、哈希和源码快照说明溯源数据已正确落库。团队共享缓存同事的任务如何直接命中配置好同一个db_uri后共享缓存就自动生效。假设同事 A 跑过compile(lib.c)你修改了无关的prog.c后重跑调度器发现lib.c的哈希没变、任务源码没变直接复用共享库中 A 的缓存结果只重算受影响的最小任务集。这就是一次计算、团队复用——省掉的正是最耗时的重复计算。验证缓存命中最简单的方式是看执行日志中的CACHED统计或用redun log查看任务树中每个 Job 的cached: True/False标记。数据库版本管理与无停机升级多人共享的 Postgres 库迁移需要协调。redun 内置了版本管理机制迁移脚本位于 redun/backends/db/alembic/versions/redun db info # 查看当前库版本与 CLI 兼容性 redun db versions # 查看当前 CLI 支持的所有版本 redun db upgrade 3.1 # 显式升级到指定版本无停机迁移的诀窍是先升库、再升客户端迁移设计为pre-deploy——先对数据库执行升级再升级各客户端的 redun 库小版本升级如 3.0 → 3.1只加索引、改约束不影响在线客户端大版本升级前确保所有客户端版本都已支持目标大版本版本兼容对照表见 docs/source/db.md。进阶大结果值外置到 Value Store默认情况下缓存值以 BLOB 存在数据库里。如果你的任务产出大文件级别的中间结果可以给后端加一个外置键值存储超过value_store_min_size阈值的结果写进 Value Store由value_store_path指定如 S3 前缀数据库里只留指针避免主库被大对象撑爆。上限由max_value_size默认 1GB控制。实现细节参考 redun/backends/value_store.py。从共享缓存延伸跨仓库同步与审计团队数据沉淀在共享 Postgres 库之后还可以跨库同步redun repo add注册多个命名仓库redun push / pull类似git push做增量图同步把个人库的数据推送到团队中心库全量备份redun export把整库导出为 JSON 日志redun import幂等导入另一个库溯源审计redun log 文件/任务/哈希前缀反查哪个任务产出了这个文件配合 ConsoleTUI图形化浏览调用图。部署清单小结步骤命令/文件产出1. 启动数据库docker-compose up dbPostgres 容器docker-compose.yml2. 初始化 schemaredun init16 张溯源表3. 配置后端db_uri写入.redun/redun.ini客户端连接共享库4. 安装依赖pip install redun[postgres]psycopg2 连接支持5. 验证落库psql ... -c select * from task;任务溯源可查6. 版本治理redun db info / upgrade无停机升级能力到这里redun 就完成了从单机缓存到团队共享缓存的生产化转变一份 Postgres 后端、一份共享调用图团队里任何人重跑工作流都能最大化命中缓存、最小化重复计算且每个结果都有完整的可审计溯源。【免费下载链接】redunYet another redundant workflow engine项目地址: https://gitcode.com/gh_mirrors/re/redun创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考