M1 Ultra 64G 上跑35B大模型：omlx部署与Qwen3.6系列模型性能测试

一、测试硬件与软件环境1.1 硬件配置表格参数项配置详情设备机型Mac Studio M1 Ultra处理器Apple M1 Ultra20 核 CPU、64 核 GPU统一内存64GB硬上限本文所有优化围绕 64G 内存约束内存带宽800GB/s1.2 软件环境操作系统macOS Sonoma / SequoiaPython3.11Homebrew 安装严格匹配 oMLX 依赖推理框架oMLXCMLX 底层加速对接客户端OpenClawOpenAI 标准接口模型源HuggingFace、ModelScope二、oMLX 完整部署教程oMLX 基于 CMLX 底层加速原生支持 MTP 草稿加速、连续批处理、KV 缓存量化完美适配 Apple Silicon 统一内存是 OpenClaw 本地推理最优后端。2.1 一键自动化安装国内网络推荐国内镜像脚本自动配置 Node.js、Python、OpenClaw 环境一键执行curl -fsSL https://open-claw.org.cn/install.sh | bash安装完成验证环境openclaw --version2.2 手动分步安装自定义环境安装指定版本 Python3.11brew install python3.11国内镜像加速拉取 oMLX 源码git clone https://mirror.ghproxy.com/https://github.com/jundot/omlx.git cd omlx本地编译安装主程序清华 pip 源加速/opt/homebrew/bin/pip3.11 install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn安装 MCP 工具扩展AIOps 运维必备文件读取、SSH 远程执行/opt/homebrew/bin/pip3.11 install -e .[mcp] -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn配置终端别名简化调用命令echo alias omlx/opt/homebrew/bin/python3.11 -m omlx.cli ~/.zshrc source ~/.zshrc2.3 模型服务启动基础命令默认监听 8000 端口OpenClaw 无需修改接口地址omlx serve qwen3.6-27b-4bit2.4 oMLX 完整卸载流程# 卸载 Python 依赖包 /opt/homebrew/bin/pip3.11 uninstall omlx -y # 删除本地源码目录 rm -rf ~/omlx重要注意所有命令固定使用/opt/homebrew/bin/pip3.11规避系统 Python 版本冲突全程使用国内镜像源提升下载速度。三、模型下载方式 适配 M1 Ultra 64G 模型清单3.1 ModelScope 离线下载命令/opt/homebrew/Cellar/omlx/0.4.1/libexec/bin/modelscope download OsaurusAI/Qwen3.6-35B-A3B-MXFP4-MTP3.2 M1 Ultra 64G 推荐可用模型按内存友好度排序表格模型名称量化格式模型来源64G 内存适配说明适用场景Qwen3.6-27B-4bitMLX 4bitHuggingFace内存占用极低稳定 128K 上下文轻量问答、临时脚本生成Qwen3.6-27B-mxfp4MLX MXFP4HuggingFace平衡速度与精度无爆内存风险日常短日志分析Qwen3.6-27B-MTP-4bitMLX 4bitMTPModelScope多并发批量摘要加速批量小文档汇总Qwen3.6-35B-A3B-OptiQ-4bit分层混合 4bitHuggingFace64G 主力稳定 128K 上下文不建议开 262K数万行运维日志、故障复盘Qwen3.6-35B-A3B-MXFP4-MTPMXFP4MTPModelScope单请求性能强仅裸机关闭所有后台可运行批量日志离线分析避坑提醒Qwen3.6-35B-A3B-8bit权重内存占用 35GB搭配 128K KV 缓存总占用接近 60GBM1 Ultra 64G 仅能裸机运行后台开软件极易 OOM不推荐作为主力。四、性能基准测试数据同架构参考M1 Ultra 64G 性能略低于 192G 机型术语释义TTFT首字生成延迟数值越低响应越快pp TPS输入文本预填充吞吐量日志加载速度tg TPS文本生成输出速度Peak Mem推理峰值内存占用4.1 Qwen3.6-27B-mxfp4 基准性能测试规格TTFT(ms)TPOT(ms)pp TPStg TPS总耗时 E2E (s)总吞吐量峰值内存pp1024/tg1287565.244.33135.422.713.19587.3 tok/s15.07 GBpp4096/tg12829204.546.40140.321.735.097120.4 tok/s16.49 GBpp8192/tg12858701.346.54139.621.764.612128.8 tok/s17.12 GB多并发连续批处理对比并发 Batchtg TPS加速倍数pp TPSTTFT(ms)总耗时122.71.00x135.47565.213.195227.11.19x135.014990.524.603429.71.31x134.729773.247.667833.01.45x133.259589.192.5944.2 Qwen3.6-35B-A3B-4bit 基准性能表格测试规格TTFT(ms)TPOT(ms)pp TPStg TPS总耗时 E2E (s)总吞吐量峰值内存pp1024/tg1281749.415.55585.464.83.724309.4 tok/s19.25 GBpp4096/tg1284885.115.62838.564.56.868615.0 tok/s20.04 GBpp8192/tg1289511.217.04861.359.111.676712.6 tok/s20.35 GB并发批处理加速并发 Batchtg TPS加速倍数pp TPSTTFT(ms)总耗时164.81.00x585.41749.43.7242103.51.60x652.92986.05.6114142.42.20x655.55786.89.8468180.82.79x648.311430.618.2994.3 Qwen3.6-35B-A3B-MXFP4-MTP开启 MTP测试规格TTFT(ms)TPOT(ms)pp TPStg TPS总耗时 E2E (s)总吞吐量峰值内存pp1024/tg1281298.327.20788.737.14.753242.4 tok/s21.78 GBpp4096/tg1282994.627.291367.836.96.460653.9 tok/s22.57 GBpp8192/tg1285638.924.691452.840.88.774948.2 tok/s22.88 GBpp16384/tg12811926.125.511373.839.515.1661088.7 tok/s23.54 GBpp32768/tg12827081.627.431210.036.730.5661076.2 tok/s24.88 GB多 Batch 对比开启 MTP 多并发吞吐量提升最高 4.8 倍适合批量运维日志批量分析单条超长文本可关闭 MTP 提升生成速度。4.4 Qwen3.6-27B-4bit TurboQuant KV Cache测试规格TTFT(ms)pp TPStg TPSE2E(s)ThroughputPeak Mempp1024/tg1287913.6129.423.913.26186.9 tok/s15.85 GBpp4096/tg12830628.5133.722.736.276116.4 tok/s17.27 GBpp8192/tg12861665.7132.822.967.262123.7 tok/s17.90 GBpp16384/tg128125321.2130.721.3131.341125.7 tok/s19.15 GBpp32768/tg128260016.4126.017.8267.209123.1 tok/s21.65 GB五、M1 Ultra 64G 高频报错排查方案5.1 xgrammar 结构化输出缺失报错报错提示Structured output requires xgrammar. Reinstall with: brew reinstall omlx --with-grammar解决命令brew reinstall omlx --with-grammar5.2 brew link 命令冲突报错Target /opt/homebrew/bin/omlx already exists.rm /opt/homebrew/bin/omlx brew link --overwrite omlx5.3 ModelScope 模型下载工具缺失报错提示未安装 ModelScope SDK/opt/homebrew/Cellar/omlx/0.4.1/libexec/bin/pip install omlx[modelscope] -i https://pypi.tuna.tsinghua.edu.cn/simple5.4 MTP 模型推理卡死查看 oMLX 日志确认存在如下日志代表 MTP 正常加载2026-06-10 19:00:05,581 - omlx.patches.mlx_lm_mtp.batch_generator - INFO - MTP path activated for uid0 (model has mtp_forward, batch1)卡死解决方案降低ctx-size至 65536关闭后台占用内存软件。5.5 Hybrid Attention 模型连续批处理兼容报错报错ArraysCache incompatible with --mllm continuous batching解决启动命令移除--mllm参数仅纯文本推理无需多模态参数。5.6 oMLX 版本升级失败方式 1brew 升级brew upgrade omlx brew services stop omlx方式 2离线安装安装包下载地址https://github.com/jundot/omlx/releases/download/v0.4.4/oMLX-0.4.4-macos26-27.dmg5.7 M1 Ultra 64G 专属高频问题推理内存溢出 OOM切换 OptiQ-4bit 轻量化模型放弃 8bit 权重--ctx-size限制 131072 以内禁止 262K、320K 超大上下文关闭浏览器、绘图工具、虚拟机等后台程序设置--max-batch-size 1单会话运行对话结束执行/clear清空 OpenClaw 会话 KV 缓存。六、全文性能总结 M1 Ultra 64G 选型建议6.1 各模型综合性能对比模型配置单条生成 tg TPS预填充 pp TPS峰值内存M1 Ultra 64G 推荐度Qwen3.6-27B-mxfp4默认22.7135.415.07 GB⭐⭐⭐⭐⭐ 低配首选Qwen3.6-35B-A3B-4bit默认64.8861.320.35 GB⭐⭐⭐⭐ 主力轻量Qwen3.6-35B-A3B-MXFP4-MTP开启 MTP40.81452.822.88 GB⭐⭐⭐ 仅裸机批量使用Qwen3.6-35B-A3B-MXFP4-MTP关闭 MTP56.61496.922.39 GB⭐⭐⭐ 单长文本使用Qwen3.6-27B-4bitTurboQuant KV22.9132.817.90 GB⭐⭐⭐ 备用轻量6.2 核心落地结论M1 Ultra 64G 重点硬件瓶颈64GB 统一内存为硬性上限无法稳定运行 Qwen3.6-35B-A3B 8bit 模型做大上下文分析最优主力模型Qwen3.6-35B-A3B-OptiQ-4bit平衡精度、内存、长文本理解适配 AIOps 数万行日志MTP 适用场景批量多会话日志摘要时开启提升吞吐单次超长日志分析建议关闭 MTP 提升单条生成速度上下文上限稳定运行上限 128K token超过极易 OOM超长文档必须分段摘要底层加速oMLX 基于 CMLX 加速相比原生 mlx_lm 预填充速度提升 30%更适合大量日志输入场景。七、参考资料・oMLX 官方仓库https://github.com/jundot/omlx・ModelScope 模型仓库https://modelscope.cn・HuggingFace 镜像站点https://hf-mirror.com