Ornith-1.0-35B-4bit性能测试：数学推理与多模态任务能力全面评估

Ornith-1.0-35B-4bit性能测试数学推理与多模态任务能力全面评估【免费下载链接】Ornith-1.0-35B-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-4bitOrnith-1.0-35B-4bit是一款基于MLX框架的4位量化多模态模型由deepreinforce-ai/Ornith-1.0-35B量化而来特别针对Apple Silicon优化。该模型保留了完整的视觉编码器支持图像-文本到文本的生成任务在保持高性能的同时显著降低了资源占用。模型核心配置解析Ornith-1.0-35B-4bit采用Qwen3_5MoeForConditionalGeneration架构结合了混合专家MoE技术配备256个专家和每令牌8个专家选择机制。量化配置方面模型主体采用4位量化group size 64而MLP门控和共享专家门控则使用8位量化以确保关键路径的计算精度。核心参数包括隐藏层大小2048注意力头数16隐藏层数40词汇表大小248320最大序列长度262144视觉编码器部分采用27层深度网络输入通道为3 patch大小16x16输出隐藏层大小2048确保与语言模型的无缝对接。数学推理能力测试在数学推理测试中Ornith-1.0-35B-4bit表现出令人印象深刻的计算能力。针对17 * 24这样的乘法问题模型能够提供正确的分步推理过程并得出408的准确结果。这一表现验证了量化过程中关键计算路径的精度得到了有效保留。测试环境为Macbook Pro M5 Max 128GB 40 GPU模型在数学推理任务中展现出生成速度103.7 tok/s提示处理速度89.4 tok/s峰值内存占用20.9 GB多模态任务性能评估作为一款完整的多模态模型Ornith-1.0-35B-4bit的视觉-语言能力同样值得关注。模型通过专用的图像令牌ID:248056和视频令牌ID:248057处理多模态输入支持从图像到文本的生成任务。使用示例uvx --from mlx-vlm mlx_vlm.generate \ --model mlx-community/Ornith-1.0-35B-4bit --image image.png \ --prompt Describe this image. --max-tokens 512Python API调用from mlx_vlm import load, generate model, processor load(mlx-community/Ornith-1.0-35B-4bit)模型量化与转换技术细节Ornith-1.0-35B-4bit采用了特殊的MoE专家融合技术。原模型的256个MoE专家以单独方式存储而mlx-vlm的qwen3_5_moe加载器需要融合/批处理的专家格式。转换过程中使用了sanitize补丁来堆叠专家确保转换顺利完成。量化配置文件config.json显示模型采用affine量化模式组大小64这使得模型在4.649 bits/weight的量化密度下仍保持良好性能。生成配置generation_config.json默认使用temperature1.0top_k20top_p0.95的采样策略平衡了生成多样性和准确性。实际应用场景与优势Ornith-1.0-35B-4bit特别适合在Apple Silicon设备上运行为开发者和研究人员提供了一个高效的多模态模型解决方案。其主要优势包括资源效率4位量化显著降低内存需求在128GB内存设备上即可流畅运行速度优势针对Apple GPU优化生成速度超过100 tok/s多模态支持完整保留视觉编码器支持图像输入任务数学能力在保持量化效率的同时保留了强大的数学推理能力无论是构建本地AI助手、开发多模态应用还是进行AI研究Ornith-1.0-35B-4bit都提供了一个平衡性能和资源消耗的优秀选择。快速开始指南要开始使用Ornith-1.0-35B-4bit首先克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-4bit然后使用提供的示例代码或命令行工具进行推理。更多详细信息请参考原模型卡片和MLX-VLM文档。Ornith-1.0-35B-4bit展示了量化技术在保持模型性能方面的巨大潜力为在消费级硬件上部署大型多模态模型开辟了新的可能性。【免费下载链接】Ornith-1.0-35B-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-4bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考