不到 5 分钟完成本地部署：Jina embedding 模型现已支持本地部署

作者来自 Elastic Scott Martens全部 28 个 Jina AI 模型包括 reranker现已提供可直接部署的 Docker 容器无遥测数据收集无需许可证服务器。可直接兼容 OpenAI、Cohere、Voyage AI 和 Elastic Inference Service API。亲手体验 Elasticsearch深入了解我们在 Elasticsearch Labs 仓库中的示例 Notebooks开始免费云试用或者立即在你的本地机器上体验 Elastic。全部 28 个 Jina AIembedding和 reranking 模型现已提供完全离线的 Docker 容器支持本地部署包括 jina-embeddings-v5-omni 和 jina-reranker-v3。下载任意一个容器将其传输到本地部署的隔离网络air-gapped或受防火墙保护的系统中即可在不到五分钟内完成本地inference部署并开始运行。这些容器完全自包含不会建立任何外部连接。它们不会访问 Hugging Face 或任何模型注册中心也没有许可证服务器、遥测或日志上报 endpoint。对于受监管行业、具有数据主权要求的场景或互联网连接不稳定甚至完全不可用的环境这消除了对第三方 AI 服务的依赖。Jina On-Prem 支持 Elastic Inference ServiceEIS、OpenAI、Cohere、Voyage AI 和 Gemini API schema因此现有应用无需修改代码即可继续运行。目前最强大的 AI 模型通常部署在远程云环境中并通过 Web API 提供访问。这意味着你必须信任 AI 服务提供商能够保障安全性、服务可用性以及价格稳定性。随着 AI 使用规模不断扩大、模型越来越复杂且资源需求不断增加要同时满足可靠性、隐私、可控成本和良好数据治理等合理要求已经变得越来越困难。近期政府监管、法院裁决以及出于其他企业利益做出的商业决策都导致部分服务的访问受到限制。即使你能够切换到其他服务AI 模型也不像普通组件一样可以随时替换。使用语义embedding的应用依赖于在query时使用与数据摄取阶段完全相同的模型。如果失去对embedding model的访问权限你的搜索系统将无法继续运行。AI 的定价模式进一步放大了这一风险。近期主要 AI 厂商披露的财务信息让客户有充分理由担心未来可能出现的大幅涨价。依赖成本不可预测的产品会进一步增加 AI 投资的风险而这些高资本投入本身未必能够带来明确的投资回报。Jina On-Prem 正是 Elastic 对这些挑战的回应。谁需要本地部署 AI本地托管并直接控制你的 AI 模型可以满足各种技术需求、行业要求和业务诉求。本地部署能够降低支付给 AI 服务提供商的费用但相应地硬件成本和运行保障将由你的组织承担。根据你的使用规模总体成本甚至可能更低。此外还有许多更重要的原因值得考虑自行运行 AI。如果下面提到的任何问题与你的企业相关那么可以考虑像 Jina On-Prem 这样的本地 AI 解决方案。以下仅列举部分场景并非完整清单。使用场景为什么选择本地部署示例隔离网络 / 高安全环境无任何对外数据传输实现完全网络隔离国防、情报机构、涉密科研法规合规满足数据主权要求无跨境数据传输或第三方数据暴露医疗《健康保险流通与责任法案》HIPAA、金融、欧盟企业《通用数据保护条例》GDPR对延迟极其敏感零网络依赖无法容忍连接失败机器人、边缘计算、车辆、船舶成本可预测固定基础设施成本而不是按 Token 计费且未来价格存在不确定性高吞吐、持续运行的inference工作负载降低法律责任无第三方数据暴露有助于维护法律保密特权和履行谨慎义务律师事务所、政府机构为什么隔离网络和受防火墙保护的系统需要本地部署 AI隔离网络air-gapped和受防火墙保护的系统无法使用外部 AI API。Jina On-Prem 完全运行在你的基础设施内部不会建立任何对外连接。对于管理高度敏感数据的组织来说安全和隐私是首要考虑因素。如果你投入大量资源来保护敏感数据却又立即将这些数据交给某个远程第三方而该第三方可能缺乏足够的安全措施或者可能受到外国政府要求提供数据那么这些投入就失去了意义。处理敏感数据的组织通常会对员工进行安全数据处理培训但当员工在处理这些数据时浏览器仍然可以访问互联网上的任意网页时这类培训的效果往往十分有限。隔离是目前最有效的安全措施无论是采用隔离网络还是极其严格的防火墙策略。然而这也意味着几乎无法使用任何外部服务。面向低延迟和高可用系统的本地部署 AI软件即服务SaaS和云计算本质上是在自行构建高可用、高可靠服务与将这些问题交给第三方之间做出的权衡。但它们也带来了可变的latency、服务中断以及在出现问题时彻底失去控制权。AI 服务也不例外。如果你的搜索系统因为无法访问embedding model而离线那么这种权衡可能就不再划算。此外依赖外部 AI 始终伴随着难以预测和管理的风险。互联网连接和网络latency可能会因为政治事件、恶劣天气甚至船只拖锚损坏海底光纤而突然恶化。政府可以而且最近已经发生过通过出口禁令突然阻止对 AI 模型的访问。AI 服务提供商有时也会下线旧模型以促使你迁移到新模型。外部服务带来的灵活性和较低的运维成本需要与这种依赖关系所带来的风险进行权衡。面向 GDPR、HIPAA 和数据主权合规的本地部署 AI收集个人数据的组织正受到越来越严格的法规约束而这些法规通常因司法管辖区不同而有所差异甚至可能彼此冲突。例如HIPAA 对美国医疗机构提出了极其严格的数据保护要求而加拿大、欧盟以及许多亚洲司法辖区的数据保护法律都要求处理个人信息的企业必须安全地处理这些数据并限制向其他主体或其他司法辖区传输数据。这些法规甚至可能对外国企业施加义务只要它们拥有这些地区的客户即可。金融机构通常还受到更加严格的监管并且需要像防范其他犯罪活动一样对信息安全承担直接责任。法规合规要求往往与第三方 AI 服务不兼容尤其是在使用这些服务涉及跨境数据传输时。此外近期发生的一些事件表明即使法规要求数据必须存储在本地当国际云服务提供商受到外国政府压力时仅依赖数据物理位置限制也未必能够提供足够的保护。不同司法辖区的法律可能相互冲突一方面要求数据必须在本地存储和处理另一方面又使第三方服务无法使用。在某些情况下唯一的解决方案就是将整个业务流程包括 AI 系统全部部署在企业内部。第三方数据传输带来的 AI 法律责任风险数据保护法律以及针对敏感数据的谨慎义务通常伴随着法律责任有时这种责任甚至非常严重。对于第三方服务提供商如何处理你的数据你同样可能需要承担责任。虽然法院和法律程序在事后可能为不安全的服务提供商提供某些救济途径但对于国家安全机构、执法部门或黑客攻击这些救济通常并不存在也难以真正发挥作用。对于政府而言已经发生过跨境云服务提供商向外国主体披露国家敏感信息的案例。即使你并不担心外国政府或黑客并且外部 AI 服务提供商本身具有良好的安全性仅仅因为它们属于第三方也可能带来法律责任。例如在大多数司法辖区律师与客户之间的沟通都享有特殊的法律保护而律师事务所在记录和保存这些信息时承担着严格的法律责任。在美国这种“律师—客户保密特权attorney-client privilege”十分著名甚至成为许多影视作品的重要情节。然而这种保密特权可能因为将信息披露给不享有该特权的第三方而失效而近期的发展表明外部 AI 服务提供商很可能就属于这样的第三方。至少在美国仅仅通过互联网 API 使用第三方 AI 服务例如提供indexing服务的 embedding 模型就有可能违反重要的保密义务。即使没有发生任何数据泄露仅仅因为使用了外部托管的软件律师事务所也可能面临诉讼、纪律处分甚至被吊销执业资格。面向离线、边缘计算和物理隔离系统的本地部署 AI计算机系统并不仅仅因为安全原因而被隔离。例如运行中的车辆无法依赖互联网完成任何关键功能。船舶和飞机拥有极其复杂的机载计算机系统它们必须在没有互联网连接的情况下正常运行因此无法依赖外部 AI 服务。海上平台、偏远地区设施、部署在北极、南极以及缺乏全球网络物理连接的小岛上的计算机系统都属于需要将所有服务本地部署的典型场景。随着 AI 在企业计算中的作用不断增强这些限制也变得越来越重要。AI 在物理系统中的新兴应用例如机器人以及其他面向现实世界的应用场景如物流管理系统甚至超市自助结账系统虽然可能连接到互联网但它们几乎无法容忍连接失败或latency突增。如果这些系统依赖 AI 才能正常运行那么 AI 系统就必须尽可能部署在本地并具备尽可能高的可靠性。谁不需要本地部署 AI远程软件服务和云端 AI 也有其优势。运行 AI 模型通常需要价格昂贵、耗电量高且寿命相对较短的处理器。由于市场因素和外部经济冲击目前获取高性能硬件尤其困难。在这种情况下按token付费使用外部 API而不是承担本地 AI 所需的大量资本投入可能更加合理。对于间歇性使用者来说外部 API 最具优势。如果你主要使用 AI 模型进行批量数据处理和分析而不是运行一个需要全天候在线的搜索系统那么投资昂贵的硬件和本地部署通常没有太大意义。此外如果你的数据处理本身已经部署在云端例如为了可靠性和可访问性而托管在云上的 ecommerce 网站那么使用位于同一云基础设施中的 AI 服务通常比自行部署获得许可的 AI 模型更具成本效益。既然你已经依赖云服务提供商那么继续依赖其 AI 服务所增加的风险也相对有限。如果你的使用场景符合上述情况那么 Jina AI 模型已经提供了以下部署方式以满足你的需求EISAWS MarketplaceGoogle Cloud Platform下表总结了影响选择的关键因素。最终答案取决于你的数据、基础设施以及使用模式。推出 Jina On-Prem对于能够从本地 AI 服务中受益的用户我们推出了 Jina On-Prem这是一个完全自包含的安装套件用于部署 Jina AI 的高性能模型。Jina AI 的模型能够以仅为其他embedding model数倍甚至数十分之一的模型规模实现与其相当的准确率。这大幅降低了计算成本、内存占用和硬件需求使其成为希望或必须将 AI 部署在本地环境中的用户的理想选择。我们提供商业许可证并针对不同规模的使用场景提供可扩展且按比例定价的解决方案。因素更适合本地部署更适合云 API使用模式持续运行或高吞吐inference间歇性使用或批量处理数据敏感性受监管、具有数据主权要求或涉密数据没有跨境传输或第三方限制网络环境隔离网络、受防火墙保护或网络不稳定稳定、始终在线的互联网现有基础设施已拥有或能够采购 GPU 硬件已部署在云端并可使用同一云中的 AI 服务成本模式固定硬件和许可证成本规模扩大后成本可预测按token计费前期投入低但长期成本存在不确定性延迟容忍度几乎无法容忍机器人、边缘计算、实时系统可以接受网络带来的延迟波动运维责任由你的团队负责硬件和可用性管理服务提供商负责硬件和升级你负责集成你需要结合自身的实际情况和使用场景综合考虑成本与收益并结合上一节提到的各种因素进行评估。随着时间推移这种成本收益分析也可能发生变化。我们无法预测 AI 行业的发展趋势也无法预测硬件价格即使是在短期内也是如此。Jina On-Prem 支持哪些 API schema提供完整依赖包可用于本地安装也提供 Docker 容器几分钟内即可完成安装和运行。Jina On-Prem 安装后不会连接任何外部系统。不会访问 Hugging Face Hub 或任何模型注册中心已内置HF_HUB_OFFLINE1和TRANSFORMERS_OFFLINE1。没有许可证服务器。没有遥测或日志上报 endpoint。同时支持 CPU 和 GPU 硬件并支持 GPU 自动检测。提供全部 28 个 Jina AI 模型包括最新的 jina-embeddings-v5-omni多模态 embedding模型以及 jina-reranker-v3。支持通过标准 AI API schema 访问包括 Jina API、OpenAI、Cohere、Voyage AI 和 Gemini。对于基于这些 schema 构建的应用Jina On-Prem 可以直接替换无需修改代码。可直接替代由 EIS 提供的模型。Jina On-Prem 可直接集成到隔离网络中的 Elastic 部署中。Jina AI 本地部署模型的硬件要求不同的 Jina 模型具有不同的硬件要求。下表展示了最新模型在 GPU 配置下的推荐配置。你无需使用比 NVIDIA L4 更强大的 GPU不过对于 v5embedding model推荐使用 A100。我们最新的embedding model当前至少需要 8 GB 的 VRAM。模型最低 VRAM推荐 GPUjina-embeddings-v5-text-nano2 GBT4 / L4jina-embeddings-v5-text-small3 GBL4 / A10Gjina-embeddings-v5-omni-small8 GBL4 / A10G / A100jina-reranker-v33 GBL4jina-clip-v24 GBL4jina-code-embeddings-1.5b4 GBL4ReaderLM-v24 GBL4如果你同时使用多个模型所需的 VRAM 将会增加。更多信息请参阅 规格配置和硬件 页面。如何使用 Docker 安装 Jina On-Prem最快的入门方式是安装 Docker如果你还没有安装然后按照 Jina On-Prem 快速入门页面中的说明操作。所有 28 个 Jina 模型都提供了预配置的 Docker 容器。下载其中一个容器并将其传输到你的目标安装环境后你可以在五分钟内运行 Jina AI 模型。对于多模态或自定义构建或者希望下载完整依赖集合并在容器之外进行安装的情况请按照打包指南中的步骤操作。你需要拥有一个 GitHub 账号和访问 token 才能下载 Jina On-Prem。要创建免费账号请访问 https://github.com/signup。要生成或管理你的访问 token请按照 GitHub 文档中的说明操作。你的 Jina On-Prem 安装支持所有 Jina API 和 EIS 功能并支持通过 OpenAI、Cohere、Voyage AI 和 Gemini API 生成 embedding因此可以通过标准接口集成到已有应用中。更多信息请参阅 API 文档。Jina 模型包括通过 Jina On-Prem 安装的模型提供多种许可证方案。最新模型在 CC BY-NC 4.0 许可证下可免费用于非商业用途。如需将 Jina On-Prem 用于商业用途请联系 Elastic Sales。原文On-premise AI: Jina embedding models with no internet needed - Elasticsearch Labs