本地Ollama只能自己用？用New-API统一接口并支持远程调用

前言本地运行Ollama之后通常可以通过11434端口调用模型接口。但当模型数量增加或者还需要同时使用多个云端API时不同应用分别填写接口地址、模型名称和密钥管理起来会逐渐变得混乱。New-API是一套大模型接口聚合与分发工具。它可以把Ollama和不同云端模型渠道集中到同一个后台中再向外提供相对统一的OpenAI兼容接口同时管理用户、令牌、额度和调用日志。本文将在N1盒子的飞牛NAS中部署New-API并在另一台Windows电脑中安装Ollama和测试模型。两者在局域网内连通后再把Ollama作为一个模型渠道添加到New-API中。完成渠道配置后还会创建独立调用令牌通过标准接口验证模型回复。最后使用cpolar为New-API的3000端口建立公网入口让其他网络中的应用也能通过固定地址调用这套模型网关。1 什么是New-APINew-API是一款基于经典项目 One API 升级而来的新一代大模型接口聚合网关与资产分布管理系统。它向下能够统一对接并转换各类主流云端 LLM 服务如 OpenAI、Claude、Gemini 以及各大国产模型和本地开源模型如 Ollama向上为各种第三方 AI 客户端与应用提供标准化的 OpenAI API 协议支持。作为个人的全能 AI 服务中枢它不仅大幅降低了异构接口的适配成本还极大地提升了模型的管理与分发效率。其核心亮点突出体现在以下几个方面异构接口自动转换原生支持将数十种不同格式的大模型 API 乃至本地运行的 Ollama 服务无缝跨界转换为标准的 OpenAI 接口格式实现下游应用零门槛一键接入。精细化权限与额度管控内置完善的可视化管理面板支持多用户账户隔离。你可以针对每个下发出去的 Token 令牌设定精确的调用额度、并发频率限制及请求有效期实现算力安全跨网分享。高可用智能路由调度允许将多个免费或付费 API 整合进统一的模型通道池Channel系统支持按权重动态轮询及故障自动重试响应有效规避单点失效确保 AI 服务的高可用性。全透明数字资产监控配备丰富清晰的图表看板从每一个模型、每一次请求到每一个用户的 Token 消耗量与延时表现均被精准记录资金消耗实现百分之百透明。2 Docker一键部署New-API没错本期教程的折腾主力军依然是我们熟悉的老战友——N1 盒子为了榨干它的最后一点剩余价值我提前在 N1 上刷入了 ARM 版本的飞牛 NAS系统。接下来我们将直接利用飞牛系统自带的 Docker 环境极速部署 New-API。好了接下来直接开始上教程首先打开你的飞牛Nas,在桌面点击【Docker】图标进入后确保【Docker服务】处于开启状态然后进入【系统设置】中选择【SSH】将其启用接着电脑摁下【Win X】键选择【终端管理员】打开PowerShell窗口然后在终端输入如下ssh命令进行远程连接你的飞牛Nas终端# 其中n1为你的飞牛Nas用户名IP地址为你的飞牛IP地址sshn1192.168.50.228如下图所示接着在终端执行如下命令切换至root用户输入密码时不会显示sudo-i然后执行如下命令将一键部署脚本下载下来curl-Lhttps://gitee.com/jun-wan/script/raw/master/new_api_deploy/deploy_sqlite.sh-odeploy_sqlite.shls下载下来后进行授权并且执行它chmodx deploy_sqlite.shbashdeploy_sqlite.sh执行后如下图首先会询问选择安装的位置如果你外接扩展了硬盘就会有如图显示中的扩展存储我这里选择【2】安装在外置硬盘上然后进行回车可以看到成功部署完成了让我们在浏览器中进行访问测试一下成功访问到页面这样通过Docker一键部署的NewAPI就搞定啦3 配置New-API项目部署好项目后访问newapi默认需要进行初始化在数据库检查页面选择【下一步】接着创建你的管理员账号和密码创建完成后继续点击【下一步】接着来到使用模式部分根据你需要的运行模式进行选择这里选择【自用模式】然后继续进行【下一步】点击【初始化系统】进行完成初始化初始化完成会来到如下页面如果默认没有登录点击右上角【登录】按钮输入刚才初始化的管理员账号密码即可进入后台4 下载安装测试Ollama我们在上一步已经成功搭好了 New-API 这个“超级网关”但既然要管理和分发接口手里自然还需要跑一个本地 AI 大模型来作为“主力输出”。如果你还没有玩过本地部署大模型别慌接下来我会在 Windows 电脑上带你从零极速安装 Ollama 这个广受好评的大模型启动器并以通义千问的小参数模型qwen3.5:0.8b为例下载并运行它作为我们的接口测试对象。如果你早就折腾过 Ollama或者只想单纯接入你现成的各类云端大厂 API完全可以直接跳过本节快进到第 5 节继续配置。4.1 安装Ollama程序为了方便大家能够完整的跟着教程走下去这里演示在本地windows上进行安装一个Ollama程序如局域网AI服务器或已经有相关API程序可跳过。重新打开一个【PowerShell】终端执行如下命令即可一键安装Ollamairm https://ollama.com/install.ps1|iex如下图所示接着输入如下命令可以查看ollama版本信息确认已安装ollama--version好了这样ollama就成功安装上啦4.2 下载模型我们可以在ollama的官网进行搜索自己想要使用的模型进行下载官网地址https://ollama.com/search如下图就以【qwen3.5:0.8b】模型为例它比较小大概1G左右用来测试我们回到终端执行如下命令进行下载和运行它ollama run qwen3.5:0.8b如下图接着我们进行对话询问一下看看,这里输入【你好】为例,如下图所示可以看到能够成功的思考和回答我当前是3060ti显卡基本3秒左右就输出完成了还是挺快的测试成功后输入如下命令即可退出对话/bye这样就成功的下载并且部署好了一个ollama模型啦4.3 测试Ollama 的 API 服务ollama支持标准的OpenAI 兼容格式/v1/chat/completions端口默认为我们可以在【PowerShell】终端执行如下命令Invoke-RestMethod-MethodPost-Urihttp://localhost:11434/v1/chat/completions-ContentTypeapplication/json-Body{model: qwen3.5:0.8b, messages: [{role: user, content: hi}], stream: false}如果是在cmd终端则是执行如下命令进行测试curlhttp://localhost:11434/v1/chat/completions-HContent-Type: application/json-d{\model\:\qwen3.5:0.8b\,\messages\: [{\role\:\user\,\content\:\你好\}],\stream\: false}测试成功可以看到ollama的API服务是正常的5 在New-API中配置Ollama渠道登录到New-API后台点击左侧菜单栏的【渠道管理】然后点击【添加渠道】接着在弹出的侧边栏配置中配置类型为【Ollama】,名称自定义一个即可密钥也是随机输入一个因为ollama默认不需要密钥进行连接接着在API地址部分填写你当前Windows的局域网IP地址(如果不知道可以终端执行如下命令获取)ipconfig|findstrIPv4如图接着在模型部分点击获取模型列表按钮如果配置正确的话就会弹出如下选择模型的窗口选择我们刚才下载的【qwen3.5:0.8b】然后确定进行添加添加完成后点击底部的提交按钮即可提交后点击测试按钮或者展开按钮进行测试出现测试成功的提示代表成功的把模型接入进来啦好了如果你有本地局域网其他的AI服务器的话也都可以接入进来像这样然后你就可以在模型广场看到许许多多你本地AI服务器部署的模型啦6 创建令牌进行测试点击左侧菜单栏的【令牌管理】然后点击【添加令牌】在弹出的侧边配置区域填写好相关信息然后点击提交创建成功后点击复制令牌然后通过N1部署的NewAPI就可以访问啦,比如在CMD中测试注意修改令牌为自己的# 修改其中的192.168.50.228为你的N1飞牛Nas地址以及sk-xxxxxxxcurlhttp://192.168.50.228:3000/v1/chat/completions ^-HContent-Type: application/json^-HAuthorization: Bearer sk-MbmNWNXhaGrNlZRe6r1ZxEOoROiE5HpIfU6zL8353FJ4msZO^-d{\model\:\qwen3.5:0.8b\,\messages\: [{\role\:\user\,\content\:\你好\}],\stream\: false}如下图访问成功这样我们就成功利用 New-API 把局域网里的 Ollama 模型彻底包装成了一个拥有“正规编制”带密钥鉴权 标准 OpenAI 格式的云端接口啦7 穿透New-API实现公网访问成功在局域网内调通了 Ollama 和 New-API不过目前这个接口地址依然只能在家里连着同一个局域网时才能调用。如果想在外面上下班路上随时随地榨干家里的算力或者把刚才创建的 Token 令牌直接发给异地的朋友使用我们还需要进行最后也是最关键的一步内网穿透。没错只要借助内网穿透工具我们就能把飞牛 NAS 上的 New-API 端口直接映射到公网地址上。这样一来无论你身在何处只要手机或电脑有网打开浏览器就能随时随地“钻”进家里的后台面板修改配置发出去的 Token 也能通过公网被随时调用和坐在家里局域网操作一模一样丝滑7.1 什么是cpolar?cpolar 是一款内网穿透工具可以将你在局域网内运行的服务如本地 Web 服务器、SSH、远程桌面等通过一条安全加密的中间隧道映射至公网让外部设备无需配置路由器即可访问。广泛支持Windows、macOS、Linux、树莓派、群晖 NAS等平台并提供一键安装脚本方便部署。7.2 安装cpolar回到刚才的【PowerShell终端】窗口执行如下命令进行一键安装sudocurlhttps://get.cpolar.sh|sh安装完成后执行下方命令查看cpolar服务状态如图所示即为正常启动sudosystemctl status cpolar7.3 注册及登录cpolar web ui管理界面访问cpolar官网点击【免费注册】按钮进行账号注册注册完成后,在浏览器中输入飞牛NAS的IP地址9200端口访问 web ui管理界面:http://192.168.50.228:9200/输入刚才注册好的cpolar账号登录即可进入后台页面:7.4 穿透New-API实现远程访问点击左侧菜单栏的【隧道管理】展开进入【隧道列表】页面页面下默认会有 2 个隧道ssh隧道指向22端口tcp协议website隧道指向8080端口http协议http协议默认会生成2个公网地址一个是http另一个https免去配置ssl证书的繁琐步骤点击【创建隧道】菜单然后在配置区域填写一个【隧道名称】本地地址填写【3000】端口然后点击创建创建完成后来到侧边栏的【状态在线隧道列表】里面可以看到刚创建的这条隧道以https为例复制公网地址访问测试(加载稍慢需耐心等待一下)可以看到页面成功加载大功告成现在即便你身处公司、咖啡厅甚至出差在高铁上只要手机连着网输入这个公网地址就能随时随地“钻”回家里的 NAS 调大模型跑项目甚至直接把生成的 API 接口和临时 Token 甩给异地的好友白嫖简直爽到飞起8 固定二级子域名不过由于我们刚才使用的是免费随机域名这个地址就像“灰姑娘的魔法”每隔24 小时就会强行刷新变脸一次。如果只是图个新鲜玩两天还好但如果你想把它作为全天候生产力工具或者接入了自动处理工作流的微信机器人比如往期咱们提到的OpenClaw那每次域名突然失效带来的脱网断连绝对会让你崩溃到抓狂为了让这套自建 AI 站拥有真正的安全感与商业级稳定性强烈建议升级至 cpolar 的任意基础套餐配置一个固定、专属的二级子域名。一次配置终身免维护再也无需担心半夜接口突然就挂了首先进入官网的预留页面https://dashboard.cpolar.com/reserved然后选择【预留】菜单即可看到【保留二级子域名】项填写其中的【地区、名称、描述可不填】项然后点击【保留】按钮操作步骤图如下列表中显示了一条已保留的二级子域名记录地区显示为China TOP。二级域名显示为newapi01。注二级域名是唯一的每个账号都不相同请以自己设置的二级域名保留的为主保留后接着进入侧边菜单栏的【隧道管理】下的【隧道列表】可以看到名为【newapi】的隧道点击【编辑】按钮进入编辑页面修改域名类型为【二级子域名】然后填写前面配置好的子域名点击更新按钮接着来到【状态】菜单下的【在线隧道列表】可以看到隧道名称为【newapi】的公网地址已经变更为【二级子域名固定域名主体及后缀】的形式了这里以https访问测试一下访问成功这样一个永久固定不变的地址就设置好啦Tips首页显示的网站地址可以在【系统设置】【服务器地址】中修改哦~总结完成以上配置后New-API已经可以在N1飞牛NAS中运行并把局域网内的Ollama模型接入统一的渠道管理页面。创建令牌后下游应用可以使用New-API提供的接口地址、模型名称和Token发起请求。这种方式能够减少不同应用重复配置模型渠道的工作也方便后续继续增加其他本地模型或云端API。不过New-API只是统一管理和转发请求实际推理仍然由Windows电脑中的Ollama完成。因此Ollama所在电脑必须保持开机并确保11434端口能够被飞牛NAS访问。如果Ollama只监听localhost、电脑进入休眠、局域网IP发生变化或者防火墙阻止连接New-API中的渠道就会测试失败。通过cpolar为3000端口建立公网隧道后原本只能在家庭局域网中使用的New-API后台和接口也可以从其他网络环境访问。继续配置固定二级子域名后客户端就不需要频繁更换API地址。需要注意的是文章示例中不应保留真实Token。已经出现在截图、命令或公开文章中的令牌应立即删除并重新创建。管理员账号、渠道密钥和云端API Key也应使用高强度凭据并避免记录在公开日志中。公网开放后建议为不同用户和应用分别创建令牌设置额度、有效期和模型权限不要多人共用同一个Token。还应定期查看调用日志和异常消耗限制并发与请求频率避免本地算力被持续占用或云端渠道产生意外费用。一键部署脚本会以root身份执行正式运行前应先下载并检查脚本内容同时确认New-API的数据目录已经持久化并定期备份。首页中的服务器地址也应修改为最终使用的HTTPS固定域名避免生成的接口信息继续指向局域网地址。