Ollama 本地运行 DeepSeek 等开源大模型,开启局域网访问,支持其他服务调用

Ollama 可本地运行 DeepSeek 等开源大模型,除了使用它自身的 SDK ,也可以作为服务供其他程序调用。

运行 DeepSeek 本地版

安装和启动 DeepSeek R1 的入门级 1.5B版本:

ollama run deepseek-r1:1.5b

如果安装后无响应,可能是 Ollama 版本过低,更新后即可使用。

开放局域网调用

Ollama 默认监听 127.0.0.1 ,如果开放局域网调用,需要配置环境变量:

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

相关操作系统中也要做好配置,保证可以相互通信,如:

  • windows 需确保在 windows 安全中心开放了 11434 端口的局域网调用。
  • mac 调用其他机器时,需确保在隐私与安全性-本地网络中允许对应应用对本地网络的查找权限。

通过其他服务调用

除了使用 ollama 本身的 SDK ,也可以通过 LangChain 等工具去调用,支持 Python、Java、JS 等多种语言和环境。

使用 LangChain 的好处是它对各个大模型的 API 进行了抽象和封装,可以方便地切换不同的大模型。

如通过 LangChain.js 去调用 ollama:

https://js.langchain.com/docs/integrations/llms/ollama/#overview

通过 LangChain4j 去调用 ollama:

https://docs.langchain4j.dev/integrations/language-models/ollama