Ollama 可本地运行 DeepSeek 等开源大模型,除了使用它自身的 SDK ,也可以作为服务供其他程序调用。
运行 DeepSeek 本地版
安装和启动 DeepSeek R1 的入门级 1.5B版本:
ollama run deepseek-r1:1.5b
如果安装后无响应,可能是 Ollama 版本过低,更新后即可使用。
开放局域网调用
Ollama 默认监听 127.0.0.1 ,如果开放局域网调用,需要配置环境变量:
OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*
相关操作系统中也要做好配置,保证可以相互通信,如:
- windows 需确保在 windows 安全中心开放了 11434 端口的局域网调用。
- mac 调用其他机器时,需确保在隐私与安全性-本地网络中允许对应应用对本地网络的查找权限。
通过其他服务调用
除了使用 ollama 本身的 SDK ,也可以通过 LangChain 等工具去调用,支持 Python、Java、JS 等多种语言和环境。
使用 LangChain 的好处是它对各个大模型的 API 进行了抽象和封装,可以方便地切换不同的大模型。
如通过 LangChain.js 去调用 ollama:
https://js.langchain.com/docs/integrations/llms/ollama/#overview
通过 LangChain4j 去调用 ollama:
https://docs.langchain4j.dev/integrations/language-models/ollama