纯内网ollama离线导入model文件的方法和注意事项
在日常工作中,我遇了在无法连通互联网的内网环境里,离线导入大模型model文件的需求。网络上的资料大多表述得含糊不清,经过一番尝试,我现将自己的成功案例罗列于此,供大家参考。ollama当下支持gguf和safetensors这两种格式,鉴于gguf 格式更为常见,本次以在windows平台的ollama导入gguf格式model为例。
第一步:在外网电脑下载gguf格式的model文件,如将
DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf下载到E:\models\deepseek目录为例(本步骤略)。
1)选择一:通过各种搜索引擎搜索。
2)选择二:登录各个大模型文件网站,比如huggingface网站,使用浏览器直接下载(推荐)。
2)选择三:通过huggingface-cli命令批量下载(需要安装python和huggingface-hub库)。
第二步:内网电脑ollama离线导入model文件:
1)在model文件夹中创建Modelfile文件,为ollama提供导入的各项参数,最基本内容如下:
FROM E:\models\deepseek\DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf
2)在cmd下输入如下命令(model起名为
DeepSeek-R1-Distill-Qwen-1.5B):
ollama create DeepSeek-R1-Distill-Qwen-1.5B -f E:\models\deepseek\Modelfile
transferring model data 100%
using existing layer sha256:c2c43b6018cf7700ce0ddee8807deb1a9a26758ef878232f3a142d16df81f0fe
creating new layer sha256:fa9815bc3f74de69d50f9270ba4df66395e08f3951bc765379f4ce0b5e8b14c5
writing manifest
success
第三步:验证
C:\Windows\System32>ollama list
NAME ID SIZE MODIFIED
DeepSeek-R1-Distill-Qwen-1.5B:latest 8de48fd17f61 1.1 GB 22 seconds ago
C:\Windows\System32>ollama ps
NAME ID SIZE PROCESSOR UNTIL
DeepSeek-R1-Distill-Qwen-1.5B:latest 8de48fd17f61 2.0 GB 100% GPU 4 minutes from now
注意事项:
1.Modelfile文件内容要包含model完整的文件名(含扩展名)。
2.ollama create命令最后要加上Modelfile字符。
3.如果通过huggingface-cli命令下载,可能需要进到文件目录中才可执行。