纯内网ollama离线导入model文件的方法和注意事项

在日常工作中,我遇了在无法连通互联网的内网环境里,离线导入大模型model文件的需求。网络上的资料大多表述得含糊不清,经过一番尝试,我现将自己的成功案例罗列于此,供大家参考。ollama当下支持gguf和safetensors这两种格式,鉴于gguf 格式更为常见,本次以在windows平台的ollama导入gguf格式model为例。

第一步:在外网电脑下载gguf格式的model文件,如将
DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf下载到E:\models\deepseek目录为例(本步骤略)。

1)选择一:通过各种搜索引擎搜索。

2)选择二:登录各个大模型文件网站,比如huggingface网站,使用浏览器直接下载(推荐)。

2)选择三:通过huggingface-cli命令批量下载(需要安装python和huggingface-hub库)。

第二步:内网电脑ollama离线导入model文件:

1)在model文件夹中创建Modelfile文件,为ollama提供导入的各项参数,最基本内容如下:

FROM E:\models\deepseek\DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf

2)在cmd下输入如下命令(model起名为
DeepSeek-R1-Distill-Qwen-1.5B):

ollama create DeepSeek-R1-Distill-Qwen-1.5B -f E:\models\deepseek\Modelfile

transferring model data 100%

using existing layer sha256:c2c43b6018cf7700ce0ddee8807deb1a9a26758ef878232f3a142d16df81f0fe

creating new layer sha256:fa9815bc3f74de69d50f9270ba4df66395e08f3951bc765379f4ce0b5e8b14c5

writing manifest

success

第三步:验证

C:\Windows\System32>ollama list

NAME ID SIZE MODIFIED

DeepSeek-R1-Distill-Qwen-1.5B:latest 8de48fd17f61 1.1 GB 22 seconds ago

C:\Windows\System32>ollama ps

NAME ID SIZE PROCESSOR UNTIL

DeepSeek-R1-Distill-Qwen-1.5B:latest 8de48fd17f61 2.0 GB 100% GPU 4 minutes from now

注意事项:

1.Modelfile文件内容要包含model完整的文件名(含扩展名)。

2.ollama create命令最后要加上Modelfile字符。

3.如果通过huggingface-cli命令下载,可能需要进到文件目录中才可执行。

相关文章

Pycharm导入python项目

进入PyCharm后,点击File→Open,然后在弹窗中选择需要导入项目的文件夹;打开了python项目后,需要配置该项目对应的python才可以正常运行;配置步骤:File→settings在设置...

零基础到发布:手把手教你创建并分发 Python 自定义库

作为程序员,我们经常依赖各种外部库来解决不同的问题。这些库由技术娴熟的开发者创建,为我们提供了节省时间和精力的解决方案。但你是否曾想过:“我也能创建属于自己的自定义库吗?”答案是肯定的!本文将为你详细...

彻底搞懂Python 中的 import 与 from import

对不少 Python 初学者来说,Python 导入其他模块的方式让他们很难理解。什么时候用import xxx?什么时候用from xxx import yyy?什么时候用from xxx.yyy...

python首行代码import *,from * import * 解析

python代码,一般第一行代码都是import *或from * import *,作用是导入功能模块,然后利用模块内的函数编写代码,减少大量的代码编写时间,是python的一大特色。但是,在实际写...

Python的RSA操作(私钥与公钥)

RSA是1977年由罗纳德·李维斯特(Ron Rivest)、阿迪·萨莫尔(Adi Shamir)和伦纳德·阿德曼(Leonard Adleman)一起提出的。当时他们三人都在麻省理工学院工作。RSA...

PythonNet:实现Python与.Net代码相互调用!

我是编程乐趣,一个10年.Net开发经验老程序员,点击右上方“关注”,每天为你分享开源项目和编程知识。现在是多元化编程,每一个程序员都需要使用多门编程语言,特别现在是AI时代,对于我们.Net程序员来...