ollama导入离线模型

ollama可以导入gguf格式的模型文件，但需要进行一些操作。

首先下载gguf模型，或者将hug的模型下载后转换为gguf。

进入模型所在文件夹，建立 modelfile.mf。

内容为：

FROM 文件名称.gguf
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<｜User｜>{{ .Content }}
{{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
{{- end }}"""
PARAMETER stop "<|begin▁of▁sentence|>"
PARAMETER stop "<|end▁of▁sentence|>"
PARAMETER stop "<|User|>"
PARAMETER stop "<|Assistant|>"

使用终端运行，ollama create 模型名称 -f modelfile.mf 等待导入完毕。使用ollama list查看模型列表。

ollama也可以查看已下载模型的modelfile文件。

ollama show 模型名称 –modelfile