本地部署模型时遇到的常见问题
✍️ 针对 Ollama 本地部署的一些答复
运行问题:
- 当部署完成以后,想要再次运行时,只需要:
- 打开
PowerShell
(无需管理员身份)- 输入对应模型的安装命令即可
模型不可用问题:
- 输入下载命令发现模型不可用问题——
- 检查 Ollama Setup.exe 是否正常【打开
PowerShell
(无需管理员身份】[输入ollama查看输出。正常输出如下]
PS C:\Users\用户名> ollama
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
pull Pull a model from a registry
push Push a model to a registry
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
PS C:\Users\用户名>
[下载模型正常输出]
PS C:\Users\wmy66> ollama run llama3.1:8b
pulling manifest
pulling 8eeb52dfb3bb...
91%▕██████████████████████████████████████████████████ ▏
4.2 GB/4.7 GB 207 KB/s 35m26s
若是这段输出Ollama Setup.exe基本正常,若还是不行就重新下载 点我查看博客
要么就是模型与电脑配置不匹配,换一个模型
语言问题:
- 这个模型默认语言是英语,对于大陆用户来说,要让让它用中文回复只需一步
- 输入
请用中文回复
即可
模型卡顿问题:
- 模型卡顿问题,一般是因为显卡显存不足,解决方法如下:
- 关闭电脑上其他占用显存的软件
- 关闭电脑上其他占用显存的软件