好友
阅读权限20
听众
最后登录1970-1-1
|
本帖最后由 ethan789 于 2026-5-8 17:10 编辑
用本地Qwen+Deepseek大模型写的，自己也修改了一部分
想用来测试一下离线模型的效率~~~~~~
主要用来主动提前加载大模型，以节省首次和大模型交互的响应时间
或者手动从显存中卸载大模型，以便快速释放显存
**程序主要用于Ollama且基于默认的11434端口**
其他大模型调试软件，或者非Ollama默认端口的，请忽略！！
使用时注意点：
1.需要Ollama主程序正常运行中；
2.预加载大模型后还需要在交互客户端选择预加载的模型名称；
重申：本程序只时起到将模型提前载入显存或卸载出显存而已！！！
考虑到已经是手动操作了，就直接默认是永久加载，再设闲置时效好像意义不大！！！
https://120439037.lanzoum.com/iqhne3p0j8xe
|
-
1.png
(94.51 KB, 下载次数: 0)
-
2.png
(91.51 KB, 下载次数: 1)
-
3.png
(92.02 KB, 下载次数: 0)
-
4.png
(88.88 KB, 下载次数: 0)
|
发帖前要善用【论坛搜索】功能，那里可能会有你要找的答案或者已经有人发布过相同内容了，请勿重复发帖。 |
|
|
|
|
|
|
发表于 2026-5-8 17:53
|
发表于 2026-5-8 18:14
|楼主
分享到朋友圈
