ethan789 发表于 2026-5-8 17:07

Ollama本地大模型管理器(AI写的)

本帖最后由 ethan789 于 2026-5-10 14:48 编辑

用本地Qwen+Deepseek大模型写的,自己也修改了一部分
想用来测试一下离线模型的效率~~~~~~
主要用来主动提前加载大模型,以节省首次和大模型交互的响应时间
或者手动从显存中卸载大模型,以便快速释放显存
**程序主要用于Ollama且基于默认的11434端口**
其他大模型调试软件,或者非Ollama默认端口的,请忽略!!
使用时注意点:
1.需要Ollama主程序正常运行中;
2.预加载大模型后还需要在交互客户端选择预加载的模型名称;


重申:本程序只时起到将模型提前载入显存或卸载出显存而已!!!
考虑到已经是手动操作了,就直接默认是永久加载,再设保活时效好像意义不大!!!

https://120439037.lanzoum.com/iqhne3p0j8xe





ethan789 发表于 2026-5-20 07:58

ovioni 发表于 2026-5-18 16:57
这个有功能加强版本吗?

后期有时间了应该会再改一版
最近家里忙着摘枇杷,下班后得去地上{:1_918:}
大佬有啥想法或思路可以留言哈,我看看能不能加进去

ldj4529 发表于 2026-5-8 17:53

不错,支持!1

bulesoft 发表于 2026-5-8 17:56

用这个的时候是为了在线翻译字幕:lol

782878952 发表于 2026-5-8 18:07

用代码ollama list可以查看,感谢楼主分享的这个查看更方便

ethan789 发表于 2026-5-8 18:14

782878952 发表于 2026-5-8 18:07
用代码ollama list可以查看,感谢楼主分享的这个查看更方便

底层逻辑就是基于CMD命令的,转成了可视化图形操作而已

jake77 发表于 2026-5-8 21:30

可视化操作代理命令,还是不错的。

Dell7447 发表于 2026-5-8 23:19

千问的这个3.6模型怎么样

jinguangli 发表于 2026-5-9 03:37

真不错,厉害了

Rx0 发表于 2026-5-9 08:41

LZ电脑不错啊,可以跑27B的模型。

liuzhengyu 发表于 2026-5-9 08:42

谢谢分享,本地模型需要什么配置
页: [1] 2 3
查看完整版本: Ollama本地大模型管理器(AI写的)