deepseek本地部署

huanon

deepseek本地部署或云端调用abi，或者直接用官方网页，用来写小说有什么区别？目前想用云端调用，听说可以，调教成自己需要的？可有详细的教程？

netspirit

我自己本地部署了7b,8b,14b,32b,70b的版本。给你说说经验吧。
我用ollama部署的。16g显存的话，想要保证速度只能跑14b以下的版本。32b的版本大概一秒钟4-5个字，有点慢。如果70b的版本速度更慢，基本上问题问完了过一个小时再来看答案。

区别的话：
1.智商区别。14b以下（不包含14b)明显感觉就是没有智商。我让他翻译个东西，指定要翻译的区域，他根本就听不懂。7b，8b都有这个问题。
2.幻觉问题。8b版本拿来编程的话会给出实际不存在的指令和代码。
3.逻辑能力限制。越小的模型逻辑能力越差。就比如你说的写小说。如果你部署14b级一下的话，顶多写一个高中生作文。你要很复杂的设定，很复杂的思考，而且上下文逻辑通顺，这是基本上不可能的。想要做到你的要求的话，你不仅要把你的要求和逻辑描述地很完善，而且起码要70b起步地模型。而且最好是满血版671b的模型，就是官方版本的api。
4.思考长度和完整性问题。本地部署的话，不管7b还是70b思考长度和严谨程度都要比官方671b的模型差非常非常多。我测试了同一个编程问题，官方会给出很长很全面的思考过程，本地部署的版本都是简单思考一下就给出回答，回答的结果还不全面。
而且70b版本更是坑爹， 思考完了给我分析要求，连我要的编程代码都没有。

另外说点题外话：如果你有特殊需求，比如写作nsfw内容的话，需要无审查版本的模型。但是经过我的测试，网上的几个越狱版本的deepseek都越狱不完全。还是会出现拒绝写作的情况。而且越狱版本会比原版降低智商。所以nsfw用途的话还不如用其他的普通模型比较好。

至于和官方网页什么区别：官方网页是671b完整版本，区别上面都写了，现在官方限制是半个小时只能问一个问题。问第二个问题就会提示服务器繁忙了。

蒸馏模型和原版671b模型你可以这么理解：671b模型就是一个专家。其他模型就是小学生，初中生，高中生，大学生模仿专家思考和说话的方式思考和说话。

sdwhsh

https://www.alipan.com/s/DYiW9GarLGr

songbing490

看下这个  https://www.freedidi.com/18460.html

wkfy

离线版不是很好用。哪怕是32B的和APP的结果还是天差地别

sdwhsh

我用夸克网盘分享了「25年DeepSeek本地部署视频教程+全套安装包」，点击链接即可保存。打开「夸克APP」，无需下载在线播放视频，畅享原画5倍速，支持电视投屏。
链接：https://pan.quark.cn/s/9d716e988a8b

PandaFiredoge

本地部署的效果没那么好，说句不好听的就是人工*障。满血的模型参数是6710亿，需要404GB存储空间，运行需要1.3TB显存

huanon

sdwhsh 发表于 2025-2-9 08:41
https://www.alipan.com/s/DYiW9GarLGr

这位大侠，你发小学作文是什么意思？

dmhsds

本地部署，智能化不行，还是要云端。。。