内网AI部署咨询

zxwl666

内网AI部署咨询：

• 场景[color=rgb(102, 102, 102) !important]：RAG问答 + 标书撰写 + 少量代码辅助；
• 规模[color=rgb(102, 102, 102) !important]：80人公司，并发活跃30-50人；
• 预算[color=rgb(102, 102, 102) !important]：20万封顶。
  

[color=rgb(102, 102, 102) !important]请问在这个预算和并发下，硬件配置和模型选型

congcongzhidao

这是我之前做的方案，主要看你需不需要考虑噪音，用液冷的就贵一点，风冷的便宜。

https://wwbhs.lanzoub.com/ii7S63rwnzcd 密码:52pj

RiiiickSandes

CPU        2 × 华为鲲鹏 920
内存        总容量：254 GiB
系统盘        致态 Ti600 4TB NVMe SSD
数据盘        东芝 3.6T SATA HDD
处理加速器        2 × Atlas 300I Duo 推理卡
这套硬件自己搭着玩的，在京东直接买的工作站，9万多，两张卡各有两个核心，每个核心有独立的44g显存，上下文长度有保证
我跑的是千问3VL多模态，30B_A3B那个模型，效果还不错的，因为用的是华为昇腾卡，直接用MindIE框架去部署，提供标准OpenAI接口，然后接入OpenWebUI用，后期想要拓展功能也很方便
如果对代码、数学或者文字能力要求比较高，可以选deepseek V4或者Qwen的MoE模型，反正跑300亿参数硬件压力可以接受
内网部署的话看你的需求，如果想要适配更新的模型建议选英伟达的卡，如果对国产硬件有要求的话，华为的推理卡足够用了，MindIE框架也很稳定

总结

RiiiickSandes

上一个回复没敲完，不小心发出去了，你可以看看这篇博客，技术栈跟我的基本是一样的https://blog.csdn.net/weixin_48066554/article/details/160809392，
预算如果到20w就可以买更好一点的昇腾卡，或者英伟达的卡
其实可以买机架式服务器，然后选拓展性好一些的，先买一部分硬件回来把技术栈跑通，看看能不能满足需求，然后根据性能要求再进行硬件拓展