吾爱破解 - 52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 185|回复: 3
收起左侧

[经验求助] 内网AI部署咨询

[复制链接]
zxwl666 发表于 2026-6-15 09:43
88吾爱币
内网AI部署咨询:
  • 场景[color=rgb(102, 102, 102) !important]:RAG问答 + 标书撰写 + 少量代码辅助;
  • 规模[color=rgb(102, 102, 102) !important]:80人公司,并发活跃30-50人;
  • 预算[color=rgb(102, 102, 102) !important]:20万封顶。

[color=rgb(102, 102, 102) !important]请问在这个预算和并发下,
硬件配置和模型选型

最佳答案

查看完整内容

这是我之前做的方案,主要看你需不需要考虑噪音,用液冷的就贵一点,风冷的便宜。 https://wwbhs.lanzoub.com/ii7S63rwnzcd 密码:52pj

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

congcongzhidao 发表于 2026-6-15 09:43
这是我之前做的方案,主要看你需不需要考虑噪音,用液冷的就贵一点,风冷的便宜。

https://wwbhs.lanzoub.com/ii7S63rwnzcd 密码:52pj
RiiiickSandes 发表于 2026-6-15 16:01
CPU        2 × 华为鲲鹏 920
内存        总容量:254 GiB
系统盘        致态 Ti600 4TB NVMe SSD
数据盘        东芝 3.6T SATA HDD
处理加速器        2 × Atlas 300I Duo 推理卡
这套硬件自己搭着玩的,在京东直接买的工作站,9万多,两张卡各有两个核心,每个核心有独立的44g显存,上下文长度有保证
我跑的是千问3VL多模态,30B_A3B那个模型,效果还不错的,因为用的是华为昇腾卡,直接用MindIE框架去部署,提供标准OpenAI接口,然后接入OpenWebUI用,后期想要拓展功能也很方便
如果对代码、数学或者文字能力要求比较高,可以选deepseek V4或者Qwen的MoE模型,反正跑300亿参数硬件压力可以接受
内网部署的话看你的需求,如果想要适配更新的模型建议选英伟达的卡,如果对国产硬件有要求的话,华为的推理卡足够用了,MindIE框架也很稳定

总结
RiiiickSandes 发表于 2026-6-15 16:07
上一个回复没敲完,不小心发出去了,你可以看看这篇博客,技术栈跟我的基本是一样的https://blog.csdn.net/weixin_48066554/article/details/160809392,
预算如果到20w就可以买更好一点的昇腾卡,或者英伟达的卡
其实可以买机架式服务器,然后选拓展性好一些的,先买一部分硬件回来把技术栈跑通,看看能不能满足需求,然后根据性能要求再进行硬件拓展
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

返回列表

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - 52pojie.cn ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2026-6-18 16:37

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表