部署Deepseek一套系统的架构是什么样的
悬赏80智豆目前市场上DeePseek很火爆,很多企业都在说要部署,小一点的用一些台式电脑就可以部署,台式电脑真的可以部署吗?这套系统部署的构架是什么样的?
满血的资源要求高成本高:内存至少要700G内存、642G以上的显存,至少需要9张H100显卡(1张采购价大概21万),这些跑起来性能还不是特别强。低成本可以部署:7b参数量蒸馏模型,能到80%的性能,RTX3060就能跑;14b参数量模型,最低RTX3090,大概万把块钱;32b参数模型能到90%的性能,得用RTX35090;企业规模化部署:要根据实际业务场景测算硬件规格,硬件投资一般考虑这几部分:GPU计算节点、HPFS存储、参数面/样本面ROCE网络和通算节点,1000w起步(一体机除外)架构3层考虑:算力芯片/计算库/深度学习框架。直白点,整体架构小规模部署包含这几部分:cuda、Anaconda、推理框架vllm/ollama/LMstudio、openai客户端、open-webui、搜索引擎 searxng企部署:考虑因素比较多,主要这3个层面基础软硬件层、负责资源管理调度的资源平台层、AI使能平台(各厂商有不同的解决方案)
发表于 2025-4-22 18:13
来自 山东省
回复
点赞
台式机部署还是要看显卡配置,具备4090可以试着跑个7B。
ps:据说水果要发布了一款高性能迷你主机,大概7、8万,对比英伟达性价比高出很多。
发表于
来自 山东省
回复
点赞
台式电脑部署DeepSeek是完全可行的,但这高度依赖于你的硬件配置,特别是显卡。对于较小版本的DeepSeek模型,比如1.5B或7B参数规模的模型,入门级配置如i5处理器加上GTX 1650显卡和至少16GB内存就可能勉强运行起来,但如果你想要更流畅的体验,尤其是处理更复杂的任务,那么推荐使用RTX 4090或更高性能的显卡,并配备更多的内存和存储空间。最后再友情提示一下,不建议本地部署70B以下的模型,效果不好!!!
发表于
来自 湖北省
回复
点赞
台式电脑可以部署DeepSeek。以部署DeepSeek蒸馏模型为例,在硬件方面,需要英特尔酷睿i7系列或AMD锐龙7系列及以上处理器,内存16GB起步,32GB及以上更好。软件方面,主流的PC端系统如Windows 10或Windows 11操作系统均可,还需要Python 3.8及以上版本,以及PyTorch、NumPy、SciPy等基础库。









发表于
来自 广东省
回复
点赞
deepseek的部署确实可大可小,但是所使用的效果完全是不同的,从7B、32B、671B具体体验如同小学生----初中生---高中生---大学生的差异。
同时deepseek部署低端模型甚至可以使用CPU计算,但与GPU计算的差异在于吐字速度,高性能GPU计算可以实现对话速度与真人交互同感。
发表于
来自 河南省
回复
点赞
不要相信网上说的,想玩一玩,可以找个一般电脑加两块16G以上显卡搭建个7B试试,但是只能做个人的尝鲜,要是想企业内部使用,要考虑并发能力,这个就只用用专门的AI服务一体机了,华为,浪潮都有专门的产品,另外还有个最方便的就是用云服务商提供的私有AI云算力环境搭建,这个可以省去很多麻烦,算力成本也比自己搭建硬件环境要便宜。
发表于
来自 广东省
回复
点赞
谁说台式机可以部署的,部署参数最小的dp,搞个运营环境,把源代码下载下来跑起来就可以了。
发表于
来自 广东省
回复
点赞
确实可以部署,但要看能力,参数太小就没有价值。
至少要达到10B以上才有点用。32B就比较实用。
发表于
来自 四川省
回复
点赞
7b 8b模型仅仅是自己玩玩可以
发表于
来自 湖北省
回复
点赞
多谢以上的各位
发表于
来自 山东省
回复
点赞