Q:【文本题】您认为园区本地部署DeepSeek等开源模型给园区网络带来哪些挑战摘选回复1:1、数据安全和隔离方面,因为本地部署后数据的用户时企业园区内全部员工,有效的保证了数据合规本地化要求,但如何做好不同用户间的敏感数据隔离和赋权,不同部门间的数据隔离和赋权成了新的数据安全问题。提供全链路数据安全,防止出现本地传输过程中的数据泄露(中间人攻击、缓存攻击等),防止内部微安全隔离,防止出现安全威胁的横向扩展。2、在网络接入方面,不同业务场景下,需要满足的不同用户对于DS 诉求,比如多租户、多终端、多客户端、多接入方式(API 接入、Agent接入)的场景下,如何保障用户快速接入并提供用户所需的合理授权,同时还需要保障不同用户不同SLA (VIP 客户需要更高的保障)响应,保证网络利用的合理性。3、不同使用手段方面,对于跨多部门多组织协同场景下,需要共享数据且要保证独立管理和数据隐私,园区网络是否可以提供逻辑隔离、联邦计算等技术手段。对于边缘场景,涉及园区IOT 、物联网设备需要边缘计算时,园区网络能否提供边缘计算推理、大规模数据传输、弹性扩展、敏捷开发等能力的支撑呢?有些特定部门用户使用DS 时需要联网搜索,需要更新AI 知识库,园区网络如何在安全可靠且保证数据安全的情况下实现互联网需求、并且完成安全防御审计?4、多模态差异化体验方面:对于视频、音频模态需要优先保证网络传输,对于图片、文字模态使用尽力而为保障网络传输。在此之上是否可以实现对流量的动态保障和基于历史数据自我学习(需要区分不同场景,不一定视频、音频模态一定要优先保障,还要和使用部门和用户本身的权限相结合)5、冗余和多路径负载方面,园区网络本身应提供多种冗余机制和负载机制,防止出现因线路故障后出现DS 长时间无响应和中断,实现网络的快速自愈和快速故障逃生。并且支持一定程度的灾备需求和多活需求。摘选回复2:DS一出来铺天盖地的要求,院长都要求我们每个人都做了解。我们也去本地运营商的智算中心参观了解了,对方也有在线的ds算力提供,从蒸馏版到满血版,也可以提供本地部署。我们科内讨论,在医院场景下有面对患者的智能导诊,面对输液场景的移动医疗场景,这些都是依赖无线网络的。另外有放射超声等图像场景,医生问诊场景,通过收音设备自动撰写门诊病历等场景,这些场景多为有线接入。还有一些手机应用的场景,是4-5g接入。诸多场景应用都是结合本地语料训练的本地大模型部署。所以我们信息部门倾向于本地部署,结合各家公司的医疗模型整合。因为本地语料涉及很多患者隐私。因此在各种网络接入模式都有的情况下,如何确保数据安全是一个巨大的挑战。其次,在ds大模型真的能帮助医护提高工作效率的前提,如何能保证在尽量低的成本下还能顺畅的使用也是一个挑战,如果token输出太慢,队列太长也保证不了临床使用,患者可不会等你十分钟才形成一份完整的主诉。最后就是多种产品的融合问题。我们在和运营商集成公司沟通的过程中就说,买台机器本地部署ds不难,难得是如何把医院现知识库做好训练,如何把医院现有的各个场景下孤立的AI做好融合,才是集成商工作的重中之重,也是客户会选择你的有限考虑的东西,也是一个挑战。摘选回复3:1. 当前大模型都是文本交互居多,对网络的输入输出影响不带;2.VIP用户要求的低延迟,对网络挑战较大,可能需要单独部署;3.针对多模型,如上传视频,或者图片,对网络延迟较高,影响交互体验,需要加大网络的改造,提高网络传输带宽。摘选回复4:1、DeepSeek 等模型在运行过程中需要处理大量的数据输入和输出。例如在园区内进行智能监控场景时,需要实时采集监控视频数据并传输给模型进行分析处理,这会占用大量的网络带宽。如果园区内同时有多个类似的智能应用调用该模型,可能会导致网络拥堵,影响其他正常业务的网络传输速度。2、DeepSeek 等开源模型在训练和使用过程中会涉及大量的数据,其中可能包含园区内员工的个人信息、企业的商业机密等敏感数据。如果园区网络的安全防护措施不到位,可能会导致这些数据被恶意窃取或泄露,给企业和个人带来严重的损失。3、开源模型的广泛使用也使其成为网络攻击的目标。例如 DeepSeek 曾遭遇大规模的网络攻击,攻击者通过僵尸网络等手段对模型的服务器发起攻击,导致服务中断。如果园区本地部署的 DeepSeek 模型也面临类似的攻击,可能会使整个园区的网络瘫痪,影响正常工作秩序。4、本地部署 DeepSeek 模型后,园区网络的架构变得更加复杂。网络管理员需要同时管理传统的网络设备和与模型相关的计算、存储资源。例如,需要确保模型的服务器与园区内其他设备之间的网络连接稳定,还要对模型的运行状态进行监控和维护,这大大增加了网络管理的难度。5、为了应对模型带来的各种问题,园区需要投入更多的人力、物力进行网络运维。例如,需要专业的技术人员对模型的网络环境进行优化和调试,还要定期对网络设备进行升级和维护,以满足模型运行的高性能要求,这无疑增加了园区的运维成本。摘选回复5:1)大模型体验方面,希望网络无延迟,轻松访问,而且可以多终端访问,异地环境也能通过VPN使用大模型;2)希望在资料信息保密方面,开辟企业环境和个人环境,可以充分保护企业的经营秘密,也能保护好员工的个人隐私;3)可增设VIP用户,实现特殊需求的定制;4)对于财务,产品等核心技术资料,要单独备份分区,以防网络泄密;5)针对不同领域,应具备网络调用接口,可采集专属领域的数据,减轻服务器压力;6)对于材料成分设计,设置排队机制,可利用夜间来进行计算,避免白天工作时间的网络拥堵。