探讨背景:随着AI深度融入企业运营,其角色已从“辅助工具”转变为驱动核心业务的“生产力系统”,据相关企业AI应用调查,近9成企业已经在实际业务中部署AI应用,AI应用已成为影响企业经营效率与竞争优势的关键变量;AI在带来巨大效益的同时,也引入了全新的风险,企业忽视AI安全可能直接导致商业损失、法律风险甚至系统性危机。诚邀政务、教育、医疗、金融行业相关专家共同探讨企业对AI安全的建设现状和AI安全的诉求。以下是部分精选回复,欢迎大家继续探讨:Q:【开放题】目前您是如何来管理和运维企业安全问题的?(AI回复将触发警告)?摘选回复一:金融行业特别是银行机构对于各类安全问题的日常管理、事前防范、事后补救的重视程度,远超其他非银机构。特别是随着金融监管总局已经发布的《金融行业网络安全等级保护2.0》行业标准落地执行,各家商业银行在企业安全管理和运维方面,都已经开始已从传统的基本安全合规、边界防护、被动防御的现状,全面转换为:主动防御、智能运维、以及基于零信任架构的新一代信息安全、基础设施安全的体系建设;当前银行机构针对企业安全的管理和运维,包括但不限于以下方面:【1】逐步拥抱AI,将传统的安全管理平台升级为智能化统一的“安全运营中心”:全面覆盖和采集各类软、硬件、终端系统的数据源,采用基于各类安全模型的AI分析,实现基于AI驱动的安全风险分析和预测,同时,提升自动化安全事件响应的流程效率,减少安全风险给业务带来的影响;【2】在全行范围内,逐步升级改造各类系统和服务的安全访问模式:基于内部永远存在可能的安全风险前提假设下,采用零信任架构理念,针对所有内部的访问,包括员工登录、业务应用、系统服务等业务场景,都要遵循动态认证并结合最小权限的授权方式;摘选回复二:按照网络安全等级保护三级要求建设了安全防护体系,同时强化数据安全防护,部署加密脱敏水印等设备,部署api检测设备保障对外暴露接口安全。部署密码设备,通过商用密码应用安全性评估。摘选回复三:管理上:1、制定安全管理策略,根据不同的场景如研发中心、不同等级网点等制定对应的安全等级策略。2、准入控制,入访的设备均安装安全客户端。每次登录均要安全认证。3、网络安全,每一层级均部署安全防火墙,购买IDS、IPS系统。设备使用时,安全系统会实时工作。4、定期组织人员培训,分享安全案例。从人员本身入手,开展维护企业安全活动,如一年一度的护网行动,及不定期的护网攻防活动,如内部钓鱼等。运维上:1、维护安全策略2、升级更新安全客户端3、每季度安排一次一件自查(扫描文件,对可以文件打标签并判定威胁)摘选回复四:人员方面医院有专业的第三方安全运维团队,在网络安全这块他们日常就会有网络监控和分析,网络流量监控、网络日志分析等,确保网络基础设施和网络层的安全;应用层安全管理方面整体以“制度筑基、技术赋能、持续运营”为战略导向,通过 “制度+技术+运营” 构建体系。利用AI技术对海量数据自动分类分级(如分为核心、重要、一般数据),并据此实施动态的访问控制、脱敏、加密等策略,实现数据“可查、可控、可防、可管”。摘选回复五:借助已有的传统安全手段,包括防火墙、安全设备、EDR、WAF等保证基础安全能力;在此基础上建设态势感知平台、统一日志管理平台,提升安全问题集成程度,实现安全问题快速发现、快速联动、快速响应;逐步引入蜜罐、NPM、为邪恶额情报平台、替换VPN为零信任访问控制,初步打造适合企业主动安全防御纵深;并且最近在测试安全大模型,尝试在行业大模型的基础上,建设企业安全大模型,利用具有企业特色安全大模型实现防御设备的联动、不断优化企业安全数据智能化、提升企业安全资产效能,实现更加敏捷智能的企业全生命周期安全防御能力。Q:【开放题】基于以上AI应用各层的安全问题,您认为目前亟需解决的TOP3痛点安全问题是什么,请补充说明原因?(AI回复将触发警告)?摘选回复一:1.由于不同厂商各自产品的封闭性,导致统一管理平台难以有效监管和分析各类日志和数据,统一管理平台仍停留在合规层面,在实质上没有有效发挥联动分析效能。2.信息资产频繁变化,难以实现实时动态管理,随时有资产扫描或者管理平台(包括安装agent的),但实质上并没有真正贴合企业信息资产管理痛点。3.威胁事件的分析,仍然依靠人来分析,效率低、依赖经验、准确率不高。摘选回复二:【Top 1】威胁事件难以溯源,人工调查取证耗时耗力,难度大;由于金融业属于强监管行业,作为金融业的管理机构“金融监管局”,明确要求:“重大安全事件须在24小时内完成根因分析并上报”,这意味着溯源整个“安全事件”是及时完成根因分析;【Top 2】告警数量众多,人工挑选价值事件的方式效率低、易被忽略;一家中等规模的全国性股份制商业银行每天的安全告警量稳定在150万条左右,并且随着业务规模的扩大、业务智能化水平的提升,各类安全告警呈现指数级增长的态势,采用人工筛选的工作模式,无法再持续下去;【Top 3】各安全产品“各自为战”,缺少联动处置能力;割裂分治的安全产品,无法带给客户完整的安全视图,并且在实际业务场景中,无法快速响应安全需求;摘选回复三:AI的应用带来了新的安全风险,当前我们不仅部署了用于生产制造的AI业务系统(品质检验、设备预测性运维等)还积极推动生成式AI的应用,包括AI办公助理和辅助设计等功能。在生产环节由于需要进行大量的训练和数据处理但是由于担心公司数据的外泄我们没有选择租赁AI算力的方式,通过自建的AI算力平台来进行训练工作,这也造成训练成本高和业务上线缓慢。在使用生成式AI过程中,我们采用外挂知识库的方式来训练AI模型,这也造成内部数据的外泄风险增加,特别是公司的核心数据和产品设计数据可能会出现安全风险,在这些数据的管理上目前存在比较大的安全风险。随着AI的应用场景增加,出现过业务高峰时段访问激增的问题,这对业务的处理效率造成比较大的影响,因此也收到过多次投诉,这也是当前面临的主要痛点之一。摘选回复四:我认为数据安全治理、模型自身安全、以及内部威胁与网络微隔离是当前最亟需解决的三大痛点安全问题。医疗AI的训练与应用严重依赖海量、高敏感的医疗数据,所以数据的安全治理非常重要。同时AI模型本身作为核心资产和攻击目标的安全,攻击者通过反复查询API,可“复制”出一个功能近似的模型,窃取商业机密。还有就是传统“边界防护”思维无法应对云化、服务化的AI环境,一旦边界被突破(如通过钓鱼邮件),攻击者可在内部网络横向移动。比如具备合法权限的内部人员(或被盗用的账号)异常访问敏感数据或模型的行为难以被及时发现;第三方AI组件或服务存在漏洞,成为入侵内网的跳板,这类在医疗领域很多。摘选回复五:痛点一、安全产品“各自为战”问题,缺少联动处置能力。1、这点是很多用户的组网场景中最多面临的问题,因为现阶段大多数的市场方案依旧是盒子产品为主,像云安全、虚拟化安全等在医疗和其他一些类似这种“内网”的环境中不太适用;当然也有很多中小医院采用医疗云的架构实现医疗服务,核心业务系统部署在医疗云上由云服务商保证安全,但在本地依旧会有少许的安全设备。2、造成“各自为战”问题也与很多客户对于“异构”安全组网的执着,异构可以防止同一厂家设备的安全漏洞造成规模下影响,可以实现差异化的安全防护,不过也使得不同的安全产品能力不一,协议不互通就难以实现联动处置。而如果在一个项目里多采用同一品牌的安全设备就很容易实现联动处置能力,实现整网协防,例如DCS新一代数据中心方案在网络安全、数据中心防勒索领域具备端网存联动+AI智能防护+合规适配的全栈能力,实现独有的网存算联动,就可以解决这类的痛点。但问题在于:一是不少用户现网的异构设备差异化问题无法轻易实现;二是安全产品不如网络、计算存储那么有竞争优势,在很多项目里安全设备容易被主流的安全品牌分走,也就没办法实现统一品牌,从而难以实现联动处置能力。3、亟需解决:安全厂家形成安全联盟,建立生态,除了自身的安全设备也要吸纳优势友商的安全能力,通过开放接口、协议等实现异构厂家产品的联动处置,才能从根本上去适配、去解决此类场景的需求。例如之前的安全商业联盟转售模式,能够与主流品牌实现一些特定的场景化方案,实现联动处置能力,同时也能满足异构差异化组网,这点就是很好的解决办法。痛点二、缺少统一管理平台,多产品生态对接、多套控制器等:1、以该医院为例,多个平台的算力资产无法统一识别与管控,这样就容易形成安全盲区。医院现有部署的DeepSeek-R1大模型与新部署的4台Atlas800I A2不一致,各有独立控制器,缺少统一管理平台做资产纳管,虽然有数据中心管理eDme实现统一纳管,但是依旧需要维护各自的资产信息,易出现资产漏录、信息不一致(如服务器漏洞状态、访问权限配置不同步)的情况。那对于安全的运维人员来说,本身多为医院自有员工,安全能力不高,所以无法全局掌握所有算力资产的安全状态,所以当前就默认数据中心中基本上没有什么跨平台、授权访问等方面的安全策略和机制,这就存在很大的安全隐患,可能因管控盲区被黑客利用,进而威胁医疗AI业务。2、跨平台安全策略无法联动执行,处置效率低。多套平台的安全控制逻辑(如访问控制、异常拦截规则)依赖各自控制器实现,缺少统一平台的生态对接能力。3、从审计方面考虑,则会出现日志分散归集困难,威胁溯源与审计能力缺失的问题痛点:通常除了管理平台自身可以做日志留存和分析外,一般部署独立的日志审计系统来做日志的运维审计,而多平台的这种情况则不利于日志聚合与关联分析,比如当出现安全事件时,需根据从两套系统中提取的日志并拼接溯源路径,不仅耗时耗力,还易遗漏关键关联信息,容易延误应急处置的时机。痛点三、威胁事件难以溯源、人工调查取证低效:1、虽然医院里面安全防护类的设备众多,不过大多还是以硬件“盒子”设备为主,单点防御,缺乏未知威胁的防护能力,并且对于发生的攻击行为难以准确溯源,人工排查有困难。2、医院里AI相关的平台大多与核心业务系统同属一张网络,例如AI系统(如智能导诊大模型、cdss诊疗辅助)与核心医疗业务(his、pacs等)深度关联,且很多诊疗系统的应用直接在一线电脑上,一旦出现威胁事件无法快速溯源,攻击源可能从诊疗系统横向扩散至AI平台,影响最直接的业务连续性。Q:【开放题】对于AI应用的安全防护,您希望有什么产品或者解决方案来解决这些安全问题,您有什么好的建议?(AI回复将触发警告)?摘选回复一:AI应用的安全防护希望产品能够提供统一化的管理平台,能够对于来自网络、模型、数据、终端设备的安全风险统一进行管理和控制。AI应用在数据中心业务中的比重不断增加,安全风险也增加了很多。这些安全风险不仅来自于网络外部的攻击还可能来自于内部的访问和AI模型本身,如何快速感知安全风险和威胁并在第一时间进行处理是保护AI应用安全的关键,目前的管理往往还是比较被动和片面的,当AI应用出现问题和异常时采进行处理,而且很多用户只是关注网络安全方面的威胁而对于AI应用层面的安全管理不足。这也导致AI应用的风险和数据安全风险增加。AI应用安全防护希望能够通过一体化的管理全方位感知安全风险和威胁,从网络、数据安全、终端安全、攻击防护、训练推理等多个维度来进行管理与保护,而且能够实现对于安全风险的预测性感知与处置,从而避免安全事件的发生。摘选回复二:1、对于AI 大模型的安全防护需要不单单是某几台设备,更多需要的全面整体安全防御方案,从安全的全生命周期建设从 数据预处理、训练、调优、大模型部署、模型微调蒸馏、优化、日常维护等全流程做好安全防护,并且对于安全攻击实践要做到提前预警、超前防御,真正做到无侵入式外置安全防护和侵入式安全内生防护相结合。2、对于无侵入式外置安全防护,借助基础安全硬件,聚焦AI 大模型基础环境资源,建设通用安全AI 防护平台,让AI 应用借助安全平台实现有针对性的安全能力的实现,实现包括入侵监测、拖库攻击、提示词攻击、模型非法调用、超额并发攻击、关联安全风险预警平台等等。对于侵入式的安全内生防护,则重点着眼于AI 应用本身,通过优化和量身定制安全策略,实现提示词控制、模型推理污染防御、token输出安全合规、优化AI 使用安全权限管理、敏感信息脱敏等角度实现对于AI 大模型的安全限制,真正不断优化企业AI 安全诉求。   摘选回复三:金融行业中,用于提供AI应用安全防护的解决方案,包括但不限于:【1】在应用层部署AI安全网关:用于过滤各类AI应用提示词、并防止敏感信息泄露。基于业务安全模型,实时检测AI应用可能面临的提示词注入等安全风险事件;【2】业务模型运行时保障方案:主要用于解决模型拒绝服务。通过采用沙箱隔离、运行时监控、安全策略等技术,实现针对业务模型的运行时保护;【3】全流程业务审计与溯源:用于解决业务合规流程中可能存在的安全问题。通过采用区块链存证的方式,保障运行时日志不可篡改;摘选回复四:1、漏洞检测与自动修复:现在的模式是安全工具会扫描出安全问题,给出修复意见,不能自动去升级并修复漏洞,系统可以做到自动修复漏洞。建议是常见漏洞升级可以根据AI生成的模型,自动修复。2、漏洞攻击的反向溯源,目前的安全产品大多数都是知道被攻击了,阻断攻击,无法方向溯源,去反向攻击。希望有产品可以做到这点。点此查看获奖名单