跳到主内容
返回博客AI安全

LLM时代：安全行业攻与防的矛与盾之变

2026/4/6·5 阅读·
LLMAI安全大语言模型红队蓝队攻防对抗安全趋势

大语言模型（LLM）正在重塑网络安全攻防格局。本文从攻防双视角剖析LLM对安全行业的冲击与机遇，所有案例与数据均引用公开报告与学术论文，探讨AI军备竞赛下的新型防御体系。

引言

2023年以来，以GPT-4、Claude、LLaMA为代表的大语言模型（LLM）席卷全球。安全行业也未能置身事外——攻击者将LLM变成了高效武器，防御者则试图用同样的技术构建更坚固的盾牌。

这场AI驱动的攻防博弈，正在改写网络安全的底层逻辑。

一、矛——LLM赋能攻击侧

1.1 社会工程学的工业化

传统钓鱼邮件往往语法生硬、话术低级，容易被识别。LLM正在改变这一现状。

哈佛大学Kennedy School与MIT的联合研究（Heiding et al.,
2023）通过112名参与者的对照实验发现，结合GPT-4与V-Triad社工框架生成的钓鱼邮件，点击率达到69%-79%，显著高于人工编写的钓鱼邮件，且AI生成钓鱼邮件的成本几乎可忽略不计 [1]。

能力跃迁：

  • 个性化定制：根据目标的公开信息生成高度定制化的钓鱼内容
  • 多语言精通：消除跨国攻击的语言障碍
  • 上下文对话：维持多轮对话的持续性社会工程攻击
  • 语气模仿：模拟目标同事的写作风格进行商业邮件欺诈（BEC）

真实案例：
2024年2月，香港一家跨国公司财务人员遭遇深度伪造视频会议攻击。攻击者利用AI模拟公司CFO等多名高管的面部和声音，在视频会议中指示该名员工完成15笔转账，总计2亿港元（约2560万美元）。该案由香港警方公开披露 [2]。

1.2 漏洞挖掘的自动化

LLM在代码理解方面展现了显著能力。

2024年11月，Google Project Zero与DeepMind联合公布，其LLM辅助工具Big Sleep在SQLite数据库引擎中发现了一个此前未知的可利用栈缓冲区溢出漏洞。Google在博客中称这是首个公开确认的由AI
Agent发现的真实软件0-day漏洞 [3]。

UIUC的研究团队（Fang et al., 2024）构建了一个包含15个真实CVE的测试集，测试LLM
Agent自主利用已知N-day漏洞的能力。结果显示，GPT-4在获取CVE描述后能够自主利用87%的漏洞，而GPT-3.5、开源模型及商业漏洞扫描器的成功率均为0%。值得注意的是，如果不提供CVE描述，GPT-4的成功率也会降至7% [4]。

影响分析：

维度 传统方式 LLM辅助
代码审计速度 数天到数周 显著缩短
技术门槛 需要深厚安全背景 中等能力即可入手
已知漏洞模式迁移 依赖个人经验 系统性覆盖

1.3 恶意代码的智能进化

LLM降低了恶意软件开发门槛。

CyberArk Labs在2023年1月公开演示了通过迭代提示词引导ChatGPT生成具有多态特性的恶意代码。研究人员发现，通过API绑过内容过滤器后，可以让LLM生成在语义上等价但代码结构不同的变种，使得基于签名的安全检测工具难以识别
[5]。

英国国家网络安全中心（NCSC）在2024年1月的评估报告中做出明确判断："AI将在未来两年内几乎确定地增加网络攻击的数量并加剧其影响"（原文："AI will almost certainly increase the volume and heighten the impact of
cyber attacks over the next two years"）。报告特别指出，即使是技术水平较低的攻击者，也能借助AI工具在侦察和社会工程领域获得显著能力提升 [6]。

1.4 信息收集的深度增强

LLM极大地提升了攻击前期信息收集效率：

  • OSINT自动化：将海量公开信息喂给LLM，自动提取目标的技术栈、系统架构、供应商关系
  • 攻击面推理：基于收集到的信息，LLM可以推理最可能的攻击路径
  • 社工信息整合：将碎片化社交媒体信息拼接成完整画像

NCSC在同一份报告中指出，所有类型的网络威胁行为者——无论是国家级还是非国家级、技术高超还是技术有限——都已在不同程度上使用AI [6]。

二、盾——LLM赋能防御侧

2.1 威胁检测的智能化

传统基于规则和签名的检测方式正在被AI驱动的行为分析增强。

主要安全厂商已将LLM集成到安全运营产品中：

  • Microsoft 推出 Copilot for Security，将LLM集成到安全运营中心（SOC）工作流，辅助分析师进行告警研判、事件调查和威胁情报分析
  • Google Cloud 将 Gemini AI 整合到 Chronicle Security Operations，支持自然语言安全查询和自动化威胁调查

这些产品的核心价值在于：LLM能够关联分析来自不同数据源的安全信号，发现传统规则引擎难以识别的未知异常模式。

2.2 代码安全审计的增强

LLM在代码审计方面同样服务于防御方。

Google安全团队在2025年1月发布的博客中披露，其AI驱动的模糊测试工具对272个C/C++开源项目进行了测试，发现了26个新漏洞（包括OpenSSL中一个长期存在的漏洞），并实现了这些项目代码覆盖率的提升 [7]。

LLM辅助审计 vs 传统SAST工具：

能力 传统SAST LLM辅助审计
上下文理解 有限，误报率高 理解业务逻辑，误报更少
逻辑漏洞 几乎无法检测 可识别部分逻辑缺陷
修复建议 模板化 上下文相关的具体建议

2.3 应急响应与安全运营的加速

安全事件发生后，时间就是一切。LLM在应急响应中的应用包括：

  • 事件分类与分级：自动分析事件特征，确定严重程度和影响范围
  • 根因分析：基于日志和告警数据，推理攻击路径和入侵根因
  • 响应方案生成：根据事件类型自动生成处置步骤
  • 报告自动生成：将技术细节自动转化为管理层可理解的报告

LLM在安全运营中最大的价值之一，是降低了专业门槛：初级分析师可以借助AI完成原本需要高级人员才能做的研判工作，用自然语言描述需求即可生成Splunk SPL、KQL或YARA规则。

2.4 AI辅助红队

LLM正在增强红队演练的能力和深度。

MITRE发布的ATLAS框架（Adversarial Threat Landscape for AI Systems）专门收录了利用AI和针对AI系统的攻击技术矩阵，为红队提供了系统化的AI相关TTP（战术、技术和程序）参考 [8]。

DARPA在2024年举办了AIxCC（AI Cyber Challenge），参赛团队使用AI系统自动发现并修补Linux内核等关键开源软件中的真实漏洞，展示了AI在攻防两端的实际能力 [9]。

三、新的平衡——LLM时代的战略思考

3.1 攻防不对称性的变化

NCSC在2024年评估中将AI对网络威胁的影响按时间维度进行了分级 [6]：

  • 现在到2025年：AI主要增强已有攻击技术的效率，特别是社会工程和侦察
  • 2025年到2027年：AI将提升更复杂攻击的能力，包括漏洞利用的开发
  • 2027年以后：高级AI能力的普及可能使更多威胁行为者获得目前仅限国家级行为者的攻击能力

3.2 防御方的结构性优势

防御方并非没有优势：

  • 数据优势：防御方拥有自己环境的全量数据（日志、流量、配置），这是攻击者不具备的
  • 部署优势：防御方可在所有关键节点部署AI检测，实现全覆盖
  • 合规优势：防御方可合法使用最先进的商业AI产品

3.3 AI安全的新维度

LLM本身也成为了攻击目标，催生了全新安全领域。

OWASP在2025年发布了LLM应用Top 10安全风险，将提示词注入（Prompt Injection）列为首位威胁，其描述为："通过精心构造的输入操纵LLM，可导致未授权访问、数据泄露和决策系统被篡改" [10]。

LLM安全需要同时关注三个维度：

AI for Security — 用AI提升安全能力
Security for AI — 保护AI系统本身的安全
Security of AI — 应对AI驱动的新型攻击

其他关键的AI安全风险包括：

  • 模型投毒（Model Poisoning）：在训练数据中植入后门
  • 数据泄露：LLM可能在推理过程中泄露训练数据中的敏感信息
  • 供应链风险：AI模型、框架和依赖库本身的安全漏洞

3.4 安全从业者的转型

AI不会替代安全从业者，但会改变能力要求：

将被AI增强的工作：

  • 代码审计 → AI初筛 + 人工深度分析
  • 威胁检测 → AI实时分析 + 人工决策
  • 渗透测试 → AI辅助侦察 + 人工创造性突破
  • 日志分析 → AI自动关联 + 人工研判确认

更受重视的技能：

  • AI安全工具的编排和调优能力
  • 攻防对抗的战略思维
  • 业务场景的安全架构设计
  • AI系统本身的安全评估

四、构建LLM时代的防御体系

4.1 技术层面

  1. AI驱动的检测能力：在SOC中部署LLM辅助分析，提升威胁检测的覆盖面和准确率
  2. AI代码审计集成：在CI/CD流程中嵌入AI安全审计，实现安全左移
  3. 自适应防御：利用AI实时分析攻击行为，动态调整防御策略
  4. AI红队常态化：定期使用AI辅助的红队演练，验证防御有效性

4.2 组织层面

  1. AI安全策略：明确组织内AI工具的使用规范和安全边界
  2. 团队AI技能培训：确保安全团队掌握AI工具的使用能力
  3. 安全意识升级：针对AI驱动的社工攻击更新培训内容
  4. AI供应链管理：评估AI模型、框架、API的安全风险

结语

LLM时代的安全攻防，是一场AI军备竞赛。攻击者在用AI磨砺他们的矛，防御者也必须用AI铸造更坚固的盾。

但AI是放大器，不是万能药。它放大了攻击者的能力，也放大了防御者的能力。最终决定胜负的，不是谁的AI更强大，而是谁能更好地将AI与人的智慧、组织的流程、技术的纵深结合在一起。

参考来源

[1] Heiding, F., Schneier, B., Vishwanath, A., Bernstein, J. & Park, P.S. "Devising and Detecting Phishing: Large Language Models vs. Smaller Human Models." arXiv, 2023. https://arxiv.org/abs/2308.12287

[2] "Finance worker pays out $25 million after video call with deepfake 'chief financial officer'." CNN, 2024年2月4日. https://edition.cnn.com/2024/02/04/asia/deepfake-cfo-scam-hong-kong-intl-hnk/

[3] Google Project Zero. "From Naptime to Big Sleep: Using Large Language Models To Catch Vulnerabilities In Real-World Code." Google Project Zero Blog, 2024年10月.
https://googleprojectzero.blogspot.com/2024/10/from-naptime-to-big-sleep.html

[4] Fang, R., Bindu, R., Gupta, A. & Kang, D. "LLM Agents can Autonomously Exploit One-day Vulnerabilities." arXiv, 2024. https://arxiv.org/abs/2404.08144

[5] CyberArk Labs. "Chatting Our Way Into Creating a Polymorphic Malware." CyberArk Threat Research Blog, 2023年1月.
https://www.cyberark.com/resources/threat-research-blog/chatting-our-way-into-creating-a-polymorphic-malware

[6] UK National Cyber Security Centre. "The near-term impact of AI on the cyber threat." NCSC Assessment, 2024年1月. https://www.ncsc.gov.uk/report/impact-of-ai-on-cyber-threat

[7] Google Security Team. "AI-Powered Fuzzing: Breaking Barriers." Google Security Blog, 2025年1月. https://security.googleblog.com/2025/01/ai-powered-fuzzing-breaking-barriers.html

[8] MITRE. "ATLAS - Adversarial Threat Landscape for AI Systems." https://atlas.mitre.org/

[9] DARPA. "AI Cyber Challenge (AIxCC)." https://aicyberchallenge.com/

[10] OWASP. "OWASP Top 10 for Large Language Model Applications." 2025. https://owasp.org/www-project-top-10-for-large-language-model-applications/

本文由拾忆安全团队原创，转载请注明来源。

咨询相关安全服务