LLM安全深度解析：数学组件、局限性与攻击向量（第二部分）

引言

本文是《模型：从安全角度分析 1》的延续。为了帮助你从零开始理解 AI 系统，我们将展示创建这些神奇思维机器的数学技术、方法和组合。

为了奠定发现不同的 AI 攻击向量和潜在安全漏洞的基础，我们还将分析这些数学组件在计算机系统上的局限性和准确性，以及这些累积的错误如何导致某些行为和潜在的、你可以合乎道德地利用的漏洞。

AI 数学：构建模块

AI 的进步在很大程度上依赖于数学和统计学提供的理论基础。AI 系统由许多数学函数组成，这些函数形成不同的神经网络模式和架构。

想象一下你身处 MINECRAFT 的世界，这是一个流行的 3D 沙盒视频游戏，你必须在夜晚生存，探索充满挑战的世界，并用积木根据你的想象力建造任何东西。

可以破坏、制作、放置方块来重塑景观，或用于建造奇妙的创作。这对于不同的数学组件来说也是一样的。它们看起来没用，但熟练地使用和组合不同的组件可以解决许多问题。

数学是幕后所有软件系统的功能构建块。投资研究这些构建块可以让你在 AI 领域和其他领域获得无尽的人生益处。

从安全的角度来看，了解许多块（数学组件）的特性、局限性和弱点将使你能够发明创造性的方法和技术来破坏和构建系统。

为了让你能够理解为这些 AI 模型提供动力的数学组件，我们将分解每个数学理论、它的应用、功能、局限性和漏洞。

注意：在阅读本文时，本文系列中涵盖的所有数学组件并不能证明 AI 中没有使用更高级的数学组件。你可能需要检查缺失的组件，因为它们并不详尽。但是，列出的组件至关重要且应用广泛。尽管在阅读本文时可能存在量子替代方案，但这些都是经典组件。

线性代数：动态神经连接器

这是数学的一个分支，涉及向量、矩阵、张量和线性变换。神经网络中的大多数层基本上是线性代数的顺序运算。

线性代数在以下方面帮助 AI 系统：

• 紧凑表示（有效地表示数百万个数据集）
• 并行计算（通过在 GPU 和 TPU 中应用矩阵方法来加速计算）
• 数学可预测性（强制执行稳定、确定性和可分析的线性运算）
• 特征交互（通过矩阵乘法链接多个特征之间的模型关系）
• 微分基础（使反向传播成为可能）

局限性与缺点：虽然线性代数必不可少，但某些局限性的出现可能会构成安全风险。线性代数的应用通常会导致 AI 模型中的线性假设，这可能会导致错误的答案预测。虽然使用了非线性激活函数，例如 ReLU（修正线性单元），但其他因素（例如数值不稳定性）会导致浮点运算中的溢出和下溢，尤其是在梯度更新期间（更新值以最小化损失）。

此外，由于存储矩阵，AI 模型中普遍存在高内存成本的问题。也很难理解高维线性变换的关系，因为太多的线性参数可能会使模型记住数据而不是泛化（过拟合问题）。

安全风险：利用前向传播和梯度计算，攻击者可以通过制作对抗性输入（微小的扰动）来利用模型。由于线性近似，输入中的微小变化会导致输出中的巨大变化。此攻击适用于图像分类。

数据投毒也是模型被利用的主要方式。由于 AI 依靠线性代数来计算权重，因此精心放置的恶意条目可以操纵系统，尤其是在训练矩阵中，从而导致结果偏差。

来自此限制的另一个有趣的漏洞是模型反演和提取。了解深层线性代数属性可以使攻击者从模型中推断出私有数据。这种趋势最近在越狱活动中已经出现，因为如果使用足够多且结构良好的输入进行查询，模型往往会泄漏敏感信息。攻击者还可以利用浮点输入来触发由于舍入误差导致的错误分类。

微积分：动态传感器

微积分在 AI 系统中起着重要作用。它为以下方面提供了基础：

• 优化（使模型能够通过基于梯度的优化进行学习）
• 连续建模（概率、激活函数和分布的建模）
• 敏感性分析（模型基于输入或参数变化对输出的敏感程度）

局限性与缺点：考虑到微积分是 AI 模型系统中的重要动力组件，数值计算中微积分的局限性会导致近似误差。此外，对可微性的依赖性与现实世界中非平滑现象不相关，从而导致基于梯度的优化出现一些问题。这些局限性为可能的安全漏洞打开了大门。

安全风险：从分析的局限性中，我们可以看到精心设计的输入变化（可能对人类来说难以察觉）会极大地改变输出。这在图像生成中非常适用。

此外，攻击者可以对推荐系统进行基于导数的攻击，以泄露私人数据或用户偏好。另一种攻击向量可能是通过利用系统中的数值不稳定性来制作大或小的输入，从而通过导致梯度计算中的溢出或下溢来破坏系统训练的稳定性。

所有这些方法都会导致模型中毒，因为梯度会朝着恶意方向引导，从而导致模型在损失情况中收敛到有害的局部最小值。

概率论：预测器

它是 AI 模型的核心支柱之一，因为它非常适用于机器学习、决策制定和不确定性下的推理。这种强大的数学组件允许 AI 模型使用不完整或嘈杂的数据进行推理。

该理论在机器学习和推理方面具有强大的应用，例如：

• 贝叶斯网络（使用概率表示变量之间的依赖关系，例如，自然语言处理中的语音识别和词性标注）
• 高斯混合模型 (GMM)（对用于聚类或密度估计的数据分布进行建模，通常应用于图像分割和异常检测）
• 不确定性模型（例如，自动驾驶汽车使用概率模型来估计行人轨迹的可能性）
• 决策和强化学习（概率模型估计强化学习中的预期奖励和不确定性）
• 自然语言处理 (NLP)（模型利用概率论来预测下一个词和分类段，例如，n-gram 模型或 transformers 将序列的概率纳入其中）
• 传感器融合与机器人技术（使用概率滤波器，例如卡尔曼滤波器和粒子滤波器，从嘈杂的传感器数据中估计位置和状态）
• 异常检测系统（欺诈和入侵检测网络）

概率论在生成式 AI 模型中起着重要作用。

生成式 AI 模型使用概率论通过从训练的数据分布中采样来生成新数据。这提供了 AI 系统中创造力的基础，例如变分自动编码器 (VAE) [以概率方式编码数据并生成新的数据] 和扩散模型（模型从学习的分布中采样以生成逼真的图像）。

局限性与缺点：虽然概率论在现代 AI 系统中是不可避免的，但存在计算成本、数据过拟合风险、数据依赖性和可能在现实世界案例中不成立的假设敏感性等一般问题，从而导致现实世界 AI 系统中出现幻觉。

安全风险：从数学缺陷来看，概率论在 AI 系统中的应用局限性会导致现代 AI 系统中出现不同的安全攻击向量，例如：

• 对抗性攻击（生成模型接受为正确输入但实际上错误的错误分类输入）
• 投毒攻击（操纵训练的数据以改变模型结果）
• 模型反演（重复暴力破解模型以泄露私有数据）
• 采样漏洞（利用可预测区域或低熵区域来获得受控的生成输出）
• 鲁棒性问题（欺骗模型使其对某种类型的数据过于敏感或具有高度信心，即使不正确）
• 由于 AI 生成的内容和密码学相邻系统中的低熵而导致的随机性漏洞

统计学：感官集成器

统计学是 AI 的一个主要组成部分，在数据科学领域占据主导地位。它涉及数据流中的主要步骤，例如数据收集、分析、解释、推理，最后是预测。

AI 系统由应用统计概念和逻辑的组合组成，并由计算能力提供支持。

以下是不同的统计概念及其在 AI 领域的应用：

1. 概率论：用于在 AI 系统中对不确定性、随机行为和预测进行建模。
2. 回归分析：用于预测变量之间的关系。它可以是线性回归或逻辑回归。
3. 贝叶斯推断：统计学的这一领域应用于计算假设概率，并在系统中收到更多信息时更新模型。它实际上应用于强化学习。
4. 假设检验：用于模型验证以检查结果的显着性。
5. 抽样和估计：通过使用小批量梯度下降（将数据集分成小批量以计算模型误差和更新参数）和蒙特卡罗方法（依赖于重复随机抽样以获得数值结果），将其应用于随机训练（随机洗牌数据集以进行训练）。
6. 描述性统计：应用于总结数据集特征，其中可能涉及均值、方差、相关性、标准差等。
7. 统计分布：这种统计方法用于对噪声、激活随机性和不确定性（正态分布、伯努利分布、泊松分布等）进行建模。

统计学的应用

1. 数据分析和模型处理：在训练模型之前，使用统计信息来检测异常值和偏差，标准化或标准化数据，并通过相关方差和信息增益执行特征选择。
2. 机器学习算法：大多数机器学习算法本质上都是统计的。线性回归通过最小二乘法估计参数（最小化统计误差），逻辑回归使用统计 sigmoid 映射进行分类，朴素贝叶斯分类器（一种 ML 分类算法，使用概率预测数据点类别）使用本质上是统计的贝叶斯定理，决策树（一种选择和结果映射器）基于信息增益运行，SVM（SVM），用于分类和回归任务的监督 ML 算法，依赖于最大化统计裕度。
3. 深度学习：虽然深度学习看起来是数值的，但它在很大程度上是统计的。诸如权重初始化之类的属性使用高斯或均匀分布。诸如交叉熵之类的损失函数基于统计发散，例如，库尔贝克-莱布勒发散（Kullback-Leibler divergence）（衡量一个概率分布与另一个参考分布的发散程度）。批量归一化计算每个批次的统计均值和方差。Dropout 使用统计概率来防止过拟合。
4. 概率 AI 和贝叶斯网络：统计建模会影响诸如隐马尔可夫模型 (HMM)[用于分析不可观察的顺序数据状态到可观察的输出的概率模型]、卡尔曼滤波器（一种有效的递归滤波器，用于从一系列噪声测量中估计线性动态系统的内部动态状态）和贝叶斯网络（一种概率图形模型，表示变量集及其在单向连接链接图（称为有向无环图，即 DAG）中的条件依赖关系）之类的模型。
5. 强化学习：统计信息应用于 RL 以估计预期奖励、模拟状态-行动概率，并且还应用于蒙特卡罗（经验学习）或时间差分学习方法。
6. 生成模型：在生成模型中，在 VAE（变分自动编码器）中使用诸如高斯潜在分布之类的统计方法。扩散模型依赖于噪声统计，而 GAN（生成对抗网络）使用生成器和鉴别器之间的对抗统计平衡。

总而言之，统计学在 AI 系统中发挥了重要作用，以提高数据效率、预测能力、误差控制、模型验证和数学可解释性。但是，基于现实世界的案例，必然存在局限性。

局限性与缺点：虽然统计模型大量用于 AI 系统中，但它们面临着基于线性和独立性假设的局限性，这在现实世界的案例中并不成立。还存在数据偏差传播的风险，当数据集存在偏差时，这种风险通常会被放大。由于深度模型中的分层应用，也可能出现过拟合以及无法解释的差距。最后，存在对异常值的敏感性风险，使模型很容易被少量数据点扭曲，并且难以扩展。

安全风险：从缺点和局限性来看，很明显，系统很可能容易受到不同的攻击，例如：

• 模型反演攻击（使用输出统计信息来反向设计输入，例如，对比提示技术）
• 成员推理攻击（通过观察统计输出来预测训练集中现有的数据点）
• 数据投毒（操纵数据点以移动/更改模型的行为）
• 对抗性攻击（利用统计分布来导致输入错误分类）
• 隐私泄露攻击（利用过度拟合的模型来提取敏感模式）
• 偏差放大攻击（将社会偏差编码到模型中进行预测）
• 模型指纹识别（分析模型输出以推断架构和参数）

结论

太棒了！你已完成本系列的第二部分。以上排名前 4 的数学组件（即代数、微积分、概率论和统计学）是基础数学组件。

虽然这些组件在不同类型的 AI 模型中相互交织，但我们将一个接一个地解耦每个组件，以便为你提供坚实的基础，以便在以后的系列中对神经网络进行逆向工程。

准备好在下一个系列中解开更多数学组件的神秘面纱：《模型：从安全角度分析 3》。

准备好保护你的 AI 系统了吗？

现在你已经了解了 AI 模型中的认知基础（第 1 部分）和数学漏洞，你可能想知道：“我如何在实践中审计和保护我的 AI 系统？”

在 Zealynx，我们专注于全面的 AI 安全评估，这些评估超越了传统的智能合约审计。我们的团队应用你刚刚学到的认知安全框架和数学分析来识别以下方面的漏洞：

• LLM 应用程序 - 提示注入、上下文操纵、数据提取
• AI 代理系统 - 多模式攻击、工具滥用、权限提升
• ML 管道安全 - 训练数据中毒、模型提取、对抗性输入
• AI 基础设施 - API 安全、访问控制、部署漏洞

是什么让我们的 AI 审计与众不同：

• 对认知攻击向量的深刻理解（如本系列中所述）
• 对模型行为和故障模式的数学分析（线性代数漏洞、梯度攻击、概率弱点）
• 针对你的 AI 架构量身定制的实际补救策略
• 持续的安全监控和威胁情报

了解更多关于我们的 AI 安全服务 →

常见问题解答

AI 系统中的对抗性攻击是什么？

对抗性攻击是一种技术，攻击者会制作微小的、难以察觉的输入数据扰动，导致 AI 模型错误分类或产生不正确的输出。这些利用了神经网络的数学属性，特别是线性代数近似，其中小的输入变化会导致大的输出变化。这些攻击在图像分类中很常见，它们展示了 AI 系统如何处理信息的基本漏洞。

什么是模型投毒，它是如何工作的？

模型投毒是一种安全攻击，其中恶意数据被注入到训练数据集中以操纵 AI 模型的行为。通过利用线性代数和统计信息如何用于计算权重，攻击者可以在训练矩阵中放置精心设计的恶意条目，这些条目会导致模型产生倾斜的结果或在特定输入下行为不正确，同时在其他情况下看起来正常。

AI 中的梯度下降是什么，为什么它容易受到攻击？

梯度下降是一种优化算法，它使用微积分通过基于损失函数的梯度（导数）迭代地调整权重来最小化模型的误差。它容易受到攻击，因为浮点运算中的数值不稳定性会导致溢出或下溢，并且攻击者可以制作输入来操纵这些梯度，以将模型引导至有害的局部最小值或破坏训练的稳定性。

什么是模型反演，它如何暴露私有数据？

模型反演是一种利用统计和概率属性从模型输出中反向设计私有训练数据的攻击技术。通过系统地查询 AI 模型并通过统计推断分析输出模式，攻击者可以重建模型训练过的敏感信息，即使模型从未直接泄露该数据。

什么是 AI 模型中的过拟合，为什么它是一种安全风险？

当 AI 模型记住训练数据而不是学习概括模式时，就会发生过拟合。当太多参数（来自线性代数）导致模型拟合数据中的噪声时，就会发生这种情况。从安全的角度来看，过度拟合的模型容易受到隐私泄露（泄露训练数据）、成员推理攻击（检测是否在训练中使用过特定数据），并且更容易受到对抗性输入的操纵。

数学局限性如何导致 AI 安全漏洞？

AI 中的数学局限性通过以下几种机制导致安全漏洞：浮点运算会导致攻击者可以利用的舍入误差；线性近似允许小的输入变化导致大的输出变化（对抗性攻击）；梯度计算中的数值不稳定性导致模型中毒；以及在现实场景中不成立的统计假设会创建诸如模型反演和采样漏洞之类的攻击向量。

什么是反向传播，它如何被利用？

反向传播是一种算法，它使用微积分（链式法则）来计算梯度并在训练期间更新神经网络权重。可以通过基于梯度的攻击来利用它，在这些攻击中，对抗者利用梯度计算过程来制作对抗性输入、提取模型信息或通过操纵错误在网络中向后传播的方式来破坏训练过程。

概率论如何实现 AI 模型攻击？

概率论实现了几种 AI 攻击：采样漏洞针对生成模型中可预测或低熵区域；模型反演使用概率推理来提取训练数据；对抗性输入利用可预测的概率分布；并且概率采样中的随机性弱点可用于操纵 AI 生成的输出或绕过密码学应用程序中的安全措施。

• 原文链接： zealynx.io/blogs/LLM-Sec...
• 登链社区 AI 助手，为大家转译优秀英文文章，如有翻译不通的地方，还请包涵～