1.3 softmax回归

通常，机器学习实践者用分类这个词来描述两个有微妙差别的问题：

1. 我们只对样本的“硬性”类别感兴趣，即属于哪个类别；
2. 我们希望得到“软性”类别，即得到属于每个类别的概率。 这两者的界限往往很模糊。其中的一个原因是：即使我们只关心硬类别，我们仍然使用软类别的模型。

softmax 含义

Softmax 是一种数学函数，它将一个 K 维的实数向量转换为一个 K 维的概率分布。换句话说，它将任意实数值转换为 0 到 1 之间的概率值，并且所有输出的和为 1。

对于一个输入向量，Softmax 函数定义为：

其中：

• ：第个输入值（logit，未归一化的分数）
• ：对取指数（确保结果为正）
• 分母：所有的和（归一化项）

分类问题

从一个图像分类问题开始。假设每次输入是一个的灰度图像。可以用一个标量表示每个像素值，每个图像对应四个特征。此外，假设每个图像属于类别“猫”“鸡”和“狗”中的一个。

对于如何表示标签，我们有两个明显的选择：

• 最直接的想法是选择，其中整数分别代表。这是在计算机上存储此类信息的有效方法。如果类别间有一些自然顺序，比如说我们试图预测，那么将这个问题转变为回归问题，并且保留这种格式是有意义的。

• 如果分类问题并不与类别之间的自然顺序有关，那么采用独热编码（one-hot encoding）是更合适的。独热编码是一个向量，它的分量和类别一样多。类别对应的分量设置为 1，其他所有分量设置为 0。在我们的例子中，标签将是一个三维向量，其中对应于“猫”、对应于“鸡”、对应于“狗”：

网络架构

为了估计所有可能类别的条件概率，我们需要一个有多个输出的模型，每个类别对应一个输出。

为了解决线性模型的分类问题，我们需要和输出一样多的仿射函数（affine function）。每个输出对应于它自己的仿射函数。
在我们的例子中，由于我们有 4 个特征和 3 个可能的输出类别，我们将需要 12 个标量来表示权重（带下标的），3 个标量来表示偏置（带下标的）。
下面我们为每个输入计算三个未规范化的预测（logit）：、和。

我们可以用下面的神经网络图来描述这个计算过程。与线性回归一样，softmax 回归也是一个单层神经网络。由于计算每个输出、和取决于所有输入、、和，所以 softmax 回归的输出层也是全连接层。

向量形式表达为，这是一种更适合数学和编写代码的形式。由此，我们已经将所有权重放到一个矩阵中。对于给定数据样本的特征，我们的输出是由权重与输入特征进行矩乘法再加上偏置得到的。

全连接层的参数开销

一个标准的全连接层，如果具有个输入和个输出，则参数开销为，有很多可学习的参数，当参数数目过多时，会导致存储开销大、计算量高，容易过拟合的问题；

可以使用分解全连接层的方法解决这个问题，也就是将大的权重矩阵分解为多个小的矩阵相乘，从而减少参数数量；

传统全连接层：，参数量为，通过将参数矩阵分解，其中，，这样参数的数量变为，当和接近时，主要参数开销就降为；其中超参数可以由我们灵活指定，以在实际应用中平衡参数节约和模型有效性。

softmax 运算

现在我们将优化参数以最大化观测数据的概率。为了得到预测结果，我们将设置一个阈值，如选择具有最大概率的标签。

我们希望模型的输出可以视为属于类的概率，然后选择具有最大输出值的类别作为我们的预测。例如，如果、和分别为 0.1、0.8 和 0.1，那么我们预测的类别是 2，在我们的例子中代表“鸡”。

然而不能将未规范化的预测直接视作我们感兴趣的输出，因为将线性层的输出直接视为概率时存在一些问题：一方面，我们没有限制这些输出数字的总和为 1。另一方面，根据输入的不同，它们可以为负值。这些违反了概率基本公理。

要将输出视为概率，我们必须保证在任何数据上的输出都是非负的且总和为 1。softmax 函数能够将未规范化的预测变换为非负数并且总和为 1，同时让模型保持可导的性质。为了确保输出非负，我们首先对每个未规范化的预测求幂。为了确保最终输出的概率值总和为 1，再让每个求幂后的结果除以它们的总和。如下式：

这里，对于所有的总有。因此，可以视为一个正确的概率分布。

softmax 运算不会改变未规范化的预测之间的大小次序，只会确定分配给每个类别的概率。
因此，在预测过程中，我们仍然可以用下式来选择最有可能的类别。

尽管 softmax 是一个非线性函数，但 softmax 回归的输出仍然由输入特征的仿射变换决定。因此，softmax 回归是一个线性模型（linear model）。

模型的校准

校准（calibration）：指的是模型的预测概率与真实发生概率的一致性。

对于一个分类器，如果预测为某一类的概率为，那么所有被预测的概率为的样本中，真正属于该类的比例正好是，对应样本中的频率，那么我们说这个模型校准好；

小批量样本的矢量化

为了提高计算效率并且充分利用 GPU，我们通常会对小批量样本的数据执行矢量计算。假设我们读取了一个批量的样本，其中特征维度（输入数量）为，批量大小为。此外，假设我们在输出中有个类别。
那么小批量样本的特征为，权重为，偏置为。
softmax 回归的矢量计算表达式为：

相对于一次处理一个样本，小批量样本的矢量化加快了的矩阵乘法。由于中的每一行代表一个数据样本，那么softmax运算可以按行（rowwise）执行：对于的每一行，我们先对所有项进行幂运算，然后通过求和对它们进行标准化。

在上面的式子中，的求和会使用广播机制，小批量的未规范化预测和输出概率都是形状为的矩阵。

损失函数

接下来，我们需要一个损失函数来度量预测的效果。我们将使用最大似然估计，这与在线性回归中的方法相同。

对数似然

softmax 函数给出了一个向量，我们可以将其视为“对给定任意输入的每个类的条件概率”。
例如，=。

假设整个数据集具有个样本，其中索引的样本由特征向量和独热标签向量组成。我们可以将估计值与实际值进行比较：

根据最大似然估计，我们最大化，相当于最小化负对数似然：

在上面的式子中，真实标签是一个独热向量，而模型的预测输出是一个总和为 1 的概率向量，那么对该样本的预测与事实一致的概率，就是概率向量中对应的分量的值；

在数学上可以统一写成交叉熵损失（cross-entropy loss）的形式，将取到当前情况的概率的负对数作为损失，最小化损失函数即是最大似然估计，交叉熵损失函数是softmax最常用的损失函数；

如果正确地预测实际标签，即如果实际标签，则损失函数值为 0，不能进一步最小化，这种理想情况往往是不可能的。

softmax 及其导数

由于 softmax 和相关的损失函数很常见，因此我们需要更好地理解它的计算方式。将带入交叉熵损失函数中得到：

将上面的式子对求导可以得到：

换句话说，导数是我们 softmax 模型分配的概率与实际发生的情况（由独热标签向量表示）之间的差异。
从这个意义上讲，这与我们在回归中看到的非常相似，其中梯度是观测值 和估计值 之间的差异。
这不是巧合，在任何指数族分布模型中，对数似然的梯度正是由此得出的。这使梯度计算在实践中变得容易很多。

交叉熵损失

对于标签，我们可以使用与以前相同的表示形式。
唯一的区别是，我们现在用一个概率向量表示，如，
而不是仅包含二元项的向量。
我们使用交叉熵损失函数，它是所有标签分布的预期的损失值。它是分类问题最常用的损失之一。

信息论基础

信息论（information theory）涉及编码、解码、发送以及尽可能简洁地处理信息或数据。

熵

信息论的核心思想是量化数据中的信息内容。
在信息论中，该数值被称为分布的熵（entropy）。可以通过以下方程得到：

信息论的基本定理之一指出，为了对从分布中随机抽取的数据进行编码，我们至少需要“纳特（nat）”对其进行编码。“纳特”相当于比特（bit），但是对数底为而不是2。因此，一个纳特是比特。

信息量

压缩与预测有什么关系呢？想象一下，我们有一个要压缩的数据流。如果我们很容易预测下一个数据，那么这个数据就很容易压缩。为什么呢？举一个极端的例子，假如数据流中的每个数据完全相同，这会是一个非常无聊的数据流。由于它们总是相同的，我们总是知道下一个数据是什么。所以，为了传递数据流的内容，我们不必传输任何信息。也就是说，“下一个数据是xx”这个事件毫无信息量。

但是，如果我们不能完全预测每一个事件，那么我们有时可能会感到”惊异”。克劳德·香农决定用信息量来量化这种惊异程度。在观察一个事件时，并赋予它（主观）概率。当我们赋予一个事件较低的概率时，我们的惊异会更大，该事件的信息量也就更大。

在上面式子中定义的熵，是当分配的概率真正匹配数据生成过程时的信息量的期望。

重新审视交叉熵

如果把熵想象为“知道真实概率的人所经历的惊异程度”，那么什么是交叉熵？
交叉熵从​​到​，记为。
我们可以把交叉熵想象为“主观概率为的观察者在看到根据概率生成的数据时的预期惊异”。
当时，交叉熵达到最低。
在这种情况下，从到的交叉熵是。

简而言之，我们可以从两方面来考虑交叉熵分类目标：

1. 最大化观测数据的似然；
2. 最小化传达标签所需的惊异。

模型预测和评估

在训练softmax回归模型后，给出任何样本特征，我们可以预测每个输出类别的概率。通常我们使用预测概率最高的类别作为输出类别。如果预测与实际类别（标签）一致，则预测是正确的。在接下来的实验中，我们将使用精度（accuracy）来评估模型的性能。精度等于正确预测数与预测总数之间的比率。

‍