机器学习(1)-逻辑回归

逻辑回归

逻辑回归（Logistic Regression）是一种用于解决二分类问题的监督学习算法，尽管名称中包含”回归”一词，但实际上它用于分类任务。
逻辑回归使用一个假设函数（sigmoid函数），将输入特征的线性组合映射到一个在0和1之间的概率值。逻辑回归将概率值转换为二分类的决策，通常使用一个阈值（例如0.5）。逻辑回归使用交叉熵损失函数来衡量预测概率与实际标签之间的差异。损失函数的目标是最小化误差。

交叉熵损失函数（Cross-Entropy Loss）

$$L(y, p) = -[y \log(p) + (1 - y) \log(1 - p)]$$

逻辑回归的梯度计算

对于单个样本 $(x^{(i)}, y^{(i)})$，其损失为：

$$L(w, b) = -[y^{(i)} \log(\hat{y}^{(i)}) + (1 - y^{(i)}) \log(1 - \hat{y}^{(i)})]$$

其中 $\hat{y}^{(i)} = \sigma(z^{(i)})$ 是模型的输出，$z^{(i)} = w^T x^{(i)} + b$，而 $\sigma(z) = \frac{1}{1 + e^{-z}}$ 是 sigmoid 函数。

对于整个训练集，总损失 $J(w, b)$ 为所有样本损失的平均值：

$$J(w, b) = -\frac{1}{m} \sum_{i=1}^{m} [y^{(i)} \log(\hat{y}^{(i)}) + (1 - y^{(i)}) \log(1 - \hat{y}^{(i)})]$$

对 $w_j$ 的梯度

$$\frac{\partial J(w, b)}{\partial w_j} = \frac{1}{m} \sum_{i=1}^{m} (\hat{y}^{(i)} - y^{(i)}) x_j^{(i)}$$

对 $b$ 的梯度

$$\frac{\partial J(w, b)}{\partial b} = \frac{1}{m} \sum_{i=1}^{m} (\hat{y}^{(i)} - y^{(i)})$$

参数更新

在每次迭代中，参数 $w$ 和 $b$ 会根据计算出的梯度进行更新：

$$w_j := w_j - \alpha \frac{\partial J(w, b)}{\partial w_j}$$ $$b := b - \alpha \frac{\partial J(w, b)}{\partial b}$$

其中 $\alpha$ 是学习率，控制着每次参数更新的步伐大小。