目录
数学处理
正则化数据
正则化(Scaling)数据, 即将数据缩放到一个合理的范围
对于$n$个数字$x_1, x_2, \dots, x_n$
求其 均值(mean) : $\mu = \frac{1}{n} \sum_{i=1}^n x_i$
求其 标准差(standard deviation) : $\sigma = \sqrt{\frac{1}{n} \sum_{i=1}^n (x_i – \mu)^2}$
则正则化后的数据为: $x_i’ = \frac{x_i – \mu}{\sigma}$
误差计算
二元分类问题(binary classification problem)
假设有$n$个样本, $y_i$是真实值, $\hat{y_i}$是预测值,
则 交叉熵误差(cross-entropy error) 为:
$$E = -\frac{1}{n} \sum_{i=1}^n [y_i \log(\hat{y_i}) + (1-y_i) \log(1-\hat{y_i})]$$
多分类问题(multi-class classification problem)
假设有$n$个样本, 有k个标签(label), $y_{ij}$是第$i$个样本的第$j$个标签的真实值, $\hat{y_{ij}}$是第$i$个样本的第$j$个标签的预测值,
则 多分类交叉熵误差(cross-entropy error) 为:
$$E = -\frac{1}{n} \sum_{i=1}^n \sum_{j=1}^k [y_{ij} \log(\hat{y_{ij}})]$$
模型评估
记真实值是$y$, 预测值是$\hat{y}$
$y=1且\hat{y}=1$表示真正例(True Positive, TP)
$y=1且\hat{y}=0$表示假正例(False Positive, FP)
$y=0且\hat{y}=1$表示假反例(False Negative, FN)
$y=0且\hat{y}=0$表示真反例(True Negative, TN)
- 混淆矩阵(Confusion Matrix)
对角线的值 表示预测正确的样本数, 其他值表示预测错误的样本数 - 准确率(Accuracy)
$Accuracy = \frac{TP+TN}{TP+TN+FP+FN}$
正确的比所有 - 精确率(Precision)
$Precision = \frac{TP}{TP+FP}$
预测为正例的样本中, 真正例的比例 - 召回率(Recall)
$Recall = \frac{TP}{TP+FN}$
真正例中, 被预测为正例的比例 - F1值(F1-score)
$F_1 = \frac{2 \times TP}{2 \times TP + FP + FN}$
常见激活函数
- Sigmoid函数: $f(x) = \frac{1}{1+e^{-x}}$
- Tanh函数: $f(x) = \frac{e^x – e^{-x}}{e^x + e^{-x}}$
- ReLU函数: $f(x) = \max(0, x)$
