范数

$l1$范数 $l1$范数表示向量元素的绝对值之和：$||x||1=\sum{i=1}^n|x_i|$ 代码中可以通过如下实现

torch.abs(u).sum()

$l2$范数 $l2$范数表示向量元素平方和的平方根：$||x||2=\sqrt{\sum{i=1}^n x_i^2}$，其中$l2$范数常常省略下标2，也就是$||x||=||x||_2$ 代码中可以通过如下实现

torch.norm(u)

$F$范数 对于矩阵而言，其$Frobenius$范数类似于向量的$l2$范数，是矩阵元素的平方和的平方根：$||x||F=\sqrt{\sum{i=1}^m\sum_{j=1}^n x_{ij}^2}$ 在代码中也同样通过norm()函数直接求得

损失函数

平方误差函数
当样本$i$的预测值为$\hat{y}^i$，其相应的真实标签为$y^i$时，平方误差可以定义为以下公式：
$$l^i(w,b)=\frac{1}{2}(\hat{y}^i-y^i)^2$$