介绍 与之前所看到的一些关于 filter pruning 的文章不同，作者认为那些通过 filter pruning 方法剪去的滤波器在某些特定场景可能还是有用的，作者提到像集成学习中一样，单个分类器的效果并不理想，但多个分类器组合在一起效果就有很大提升。所以在这篇文章中，作者不考虑将这些不重要的滤波器剪去，而是为它们重新赋值，尝试重新激活它们。也就是作者所提出的嫁接方法，将其他的数据嫁接到这些不重要的 filter 上。 !(../attachment/论文笔记/Pasted_imag

现况 现有的滤波器剪枝的标准是，“smaller-norm-less-important"，即认为滤波器的范数（p-norm）越小，相对应的特征图越接近于 0，于是对网络对贡献越小，那么这些滤波器可以去掉而不会严重影响网络的性能。 但作者认为这个标准要达到好的效果需要满足两个前提： 1. 不同卷积核之间的范数差距要够大 2. 最不重要的（范数最小的）卷积核的范数要够小 !(../attachment/论文笔记/Pasted_image_20211118154042.png) 即如图 (a)

介绍 现在主流的剪枝操作可以分为权重剪枝和滤波器剪枝两个类别，其中滤波器剪枝的一个标准流程是： 1. 训练一个大网络直至收敛 2. 根据一定的规则剪去一部分滤波器 3. 对剪枝后的网络进行微调 这些方法多数只是对网络的结构进行调整，而作者认为，不只是网络的结构有影响，滤波器本身的结构也很重要。Christian Szegedy^ChristianSzegedy 等人也提出了类似的想法。他们是手动设定了不同的 kernel size，但手动设置需要一定的专业知识和实验经验，且需要对网络进行特

one-hot 表示特征只能有一个1，无论最后编码的向量维度的维度多少，比如幼年，青年，中年，老年； *eg，小明是青年人。0,1,0,0* 而multihot表示特征可以多选，多个1出现；比如性格特征：平和，严谨，乐观……； *eg：小明：是一个平和，乐观但粗心的人；1,0,1；* python 使用sklearn自带的编码器 import numpy as np from sklearn.preprocessing import LabelBinarizer,MultiLabelB

projection head 是一种在自监督学习中常用的技术。它是指在预训练模型的最后一层添加一个投影头（projection head），用于将模型的高维隐藏表示投影到低维空间中。通过这样的方式，可以将原始输入数据转换为更紧凑、更具有语义信息的表示。投影头的设计通常包括一个线性变换和一个非线性激活函数，它们帮助模型从原始数据中提取有用的特征。投影头的输出可以用于各种下游任务，如分类、聚类或生成等。 Prejection head Projection head 是指将模型的隐藏层特征投影

One-shot 公司门禁用了人脸识别，你只提供一张照片，门禁就能认识各个角度的你，这就是 one-shot。可以把 one-shot 理解为**用 1 条数据 finetune 模型。** Zero-shot 即，利用已有的数据和知识，来推理辨认模型从没见过的数据，也就是“0条没见过的数据” 例子： 小明和爸爸，到了动物园，看到了马，然后爸爸告诉他，这就是马；之后，又看到了老虎，告诉他：“看，这种身上有条纹的动物就是老虎。”；最后，又带他去看了熊猫，对他说：“你看这熊猫是黑白色的。”

在单通道版本中，卷积核和滤波器两者等价。滤波器相当于是卷积核的一个集合。 单通道版本 !(https://img2018.cnblogs.com/common/1785246/201912/1785246-20191214195513331-1693646023.gif) 如上图所示，卷积是元素对元素的加法和乘法。这里的滤波器是一个 3\*3 的矩阵\\0, 1, 2, \2, 2, 0, \0, 1, 2，滤波器滑过输入，在每个位置完成一次卷积，得到一个数值，最终输出仍是一个 3\*3 的矩

范数 **$l1$范数** $l1$范数表示向量元素的绝对值之和：$||x||_1=\sum_{i=1}^n|x_i|$ 代码中可以通过如下实现 python torch.abs(u).sum() **$l2$范数** $l2$范数表示向量元素平方和的平方根：$||x||_2=\sqrt{\sum_{i=1}^n x_i^2}$，其中$l2$范数常常省略下标2，也就是$||x||=||x||_2$ 代码中可以通过如下实现 python torch.norm(u) **$F$范数** 对