多跨领域小样本学习的团队知识蒸馏
•
2023-05-19 15:01:26
摘要 尽管小样本学习(FSL)取得了很大进展，但它仍然是一个巨大的挑战，尤其是当源集和目标集来自不同领域时，也称为跨域小样本学习(CD-FSL)。利
尽管小样本学习(FSL)取得了很大进展，但它仍然是一个巨大的挑战，尤其是当源集和目标集来自不同领域时，也称为跨域小样本学习(CD-FSL)。利用更多的源域数据是提高 CD-FSL 性能的有效途径。然而，来自不同源域的知识可能会相互纠缠和混淆，这会损害目标域的性能。
为解决这一问题，天津大学钟冀教授领导的研究团队于2023 年 4 月 15 日在高等教育出版社和施普林格·自然联合出版的计算机科学前沿发表了他们的新研究。
该团队提出了团队知识蒸馏网络(TKD-Net)来解决 CD-FSL，探索了一种帮助多位教师合作的策略。他们将知识从教师网络的合作中提取到元学习框架中的单个学生网络中。它结合了面向任务的知识蒸馏和教师之间的多重合作，以培养对未见任务具有更好泛化能力的高效学生。此外，他们的 TKD-Net 使用基于响应的知识和基于关系的知识来传递更全面和有效的知识。
具体来说，他们提出的方法包括两个阶段：教师发展阶段和多层次知识蒸馏阶段。他们首先通过监督学习分别使用来自多个可见域的训练数据对教师模型进行预训练，其中所有教师模型都具有相同的网络架构。在获得多个特定领域的教师模型后，多层次知识在元学习范式中从教师的合作转移到学生。面向任务的蒸馏有利于学生模型快速适应少样本任务。学生模型是基于原型网络和教师模型提供的软标签进行训练的。除了，他们进一步探索了嵌入在相似性中的知识，并探索了教师的相似性矩阵，以在少样本任务中传递样本之间的关系。它引导学生学习更具体、更全面的信息。
未来的工作可以侧重于自适应地调整多个教师模型的权重，并寻找更多的方法来有效地聚合来自多个教师的知识。
版权声明：本文由用户上传，如有侵权请联系删除！
标签：