在深度学习任务中优于最先进的算法
近年来，基于深度学习的半监督学习算法取得了可喜的成果。然而，它们在医学图像处理、高光谱图像分类、网络流量识别和文档识别等真实的半监督学习场景中尚不实用。在这些类型的场景中，标记数据对于超参数搜索来说是稀缺的，因为它们引入了多个可调超参数。一个研究团队提出了一种新的基于元学习的半监督学习算法，称为 Meta-Semi，它只需要调整一个额外的超参数。他们的 Meta-Semi 方法优于最先进的半监督学习算法。
该团队于 3 月 10 日在CA A I 人工智能研究杂志上发表了他们的工作 。
深度学习是一种机器学习技术，计算机通过实例学习，在监督任务中取得了成功。然而，识别和标记原始数据的数据标记过程既耗时又昂贵。当有大量带注释的训练数据可用时，监督任务中的深度学习可能会成功。然而，在许多实际应用中，所有可用训练数据中只有一小部分与标签相关联。
清华大学自动化系副教授高煌说：“最近深度学习在监督任务中的成功得益于丰富的带注释训练数据。” 然而，精确标签的收集耗时且成本高昂，是研究人员必须克服的挑战。“Meta-semi 作为一种最先进的半监督学习方法，可以用少量标记样本有效地训练深度模型，”Huang 说。
借助研究团队的 Meta-Semi 分类算法，他们可以有效地利用标记数据，同时只需要一个额外的超参数即可在各种条件下实现令人印象深刻的性能。在机器学习中，超参数是其值可用于指导学习过程的参数。“大多数基于深度学习的半监督学习算法都引入了多个可调超参数，这使得它们在真实的半监督学习场景中不太实用，在这些场景中，标记数据很少用于广泛的超参数搜索，”Huang 说。
该团队基于这样的假设开发了他们的算法，即可以使用正确伪标记的未注释样本有效地训练网络。首先，他们根据网络预测在训练过程中在线为未标记数据生成软伪标签。然后他们过滤掉伪标签不正确或不可靠的样本，并使用伪标签相对可靠的剩余数据训练模型。他们的过程自然地产生了一个元学习公式，其中正确伪标记的数据与标记数据具有相似的分布。在他们的过程中，如果网络是用伪标记数据训练的，那么标记数据的最终损失也应该最小化。
该团队的 Meta-Semi 算法在半监督学习的各种条件下都取得了有竞争力的表现。“根据经验，Meta-Semi 在具有挑战性的半监督 CIFAR-100 和 STL-10 任务上显着优于最先进的半监督学习算法，并在 CIFAR-10 和 SVHN 上取得了有竞争力的表现，”Huang 说。CIFAR-10、STL-10 和 SVHN 是经常用于训练机器学习算法的数据集或图像集合。“我们还从理论上表明，Meta-Semi 在温和条件下收敛到标记数据损失函数的驻点，”Huang 说。与现有的深度半监督学习算法相比，Meta-Semi 需要更少的调整超参数的工作，但在四个竞争数据集上实现了最先进的性能。
版权声明：本文由用户上传，如有侵权请联系删除！