脑成像数据的多模态融合
神经影像学提供了一种识别和测量大脑结构和功能的方法。不同的非侵入性成像测量揭示了神经系统的不同特征，例如结构、激活或结构和功能连接。磁共振成像(MRI)是最重要的神经影像技术之一，广泛应用于神经科学研究和临床环境。结构 MRI (sMRI) 提供有关大脑组织类型的信息。功能性 MRI (fMRI) 动态测量与大脑神经活动相关的血流动力学反应。弥散加权成像(DWI)还可以提供有关大脑区域之间结构连接的信息。通常，这些数据以单模态方式单独分析。最近，使用各种成像技术从同一个人收集多种类型的大脑数据已成为常见做法。与单一模态相比，多种模态的融合可以捕获跨模态(共享和互补)信息，预计可以为根本问题提供更多见解。
数据融合的共同目标是最大限度地挖掘模态之间共享的联合信息以及模态特定的补充信息。过去几十年见证了基于学习的融合方法的显着改进。根据是否使用标签来指导学习过程，研究人员将现有的融合技术细分为无监督和监督学习方法。监督学习方法的目标函数是明显且一致的，以学习输入和标签之间的映射，然后通过减少预测标签和真实标签之间的差异来优化联合表示。而对于无监督学习策略，研究人员根据不同的目标函数进一步细分为三类：基于相关性的融合、多视图聚类和数据重构。稍后将系统回顾每个类别的先进方法。传统的融合方法通常强调最大限度地利用共享表示，而模态指定的补充信息往往没有得到充分利用。因此，将一路讨论这些探索补充信息的方法的变体。
进行多模态融合分析有利于对不同时间和空间尺度上复杂的大脑网络的累积理解。首先，脑图谱是研究脑网络的先决条件，脑网络在神经科学和临床实践中发挥着核心作用。尽管许多广泛应用的大脑图谱主要通过单一模式(细胞结构、地形、功能或连接性)将大脑分为不同的大脑区域，但最近的一系列研究揭示了通过融合各种模式来描绘更稳定的边界。更重要的是，构建参考脑图谱为融合从基因、蛋白质、突触、神经元到区域、通路乃至整个大脑的大规模信息铺平了道路，这为全面探索神经科学问题以促进健康发展提供了可能。通过数据融合技术进行临床病理学。此外，对认知与发展之谜的探索一直是神经科学领域的核心课题。在最近的研究中，在预测个体行为和智商分数时，与使用单模态数据相比，使用多模态数据取得了显着更高的准确性。最后，通过多模式融合方法致力于精神疾病的早期诊断和预后，这是令人鼓舞的努力。在成长过程中，精神症状频繁出现，原因复杂。通常，精神疾病的发展过程很长，造成巨大的社会经济负担。因此，越来越多的注意力集中在检测早期异常、探索潜在的亚型以及揭示用于预测治疗结果的可能的神经影像生物标志物上。
在这篇评论中，涵盖了四个相互关联的主题。第一个主题是关于多模态融合方法。由于大脑成像通常具有三维(3D)或更高维度，因此很难通过计算简单的相关性来确定联系。为了有效地融合多模态数据，人们提出了各种机器学习方法。常见的流程是首先将高维图像传输到二维矩阵。然后采用监督或无监督策略将不同模态的二维矩阵的维度减少到共同的潜在空间。然后在潜在空间中探索模态之间的内部关联。在第二节中，研究人员回顾了已成功用于脑成像数据融合的每个类别的一些重要进展，包括基于相关性的融合、基于聚类的融合、数据重建、多任务学习和变体、基于深度学习的融合。
第二个主题介绍了通过多模态脑成像进行图谱分析，它根据解剖结构、功能激活、连接性或多模态信息在宏观和微观层面上审查脑分区。
第三个主题与研究认知和发展的多模态融合有关。这部分包括关于多模态融合方法如何帮助改善行为表型和大脑衰老的预测和理解的代表性应用。
第四个主题是多模态融合在脑疾病研究中的应用，阐述了多模态融合如何帮助加速探索脑疾病潜在生物学机制的重要应用。随着临床多模态数据的积累，多模态融合技术在临床场景中有着广泛的应用。一方面，通过基于监督学习的多模态融合技术，研究人员可以进行高效的计算机辅助诊断并识别关键生物标志物。另一方面，无监督融合方法有望帮助研究人员从多个角度探索复杂脑部疾病的潜在疾病相关因素，其中许多疾病的发病机制尚未完全了解，从而促进临床诊断和治疗的发展。
第 6 节提出了挑战和未来方向。与单一模态相比，脑成像的多模态融合能够揭示跨模态信息，因此在研究脑分区、认知和发育以及脑部疾病方面获得了良好的表现。然而，由于一些融合策略的随机变化特性，小样本量可能会导致假阳性连锁。那么第一个共同的挑战就是产生大数据。其次，成像技术的发展使大脑成像更加精细。如何弥合跨尺度空间对齐的差距是具有挑战性的。第三，当前大多数多模态融合方法都应用于解决宏观尺度问题。随着微观尺度和中尺度数据的发布，如何迁移当前的多尺度数据集融合策略是一个重要的焦点。此外，上述讨论的大群体、高通量和高质量成像以及新模型都对数据的存储、分析和可视化资源带来了巨大的挑战，对构建新平台的需求不断增加。
在本文中，研究人员试图对近年来多模态脑成像融合研究进展进行全面综述，旨在追踪先进的融合策略和显着的应用。与单模态相比，多模态策略可以更好地利用模态之间的共享表示和模态特定的补充信息，从而改善在构建脑图谱、预测表型结果和脑疾病分类方面的应用。随着更大的数据集、新颖的融合模型和超级计算设施的发展，多模态融合可以帮助更好地揭示未来人脑认知和临床疾病的潜在机制。
版权声明：本文由用户上传，如有侵权请联系删除！