米乐m6官方网站:学术前沿丨CAAI理事长戴琼海院士领衔的清华大学脑与认知科学研究院-2021年研

　　原标题：学术前沿丨CAAI理事长戴琼海院士领衔的清华大学脑与认知科学研究院-2021年研究进展汇编

　　清华大学脑与认知科学研究院成立于2019年，为清华大学校级虚体科研机构，依托院系为自动化系，共建院系为电子系、计算机系、软件学院、精仪系、物理系、医学院、脑与智能实验室、化学系。

　　传统光场显微镜，虽能够在单次拍摄下记录样本多角度信息，实现快速三维成像，但空间分辨率与角度分辨率无法兼顾；DAOSLIMIT通过高速振镜的小范围振动，引入空间叠层约束，以全光子效率获取高分辨率的空间与角度四维全光场信息，实现了非相干的孔径合成，进而利用样本时空连续性先验，避免了扫描带来的时间分辨率损失。制约活体组织观测的一大瓶颈，是样本折射率三维空间分布各异引起的严重光学像差，显著降低了显微成像的空间分辨率。源于天文观测的传统自适应光学显微镜，即使通过复杂的软硬件也只能实现小视场区域的像差矫正成像。DAOSLIMIT建立了一套新的数字自适应光学 (DAO) 成像的框架，且无需额外的波前传感器或空间光调制器，通过获取四维全光信息将信号采集与自适应波前矫正解耦，在后处理的过程中实现大范围空间分块自适应光学矫正，将空间分辨率提升至光学衍射极限。迁移体（migrasome）是俞立实验室最近发现并命名的新细胞器，现在已知迁移体在胚胎发育，免疫系统稳态维持中起重要作用。借助DAOSLIMIT，得以开创哺乳动物活体环境中迁移体功能研究的新领域。研究人员将中性粒细胞和血管分别进行染色，在活体小鼠肝脏内进行多色成像，首次清晰地观测到了迁移体和丝状伪足在哺乳动物体内的生成与变化。

　　以光场显微镜为代表的一系列计算成像技术，因其低光毒性、快速三维成像能力等优势备受注目，在活体显微成像领域取得了突破性的成果。由于光场成像技术可以在单次拍摄下获取样本的高维信息，在长时动态观测方面具有独特的优势，例如观测血流、大规模神经活动、细胞内以及细胞间长期相互作用等等。而在复杂的活体成像环境下，光场系统采集的高维目标信号与无序散射光以及高强度背景光深度杂糅，极大限制了穿透深度与信号的定量程度。论文提出的QLFM方法是一种基于非相干散射理论的多尺度量化模型，可通过充分挖掘光场数据的高维特性和准确的物理建模，从而实现计算光学层析能力。该研究显著减少了背景荧光与散射光子的影响，同时也提升了单光子成像在复杂活体环境下的穿透深度，推动光场显微技术进入定量荧光显微时代。

　　人类获取的信息80%以上来自视觉，成像系统作为核心技术已经在科学观测、智慧城市和公共安全等方面取得了长足的发展。针对动态大场景多对象（十亿像素成像）兼顾“看得全”和“看得清”的迫切需求，面临宽视场与高分辨不可兼得的固有矛盾。科学家们瞄准这一难题历经了探索与攻关，取得了系列突破。第一代单像感器成像系统（以Gigapan为代表），通过扫描拼接成十亿像素图像；第二代结构化阵列像感器成像系统（以杜克大学AWARE为代表），沿用均匀采样原理，采用同构像感器阵列，硬件结构固化，标定过程依赖相邻像感器重叠的视场区域，标定算法复杂度高。进一步提高系统的鲁棒性和可扩展性代价大。针对宽视场与高分辨的固有矛盾，来自清华大学的戴琼海团队另辟蹊径，率先提出了非结构化计算成像新原理，成功研制了阵列像感器十亿像素智能成像系统（UnsctructuredCam）。团队研制的非结构化阵列像感器十亿像素智能成像系统可应用于边海防、智慧城市、公共安全、无人系统、虚拟现实等领域。

　　衍射断层扫描是一种用于透明样品的低光毒性无标记三维成像方法。然而，它通常需要相干照明和大量测量，这将分别引入斑点噪声和耗时的采集，从而限制其在多细胞动态过程观测中的应用。该文章针对上述问题，提出了一种基于光场显微镜的快速部分相干衍射断层成像方法。通过将照明光学传递函数结合到体积微分相衬模型中，我们从单张四维相空间测量中获得了三维相位堆栈。然后使用三维相位点扩展函数对三维相位堆栈进行三维反卷积以实现计算光学切片并提高分辨率。最后，我们从三维相位堆栈中提取三维折射率信息。对自由移动的秀丽隐杆线虫的记录说明了所提出的方法在 以相机帧率进行高速在体多细胞生物的无标记三维成像上的巨大潜力。

　　光子受限是荧光显微成像的核心挑战，尤其是在场景不断高速动态变化的神经钙成像中。该论文报道了一种基于自监督学习的钙成像增强方法（DeepCAD），无须训练真值，仅使用原始低信噪比记录即可实现去噪网络的训练。该方法能将钙成像的信噪比提升十倍以上，原本淹没在噪声中的钙活动可以被真实地恢复出来，有效克服了荧光探测的泊松光子噪声极限。在钙成像数据的后处理阶段，该方法能够大幅提升神经元时空信号提取的准确度，降低噪声对神经脉冲检测的负面影响，为低激发功率下的长时程荧光成像带来根本性的提升。

　　在医疗健康领域，脑动脉瘤是一种常见的脑血管疾病，其破裂通常会导致患者死亡或遭受严重伤害，极大地威胁人体健康。然而，脑动脉瘤目前的检查和诊断仍费时费力，这容易影响临床实践中的诊断精度，尤其是对于小动脉瘤。因此，亟需一种智能高效的工具来辅助医生进行脑动脉瘤的诊断。课题组提出了一种可应用于CTA图像的全自动脑动脉瘤分割深度学习模型——基于全局定位的分割网络(GLIA-Net)。GLIA-Net包含一个提供全局风险概率信息的全局定位网络和一个高分辨率的局部分割网络，可以将全局定位先验同局部特征结合起来，生成精细的三维分割结果。同时该模型可以直接用于不同的临床情景和成像设置中，甚至可以直接分析包含头颈心扫描的影像，而无需任何预处理程序。该模型通过定量评价和临床实验验证了其优越的诊断性能，预计将有助于改变脑血管疾病的临床诊断，实现精确治疗，未来也可能改变医疗保健和生物医学研究的格局。

　　论文提出一种基于无监督学习的内容保持的显微图像变换方法（UTOM），无需额外获取配对的显微数据集，就能学习两个图像域之间的映射关系，并在变换过程中保证图像语义信息不失真，在缺乏配对训练数据的情况下，实现了人类结直肠组织的虚拟病理染色、显微图像修复（去噪、各向同性分辨率恢复、超分辨率重建）以及虚拟荧光标记等任务。

　　通常在毫秒量级的时间尺度及三维空间中，这要求在三维空间中以高时空分辨率记录细胞结构来观察和理解这些现象。为此，许多技术被开发来满足这一要求，包括共聚焦和多光子扫描显微镜、光片显微镜和结构光照明显微镜等。虽然这些技术结合了轴向扫描相实现三维成像，其时间分辨率受到扫描设备的严重限制。光场显微镜 (LFM)可以实现单次拍摄对生物样本进行高速荧光体成像。然而，传统光场成像性能在恶劣环境下（如低照度、高噪声）下降严重，无法完成长时程下对光敏感样本拍摄的生命科学任务。团队提出了一种基于字典学习的光场显微成像方法，实现对多种重建伪影的消除，同时具有对噪声很强的鲁棒性，可实现对样本进行低功率拍摄下的清晰成像，极大扩展了对光毒性敏感的生物体的研究空间，如斑马鱼幼鱼等。基于字典学习的光场重建法首先通过对比重建前后样本的差异，得到受噪声和伪影影响的元图像碎片，然后将这些元图像碎片结构成字典，用于在测试图片中对比发现受噪声和伪影影响的区域，并进一步替换成高分辨、无伪影的图片，提升图片重构质量。对比传统的重建方法，字典学习光场重建算法还原了在焦面附近被微透镜编码为方形的细胞，去除了频域中非自然的周期性频率分量，使得图像更为自然。进一步，字典重建方法提升了对果蝇卵细胞的成像分辨率。

　　超分辨率光学显微成像是一种能突破光学衍射极限、以小于100纳米的分辨率观测活体细胞的动态过程的技术，是研究脑科学、细胞生物学等问题的重要工具。但现有超分辨率方法在提升空间分辨率同时牺牲了成像速度和时程，难以同时实现高精度、长时程的观测，从而阻碍了对亚细胞结构相互作用等精细生命过程的深入研究。为提升超分辨率显微成像的性能、拓展其应用范围，戴琼海/李栋联合课题组首先利用自主搭建的整合了全内反射结构光照明显微镜、非线性结构光照明显微镜和掠入射结构光照明显微镜等多种超分辨成像模态的多模态结构光超分辨显微镜系统对不同生物结构进行成像，建立了一个包含四种不同复杂度的生物结构、九种不同信噪比，以及提高2倍（Linear-SIM）、3倍（Nonlinear-SIM）分辨率的高质量超分辨显微成像公开数据集，并基于高、低分辨率图像频谱覆盖范围的显著差异，提出了傅立叶域注意力卷积神经网络模型（DFCAN）和傅立叶域注意力生成对抗网络模型（DFGAN），实现了比其他现有卷积神经网络模型更鲁棒的显微图像超分辨预测效果。应用DFCAN和DFGAN单张显微图像超分辨率预测和结构光照明超分辨重建方法，研究人员能够以更低的激光功率、更快和拍摄速度、更长的拍摄时程和超越衍射极限和分辨率来观测亚细胞尺度的生物结构互作，并首次观测到伴随着线粒体内脊形变的拟核分离和聚合现象，成像时程（1200张超分辨图像）达到传统活体超分辨成像方法的10倍以上，极大地拓展了活体超分辨率成像技术的应用范围。

　　该文章针对目前光场成像在生命科学应用中面临的轴向分辨率较差的问题，提出了一种镜面增强的扫描光场显微成像方法，利用镜面实现多视角扫描光场采集并引入一种多视图相空间解卷积方法进行重建，实现了光场显微镜~400nm各项同性分辨率成像。该方法进一步提升了光场成像的准确性、减少了3D重建过程中的伪影，显著降低了对照明光强的需求，使其能够实现低照度下更长时间的活体观测，特别是对于光照敏感的细胞和原生生物，有助于研究不同时间尺度下细胞内和细胞间的细胞器活动等前沿热点。解决“漏锥”问题是拓宽显微领域内细胞生物学研究和其他亚波长结构三维成像中应用的关键步骤。此外，该研究也能进一步应用于单分子定位、细胞生物学研究、血细胞追踪、神经信号分析等领域，扩展现有方法。

　　2021年6月15日，清华大学脑与认知科学研究院三维视觉课题组在计算机视觉顶级国际会议CVPR上发表题为“Function4D: Real-time Human Volumetric Capture from Very Sparse Consumer RGBD Sensors”的论文，并被录取为口头报告文章（录用率5%），首次提出基于深度神经隐函数的稀疏RGBD相机实时人体体积视频捕捉方法，利用人工智能技术进行三维表达、特征提取与实时重构，相对于微软体积视频捕捉系统，在不损失重建精度的情况下，使系统搭建成本降低一个数量级，为虚拟现实和全息通讯等应用提供了有力支撑。

　　人体体积捕捉主要应用于实时全息通信和体积视频制作等领域，是虚拟现实元宇宙的关键技术，也是计算机视觉和计算机图形学中一直以来的一个难题。尽管使用复杂的离线系统可以实现高质量的体积捕捉结果，但复杂场景的实时人体体积捕捉，特别是使用轻量级的设备进行实时捕捉，仍然是一个难题。在这个工作中，团队提出了一种结合了时空体积融合与深度隐含函数的人体体积捕捉方法。为了实现高质量和时域连续重建，团队提出了动态滑动融合，将相邻的深度观测值与拓扑结构的一致性融合起来。此外，为了生成精细和完整的三维表面，提出了具有细节保留功能的深度隐函数，不仅可以保留深度输入的几何细节，还可以生成更精细和一致的纹理重建结果。结果和实验表明，该方法在视角稀疏度、泛化能力、重建质量和运行时间效率方面均优于现有方法，首次实现了3个深度相机极欠定条件下完整实时的人体体积捕捉性能。

　　2021年10月，清华大学脑与认知科学研究院戴琼海院士团队在计算机视觉领域国际顶级会议ICCV发表了一篇题为“Event Stream Super-Resolution via Spatiotemporal Constraint Learning”的文章，提出了一种基于时空约束学习的事件流超分辨率方法，解决当前事件数据空间分辨率不足的问题，实现在保持高时间分辨率情况下的对于事件流数据的空间分辨率提升，从而助力视觉数据增强。

　　2021年6月15日，清华大学脑与认知科学研究院戴琼海院士团队在计算机视觉领域国际顶级会议CVPR发表了一篇题为“View-Guided Point Cloud Completion”的文章，针对2D图像及3D点云之间的模态鸿沟，提出了跨模态数据融合方法，实现了基于视图的点云补全及增强。

　　2D图像及3D点云之间的模态鸿沟是制约了多模态视觉数据融合表示的挑战性难题之一。图像及点云在视觉信息表示中各有优势及不足，如何高效的融合图像及点云数据是关注的重点。针对这一问题，我们设计了一种基于虚拟点云的桥梁ViPC，将2D图像和3D点云的模态鸿沟缩小为虚拟点云与真实点云之间的模态内领域差异。为实现点云-图像的跨模态融合，设计了模态转换模块，能够将输入的单张视图转化为具有完整结构的粗略点云。进一步设计了跨模态区域强化模块，融合图像、点云、投影等不同模态的数据信息，对已知点云与待强化点云进行不同程度的增强。我们制作了一个大规模残缺点云数据集ShapeNet-ViPC用于评测性能。实验表明，我们的方法相比于现有的点云补全方法，在定量指标（Chamfer Distance）上，显著降低误差42%，验证了该跨模态融合算法的有效性。

　　2021年10月，清华大学脑与认知科学研究院计算摄像课题组在计算机视觉顶级国际会议ICCV上发表题为“Universal and Flexible Optical Aberration Correction Using Deep-Prior Based Deconvolution”的论文，并被录取为口头报告文章（录用率5%），首次提出了能够快速适配任意光学镜头的镜头畸变消除方法，通过针对一般镜头的基本模型构建+针对具体镜头的快速适配的策略，有效地解决了光学畸变计算消除中不同镜头畸变差异大、高性能光学畸变消除模型训练时间长地问题，为低端镜头的高质量成像提供了快捷的解决方案，有望用于低载荷无人平台的态势感知。

　　高质量的镜头往往体积大、笨重、造价高昂，在低载荷低成本的平台上无法应用，极大限制了大规模无人集群的群体智能感知能力，是诸领域面临的难题，具有重要的研究价值。尽管随着以深层网络为代表的机器学习技术的发展，一些端到端的网络可以有效地消除光学畸变带来的图像质量退化，实现低端镜头的高质量成像。然而，光学畸变往往是全局不一致的，这使得我们需要构建大量的局部模型来应对退化模型的空间变化性，模型训练的成本骤增，无法满足实际应用的需求。为此，本论文提出从粗到精的模型训练策略，先构建普适所有镜头的基本模型训练，继而构建针对特定镜头的具体模型适配，这使得对于新镜头的模型学习成本从乘性变成了加性，而且能够保障最终的成像性能。该方法在大量的单片镜头、双片镜头上得到了验证，为轻量的高质量计算成像系统的开发奠定了基础。

　　2021年10月，清华大学脑与认知科学研究院丁贵广团队在计算机视觉领域国际顶级会议ICCV发表了一篇题为“ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting”的文章，提出了一种简单高效、性能优越的神经网络压缩（剪枝）方法，显著超越现有其他方法。

　　神经科学研究表明，动物脑中的记忆和遗忘是两个相对独立的过程，由不同的化学物质和机制控制。现有的模型剪枝方法往往通过在训练过程中加入特殊的正则项来实现剪枝，在这一过程中“记忆”（保持精度不降低）和“遗忘”（剪掉某些结构）是耦合的，因而效果不佳。本文提出在剪枝过程中解耦“记忆”和“遗忘”，额外构造特殊结构来承载剪枝造成的负面影响，取得了显著超过其他方法的压缩效果。在常用的标准ResNet-50模型上，这一方法可以在超过50%压缩率的前提下实现精度完全不降低。

　　2021年6月，清华大学脑与认知科学研究院丁贵广团队在计算机视觉领域国际顶级会议CVPR发表了一篇题为“RepVGG: Making VGG-Style ConvNets Great Again”的文章，提出了一种极简、高效、对定制人工智能芯片非常友好的卷积网络通用模型(RepVGG)。

　　现有实用卷积神经网络架构（如ResNet、RegNet）多为多分支架构，结构复杂，并行度低，速度慢，内存利用率低。虽然经典的单路架构（如VGG-16）具有结构简单、并行度高、速度快、内存利用率高的特点，但是性能（精度）显著低于多分支架构，所以不实用。本文提出一种推理时单路径的卷积神经网络（称为RepVGG）和一种“结构重参数化”方法。这一方法可以将训练时的多分支架构与推理时的单路架构解耦：训练时的模型有多条分支，但在训练完成后将其通过结构重参数化方法等价转换为单分支的推理时模型。这一方法使得单路架构卷积神经网络性能比多分支网络更好或相当，又同时具有推理时结构简单、并行度高、速度快、内存利用率高的特点。

　　对抗样本是在正常样本中引入噪声使模型预测错误的样本。这类样本会导致卷积神经网络误判。针对此问题，我们提出了基于数据通路的卷积神经网络鲁棒性可视分析方法，帮助分析对抗样本的预测过程，发现对抗样本预测错误的根本原因。其中的关键就是比较对抗样本与正常样本的数据通路。数据通路由在预测样本的过程中发挥重要作用的神经元及它们之间的连接关系组成。我们将提取数据通路的方法建模为子集选择问题，并通过构建和训练一个神经网络来求解。为了分析对抗样本与正常样本的数据通路分离和合并的原因，我们提出了多级别的数据通路可视化方法，包括网络级别数据流可视化、层级别特征图可视化和神经元级别学到的特征可视化。量化实验和案例分析验证了所提出方法的有效性。该方法为机器学习即服务提供了模型服务支撑技术，预计可应用于国土安全、无人系统、公共安全、边海防等领域。

　　清华大学脑与认知科学研究院戴琼海院士带领的团队成员，在显微成像领域取得了重大突破，研制出以RUSH实时超大尺度高分辨率显微镜为代表的多款各项指标世界领先的显微系统。团队承担了多个国家重大项目，研究成果获得包括国家技术发明一等奖在内的诸多奖项。浙江荷湖科技有限公司依托清华大学成像与智能技术实验室20余年的技术积淀，面向市场需求进行技术转化和产业应用落地，于2021年成功推出了两款先进显微成像系统：SLiM1000扫描光场显微镜和RUSH2实时超大尺度高分辨率显微镜。

　　SLiM1000 扫描光场显微镜，采用扫描光场原理，建立了数字自适应光学架构，将活体显微成像的时空分辨率提升了100倍，光毒性降低了1000倍，以6小时，100Hz，三维亚细胞分辨率创造了活体显微观测的世界纪录，填补了高端仪器在肿瘤和免疫反应中的空白。

　　RUSH2实时超大尺度高分辨率显微镜，是国际上视场最大的亚微米、视频级拍摄显微镜，全球首次实现活体全脑神经成像，图为小鼠全脑单细胞分辨率神经-血管耦合成像。

　　浙江荷湖科技有限公司充分发挥在类器官培养、先进成像、人工智能等方面的技术领先优势，搭建了生物计算平台，为生命科学、医疗健康、药物研发等行业的发展进行精准高效赋能。