Research
欠采样 CT 影像重建
Undersampling CT Reconstruction
稀疏视图计算机断层扫描 (Sparse-view CT, SVCT) 在减少扫描过程中患者辐射暴露剂量方面具有巨大潜力。CT稀疏视角采样通过减少采样视角数，能够有效地降低X射线束带来的电离辐射。然而，不满足 Nyquist-Shannon 采样定理的稀疏视角欠采样操作会导致从原始投影数据到 CT 图像的重建逆问题高度欠定。为此，我们基于隐式神经表达（Implicit Neural Representation, INR）提出了一系列无监督算法，采用神经辐射场（Neural Radiance Fields, NeRF）隐式地表达目标 CT 图像的空间连续函数，结合可微分的线性 CT 物理采集前向模型，通过利用神经辐射场提供的连续表示，使得高度欠定的稀疏视角 CT 逆问题重建的解空间可以被有效地约束。
Related Work
- [SVCT] Wu, Qing, et al. “Self-supervised coordinate projection network for sparse-view computed tomography.” IEEE Transactions on Computational Imaging (2023).
- [CT自校准] Wu, Qing, et al. “Joint rigid motion correction and sparse-view ct via self-calibrating neural field.” IEEE ISBI (2023).
- [MRI加速] Feng, Ruimin, et al. “IMJENSE: scan-specific implicit representation for joint coil sensitivity and image estimation in parallel MRI.” IEEE Transactions on Medical Imaging (2023).
CT 影像金属伪影去除
CT Metal Artifact Reduction
医学场景中，受试者体内常常包含各类金属植入物（如不锈钢牙套、镍钛合金心脏支架）。这些金属植入物会导致重建的 CT 图像可能会出现严重的放射状伪影。这些伪影是由金属对 X 射线束的吸收率在不同能量下的剧烈变化引起的，从而在 CT 原始采集数据中产生了明显的非线性射束硬化效应。大多数现有的金属伪影去除技术假设吸收率与能量无关，并生成虚拟单色阶的 CT 图像。然而，这忽略了能量相关的射束硬化效应，因此重建质量有限。我们提出了 Polyner 等一系列基于 NeRF 的无监督多色阶 CT 图像重建算法，用于从原始被金属污染的采集数据中生成高质量 CT 图像。
Related Work
- [金属伪影去除] Wu, Qing, et al. “Unsupervised polychromatic neural representation for ct metal artifact reduction.” NeurIPS (2024).
- [金属伪影去除] Wu, Qing, et al. “Unsupervised Density Neural Representation for CT Metal Artifact Reduction.” arXiv preprint arXiv:2405.07047 (2024).
自监督三维各向同性胎儿脑部 MRI 重建
Robust self-supervised 3D isotropic fetal brain MRI reconstruction
在磁共振成像采集过程中，胎儿不可避免的运动会导致结构连续性的丧失和容积信息的破坏，因此从多个二维切片重建高质量的胎儿大脑三维容积具有挑战性。从多个运动破坏的二维切片重建高质量的胎儿大脑三维容积，可以准确诊断和全面评估胎儿大脑发育情况，并有可能指导干预措施，优化神经发育结果。我们基于 INR 提出了一系列自监督胎儿脑部 MRI 重建算法，通过在网络优化过程中结合物理模型，实现了高质量的脑部 MRI 重建。
Related Work
- [脑三维重建] Wu, Jiangjie, et al. “ASSURED: A Self-supervised Deep Decoder Network for Fetus Brain MRI Reconstruction.” IEEE ISBI (2023).
- [脑三维重建] Wu, Jiangjie, et al. “SUFFICIENT: A scan-specific unsupervised deep learning framework for high-resolution 3D isotropic fetal brain MRI reconstruction.” under review (2023).
零样本学习图像去噪
Zero-shot Learning for Image Denoising
在生物医学图像采集过程中，成像系统很容易受到噪声的影响，使得采集高 SNR 图像变得不切实际。将监督去噪方法应用于生物医学图像去噪具有挑战性。我们尝试开发一种自监督图像去噪框架，用于没有干净图像或多个噪声观测值的生物医学图像，其性能优于最先进的基于盲点网络的自监督去噪方法。
Related Work
- [荧光成像去噪] Tian, Xuanyu, et al. “Noise2SR: learning to denoise from super-resolved single noisy fluorescence image.” MICCAI (2022).
- [多维MRI去噪] Jiang, Changhao, et al. “Self-Supervised High-Dimentional Magnetic Resonance Image Denoising Using Super-Resolved Single Noisy Image.” IEEE ISBI (2022).
- [电镜图像去噪] Tian, Xuanyu, et al. “Zero-Shot Image Denoising for High-Resolution Electron Microscopy.” arXiv preprint arXiv:2406.14264 (2024).
有限角度和极稀疏视角条件下的 CT 影像重建
Ultra Sparse view & Limited angle CT reconstruction
双平面成像、C 型臂 X 光机手术辅助成像等广泛的 X 光成像临床应用为术中快速扫描定位等场景提供了可能，但碍于设备硬件的限制，往往只能获得有限扫描范围的 CT 投影数据。有限角度（limited-angle, LA）和极稀疏视图（ultra spare-view, uSV）计算机断层扫描对于扩大 X 射线 CT 应用范围至关重要。 然而，由于数据采集严重缺失，这些场景中的 CT 重建面临着多种伪影的挑战。我们尝试使用隐式神经表达技术解决这一高度欠定的成像逆问题。
Related Work
- [有限角度CT] Du, Chenhe, et al. “DPER: Diffusion Prior Driven Neural Representation for Limited Angle and Sparse View CT Reconstruction.” arXiv preprint arXiv:2404.17890 (2024).
- [双平面CT] Lai, Shuyang, et al. “Reconstructing Knee CT volumes from Biplanar X-rays via Self-supervised Neural Field” IEEE ISBI (2024).
医学图像引导的人体参数模型构建
Medical image guided human body parametric model construction
近年来，由于三维人脸建模在数字人类、角色生成和动画中的广泛应用，人们对它的兴趣与日俱增。现有的方法绝大多数都强调对人脸的外部形状、纹理和皮肤属性进行建模，而忽略了内部骨骼结构与外观之间的内在联系。CT 和 MRI 等医学影像可以提供解剖信息，从而将解剖先验信息和生物力学信息整合到参数模型中。这些模型可广泛应用于个性化医疗、骨骼感知特征融合、具有脂肪水平变化和面部动画的面部生成、手术模拟、基于虚拟现实的培训和治疗规划，最终改善患者的治疗效果，促进医疗保健的发展。
Related Work
- [头部参数化模型] Qiu, Zesong, et al. “SCULPTOR: Skeleton-consistent face creation using a learned parametric generator.” SIGGRAPH Asia (2022).
- [手部参数化模型] Li, Yuwei, et al. “NIMBLE: A Non-rigid Hand Model with Bones and Muscles.” SIGGRAPH (2022).
高分辨率多时间点定向成像脑图谱构建
Longitudinal brain atlas construction
纵向脑图谱是研究大脑发育的重要工具。然而，由于典型的图谱构建方法是对离散时间点的大脑图像进行独立平均，因此现有图谱往往存在时间不一致的问题。此外，不同时间点的样本在遗传趋势上的差异也进一步加剧了这一问题。这些不一致性可能会严重影响大脑发育特征分析的准确性。我们提出了一种多阶段深度学习框架来解决这一问题，将其视为一项四维图像去噪任务，其中四维数据包括三维脑容量和一维年龄。我们的框架采用隐式神经表征来构建连续、无噪声的纵向脑图谱，作为 4D 时空坐标的函数，可用于生成空间和时间分辨率更高的 4D 图谱集。
Related Work
- Wu, Jiangjie, et al. “Age-specific structural fetal brain atlases construction and cortical development quantification for chinese population.” NeuroImage (2021).
- Chen, Lixuan, et al. “Continuous longitudinal fetus brain atlas construction via implicit neural representation.” MICCAI workshop PIPPI (2022).
- Chen, Lixuan, et al. “COLLATOR: Consistent Spatial-Temporal Longitudinal Atlas Construction via Implicit Neural Representation.” under review (2022).
用于磁共振图像的任意比例超分辨率算法
An Arbitrary Scale Super-Resolution Approach for 3D MR Images
磁共振成像（MRI）是一项重要的医学成像技术。然而，由于图像分辨率、信噪比（SNR）和扫描时间之间的权衡问题，很难获取各向同性三维高分辨率（HR）磁共振图像。常见的折衷方法是扫描各向异性磁共振图像，以提高信噪比并缩短扫描时间。遗憾的是，测量到的各向异性磁共振容积具有较高的面内分辨率，但通面分辨率较低，这就导致通面视图中高频图像细节的丢失，并可能妨碍扫描时间。因此，提高各向同性磁共振图像的通面分辨率以重建图像，是临床医学诊断和研究的迫切需要。为此，我们基于隐式神经表达提出了一系列方法，用于实现高质量的任意分辨率的MRI超分。
Related Work
- Wu, Qing, et al. “IREM: high-resolution magnetic resonance image reconstruction via implicit neural representation.” MICCAI (2021).
- Wu, Qing, et al. “An arbitrary scale super-resolution approach for 3d mr images via implicit neural representation.” IEEE Journal of Biomedical and Health Informatics (2022).
- [硬件加速重建] Rao, Chaolin, et al. “An energy-efficient accelerator for medical image reconstruction from implicit neural representation.” IEEE Transactions on Circuits and Systems I: Regular Papers (2022).
- Zhang, Haonan, et al. “Self-supervised arbitrary scale super-resolution framework for anisotropic MRI.” IEEE ISBI (2023).
- Li, Jun, et al. “Direct localization and delineation of human pedunculopontine nucleus based on a self‐supervised magnetic resonance image super‐resolution method.” Human brain mapping (2023).
