岗位职责
医学影像(如CT、MRI、超声等)AI识别技术在疾病筛查、诊断和治疗过程中发挥着重要作用。达摩院医疗实验室癌症早筛、医学图像合成技术(AICG)、医疗多模态大模型、医学影像感知基础模型、影像报告生成、等领域已有多年积累,相关创新成果发表于Nature Medicine/TPAMI/IJCV/CVPR/ICCV/NeurIPS/ICLR/ICML等领域顶会顶刊。传统医学影像AI模型大多是在专门构建的小数据上训练专有小模型,受限于训练数据量和模型尺寸,此类模型通常泛化性较差无法满足真实世界的多中心需求。近几年大模型的兴起,特别是医疗垂域大模型的出现,为医学影像分析带来了新的机遇。我们期望通过研究医疗影像AI相关的基础模型技术(包括但不限于医疗影像生成大模型、感知基础模型、多模态大模型、大模型优化、Agent智能体等),解决有应用价值的临床问题。 我们期望你在实习工作中,解决如下算法问题,发表高质量的AI顶会或者临床期刊: (1)医学影像生成大模型:探索医疗影像生成基础大模型(医疗领域的SORA),探索医疗影像感知生成一体框架,探索医疗编辑统一模型,探索如何合成高质量医学影像数据等。 (2)医学影像感知基础模型:探索自监督和VLP等范式的大规模预训练方法(例如DinoV2/CLIP/MAE)及其临床应用,探索对多器官、多病种的感知和理解统一模型(例如Vista3d、MedSAM2、MedClip)等。 (3)医疗多模态大模型(MLLM):探索如何融合不同医疗模态的影像和文本数据,探索医疗多模态大模型的临床应用,探索医疗影像报告生成、探索基于文本引导的grounding任务等。 (4)大模型训练推理加速技术:探索在保证模型性能的前提下提升生成模型的训练和推理效率,包括但不限于扩散模型、LLM、多模态大模型、Transformer和CNN网络架构的训练推理加速。 (5)医疗Agent智能体:探索医疗Agent系统的设计或者临床任务的应用,能够根据实际的诊断流程设计合理的Agent智能体。 (6)其他有价值的临床医学课题:基于高质量临床医学数据,分析其中临床问题针对性设计合适的AI算法,完成临床实验验证。
职位要求
- 国内外知名高校在读硕士或者博士研究生,AI或者医学相关研究方向。精通深度学习、机器学习、计算机视觉、自然语言处理及医学影像处理,熟悉熟悉医疗影像AI模型、大模型预训练、多模态大模型、图像生成、医疗影像AI、训练推理优化等相关课题原理及其应用,能够根据具体问题选择并设计合适的模型和技术方案。
- 发表过CV&AI顶会顶刊或者医疗领域顶会顶刊论文优先,ACM编程竞赛、人工智能竞赛、计算机视觉竞赛等竞赛获奖优先。
- 熟悉临床论文临床实验设计,有实际回顾性或者前瞻性实验设计经历优先,有实际医院合作项目经历的有限。
- 动手实现能力强,代码基本功扎实,精通基于C++或者Python的算法开发;熟练掌握pytorch/tensorflow/mxnet等至少一项深度学习框架。
- 责任心强、敢于承担、有激情、团队合作、沟通能力佳。