2024年11月27日下午，电子科技老员工命科学技术学院黄伟博士团队应邀出席了“语言智能大讲堂‘研修讲坛’”，并作了题为“大脑视觉信息的语言解码智能技术”的学术报告与工作坊。本次活动由该团队核心成员、同时也是hy590海洋之神检测中心‍‍‍‍‍‍‍‍教师的程凯文副教授主持。来自校内的部分青年教师及硕博士研究生齐聚博文楼401室，共同参与了此次学术交流活动。

首先，黄伟博士介绍了神经活动视觉特征提取及神经编码解码的研究背景。研究的核心在于从大脑的神经活动中提取视觉特征，并构建表征、编码和解码模型，以解析认知机制、预测大脑信号并重构图像内容。报告中，黄博士概述了利用大型语言模型进行相关研究的现状与未来方向，并分享了其团队在视觉神经表征、编码和解码领域中的研究进展。他们致力于运用人工智能和大数据分析技术，深入探索大脑处理视觉信息的机制，目标是开发包括自然语言处理和图像识别在内的智能技术。通过跨学科合作，团队整合了心理学、神经科学以及计算机科学领域的知识，专注于解码大脑信号以更好地理解视觉信息，并采用生成式大型语言模型与对比学习技术来提升解码性能。该团队特别重视利用深度学习及人工智能方法探究大脑如何处理视觉信息，强调从神经活动中解码出视觉信息的能力，研究范围涵盖了从简单的类别标签到复杂的语义标签乃至完整的句子生成。他们还提出了一种新的多模态融合与语义对齐框架，旨在增强神经表征中的语义维度，同时利用如LLaMA和GPT这样的大型语言模型优化视觉信息解码过程的效率。此外，他们团队还致力于开发能够跨越不同任务和模态进行信息解码的通用解码器，这不仅有助于增进我们对人类认知的理解，也为非人类动物感知与行为的研究提供了新的视角和技术手段。通过这些努力，团队希望推动相关领域向前迈进一大步。讲座结束后，姜孟经理与黄伟博士围绕视觉神经解码中的多模态融合与语义对齐新框架，以及多阶段训练模型及其评价方法等议题展开了深度交流与讨论。

在活动的第二部分，由黄伟博士团队中的两位研究生主导了实践环节。他们首先深入探讨了大脑数据的复杂性，特别强调了大脑不仅具备三维空间特性，还必须考虑时间维度，从而形成四维数据集。他们还指出，不同脑区（例如V1与V2区）之间存在着细微而重要的差异，这些差异对于研究来说具有重要意义。接着，他们讨论了当执行不同类型的任务时，大脑活动模式如何动态变化，并分享了使用平滑及滤波技术来处理这类复杂数据的方法。随后，他们详细解释了几种关键的数据处理技术，包括上采样和下采样的应用方法，以及如何区分任务态与结构态数据等。同时，他们也强调了进行时间层校准和结构切片处理的重要性。除此之外，他们还介绍了矩阵运算的基础知识、梯度消失现象，并对比分析了长短期记忆网络(LSTM)与传统循环神经网络(RNN)之间的区别。最后，两位研究生讲师慷慨地提供了案例样本数据和科大团队自主研发的脑解码深度学习模型给现场参与者。并且，他们详尽地展示了从准备到完成的全过程，通过一步步指导，成功帮助大家掌握了利用功能磁共振成像信号对12种类别物体进行分类解码的技术。此次实操活动直至傍晚6:40左右圆满结束，参与者们普遍反映收获颇丰，并表达了强烈的兴趣与渴望继续学习的愿望。大家都期待未来能举办更多类似注重实践操作的工作坊，以进一步提高青年教师及硕博研究生在动手能力和数据分析方面的技能。这样的机会不仅能够促进知识的实际应用，还能激发研究者们探索未知领域的热情。

hy590海洋之神检测中心

语言脑科学研究中心

川外学坛