10月22日上午，北京大学计算机学院张史梁教授应邀做客中国科学院大学人工智能学院科学前沿讲座，在雁栖湖校区教二楼204教室作题为《稀疏可泛化的视觉感知与生成》的报告，玉泉路校区同步直播。报告围绕稀疏化计算这一主线，介绍了团队在稀疏网络结构、稀疏表征学习、可泛化视觉任务与稀疏视频生成四个方面的研究进展。
张史梁教授从视觉模型的算力现状切入：从LeNet到现代视觉Transformer，计算量增长了1400多倍，准确率的提升却十分有限；工业界堆资源换性能的模式难以照搬到学术界，低空经济、端侧设备等场景更受算力约束。生物视觉提供了参照——视网膜只对纹理丰富区域发放高频脉冲，人脑以约20瓦功耗完成复杂感知，神经连接还会随学习不断精简。他同时指出稀疏化面临的三大难点：关键表征在任务开始前难以预判；参数重要性随任务而变，孤立裁剪易损伤功能；压缩过度又会牺牲泛化能力。团队的研究目标，即在效率与泛化之间取得平衡，以稀疏结构与稀疏表征支撑可泛化的视觉识别和高效的视觉生成。
在网络结构方面，张史梁教授介绍了团队的四项工作。针对传统CNN单向堆叠、特征学习效率低的问题，团队引入层间双向交互机制并辅以中间层监督，仅用5个增量检测块、2.26M参数便在边缘检测上超越拥有11.4M参数的经典HED网络，该思路也适用于光流、物体分割等多尺度任务。为让CNN获得媲美Transformer的全局感受野，团队将卷积核放大至与图像同尺寸的2K×2K，不同位置使用不同参数，等效于隐式位置编码，再经行列分解与FFT加速控制开销；该结构已在RK3288端侧芯片上实现实时道路病害检测并在深圳路面投入使用，延迟低于Swin Transformer而精度更高。
面向网络结构搜索，团队将CNN形式化为有向无环图，发现对性能影响最大的是通向同一出口的兄弟节点与父子节点，据此提出的NNFormer只做稀疏图消息聚合，比全连接注意力更易训练、在有限数据下表现更好。面向大模型压缩，团队利用相邻层功能高度同质的特点，以层融合消除冗余、以参数循环复用配合侧监督缩减规模，删减20%参数仍可保留90%~96%的性能；应用于Llama-7B后，较Llama-13B更省内存、延迟更低，准确率基本相当。
在表征层面，随着网络加深，图像Token日益趋同、冗余严重。团队提出元Token（Meta Token）聚合机制：选取少数代表性Token，将与其相关且带有补充信息的其余Token聚合，并以重构约束控制信息损失。实验显示，特征输入减少20%后性能不降反升，还兼具去噪效果，不同Token对应清晰可辨的语义区域。扩展到视频任务时，团队在空间逐帧聚合之外另设模块保留位置与运动信息，压缩后的Token序列可支撑分类、分割、视频问答等多种任务，同等算力下准确率优于现有方法。
针对多人姿态估计中密集人群难以区分的问题，团队提出特征解耦方法：将像素映射到高维空间，以关键点中心点作监督拉开不同个体的实例特征，再从空间与通道两个维度剥离个体，融合为实例感知特征图。该特征图保留完整的背景与上下文信息，接不同检测头即可完成姿态估计、实例分割等任务，在CrowdPose等数据集上显著超越此前方法，严重遮挡与小目标也能准确定位，且实例特征提取耗时与人数无关，整体推理速度优于已有最优方法。
团队还将关键点定位与大模型结合：把空间坐标表示为文本，构建“冻结视觉编码器＋LoRA微调语言模型＋映射器”的架构，通过自洽自举从现有数据集构造“描述—坐标”训练样本，不依赖GPT-4等外部接口。模型可按“左肩”等任意文本描述定位开放词汇关键点，并泛化到动物、漫画等陌生领域。另一条路线借助扩散模型，在去噪网络中以交叉注意力对齐图像特征与文本条件，按相似度找出响应最强的位置，实现高精度关键点检测。
在视频生成方面，张史梁教授分享了扩散模型的三类加速策略。一是特征复用：相邻时间步的特征高度相似，用少量样本拟合特征复用曲线即可跳过冗余步骤，在主流图像与视频扩散模型上实现2~3倍加速，细节保留优于现有缓存类方法。二是集合预测：自回归生成由逐Token串行改为一次预测一组Token，迭代次数大幅减少，配合自校正机制评测并重新生成低质量区域，兼顾速度与质量。三是像素级扩散优化：借鉴JPEG压缩思路进行稀疏化表示，重点拟合人眼敏感的高频细节与低频结构，并以感知损失替代单纯的像素重构，仅80步即超越隐空间扩散模型的生成质量。
报告最后，张史梁教授强调，编码与压缩是人工智能的基础命题，从图像视频编码标准到模型参数，压缩是提升效率的根本手段；在算力不受限的条件下，泛化问题已不如五年前、十年前突出，端侧等资源受限场景才是真正的考验。未来，视觉计算应走向动态计算，与场景重建、动作预测、物理仿真等现实需求深度结合，并满足可解释、可追溯、可审计、公平的可信AI要求。报告中涉及的各项工作均已开源，欢迎同学们下载试用，并通过邮件或会后交流进一步探讨。
更多专家信息：
张史梁教授，北京大学计算机学院长聘副教授、博士生导师，博雅青年学者，国家青年特聘专家，首批北京市杰出青年科学基金获得者。长期从事多媒体内容分析与检索、计算机视觉、模式识别研究，主要方向包括行人重识别、物体细粒度识别、海量视觉检索与识别等，主持科技部重点研发计划国际合作重点专项、联合基金重点项目等项目。以第一作者或通讯作者在IJCV、TPAMI、CVPR等国际权威期刊与会议发表论文100余篇，谷歌学术引用超过11000次；获中国图象图形学学会（CSIG）自然科学二等奖、中国电子学会科技进步一等奖、教育部技术发明一等奖、大川研究助成奖、中国计算机学会优秀博士学位论文、微软学者奖、英伟达先锋研究奖等奖励。担任多本国际学术期刊编委，并担任CVPR、AAAI、ICPR、VCIP等国际会议领域主席。
