会议简介：AAAI Conference on Artificial Intelligence（AAAI）由美国人工智能促进会（Association for the Advancement of Artificial Intelligence, AAAI）主办，是人工智能领域最具影响力和历史最悠久的顶级国际学术会议之一，同时也是CCF推荐A类会议。

（1）我院2022级博士研究生周颖聪同学的论文 “Beyond Sharpness: The Role of Nonuniformity in Generalization” 被国际会议AAAI 26接收。周颖聪同学2022年进入AI4Science研究团队，指导老师是付治国教授。

作者顺序：周颖聪，吴平凡，王莉，付治国，杨凤芹

通讯作者：杨凤芹

论文概述：Sharpness-aware minimization（SAM）以显著提升深度神经网络的泛化性能而广受关注。然而，近期研究对 “平坦性意味着泛化” 这一观点提出了质疑，指出平坦性并不足以作为泛化能力的充分指标。本文揭示了一个新的重要现象：在具有相似平坦度的极小值之间，随机优化算法更倾向于选择 “非均匀性” 较低的解。我们从梯度噪声的大小与结构两个方面定义非均匀性，并指出其与平坦性本质不同，对模型的泛化性能起着关键作用。具体而言，我们首先在理论上证明：通过随机优化算法训练的模型，其期望泛化gap与非均匀性（即梯度噪声的大小）呈正相关关系。随后，通过实证分析，我们发现非均匀性与泛化性能之间的相关性显著强于平坦性，尤其是在Transformer模型中。进一步地，我们展示了梯度噪声结构层面的非均匀性比平坦性指标更能有效地引导算法获得稀疏解，并在高维稀疏回归任务中表现出更优的泛化能力。最后，在大量不同数据集与模型上的实验结果表明：(1) 以非均匀性为导向的优化方法在泛化方面优于以平坦性为导向的方法（涵盖标准训练、迁移学习、超参数敏感性以及标签噪声鲁棒性等）；(2) 模型结构（如深度与宽度）与非均匀性密切相关。

（2）我院2024级硕士研究生李然、曾令树同学的论文 “Transformers in Pseudo-Random Number Generation: A Dual Perspective on Theory and Practice” 被国际会议AAAI 26接收。李然、曾令树同学2024年进入AI4Science研究团队，指导老师是付治国教授。

作者顺序：李然，曾令树（字母顺序排名）

论文概述：伪随机数生成器 (PRNG) 是高度非线性过程，是大型语言模型优化中的关键模块。Transformer 擅长处理复杂的非线性关系。因此，探索伪随机数与 Transformer 之间的关系是合理的。本文从理论和实践两个角度探讨了这个问题，重点阐述了 Transformer 在 PRNG 中的潜在优势和应用。我们从理论上证明，仅解码器的 Transformer 模型（采用 Chain-of-Thought 算法）可以模拟线性同余生成器 (LCG) 和梅森旋转 (MT) PRNG。基于此，我们得出结论：对数精度的仅解码器 Transformer 模型可以表示非均匀 AC0。我们的理论模拟结果通过实验验证。基于Transformer的PRNG 生成的随机数成功通过了大多数 NIST 测试，其热图显示出明显的统计随机性。最后，我们评估了它们在预测攻击方面的能力。

初审：武珊

复审：魏来

终审：郑燕林