AI前沿：从注意力革命到数学证明

本期《TAI快报》深入探讨了五篇AI领域的前沿论文，揭示了从注意力机制优化到数学推理的最新突破：
1. Softpick: No Attention Sink, No Massive Activations with Rectified Softmax 提出Softpick函数，打破Softmax的和为一约束，消除注意力沉没和巨量激活，提升模型量化性能，但在长上下文任务中存在分数压缩问题。
2. WebThinker: Empowering Large Reasoning Models with Deep Research Capability 通过深度网络探索器和自主思考-搜索-起草策略，赋予AI自主研究能力，生成更全面的报告，但系统复杂且需应对网络信息质量问题。
3. Equivariant non-linear maps for neural networks on homogene...去小宇宙查看完整单集简介
在小宇宙查看该单集文稿