新闻首页 / “2023年11月03日”的新闻
0
0
上下文学习=对比学习?人大揭示ICL推理背后的隐式更新机理:梯度更新了吗?「如更」
新智元报道 编辑:LRS 人民大学最新研究,首次从「对比学习」的角度来理解上下文学习,或可提供自注意力机制的改进思路。 近些年来,基于 Transformer 的大语言模型表现出了惊人的 In-context Learning (ICL)能力,我们只需要在查询问题前以 {问题,标签} 的形式增加少数