视网膜脱落

注册

 

发新话题 回复该主题

大模型真正学会112谷歌教会模型自 [复制链接]

1#
我国知名白癜风专家 http://m.39.net/pf/a_4325801.html

作者

谢年年

在初学算术加法或乘法时,我们通过数小棍的方式逐步从1+1=2,1+2=3等例子中得出1+3=4,这是一种依赖记忆中的数学表格进行演绎推理的过程。

后来老师告诉我们前辈们总结了一套完备的求和或乘法表,只要背住,做简单算术题根本不成问题,也不需要数小棍啦!这样一套完备的求和或乘法表可以看做是一套规则库,从大量的演绎推理中总结出来的。

如果大模型也掌握了这样一套规则库,那么即使当任务偏离常规知识,大模型也能hold住,大大减少“幻觉”的问题,即减少生成看似合理,但与现实世界知识相矛盾的输出。

受此启发,谷歌团队提出了一种"Hypotheses-to-Theories"(HtT)框架,它能让LLMs在推理任务中自动形成规则库,来减少语言模型中的"幻觉"现象。

HtT方法包括归纳阶段和演绎阶段,两者都通过少样本提few-shotprompt来实现。在归纳阶段,让LLMs为训练集中的问题-答案对生成规则并进行验证,然后根据它们的出现次数和与正确答案的关联频率进行筛选,形成演绎阶段的规则库,即HtT中的Hypotheses(假说)。在演绎阶段,让LLM从规则库中检索适合的规则(Theories理论)来解决推理问题,以减少LLM生成幻觉的可能性。

论文链接:

分享 转发
TOP
发新话题 回复该主题