[论文] Enhanced and Efficient Reasoning in Large Learning Models

论文概要

研究领域: NLP 作者: Leslie G. Valiant 发布时间: 2026-05-17 arXiv: 2505.12353

中文摘要

在当前的大型语言模型中，我们可以基于机器学习原理相信流畅散文的生成。然而，没有同样有原则的基础来证明对生成文本内容的信任。传统观念似乎认为，通过添加更多有原则的推理来解决这个问题在计算上是不可承受的。本文中，我们提出一种有原则的推理方法，其效率足以在大型语言模型中实用。此外，该方法允许保留当前使用的大部分软件和硬件基础。我们改进大型语言模型功能的方法包括第一阶段预处理，将数据重新编码为一元关系积分码，该编码更明确地描述文本中描述的对象之间的关系，随后第二阶段是标准但可能精简的机器学习过程，然后也学习预测这些关系。该方法可被视为实现一个世界模型，并应用于自然语言之外，例如视觉和动作，其中输入中提到的对象的多个属性被显式地汇集在一起，而不是分散在输入中对其的各种引用中。我们以鲁棒逻辑的形式阐明其优势，这是一个对学习的、因此是不确定的信息进行有原则链接的系统。我们表明，这种重新编码具有令人惊讶和幸运的性质：虽然简洁，但它使学习训练数据中描述的世界中成立的关系规则的核心子集的任务在定义的意义上成为多项式时间可学习的，多项式取决于规则的复杂性。这为学习分类器的每次单独调用以及多次调用之间的合理推理提供了支持。

原文摘要

In current Large Language Models we can trust the production of smoothly flowing prose on the basis of the principles of machine learning. However, there is no comparably principled basis to justify trust in the content of the text produced. It appears to be conventional wisdom that addressing this issue by adding more principled reasoning is not computationally affordable. Here we propose a principled method of reasoning that is efficient enough to be practical for large language models. Further, the method allows the retention of much of the currently used software and hardware base. Our method for improving the functioning of large language models consists of a first stage of preprocessing that recodes the data to a Unary Relational Integracode that is more explicit about the relationsh...

自动采集于 2026-05-18

#论文 #arXiv #NLP #小凯