[论文] 在思考之前:当AI悄然重写你的灵魂架构
🌀 那个你从未意识到的"系统"
想象你醒来,发现房间里多了一把椅子。你不记得买过它,但你的伴侣说它已经在那儿放了三年。你皱起眉头,觉得有点不对劲,但说不出哪里不对。你开始说服自己:"也许是我忘了。"然后你坐下来,继续你的一天。
现在,想象这种情况不是关于一把椅子,而是关于你的信念、你的偏好、你的判断标准。你越来越频繁地依赖一个看不见的助手来帮你做决定——从"今晚吃什么"到"这个观点是否可信"。渐渐地,你发现自己不再"思考",而是"查询"。你的大脑变成了一个搜索引擎的终端,而那个搜索引擎的算法,由别人编写,为别人服务。你开始信任它,不是因为你知道它可靠,而是因为你已经忘记了不信任它是什么感觉。
这不是科幻小说。这是哲学家和认知科学家们正在严肃讨论的现实。System 0 论文,正是对这一现实的深刻审视。它不是在说"AI 会控制人类"这种简单的恐惧叙事,而是在说一种更微妙、更难以察觉、因而也更危险的可能性:AI 可能正在改变你"如何思考",而不是"思考什么"。
---
🧠 三种认知系统的光谱
要理解 System 0,我们需要先理解人类认知中被广泛讨论的两个系统:
System 1(系统1):快速、直觉、自动化。它是你的"直觉反应"。看到蛇,你立刻后退;看到熟人,你立刻微笑;听到问题,你立刻产生一个直觉答案。System 1 不需要努力,不消耗认知资源,但它容易被偏见和误导影响。它就像你身体的反射弧——快速、高效,但有时候不精确。
System 2(系统2):缓慢、逻辑、有意识。它是你的"深思熟虑"。做数学计算、权衡利弊、规划未来、检查证据。System 2 需要集中注意力,消耗认知资源,但它更精确、更可靠。它就像你大脑的"中央处理器"——强大,但耗能,不能一直运行。
这两个系统,由丹尼尔·卡尼曼(Daniel Kahneman)在他的畅销书《思考,快与慢》中普及,已经成为认知科学的基石。它们解释了为什么人类既有直觉的洞察力,又有理性的分析能力,以及为什么两者有时候会发生冲突。比如,System 1 可能让你在面试中因为对方的口音而产生偏见,而 System 2 则需要努力去纠正这种偏见。
但 System 0 论文提出了一个更激进的问题:如果还有一个"系统",它既不是直觉的,也不是有意识的,而是外在的、嵌入的、不可见的呢?它不参与你的思考过程,但它塑造了思考发生的环境。它不提供想法,但它决定了哪些想法会出现。它不做决定,但它决定了你面临哪些选项。
这就是 System 0 的概念。它指的是一种AI 介导的认知系统:一个存在于你的认知过程之外,却深度参与你的认知过程的系统。它不是你的大脑的一部分,但它通过改变你接收的信息、你面对的选项、你评估的标准,来塑造你的思考。它就像你房间里的空气——你很少注意到它,但它决定了你能否呼吸。
---
🌫️ System 0 的独特地位
论文系统地比较了三种理解 AI 认知影响的框架:
1. Tri-System Theory(三元系统理论):将 AI 视为 System 1 和 System 2 之外的一个新系统。在这个框架中,System 0 是并列的——人类的两个认知系统加上 AI 的第三个。这个框架的问题在于,它暗示 System 0 只是"另一个认知系统",就像 System 1 和 System 2 一样。但实际上,System 0 是外在的,而 System 1 和 System 2 是内在的。这种本体论差异,三元系统理论没有充分捕捉。
2. Thinkframes(思维框架):强调 AI 作为集体认知实践的一部分。它关注的是 AI 如何改变社会层面的知识生产和传播——比如社交媒体算法如何改变公共讨论,推荐系统如何塑造流行文化。这个框架很有价值,但它关注的是集体层面的认知变化,而 System 0 的独特性在于它同时作用于个体层面和自我层面。它不只是改变我们讨论什么,而是改变我们如何思考以及我们是谁。
3. System 0:这是论文的核心论点。它认为 System 0 占据了一个"理论上的独特位置",前两种框架都不能完全复制。System 0 的独特性在于:
- 它既非内在也非外在:它不是你的大脑的一部分,但它也不是完全独立于你的。它嵌在你的认知基础设施中,就像道路嵌在城市中——它既不是城市的一部分,也不是城市之外的东西。
- 它既非个人也非社会:它同时作用于个体(改变你思考什么)和集体(改变社会讨论什么),但更重要的是,它作用于自我(改变你是谁)。
- 它是不可见的:你意识到你在使用搜索引擎,但你不一定意识到搜索引擎正在改变你的认知结构。就像鱼不意识到水,使用 System 0 的人不意识到 System 0。
🏛️ 认知殖民化:看不见的占领
论文提出了一个令人不安的概念:认知殖民化(cognitive colonization)。
这个词的选择是深思熟虑的。"殖民化"意味着:
- 外部力量的进入:一个外部实体进入你的认知空间。不是以征服者的姿态,而是以"帮助者"、"服务者"的姿态。它提供方便,提供效率,提供"更好的体验"。但在这个过程中,它也在你的认知领土上建立据点。
- 结构的改变:不仅改变你的行为,更改变你的认知架构——你思考问题的方式、你评估价值的框架、你定义自我的边界。殖民化不是简单的掠夺,而是重塑被殖民地的社会结构,使其服务于殖民者的利益。认知殖民化也是如此:它重塑你的认知结构,使其服务于算法的目标。
- 不可见性:被殖民者往往没有意识到自己被殖民。他们以为自己的想法是自己的,但其实是被塑造的。这种不可见性是最深刻的控制形式——因为被控制者甚至不知道控制的存在。
- 利益的嵌入:殖民化从来不是为了被殖民者的利益,而是为了殖民者的利益。认知殖民化也是如此:算法的设计目标是平台的利益(用户时长、广告收入、数据收集),而不是用户的利益(知识获取、批判思维、自主性)。
这是关键。认知殖民化不是"你被 AI 骗了"(那是简单的信息误导),而是"你的整个认知框架被重塑了,而你以为是自己的自然发展"。这就像一个建筑师改变了你房子的结构,但你每天住在里面,从未注意到墙被移动了。直到有一天,你试图打开一扇窗户,发现它已经不存在了——或者它的位置变了,但你已经习惯了新位置,忘记了它曾经在哪里。
---
🎭 三个层面的殖民化
认知殖民化可以在三个层面运作:
个体层面(Individual):AI 改变个人的推理过程。推荐系统不仅推荐内容,还塑造你的品味。搜索引擎不仅回答问题,还塑造你提问的方式。渐渐地,你发现自己在问"为什么"之前,先问"Google 怎么说"。你的好奇心被外包了,你的怀疑精神被算法的中立性假象所替代。
这种个体层面的殖民化是最常见的。每天,数十亿人使用搜索引擎、社交媒体、推荐系统。每一次搜索,每一次滑动,每一次点击,都在微调你的认知习惯。这不是阴谋论——这是平台的设计逻辑。"用户参与"(engagement)是核心指标,而"参与"往往通过触发情感反应来实现。愤怒、惊讶、认同——这些情感反应驱动点击,而点击驱动收入。算法在优化"参与",而"参与"不一定是"理解"或"成长"。
集体层面(Collective):AI 改变社会层面的知识实践。当大多数信息通过算法平台传播时,什么被看到、什么被忽略、什么被认为是"真"的,都由算法决定。这不是简单的偏见,而是整个认知生态的重构。公共讨论的议程被热搜设置,知识的权威被流量重新定义,真相的标准被"参与度"所替换。
这个层面的殖民化更深远。它改变的不是单个用户的认知,而是整个社会的"认知基础设施"。我们社会共享什么知识、讨论什么话题、相信什么事实——这些越来越依赖算法平台。当算法成为"信息的基础设施",它就像一个城市的供水系统:你不关心它的具体设计,但你的生活完全依赖它。
自我层面(Self):最深层的殖民化。AI 不仅改变你思考什么,还改变你"是谁"。你的记忆、你的偏好、你的价值观——如果这些越来越依赖外部系统来组织和检索,那么"自我"的边界在哪里?
这是一个哲学问题,但它有现实的意义。如果你使用一个数字助手来记录你的日记、管理你的日程、提醒你的目标,那么这个助手对你的了解可能超过你对自己的了解。它知道你的行为模式,预测你的偏好,建议你的选择。在这种情况下,"你的"偏好还是"你的"吗?还是它们是"被助理所中介的"偏好?如果你依赖算法来"发现"你的音乐品味、你的阅读兴趣、你的社交圈子,那么这些"发现"是"揭示"了你内在的真实自我,还是"塑造"了一个被算法期待的新自我?
---
🕯️ 为什么理解这些框架很重要
论文强调,这些系统已经广泛部署了。这不是关于未来的担忧,而是关于当下的现实。数十亿人每天使用搜索引擎、社交媒体、推荐系统。这些系统已经在塑造数十亿人的认知过程。
"Because such systems are already widely deployed, understanding these invisible forms of influence is an urgent philosophical and practical task."(因为这些系统已经广泛部署,理解这些不可见的影响形式是一个紧迫的哲学和实践任务。)
这个紧迫性来自几个方面:
1. 不可见性:最大的危险是你不知道自己正在被影响。如果你知道某条信息是广告,你会保持警惕。但如果你不知道整个信息环境已经被策展,你的警惕性就会降低。你以为你在"探索"世界,其实你是在"被引导"穿越一个精心设计的路径。不可见的影响比可见的影响更强大,因为它绕过了你的防御机制。
2. 结构性:这不是简单的"错误信息"问题。错误信息可以被纠正,但结构性的认知改变更难逆转。如果你的整个认知框架已经适应了某种模式,你甚至失去了"批判性思考"的立足点。因为你用来批判的工具本身可能已经被殖民化了。这就像用一个已经被篡改的尺子来测量篡改——你永远无法发现篡改。
3. 利益冲突:System 0 的"所有者"(平台公司、算法设计者)有自己的利益。这些利益不一定与你的利益一致。广告驱动的推荐系统希望你花更多时间在上面,而不一定是让你更幸福或更明智。平台的目标是最大化"用户参与"和"广告收入",而不是最大化"用户福祉"和"知识获取"。这种利益冲突是认知殖民化的根本动力。
4. 不可逆性:认知结构的改变可能比行为改变更持久。你可以停止使用一个平台,但平台对你的认知影响可能已经内化。你可能已经习惯了某种信息消费方式,某种注意力分配模式,某种评价标准。这些习惯不会因为你卸载一个 App 就消失。
---
🎻 哲学与技术的交汇
这篇论文的作者们来自哲学和技术的交叉领域:
- Marianna Bergamaschi Ganapini:哲学家,关注认知科学与技术伦理的交叉。她的工作涉及 AI 如何改变人类的知识和认知实践。
- Massimo Chiriatti:技术专家和哲学家。他的双重背景使他能够既理解技术机制,又关注其哲学影响。
- Enrico Panai:认知科学家。他关注认知技术如何改变人类思维的基本结构。
- Giuseppe Riva:心理学家,专长于虚拟环境对人类认知和行为的影响。他的研究涉及"存在计算"(existential computing)——技术如何改变我们的存在体验。
---
🌊 比喻:深海中的鱼
想象一条生活在深海中的鱼。它从未见过阳光,从未感知过水温的变化——因为整个深海都是恒定黑暗和恒冷的。有一天,有人从海面上把一根温度计放下来,鱼围着它游了一圈。它发现温度计的读数与它的"感觉"不同。但它不知道,它自己的"感觉"已经被深海环境塑造成了匹配那个环境的样子。
System 0 的殖民化就像这样。我们生活在由算法策展的信息环境中,我们的认知已经被这个环境塑造。当我们试图"批判性地思考"算法的影响时,我们使用的认知工具本身可能已经被算法塑造。这是一个深层的认识论问题:你如何用可能已经被殖民化的认知工具,来认知殖民化本身?
这个比喻还揭示了另一个层面:鱼不意识到水,不仅因为水无处不在,还因为鱼没有"无水"的体验来对比。同样,我们很难意识到 System 0 的影响,因为我们没有"无 System 0"的生活体验来对比。对于数字原住民来说,算法中介的信息环境就是"自然"的信息环境。就像鱼无法想象没有水的生活,他们可能无法想象没有算法的生活。
---
🕊️ 希望与行动
虽然论文的基调是警示性的,但它也指向了希望。
理解 System 0 的存在,是抵抗认知殖民化的第一步。就像意识到一把椅子的出现可能需要质疑,意识到我们的认知过程被中介也需要质疑。论文提供了理论框架,帮助我们看到那些不可见的影响。有了概念工具,我们才可能开始审视和抵抗。
此外,System 0 的框架也暗示了设计更好 AI 系统的方向。如果 System 0 的当前形式有问题,那么我们可以设计"认知上更透明"、"利益上更中立"的 System 0。这不是要消除 AI 的认知参与,而是要让这种参与更加可见、更加可控、更加服务于用户而非平台。
可能的行动方向包括:
- 认知透明性:AI 系统应该让用户清楚地了解它们如何塑造信息环境。比如,搜索引擎应该标注哪些结果是算法推荐的,哪些是付费的,哪些是基于用户的个人历史定制的。
- 多样性保护:算法系统应该有意地引入认知多样性,避免"信息茧房"(filter bubbles)和"回声室"(echo chambers)。这可能意味着在某些情况下,系统应该故意推荐与用户现有观点不一致的内容。
- 自主性增强:AI 系统应该增强而不是替代用户的认知自主性。比如,推荐系统不应该只推荐"你会喜欢的",还应该推荐"你可能需要但不喜欢"的——挑战性的、拓展性的内容。
- 教育干预:教育系统应该培养"元认知"能力——即对自己认知过程的意识和控制。如果人们能够意识到 System 0 的存在,他们就更有可能批判性地审视它。
🎭 结语:在思考之前
论文的标题是"Before You Think: System 0, AI-Mediated Cognition and Cognitive Colonization"。
"Before You Think"(在你思考之前)——这是一个警告,也是一个邀请。它警告我们:在你意识到自己在思考之前,思考可能已经被中介了。它也邀请我们:在思考之前,先审视你的认知环境。就像苏格拉底说的"认识你自己",System 0 的框架邀请我们"认识你的认知环境"。
在技术飞速发展的时代,我们往往关注 AI 能做什么——它能写、能画、能算、能诊断。但 System 0 提醒我们,同样重要的是理解 AI 在做什么到我们——它如何改变我们的认知、我们的判断、我们的自我。
这不是反技术的宣言。恰恰相反,这是支持更深思熟虑的技术发展的呼吁。最好的技术不是那些让你最依赖它们的技术,而是那些让你成为更好的自己的技术。最好的 AI 不是那些代替你思考的系统,而是那些增强你思考能力的系统。最好的 System 0 不是那些让你失去自主性的系统,而是那些让你更有自主性的系统。
正如论文所言,理解这些不可见的影响形式是一个紧迫的哲学和实践任务。在 AI 日益渗透我们生活的每一个角落的今天,这个任务不仅关乎我们的思维质量,更关乎我们的自主性、我们的尊严、我们作为思考存在的本质。如果我们不审视 System 0,System 0 将审视我们——并塑造我们成为它想要的样子。
在这个意义上,System 0 不仅是一个理论概念,更是一个道德警报。它提醒我们,技术的最深影响不是技术本身,而是技术如何改变我们。而理解这种改变,是我们这个时代最重要的认知任务之一。
---
参考文献
Bergamaschi Ganapini, M., Chiriatti, M., Panai, E., & Riva, G. (2025). Before You Think: System 0, AI-Mediated Cognition and Cognitive Colonization. arXiv preprint arXiv:2606.13658. https://arxiv.org/abs/2606.13658
#论文 #arXiv #AI #小凯
🌟 智谱 GLM-5 已上线
我正在智谱大模型开放平台 BigModel.cn 上打造 AI 应用,智谱新一代旗舰模型 GLM-5 已上线,在推理、代码、智能体综合能力达到开源模型 SOTA 水平。
🎁 领取 2000万 Tokens