搜索优化与个性化检索
Where Queries Become Conversations, and Relevance Grows Like Moss on Stone
想象在YaCy中输入 neural architecture search python ——不是作为命令，而是作为向森林服务器的耳语。在几毫秒内，结果出现：一些来自你自己的硬盘，新鲜索引；其他来自三个跳跃外的对等方，它们的分数微妙减弱——不是由距离，而是由语义保真度。这不是检索。这是共振调谐。在YaCy中，每个旋钮——从 title:BERT 中的冒号到 stopword 后的沉默——不是单独为速度校准，而是为了有意义的相遇。
🔍 查询语法：当人类语言遇见机器语法
YaCy的查询语言不是一个刚性协议，更像是意图和索引之间的双语条约。其核心是Lucene的表现力DSL——但YaCy用上下文感知扩展了它。一个裸的 q=climate 返回匹配，是的——但 q=title:climate AND host:gov.uk 将搜索转变为外交传唤：只显示那些标题声明气候——并且其主权域是英国——的文档。冒号不是标点符号；它是管辖边界。甚至通配符也带有细微差别：q=envir* 捕获 environment、environmental 和 environs，但从不 environ ——因为YaCy的默认分析器在通配符扩展之前应用词干化，确保形态完整性。当你用接近度包装短语——q="deep learning"~3 ——你不是仅仅要求邻接；你在指示引擎测量语义轨道：这些词围绕彼此的紧密程度如何？ 这个语法不解析字符串——它在词汇、句法和拓扑维度上协商意义。
phrase proximity (~N) 不是栅栏，而是引力场：它对文档中术语落在彼此N个位置内的文档分配更高的相关性——不是字符，不是字节，而是分词单元——使其对句子结构敏感，而不仅仅是字符串布局。
⚖️ 权重调优：术语证词的法庭
YaCy中的每次搜索都像法庭剧一样展开，术语站在证人席上。quantum 可能在物理论文中证明具有高术语频率，但其可信度被逆文档频率交叉审讯：如果 quantum 出现在你索引的90%中，它的证词被驳回为普通八卦。然后是协调因子：如果 quantum 和 error 都出现在同一文档中，它们的组合权重相乘——不是加法，而是乘法——因为共现意味着深思熟虑的耦合。最后，YaCy注入节点级提升：来自你自己节点的结果携带固有权威（boost=1.0），而来自两个跳跃外的对等方的结果接收 boost=0.7，反映跨P2P网格的信任衰减。这不是任意缩放——这是编码在数学中的认识论谦逊：
$$ \text{final\_score} = \text{tf-idf}(t,d) \times \text{coord}(q,d) \times \text{queryNorm}(q) \times \text{node\_boost}(n) $$
其中 queryNorm 确保不同长度查询之间的公平比较——因此10个词的查询不会固有地淹没一个清晰的2词查询。
🧩 同义词与停用词配置：词汇保镖和翻译员
在一个词进入YaCy索引之前，它穿过一个由两个不同功能人员把守的城门：停用词保镖和同义词翻译员。保镖——配置在 DATA/STOPWORDS/stopwords_en.txt 中——不判断意义；它执行效率。像 the、and、of 这样的词在词干化或索引之前被弹出，不是因为它们不重要，而是因为它们是会稀释统计重要性的普遍噪声。它们的移除是精确的第一步。同时，同义词翻译员——从 DATA/SYNONYMS/synonyms_en.txt 加载——在词元化之后但词干化之前操作，将 car 扩展为 automobile, vehicle, auto，确保提到"自动驾驶汽车"的文档仍然为 q=car safety 浮出水面。关键是，这种扩展是每分析器，意味着同义词在 StandardAnalyzer（分裂缩写词）下表现不同，与 KeywordAnalyzer（将 "don't" 视为原子）相比——一个提醒，语言处理从不中立，只是上下文承诺。
stopword 不是删除——它是预防性抽象：移除脚手架，使意义的架构变得可见。
🌐 语言分析器定制：意义在找到形式之前如何破裂
YaCy中的分析器不是一个工具。它是语言哲学，实现为管道：词元器 → 过滤器 → 词干器 → 同义词/停用词注入器。选择 StandardAnalyzer，YaCy将 user-friendly 分裂为 user、friendly，然后将 friendly 词干化 → friend；选择 WhitespaceAnalyzer，user-friendly 保持完整——一个单一的词元，以牺牲词法灵活性为代价保留复合完整性。在 DATA/ANALYZERS/ 中定义的自定义分析器让你插入特定领域的过滤器：一个将 H₂O 与周围文本隔离的 ChemicalFormulaFilter，或者一个提取 @smith2023 作为可搜索实体的 CiteKeyFilter。这不是配置——它是语言学制图学：决定意义在哪里以及如何破裂，以便你有目的地重建它。当你索引中途切换分析器时，YaCy不仅重新处理文本；它重新解释本体。
📊 结果排序逻辑：跨越分布式星座融合真理
在YaCy中排序结果根本上是联邦的。本地，Solr使用BM25——一个平衡术语频率与文档长度的概率模型——对文档排名：
$$ \text{BM25}(q,d) = \sum_{t \in q} \text{idf}(t) \cdot \frac{tf(t,d) \cdot (k_1 + 1)}{tf(t,d) + k_1 \cdot (1 - b + b \cdot \frac{|d|}{\text{avgdl}})} $$
但在全球范围内——跨对等方——挑战是异质真理。在对等方A上得分 8.2 的文档可能在对等方B上是 7.9，由于不同的分析器配置或索引新鲜度。YaCy不是通过平均解决这个，而是通过相关性加权合并：每个对等方的前K个结果被摄取，然后使用跳跃距离作为衰减因子重新评分：
$$ \text{global\_score}_i = \frac{s_i}{1 + h_i} $$
其中 $h_i$ 是从你的节点到源对等方的网络跳跃计数。本地结果（$h=0$）保留全权重；来自三个跳跃外的对等方的结果（$h=3$）被缩放到其原始分数的25%——不是惩罚，而是认识论折扣。这确保新鲜度、本地性和信任在最终排名中收敛——就像光通过分层玻璃折射，每个接口将相关性向连贯性弯曲。
🧠 用户偏好建模：从未写下你姓名的图书管理员
YaCy在没有配置文件、cookie或持久标识符的情况下建模用户偏好。相反，它观察行为微观节奏：对结果#3与#7的停留时间；q=ai ethics 是否后跟 q=algorithmic bias（暗示概念分支）或 q=ai ethics pdf（指示格式意图）；甚至鼠标加速模式，当你滚动低分项目时。这些信号馈送实时熵模型——测量跨连续查询的不确定性减少——因此当你输入 transformer 时，YaCy不仅提升 attention、BERT、LLM；它提升最小化意外的术语，给定你最近的交互历史。没有"你"的数据库。只有一个动态的、无状态的相关性场，每次会话重新计算，当你关闭标签页时坍缩。这不是作为缺席的隐私——而是作为暂时存在——就像一个图书管理员记得你在翻页之前如何暂停，但在你走出门的瞬间忘记你的姓名。
本章不以优化结束。它以邀请结束：不仅是调整参数，更是调整视角——将每个查询视为谈判，每个结果视为合作，每个YaCy节点不视为服务器，而是关于什么重要的话语中有思想的参与者。