🏗️ 架构概述
基于我对代码的深入分析,该项目使用RediSearch模块构建了一套完整的全文索引系统。整个索引机制采用分层异步架构,确保索引构建不影响主业务流程的响应性能。
graph TB
subgraph "业务层"
A[Topic创建] --> B[Reply创建]
C[User注册] --> D[数据更新]
end
subgraph "索引层"
E[SearchService] --> F[索引同步]
F --> G[RediSearch引擎]
end
subgraph "存储层"
H[Redis缓存] --> I[SQLite持久化]
J[异步队列] --> K[AsyncSQLiteWriter]
end
A --> E
B --> E
C --> E
E --> H
J --> K
K --> I
📊 索引结构设计
1. 三套独立索引体系
系统设计了三套独立的RediSearch索引,分别处理不同类型的搜索需求:
#### Topic索引 (idx:topic)
// 索引键格式:zhichai:search:topic:{id}
$this->redis->rawCommand(
'FT.CREATE', 'idx:topic',
'ON', 'HASH',
'PREFIX', '1', $redisPrefix . 'search:topic:',
'SCHEMA',
'title', 'TEXT', 'WEIGHT', '5', // 标题权重最高
'content', 'TEXT', 'WEIGHT', '1', // 内容基础权重
'author', 'TEXT', 'WEIGHT', '1.5', // 作者权重中等
'created_at', 'NUMERIC', 'SORTABLE', // 支持时间排序
'reply_count', 'NUMERIC', 'SORTABLE', // 支持热度排序
'is_hidden', 'TAG', // 隐藏状态过滤
'is_closed', 'TAG' // 关闭状态过滤
);
#### Reply索引 (idx:reply)
// 索引键格式:zhichai:search:reply:{id}
'SCHEMA',
'content', 'TEXT', 'WEIGHT', '2', // 回复内容权重高
'author', 'TEXT', 'WEIGHT', '1', // 作者权重基础
'topic_title', 'TEXT', 'NOINDEX', // 仅显示,不参与搜索
'topic_id', 'TAG', // 话题关联
'created_at', 'NUMERIC', 'SORTABLE',
'is_hidden', 'TAG'
#### User索引 (idx:user)
// 索引键格式:zhichai:search:user:{id}
'SCHEMA',
'nickname', 'TEXT', 'WEIGHT', '3', // 昵称权重最高
'username', 'TEXT', 'WEIGHT', '2', // 用户名权重中等
'created_at', 'NUMERIC', 'SORTABLE',
'status', 'TAG' // 用户状态过滤
🔄 索引构建流程
1. 自动索引确保机制
系统采用懒加载策略,在首次搜索时自动确保索引存在:
public function ensureIndexes(): void
{
$indexes = ['idx:topic', 'idx:reply', 'idx:user'];
foreach ($indexes as $idx) {
try {
// 尝试获取索引信息
$this->redis->rawCommand('FT.INFO', $idx);
} catch (\RedisException $e) {
// 索引不存在,自动创建
error_log("[SearchService] 索引 {$idx} 不存在,开始创建");
$this->createIndex($idx);
}
}
}
2. 实时索引更新机制
每当有新数据创建或更新时,系统会立即更新对应的搜索索引:
#### Topic索引更新
public function indexTopic(array $topic): void
{
$docKey = "search:topic:" . $topic['id'];
// 内容长度限制,防止索引过大
$content = $topic['content'] ?? '';
if (strlen($content) > 10000) {
$content = substr($content, 0, 10000);
}
$hash = [
'title' => $topic['title'] ?? '',
'content' => $content,
'author' => $topic['author_nickname'] ?? '',
'created_at' => (string)(strtotime($topic['created_at'] ?? 'now')),
'reply_count' => (string)($topic['reply_count'] ?? 0),
'is_hidden' => $topic['is_hidden'] ? '1' : '0',
'is_closed' => $topic['is_closed'] ? '1' : '0',
];
try {
// 直接写入Redis Hash,RediSearch自动监听
$this->redis->hMSet($docKey, $hash);
error_log("[SearchService] 成功索引 Topic {$topic['id']}");
} catch (\RedisException $e) {
// 索引失败不影响主流程,仅记录日志
error_log("[SearchService] 索引 Topic {$topic['id']} 失败: " . $e->getMessage());
}
}
3. 异步队列处理
为了不影响主业务性能,索引更新通过异步队列进行处理:
// 在TopicService中的异步创建流程
public function createTopicAsync($userID, $title, $content, $creationTime = null)
{
// ... 创建Topic逻辑 ...
try {
// 1. 立即写入Redis(同步)
$this->redis->hMSet($topicKey, $topicData);
$this->redis->zAdd($this->topicIndexKey, $timestamp, $topicID);
// 2. 异步写入SQLite队列
$this->asyncWriter->enqueue('INSERT', 'topics', $topicArray);
// 3. 异步更新搜索索引
$searchService = new SearchService();
$searchService->indexTopic($topicArray);
} catch (\Exception $e) {
// 错误处理和回滚机制
}
}
🔍 搜索查询机制
1. 智能搜索策略
系统使用通配符模式支持中文和部分匹配:
public function search(string $q, string $scope = 'all', int $page = 1, int $pageSize = 200): array
{
// 转义特殊字符
$escapedTerm = $this->escapeSearchTerm($clean);
// 使用通配符包装,支持部分匹配
$pattern = "*{$escapedTerm}*";
// 根据权限过滤隐藏内容
if (!$includeHidden) {
$topicPattern = "({$pattern}) @is_hidden:{0}";
}
}
2. 多维度排序算法
搜索结果采用智能排序策略:
// 1. 按相关性得分排序(TF-IDF算法)
// 2. 相同得分时按创建时间倒序
usort($allDocs, function($a, $b) {
// 先比较相关性得分(命中次数越多得分越高)
$scoreDiff = $b['_score'] <=> $a['_score'];
if ($scoreDiff !== 0) {
return $scoreDiff;
}
// 得分相同时,按创建时间降序(最新的在前)
$timeA = (int)($a['created_at'] ?? 0);
$timeB = (int)($b['created_at'] ?? 0);
return $timeB <=> $timeA;
});
3. 权重分配策略
不同字段的权重设计体现了业务优先级:
- Topic:
title(5) > author(1.5) > content(1) - Reply:
content(2) > author(1) - User:
nickname(3) > username(2)
🚀 全量重建机制
系统提供了完整的索引重建脚本 rebuild_search_index.php:
1. 重建流程
// Step 1: 清理旧文档
$searchPattern = 'search:*';
do {
$keys = $redis->scan($it, $searchPattern, 200);
foreach ($keys as $k) {
$redis->del($k);
$countDel++;
}
} while ($it !== 0);
// Step 2: 删除并重建索引
foreach (['idx:topic', 'idx:reply', 'idx:user'] as $idx) {
$redis->rawCommand('FT.DROPINDEX', $idx, 'DD');
}
$searchService->ensureIndexes();
// Step 3: 扫描并索引所有数据
$stmt = $pdo->query("SELECT * FROM topics ORDER BY created_at DESC");
foreach ($stmt->fetchAll() as $topicData) {
$searchService->indexTopic($topicArray);
}
2. 性能优化
- 批量处理: 每100条记录输出进度
- 错误隔离: 单个文档失败不影响整体重建
- 内存控制: 大内容自动截断防止内存溢出
💾 缓存策略
1. 搜索结果缓存
// 生成缓存键
$cacheKey = 'search:cache:' . md5($clean . $scope . $page . $pageSize . ($includeHidden ? '1' : '0'));
// 缓存搜索结果(TTL 60秒,平衡实时性与性能)
$this->redis->setex($cacheKey, 60, json_encode($results));
2. 前缀统一管理
所有Redis键都通过RedisManager统一管理前缀:
// config.php中的配置
'redis' => [
'prefix' => 'zhichai:'
]
// RedisManager自动应用前缀
$redis->setOption(Redis::OPT_PREFIX, 'zhichai:');
🛡️ 容错处理
1. 超时保护
try {
// Redis操作依赖连接的默认超时
$this->redis->hMSet($docKey, $hash);
} catch (\RedisException $e) {
// 索引失败不影响主流程,只记录日志
error_log("[SearchService] 索引失败: " . $e->getMessage());
}
2. 降级策略
- 核心功能优先: Topic/Reply创建必须成功
- 辅助功能容错: 搜索索引失败仅记录日志
- 异步重试: 通过异步队列支持重试机制
📈 性能特性
1. 查询性能
- 索引查询: O(log N) 时间复杂度
- 全文搜索: 毫秒级响应时间
- 分页支持: 高效的LIMIT/OFFSET实现
2. 写入性能
- 异步索引: 不阻塞主业务流程
- 批量处理: 减少Redis往返次数
- 内容截断: 防止大文档影响性能
🎯 总结
该Redis全文索引系统体现了以下设计亮点:
1. 分层架构: 清晰的职责分离,便于维护和扩展 2. 异步处理: 保证主业务性能不受索引构建影响 3. 智能搜索: 支持中英文混合、部分匹配、权重排序 4. 容错机制: 完善的错误处理和降级策略 5. 运维友好: 提供完整的重建和监控工具
这套索引系统不仅满足了当前的全文搜索需求,还为未来的功能扩展预留了充分的灵活性。