包含Magic Number和版本号两部分：
- RDB文件以ASCII编码的'REDIS'开头作为魔数（File Magic Number）表示自身的文件类型
- 接下来的4个字节表示RDB文件的版本号
Golang实现Redis本地原子性事务
✨步子哥 (steper) •
2025年09月17日 07:45
Golang实现Redis本地原子性事务
securityRedis事务的两个重要保证
为了支持多个命令的原子性执行，Redis提供了事务机制。Redis官方文档中称事务带有以下两个重要的保证：
事务是一个单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。
事务是一个原子操作：事务中的命令要么全部被执行，要么全部都不执行。
error_outlineRedis事务中的错误处理
我们在使用事务的过程中可能会遇到两类错误：
- 在命令入队过程中出现语法错误
- 在命令执行过程中出现运行时错误，比如对string类型的key进行lpush操作
在遇到语法错误时，Redis会中止命令入队并丢弃事务。在遇到运行时错误时，Redis仅会报错然后继续执行事务中剩下的命令，不会像大多数数据库那样回滚事务。
对此，Redis官方的解释是：
Redis命令只会因为错误的语法而失败（并且这些问题不能在入队时发现），或是命令用在了错误类型的键上面：这也就是说，从实用性的角度来说，失败的命令是由编程错误造成的，而这些错误应该在开发的过程中被发现，而不应该出现在生产环境中。
因为不需要对回滚进行支持，所以Redis的内部可以保持简单且快速。
有种观点认为Redis处理事务的做法会产生bug，然而需要注意的是，在通常情况下，回滚并不能解决编程错误带来的问题。举个例子，如果你本来想通过INCR命令将键的值加上1，却不小心加上了2，又或者对错误类型的键执行了INCR，回滚是没有办法处理这些情况的。鉴于没有任何机制能避免程序员自己造成的错误，并且这类错误通常不会在生产环境中出现，所以Redis选择了更简单、更快速的无回滚方式来处理事务。
build在Godis中实现事务的考虑
接下来我们尝试在Godis中实现具有原子性、隔离性的事务。
事务的特性
事务的原子性具有两个特点：
- 事务执行过程不可被其它事务(线程)插入
- 事务要么完全成功要么完全不执行，不存在部分成功的状态
事务的隔离性是指事务中操作的结果是否对其它并发事务可见。由于KV数据库不存在幻读问题，因此我们需要避免脏读和不可重复度问题。
锁机制设计
与Redis的单线程引擎不同，godis的存储引擎是并行的，因此需要设计锁机制来保证执行多条命令执行时的原子性和隔离性。
实现一个常规命令需要提供3个函数：
- ExecFunc：是实际执行命令的函数
- PrepareFunc：在ExecFunc前执行，负责分析命令行读写了哪些key便于进行加锁
- UndoFunc：仅在事务中被使用，负责准备undo logs以备事务执行过程中遇到错误需要回滚
其中的PrepareFunc会分析命令行返回要读写的key，以prepareMSet为例：
go
// return writtenKeys, readKeys
func prepareMSet(args [][]byte) ([]string, []string) {
size := len(args) / 2
keys := make([]string, size)
for i := 0; i < size; i++ {
keys[i] = string(args[2*i])
}
return keys, nil
}结合LockMap即可完成加锁。由于其它协程无法获得相关key的锁所以不可能插入到事务中，所以我们实现了原子性中不可被插入的特性。
重要：事务需要把所有key一次性完成加锁，只有在事务提交或回滚时才能解锁。不能用到一个key就加一次锁用完就解锁，这种方法可能导致脏读。
例如，以下场景会导致脏读：
| 时间 | 事务1 | 事务2 |
|---|---|---|
| t1 | 锁定key A | |
| t2 | 修改key A | |
| t3 | 解锁key A | |
| t4 | 锁定key A | |
| t5 | 读取key A | |
| t6 | 提交 | 解锁key A |
如上图所示，t4时刻，事务2读到了事务1未提交的数据，出现了脏读异常。
undo回滚机制的实现
为了在遇到运行时错误时事务可以回滚（原子性），可用的回滚方式有两种：
- 保存修改前的value，在回滚时用修改前的value进行覆盖
- 使用回滚命令来撤销原命令的影响。举例来说：键A原值为1，调用了Incr A之后变为了2，我们可以再执行一次Set A 1命令来撤销incr命令
出于节省内存的考虑，我们最终选择了第二种方案。比如HSet命令只需要另一条HSet将field改回原值即可，若采用保存value的方法我们则需要保存整个HashMap。类似情况的还有LPushRPop等命令。
有一些命令可能需要多条命令来回滚，比如回滚Del时不仅需要恢复对应的key-value还需要恢复TTL数据。或者Del命令删除了多个key时，也需要多条命令进行回滚。综上我们给出UndoFunc的定义：
go
// UndoFunc returns undo logs for the given command line
// execute from head to tail when undo
type UndoFunc func(db *DB, args [][]byte) []CmdLine我们以可以回滚任意操作的rollbackGivenKeys为例进行说明，当然使用rollbackGivenKeys的成本较高，在可能的情况下尽量实现针对性的undo log。
go
func rollbackGivenKeys(db *DB, keys ...string) []CmdLine {
var undoCmdLines [][][]byte
for _, key := range keys {
entity, ok := db.GetEntity(key)
if !ok {
// 原来不存在 key 删掉
undoCmdLines = append(undoCmdLines, utils.ToCmdLine("DEL", key), )
} else {
undoCmdLines = append(undoCmdLines,
utils.ToCmdLine("DEL", key), // 先把新 key 删除掉
aof.EntityToCmd(key, entity).Args, // 把 DataEntity 序列化成命令行
toTTLCmd(db, key).Args,
)
}
}
return undoCmdLines
}接下来看一下EntityToCmd，非常简单易懂：
go
func EntityToCmd(key string, entity *database.DataEntity) *protocol.MultiBulkReply {
if entity == nil {
return nil
}
var cmd *protocol.MultiBulkReply
switch val := entity.Data.(type) {
case []byte:
cmd = stringToCmd(key, val)
case *List.LinkedList:
cmd = listToCmd(key, val)
case *set.Set:
cmd = setToCmd(key, val)
case dict.Dict:
cmd = hashToCmd(key, val)
case *SortedSet.SortedSet:
cmd = zSetToCmd(key, val)
}
return cmd
}go
var hMSetCmd = []byte("HMSET")
func hashToCmd(key string, hash dict.Dict) *protocol.MultiBulkReply {
args := make([][]byte, 2+hash.Len()*2)
args[0] = hMSetCmd
args[1] = []byte(key)
i := 0
hash.ForEach(func(field string, val interface{}) bool {
bytes, _ := val.([]byte)
args[2+i*2] = []byte(field)
args[3+i*2] = bytes
i++
return true
})
return protocol.MakeMultiBulkReply(args)
}visibilityRedis Watch命令的实现
Redis Watch命令用于监视一个(或多个)key，如果在事务执行之前这个(或这些)key被其他命令所改动，那么事务将被放弃。
实现Watch命令的核心是发现key是否被改动，我们使用简单可靠的版本号方案：为每个key存储一个版本号，版本号变化说明key被修改了。
设计思想：通过版本号机制，我们可以在事务执行前检查被监视的key是否被修改，从而决定是否继续执行事务。这种机制简单高效，适合于Redis这种高性能的键值存储系统。
总结
在Golang中实现Redis的本地原子性事务，需要考虑以下几个关键点：
- 锁机制：由于godis的存储引擎是并行的，需要设计锁机制来保证执行多条命令执行时的原子性和隔离性
- 回滚机制：使用回滚命令来撤销原命令的影响，而不是保存修改前的value，以节省内存
- Watch命令：通过版本号机制实现，用于监视key是否被修改
通过以上机制，我们可以在Golang中实现具有原子性、隔离性的Redis事务，保证数据的一致性和完整性。
登录后可参与表态
讨论回复
1 条回复
✨步子哥 (steper)
#1
09-17 08:06
登录后可参与表态