Golang实现Redis本地原子性事务

Golang实现Redis本地原子性事务

Golang实现Redis本地原子性事务

securityRedis事务的两个重要保证

为了支持多个命令的原子性执行，Redis提供了事务机制。Redis官方文档中称事务带有以下两个重要的保证：

事务是一个单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。

事务是一个原子操作：事务中的命令要么全部被执行，要么全部都不执行。

error_outlineRedis事务中的错误处理

我们在使用事务的过程中可能会遇到两类错误：

在命令入队过程中出现语法错误

在命令执行过程中出现运行时错误，比如对string类型的key进行lpush操作

在遇到语法错误时，Redis会中止命令入队并丢弃事务。在遇到运行时错误时，Redis仅会报错然后继续执行事务中剩下的命令，不会像大多数数据库那样回滚事务。

对此，Redis官方的解释是：

Redis命令只会因为错误的语法而失败（并且这些问题不能在入队时发现），或是命令用在了错误类型的键上面：这也就是说，从实用性的角度来说，失败的命令是由编程错误造成的，而这些错误应该在开发的过程中被发现，而不应该出现在生产环境中。

因为不需要对回滚进行支持，所以Redis的内部可以保持简单且快速。

有种观点认为Redis处理事务的做法会产生bug，然而需要注意的是，在通常情况下，回滚并不能解决编程错误带来的问题。举个例子，如果你本来想通过INCR命令将键的值加上1，却不小心加上了2，又或者对错误类型的键执行了INCR，回滚是没有办法处理这些情况的。鉴于没有任何机制能避免程序员自己造成的错误，并且这类错误通常不会在生产环境中出现，所以Redis选择了更简单、更快速的无回滚方式来处理事务。

build在Godis中实现事务的考虑

接下来我们尝试在Godis中实现具有原子性、隔离性的事务。

事务的特性

事务的原子性具有两个特点：

事务执行过程不可被其它事务(线程)插入

事务要么完全成功要么完全不执行，不存在部分成功的状态

事务的隔离性是指事务中操作的结果是否对其它并发事务可见。由于KV数据库不存在幻读问题，因此我们需要避免脏读和不可重复度问题。

锁机制设计

与Redis的单线程引擎不同，godis的存储引擎是并行的，因此需要设计锁机制来保证执行多条命令执行时的原子性和隔离性。

实现一个常规命令需要提供3个函数：

ExecFunc：是实际执行命令的函数

PrepareFunc：在ExecFunc前执行，负责分析命令行读写了哪些key便于进行加锁

UndoFunc：仅在事务中被使用，负责准备undo logs以备事务执行过程中遇到错误需要回滚

其中的PrepareFunc会分析命令行返回要读写的key，以prepareMSet为例：

go

// return writtenKeys, readKeys
func prepareMSet(args [][]byte) ([]string, []string) {
size := len(args) / 2
keys := make([]string, size)
for i := 0; i < size; i++ {
keys[i] = string(args[2*i])
}
return keys, nil
}

结合LockMap即可完成加锁。由于其它协程无法获得相关key的锁所以不可能插入到事务中，所以我们实现了原子性中不可被插入的特性。

重要：事务需要把所有key一次性完成加锁，只有在事务提交或回滚时才能解锁。不能用到一个key就加一次锁用完就解锁，这种方法可能导致脏读。

例如，以下场景会导致脏读：

时间
事务1
事务2

t1
锁定key A

t2
修改key A

t3
解锁key A

t4

锁定key A

t5

读取key A

t6
提交
解锁key A

如上图所示，t4时刻，事务2读到了事务1未提交的数据，出现了脏读异常。

undo回滚机制的实现

为了在遇到运行时错误时事务可以回滚（原子性），可用的回滚方式有两种：

保存修改前的value，在回滚时用修改前的value进行覆盖

使用回滚命令来撤销原命令的影响。举例来说：键A原值为1，调用了Incr A之后变为了2，我们可以再执行一次Set A 1命令来撤销incr命令

出于节省内存的考虑，我们最终选择了第二种方案。比如HSet命令只需要另一条HSet将field改回原值即可，若采用保存value的方法我们则需要保存整个HashMap。类似情况的还有LPushRPop等命令。

有一些命令可能需要多条命令来回滚，比如回滚Del时不仅需要恢复对应的key-value还需要恢复TTL数据。或者Del命令删除了多个key时，也需要多条命令进行回滚。综上我们给出UndoFunc的定义：

go

// UndoFunc returns undo logs for the given command line
// execute from head to tail when undo
type UndoFunc func(db *DB, args [][]byte) []CmdLine

我们以可以回滚任意操作的rollbackGivenKeys为例进行说明，当然使用rollbackGivenKeys的成本较高，在可能的情况下尽量实现针对性的undo log。

go

func rollbackGivenKeys(db *DB, keys ...string) []CmdLine {
var undoCmdLines [][][]byte
for _, key := range keys {
entity, ok := db.GetEntity(key)
if !ok {
// 原来不存在 key 删掉
undoCmdLines = append(undoCmdLines, utils.ToCmdLine("DEL", key), )
} else {
undoCmdLines = append(undoCmdLines,
utils.ToCmdLine("DEL", key), // 先把新 key 删除掉
aof.EntityToCmd(key, entity).Args, // 把 DataEntity 序列化成命令行
toTTLCmd(db, key).Args,
)
}
}
return undoCmdLines
}

接下来看一下EntityToCmd，非常简单易懂：

go

func EntityToCmd(key string, entity *database.DataEntity) *protocol.MultiBulkReply {
if entity == nil {
return nil
}
var cmd *protocol.MultiBulkReply
switch val := entity.Data.(type) {
case []byte:
cmd = stringToCmd(key, val)
case *List.LinkedList:
cmd = listToCmd(key, val)
case *set.Set:
cmd = setToCmd(key, val)
case dict.Dict:
cmd = hashToCmd(key, val)
case *SortedSet.SortedSet:
cmd = zSetToCmd(key, val)
}
return cmd
}

go

var hMSetCmd = []byte("HMSET")

func hashToCmd(key string, hash dict.Dict) *protocol.MultiBulkReply {
args := make([][]byte, 2+hash.Len()*2)
args[0] = hMSetCmd
args[1] = []byte(key)
i := 0
hash.ForEach(func(field string, val interface{}) bool {
bytes, _ := val.([]byte)
args[2+i*2] = []byte(field)
args[3+i*2] = bytes
i++
return true
})
return protocol.MakeMultiBulkReply(args)
}

visibilityRedis Watch命令的实现

Redis Watch命令用于监视一个(或多个)key，如果在事务执行之前这个(或这些)key被其他命令所改动，那么事务将被放弃。

实现Watch命令的核心是发现key是否被改动，我们使用简单可靠的版本号方案：为每个key存储一个版本号，版本号变化说明key被修改了。

设计思想：通过版本号机制，我们可以在事务执行前检查被监视的key是否被修改，从而决定是否继续执行事务。这种机制简单高效，适合于Redis这种高性能的键值存储系统。

总结

在Golang中实现Redis的本地原子性事务，需要考虑以下几个关键点：

锁机制：由于godis的存储引擎是并行的，需要设计锁机制来保证执行多条命令执行时的原子性和隔离性

回滚机制：使用回滚命令来撤销原命令的影响，而不是保存修改前的value，以节省内存

Watch命令：通过版本号机制实现，用于监视key是否被修改

通过以上机制，我们可以在Golang中实现具有原子性、隔离性的Redis事务，保证数据的一致性和完整性。