Golang实现Redis本地原子性事务

Golang实现Redis本地原子性事务 Golang实现Redis本地原子性事务 securityRedis事务的两个重要保证 为了支持多个命令的原子性执行，Redis提供了事务机制。Redis官方文档中称事务带有以下两个重要的保证： 事务是一个单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。 事务是一个原子操作：事务中的命令要么全部被执行，要么全部都不执行。 error_outlineRedis事务中的错误处理 我们在使用事务的过程中可能会遇到两类错误： 在命令入队过程中出现语法错误 在命令执行过程中出现运行时错误，比如对string类型的key进行lpush操作 在遇到语法错误时，Redis会中止命令入队并丢弃事务。在遇到运行时错误时，Redis仅会报错然后继续执行事务中剩下的命令，不会像大多数数据库那样回滚事务。 对此，Redis官方的解释是： Redis命令只会因为错误的语法而失败（并且这些问题不能在入队时发现），或是命令用在了错误类型的键上面：这也就是说，从实用性的角度来说，失败的命令是由编程错误造成的，而这些错误应该在开发的过程中被发现，而不应该出现在生产环境中。 因为不需要对回滚进行支持，所以Redis的内部可以保持简单且快速。 有种观点认为Redis处理事务的做法会产生bug，然而需要注意的是，在通常情况下，回滚并不能解决编程错误带来的问题。举个例子，如果你本来想通过INCR命令将键的值加上1，却不小心加上了2，又或者对错误类型的键执行了INCR，回滚是没有办法处理这些情况的。鉴于没有任何机制能避免程序员自己造成的错误，并且这类错误通常不会在生产环境中出现，所以Redis选择了更简单、更快速的无回滚方式来处理事务。 build在Godis中实现事务的考虑 接下来我们尝试在Godis中实现具有原子性、隔离性的事务。 事务的特性 事务的原子性具有两个特点： 事务执行过程不可被其它事务(线程)插入 事务要么完全成功要么完全不执行，不存在部分成功的状态 事务的隔离性是指事务中操作的结果是否对其它并发事务可见。由于KV数据库不存在幻读问题，因此我们需要避免脏读和不可重复度问题。 锁机制设计 与Redis的单线程引擎不同，godis的存储引擎是并行的，因此需要设计锁机制来保证执行多条命令执行时的原子性和隔离性。 实现一个常规命令需要提供3个函数： ExecFunc：是实际执行命令的函数 PrepareFunc：在ExecFunc前执行，负责分析命令行读写了哪些key便于进行加锁 UndoFunc：仅在事务中被使用，负责准备undo logs以备事务执行过程中遇到错误需要回滚 其中的PrepareFunc会分析命令行返回要读写的key，以prepareMSet为例： go // return writtenKeys, readKeys func prepareMSet(args [][]byte) ([]string, []string) { size := len(args) / 2 keys := make([]string, size) for i := 0; i < size; i++ { keys[i] = string(args[2*i]) } return keys, nil } 结合LockMap即可完成加锁。由于其它协程无法获得相关key的锁所以不可能插入到事务中，所以我们实现了原子性中不可被插入的特性。 重要：事务需要把所有key一次性完成加锁，只有在事务提交或回滚时才能解锁。不能用到一个key就加一次锁用完就解锁，这种方法可能导致脏读。 例如，以下场景会导致脏读： 时间 事务1 事务2 t1 锁定key A t2 修改key A t3 解锁key A t4 锁定key A t5 读取key A t6 提交 解锁key A 如上图所示，t4时刻，事务2读到了事务1未提交的数据，出现了脏读异常。 undo回滚机制的实现 为了在遇到运行时错误时事务可以回滚（原子性），可用的回滚方式有两种： 保存修改前的value，在回滚时用修改前的value进行覆盖 使用回滚命令来撤销原命令的影响。举例来说：键A原值为1，调用了Incr A之后变为了2，我们可以再执行一次Set A 1命令来撤销incr命令 出于节省内存的考虑，我们最终选择了第二种方案。比如HSet命令只需要另一条HSet将field改回原值即可，若采用保存value的方法我们则需要保存整个HashMap。类似情况的还有LPushRPop等命令。 有一些命令可能需要多条命令来回滚，比如回滚Del时不仅需要恢复对应的key-value还需要恢复TTL数据。或者Del命令删除了多个key时，也需要多条命令进行回滚。综上我们给出UndoFunc的定义： go // UndoFunc returns undo logs for the given command line // execute from head to tail when undo type UndoFunc func(db *DB, args [][]byte) []CmdLine 我们以可以回滚任意操作的rollbackGivenKeys为例进行说明，当然使用rollbackGivenKeys的成本较高，在可能的情况下尽量实现针对性的undo log。 go func rollbackGivenKeys(db *DB, keys ...string) []CmdLine { var undoCmdLines [][][]byte for _, key := range keys { entity, ok := db.GetEntity(key) if !ok { // 原来不存在 key 删掉 undoCmdLines = append(undoCmdLines, utils.ToCmdLine("DEL", key), ) } else { undoCmdLines = append(undoCmdLines, utils.ToCmdLine("DEL", key), // 先把新 key 删除掉 aof.EntityToCmd(key, entity).Args, // 把 DataEntity 序列化成命令行 toTTLCmd(db, key).Args, ) } } return undoCmdLines } 接下来看一下EntityToCmd，非常简单易懂： go func EntityToCmd(key string, entity *database.DataEntity) *protocol.MultiBulkReply { if entity == nil { return nil } var cmd *protocol.MultiBulkReply switch val := entity.Data.(type) { case []byte: cmd = stringToCmd(key, val) case *List.LinkedList: cmd = listToCmd(key, val) case *set.Set: cmd = setToCmd(key, val) case dict.Dict: cmd = hashToCmd(key, val) case *SortedSet.SortedSet: cmd = zSetToCmd(key, val) } return cmd } go var hMSetCmd = []byte("HMSET") func hashToCmd(key string, hash dict.Dict) *protocol.MultiBulkReply { args := make([][]byte, 2+hash.Len()*2) args[0] = hMSetCmd args[1] = []byte(key) i := 0 hash.ForEach(func(field string, val interface{}) bool { bytes, _ := val.([]byte) args[2+i*2] = []byte(field) args[3+i*2] = bytes i++ return true }) return protocol.MakeMultiBulkReply(args) } visibilityRedis Watch命令的实现 Redis Watch命令用于监视一个(或多个)key，如果在事务执行之前这个(或这些)key被其他命令所改动，那么事务将被放弃。 实现Watch命令的核心是发现key是否被改动，我们使用简单可靠的版本号方案：为每个key存储一个版本号，版本号变化说明key被修改了。 设计思想：通过版本号机制，我们可以在事务执行前检查被监视的key是否被修改，从而决定是否继续执行事务。这种机制简单高效，适合于Redis这种高性能的键值存储系统。 总结 在Golang中实现Redis的本地原子性事务，需要考虑以下几个关键点： 锁机制：由于godis的存储引擎是并行的，需要设计锁机制来保证执行多条命令执行时的原子性和隔离性 回滚机制：使用回滚命令来撤销原命令的影响，而不是保存修改前的value，以节省内存 Watch命令：通过版本号机制实现，用于监视key是否被修改 通过以上机制，我们可以在Golang中实现具有原子性、隔离性的Redis事务，保证数据的一致性和完整性。