博客
关于我
MongoDB复制集底层原理
阅读量:800 次
发布时间:2023-02-09

本文共 1266 字,大约阅读时间需要 4 分钟。

MongoDB复制集原理

MongoDB的复制集是一种高可用性的数据同步机制,通过Raft算法实现主备节点的自动选举与故障转移。本文将深入探讨复制集的工作原理、优化策略以及实际应用中的注意事项。

复制集选举

MongoDB的复制集选举使用Raft算法,由大多数节点存活来确保选举成功。在实际实现中,MongoDB对Raft协议进行了扩展,包括:

  • 链式复制:备节点不仅可以从主节点同步数据,还可以选择心跳延时最小的节点作为同步源。
  • 预投票阶段:用于防止网络分区导致Term值激增。
  • 投票优先级:备节点可根据优先级主动发起投票。
  • 复制集最多可包含50个成员,但仅7个投票成员。若存活节点不足半数,复制集将无法选举主节点,所有节点仅支持读操作。

    平票问题可通过定时器随机偏差和仲裁者角色解决。定时器周期略大于electionTimeoutMillis,通过随机偏差避免同时发起选举。

    自动故障转移

    心跳机制

    心跳间隔默认为2秒,心跳成功则持续发送,失败则重试。心跳检测失败触发选举超时检测,若未响应则触发选举。

    选举超时检测

    默认周期为10秒,可通过electionTimeoutMillis调整。若心跳失败,定时器触发选举,备节点成为主节点。

    选举超时检测需满足以下条件:

  • 当前节点为备节点。
  • 具备选举权限。
  • 心跳检测未成功。
  • 复制集数据同步机制

    oplog同步

    复制集通过oplog进行数据同步,类似于MySQL的Binlog。oplog是一个固定大小的集合,支持动态调整。

    oplog记录写操作日志,备节点拉取并本地回放。每个备节点维护offset,用于跟踪同步进度。通过tailable cursor优化持续拉取。

    oplog参数配置

    oplog大小默认为磁盘5%的最小值或50GB。MongoDB 4.0及以上版本支持动态调整,使用replSetResizeOplog命令。

    幂等性

    oplog记录必须是幂等的,确保数据变更原子性。写操作需转换为可幂等的操作,例如$inc转换为$set。

    大数组更新风险

    数组更新可能导致oplog记录增大,影响同步效率。当数组操作涉及位置调整或改变元素顺序时,会记录整个数组状态,导致同步开销增加。

    复制延迟

    由于oplog固定大小,备节点可能无法及时同步主节点的写入,导致复制延迟。延迟过大可能引发数据不一致,增加回滚风险。

    数据回滚

    主节点故障时,备节点重新选举为主节点。旧主节点回滚数据至rollback目录,影响数据持久性。使用writeConcern:majority可降低回滚风险。

    同步源选择

    MongoDB允许备节点作为同步源,当settings.chainingAllowed开启时,备节点可选择最近的节点同步。可通过replSetSyncFrom命令临时指定同步源。

    总结

    MongoDB的复制集通过Raft算法实现高可用性,oplog机制确保数据同步。优化策略包括合理配置oplog大小、避免大数组操作、监控复制延迟等。理解复制集原理有助于优化数据库性能与高可用性配置。

    转载地址:http://knffk.baihongyu.com/

    你可能感兴趣的文章
    Nginx配置实例-负载均衡实例:平均访问多台服务器
    查看>>
    Nginx配置文件nginx.conf中文详解(总结)
    查看>>
    Nginx配置自带的stub状态实现活动监控指标
    查看>>
    nginx配置详解、端口重定向和504
    查看>>
    Nginx配置负载均衡到后台网关集群
    查看>>
    Nginx配置限流,技能拉满!
    查看>>
    Nginx配置静态代理/静态资源映射时root与alias的区别,带前缀映射用alias
    查看>>
    Nginx面试三连问:Nginx如何工作?负载均衡策略有哪些?如何限流?
    查看>>
    Nginx:NginxConfig可视化配置工具安装
    查看>>
    ngModelController
    查看>>
    ngrok | 内网穿透,支持 HTTPS、国内访问、静态域名
    查看>>
    ngrok内网穿透可以实现资源共享吗?快解析更加简洁
    查看>>
    NHibernate学习[1]
    查看>>
    NHibernate异常:No persister for的解决办法
    查看>>
    NIFI1.21.0_java.net.SocketException:_Too many open files 打开的文件太多_实际操作---大数据之Nifi工作笔记0051
    查看>>
    NIFI1.21.0_Mysql到Mysql增量CDC同步中_日期类型_以及null数据同步处理补充---大数据之Nifi工作笔记0057
    查看>>
    NIFI1.21.0_Mysql到Mysql增量CDC同步中_补充_更新时如果目标表中不存在记录就改为插入数据_Postgresql_Hbase也适用---大数据之Nifi工作笔记0059
    查看>>
    NIFI1.21.0_NIFI和hadoop蹦了_200G集群磁盘又满了_Jps看不到进程了_Unable to write in /tmp. Aborting----大数据之Nifi工作笔记0052
    查看>>
    NIFI1.21.0最新版本安装_连接phoenix_单机版_Https登录_什么都没改换了最新版本的NIFI可以连接了_气人_实现插入数据到Hbase_实际操作---大数据之Nifi工作笔记0050
    查看>>
    NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_增删改数据分发及删除数据实时同步_通过分页解决变更记录过大问题_02----大数据之Nifi工作笔记0054
    查看>>