博客
关于我
MongoDB复制集底层原理
阅读量:791 次
发布时间:2023-02-09

本文共 1266 字,大约阅读时间需要 4 分钟。

MongoDB复制集原理

MongoDB的复制集是一种高可用性的数据同步机制,通过Raft算法实现主备节点的自动选举与故障转移。本文将深入探讨复制集的工作原理、优化策略以及实际应用中的注意事项。

复制集选举

MongoDB的复制集选举使用Raft算法,由大多数节点存活来确保选举成功。在实际实现中,MongoDB对Raft协议进行了扩展,包括:

  • 链式复制:备节点不仅可以从主节点同步数据,还可以选择心跳延时最小的节点作为同步源。
  • 预投票阶段:用于防止网络分区导致Term值激增。
  • 投票优先级:备节点可根据优先级主动发起投票。
  • 复制集最多可包含50个成员,但仅7个投票成员。若存活节点不足半数,复制集将无法选举主节点,所有节点仅支持读操作。

    平票问题可通过定时器随机偏差和仲裁者角色解决。定时器周期略大于electionTimeoutMillis,通过随机偏差避免同时发起选举。

    自动故障转移

    心跳机制

    心跳间隔默认为2秒,心跳成功则持续发送,失败则重试。心跳检测失败触发选举超时检测,若未响应则触发选举。

    选举超时检测

    默认周期为10秒,可通过electionTimeoutMillis调整。若心跳失败,定时器触发选举,备节点成为主节点。

    选举超时检测需满足以下条件:

  • 当前节点为备节点。
  • 具备选举权限。
  • 心跳检测未成功。
  • 复制集数据同步机制

    oplog同步

    复制集通过oplog进行数据同步,类似于MySQL的Binlog。oplog是一个固定大小的集合,支持动态调整。

    oplog记录写操作日志,备节点拉取并本地回放。每个备节点维护offset,用于跟踪同步进度。通过tailable cursor优化持续拉取。

    oplog参数配置

    oplog大小默认为磁盘5%的最小值或50GB。MongoDB 4.0及以上版本支持动态调整,使用replSetResizeOplog命令。

    幂等性

    oplog记录必须是幂等的,确保数据变更原子性。写操作需转换为可幂等的操作,例如$inc转换为$set。

    大数组更新风险

    数组更新可能导致oplog记录增大,影响同步效率。当数组操作涉及位置调整或改变元素顺序时,会记录整个数组状态,导致同步开销增加。

    复制延迟

    由于oplog固定大小,备节点可能无法及时同步主节点的写入,导致复制延迟。延迟过大可能引发数据不一致,增加回滚风险。

    数据回滚

    主节点故障时,备节点重新选举为主节点。旧主节点回滚数据至rollback目录,影响数据持久性。使用writeConcern:majority可降低回滚风险。

    同步源选择

    MongoDB允许备节点作为同步源,当settings.chainingAllowed开启时,备节点可选择最近的节点同步。可通过replSetSyncFrom命令临时指定同步源。

    总结

    MongoDB的复制集通过Raft算法实现高可用性,oplog机制确保数据同步。优化策略包括合理配置oplog大小、避免大数组操作、监控复制延迟等。理解复制集原理有助于优化数据库性能与高可用性配置。

    转载地址:http://knffk.baihongyu.com/

    你可能感兴趣的文章
    mac 安装PIL
    查看>>
    mac 搭建APK反编译环境[转]
    查看>>
    MAC 显示隐藏文件
    查看>>
    Mac 的“任务管理器” —— 活动监视器
    查看>>
    mac 虚拟机安装oracle 11g,MAC+Vmware Fusion安装Oracle11g RAC
    查看>>
    mac 配置环境变量,讲的太仔细了,非常棒
    查看>>
    mac-gradle的安装和配置
    查看>>
    mac/ip/TCP/udp报文格式与理论大小
    查看>>
    Mac:Permission denied XXX
    查看>>
    macaca 测试web(2)
    查看>>
    Macbook / pro卡顿怎么处理?这些方法让它满血复活!
    查看>>
    MacBook Air怎么重新输入wifi密码
    查看>>
    Macbook Pro下Bootcamp上win7截图方法
    查看>>
    MacBook开机出现问号文件夹?别急 可能是这些原因!
    查看>>
    MacBook键盘突然失灵?这几个排查步骤一定要试试!
    查看>>
    Macbook风扇突然一直狂转?一文搞定各种可能原因
    查看>>
    MacBook黑屏/白屏开不了机?一文搞定所有可能的解决方案!
    查看>>
    Machine Learning in Action -- 树回归
    查看>>
    Machine Learning Project Walkthrough: Preparing the features
    查看>>
    macOS Big Sur 11.0.1 上未弹出应用程序
    查看>>