现在大部分分片系统的分片算法都是固定的，比如range分片、hash分片，或者range+hash分片。分片算法一旦设定通常没办法调整，一开始就需要trade-off各项因素，比如数据的workload，访问模型，负载均衡等。   该篇论文是可以动态调整分片分布。设置如何分片、如何复制、以及主从的放置策略。另外，还可以将事务访问的数据放到一个分片内来加速事务。它不是一个先验策略，而是基于workload学习到的cost model，来决定分片如何放置。 架构   引擎存储是行存结构，按照row-id进行按range分片，每条数据（行）属于一个partition，每个data site拥有一个或多个partition。每个partition是一个主从的集群，写主，然后异步复制给从节点，从节点数目可以不固定，可以为任意数目。客户端…

  本文首先介绍一下混合逻辑时钟的基本概念，然后介绍MongoDB中的混合逻辑时钟是如何运用的。关于混合逻辑时钟的介绍大家可以参考http://vinllen.com/hun-he-luo-ji-shi-zhong/。 1. 逻辑时钟   逻辑时钟（LC）是由Lamport在time clock and the ordering of events in a distributed system这篇论文里面提出的，用于解决分布式场景下，时钟不一致无法定序的问题。其主要思想就是根据happened-before关系确定进程的逻辑时钟，从而确定进程的偏序关系： 如果a, b事件（消息）都是位于一个进程内（假设顺序发生，不考虑并发），且a位于b之前发生，那么a happened-before b, 记作：a hb b或者a->b，C(a) 如果a，b事件是…

  本文将主要首先聊一聊数据库同步和迁移两个话题，之后将会围绕这2个话题介绍一下阿里云最近开源的基于MongoDB和Redis的数据同步&迁移工具MongoShake和RedisShake，最后介绍一些用户的使用案例。 1. 同步   现在大部分数据都支持集群版的数据，也就是说一个逻辑单元中有多个db节点，不同节点之间通常通过复制的方式来实现数据的同步，比如Mysql的的基于binlog的主从同步，Redis的基于sync/psync机制的aof主从同步，MongoDB基于oplog的主从同步等等。这些机制支撑了一个单元下的数据冗余高可用和读写分离负载分担。   但仅仅一个逻辑单元内的数据同步对于很多业务通常不够用，很多业务需要跨逻辑单元的数据同步的能力，例如同城多机房，异地多数据中心同步等。容灾，多活是最常见的两种业务场…

1.背景   在当前的数据库系统生态中，大部分系统都支持多个节点实例间的数据同步机制，如Mysql Master/Slave主从同步，Redis AOF主从同步等，MongoDB更是支持3节点及以上的副本集同步，上述机制很好的支撑了一个逻辑单元的数据冗余高可用。   跨逻辑单元，甚至跨单元、跨数据中心的数据同步，在业务层有时候就显得很重要，它使得同城多机房的负载均衡，多机房的互备，甚至是异地多数据中心容灾和多活成为可能。由于目前MongoDB副本集内置的主从同步对于这种业务场景有较大的局限性，为此，我们开发了MongoShake系统，可以应用在实例间复制，机房间、跨数据中心复制，满足灾备和多活需求。   另外，数据备份是作为MongoShake核心但不是唯一的功能。MongoShake作为一个平台型服务，用户可以通过对接Mongo…