mysql每次取一千条_MySQL 高性能存储引擎：TokuDB初探

我在安装过程中了解了替换。阅读引言真是太好了。这是一个初步汇编，并在使用后共享更多。

什么是？

MySQL中最受欢迎的全能发动机是。它的特征是数据本身是由b-tree组织的，数据本身是根据主要密钥聚集的巨大的B树索引。因此，在这一点上，写作速度将有所降低，因为每次写入一次用于重新排列索引树。尤其是当数据本身比内存大得多时，CPU本身被磁盘IO纠缠在一起，无法做其他事情。目前，我们需要考虑如何减少磁盘IO来解决CPU的情况。常见方法包括：

这是一款“新”引擎，由美国公司（现已被公司收购）开发的具有出色数据压缩功能的交易，具有出色的数据压缩功能。它具有出色的数据压缩函数。如果您的数据写得更多，并且读取的数据量较少，并且数据的数量相对较大，则强烈建议您使用它来节省空间成本并大大减少存储使用情况和iops开销，但它会相应地增加CPU压力。

特征

1。丰富的索引类型和快速索引创建

除了支持现有索引类型外，还添加了（第二）集合索引以满足各种叠加索引查询，从而提高了快速索引创建的查询效率。

2。（第二）集合索引

它也可以称为不是主要键的集合索引。这种类型的索引还包含表中的所有列，可用于覆盖索引的查询需求。例如，下面的示例直接列出了索引，以避免再次从主键抬起来。

看：

3。索引在线创建（热索引）

允许将表直接索引，而不会影响更新语句的执行（等）。您可以控制是否通过变量启用此功能，但不幸的是，它只能通过索引在线创建，并且不能通过Alter Table实现。该方法比通常的创建方法要慢得多，并且可以通过显示来查看创建过程。但是，它不支持在线删除索引。删除索引时，将添加全局锁。

4。在线更改列（add，，）

在稍微阻止更新或查询语句的情况下，可以允许以下操作：

这些操作通常是通过在表锁定级别（几秒钟）阻止其他查询来执行的，并且下一次将表记录从磁盘加载到内存时，系统将相应地修改记录（添加或）。如果是操作，所有操作将在停机时间内完成。

这些操作与更新表更新后不同，您可以看到行是0，也就是说，更改操作将放在执行的背景下。速度更快的原因可能是-tree索引功能用顺序IO操作替代了随机IO操作。在-tree功能中，这些操作将被广播到所有行。与打开桌子不同，并创建要完成的临时表。

查看有关此功能的一些官方说明：

5。数据压缩

本文中的所有压缩操作均在后台执行。高级压缩将降低系统的性能。在某些情况下，将需要高级压缩。根据官方建议：建议使用少于6个内核的机器进行标准压缩，否则可以使用高级压缩。每个表均指示算法是表格或alter表：

默认情况下，默认值为：

6.阅读免费复制功能

得益于树指数的特征，从从读取IO的消费量低的消费量可以在应用侧应用更改。它主要依赖于树索引的特征，并可以在配置中启用功能。

不好的事情是，如果启用了读取的免费功能，则终端需要进行以下设置：

从一侧的设置可以在一个或多个从属中设置：.5和.5只能在带有主键的表中使用此功能。 MySQL 5.6、5.6和10.x没有此限制。

7。交易，酸和恢复

8。过程跟踪

提供了跟踪长期陈述的机制。对于加载数据命令，Show可以显示过程信息。第一个是状态信息类似于“关于行”，下一个是有关完成百分比的信息，例如“完成约45％的数据的数据”；添加索引时，Show可以显示索引和Alter表的过程信息，该表将显示估计的行数和完成百分比； Show还将显示交易的执行状态，例如或状态。

9。迁移到

您可以使用传统方法来更改表的存储引擎，例如“ Alter Table…=”或倒入并倒入，然后加载数据方法也可以。

10。准备好了

尚未支持的热待机功能还旨在表明其具有支持；对于大桌子，您可以使用LVM功能进行备份或备份。该官员提供了一个热的备件插件，可以在线备份。有关详细信息，请参见，但其依赖性是 - ，并且无法编译SO动态库。这是商业付费版本。看

总结

优点：

缺点：

适用的方案：

索引结构 - 分形树的实现

最大的区别是它采用了称为树的索引结构，该结构大大改善了随机数据编写的处理。当前，无论是SQL还是MySQL，B+Tree（SQL使用标准B-Tree）索引结构。它是由主键组织的B+树结构，数据按主键的顺序排列。它对于顺序自动插入初级键具有良好的性能，但不适合随机写入。大量随机I/O会导致数据页面分裂并产生碎片化，并且索引维护开销非常大。由于其索引结构，解决了随机写入问题。树和B树之间的差异主要在索引树的内部节点中。 B-Tree索引的内部结构仅对父节点和子节点有指示，而树的内部节点不仅具有对父节点和子节点的指针，而且还有一个区域。写入数据时，它将首先落在该领域。该区域是FIFO结构。写作是一个顺序过程。像其他缓冲区一样，数据将在完整时一次编写。因此，基本上插入数据成为一个顺序添加过程。

Btree和Tree之间的比较：

树的简介（分形树）

分形树是写优化的磁盘索引数据结构。通常，分形树具有更好的写作操作（//）性能，并且还可以确保读取操作类似于B+树的阅读性能。根据该公司的测试结果，分形树的写作性能比B+树的写作表现更好，并且阅读性能略低于B+树。

ft-index磁盘存储结构

FT-Index使用较大的索引页和数据页面（ft-index默认值为4M，默认为16K），这使得FT-INDEX的数据页面和索引页面的压缩比更高。也就是说，当打开索引页面和数据页面压缩时，如果插入了相同数量的数据，则FT索引占用更少的存储空间。 FT索引支持在线修改DDL（HOT）。简而言之，是在执行DDL操作（例如添加索引）时，用户仍然可以执行写入操作。 FT索引树结构自然支持此功能。此外，FT索引还支持交易（酸）和交易MVCC（多次并发控制），并支持崩溃恢复。由于上述特征，该公司声称一方面，它为客户带来了巨大的性能改进，另一方面，它还降低了客户的存储使用成本。

FT索引的索引结构图如下：

灰色区域代表FT索引分形树的一页，绿色区域代表一个钥匙值，两个绿色区域代表儿子指针。指示儿子指针指向的页面的偏移。它代表了分形树的风扇，即儿子指针的数量。指示页面占据的字节数。这意味着当前页面是一个非叶子节点，这意味着当前页面是叶节点。叶节点是存储键值键值对的最低节点。非叶节点不存储该值。它代表树的高度。根节点的高度为3，根节点的下一个层的高度为2，最低叶节点的高度为1。深度表示树的深度，根节点的深度为0，并且根节点的下一层的深度为1。

分形树的树结构与B+树非常相似。它的树结构由几个节点组成（我们称其为节点或块，在其中称其为页面或页面）。每个节点由一组有序的钥匙值组成。假设节点的键值序列为[3，8]，那么此键值将整个间隔（-00， +00）划分为（-00，3），[3，8），[8，+00），每个间隔都对应于儿子指针（子指针）。在B+树中，子指针通常指向一个页面，在分形树中，每个子指针不仅需要指向节点的地址，还需要一个（）。这是用于存储///此类更新操作的首个首先（FIFO）队列。

根据FT-Index源代码的实现，关于FT-Index中分形树的更严格的声明：

//分形树的实现

当我们谈论分形树时，它们是一种优化的数据结构，它们的写作性能比B+树的写作表现更好。那么，如何获得更好的写操作性能？首先，此处提到的写操作性能是指随机写操作。为了举一个简单的示例，假设我们在mySQL表中继续执行此SQL语句：inse x = uuid（），其中表中的唯一索引字段为x。由于uuid（）的随机性，插入表中的数据将散布在各种叶子节点（叶节点）中。在B+树中，大量此类随机写操作将导致LRU-CACHE中的大量热数据页落在B+树的上层上（如下图所示）。通过这种方式，降低了基础叶节点击中缓存的概率，从而导致大量磁盘IO操作，这导致B+树的随机写入性能中的瓶颈。但是，B+树的顺序写操作非常快，因为顺序写操作充分利用了局部热点数据，并且磁盘IO时间的数量大大减少了。

让我们谈谈分形树插入操作的过程。为了促进下面的描述，协议如下：

详细过程如下：

1。加载根节点；

2。确定是否需要将根节点分开（或合并）。如果满足拆分（或合并）条件，则根节点将被拆分（或合并）。有兴趣的学生可以为分解根节点的特定过程敞开大脑。

3。当根节点> 0（即，root是一个非叶节点）时，找到键间隔范围，其中键是通过二进制搜索，包裹（键，值）置于消息（，键，值）中的键值间隔范围，并将其放入与键值间隔范围相对应的子指针中。

4。当root节点= 0时，也就是说，当root是叶子节点时，将消息（，键，值）应用于顶部，即插入（键，值）。

这里有一件非常奇怪的事情。在大量插入（包括随机插入和顺序插入）的情况下，根节点通常会满足，这会导致根节点执行大量拆分操作。然后，在根节点执行大量拆分操作之后，生成了大量具有= 1的节点。然后，在= 1的节点已满后，将生成大量带有= 2的节点，并且树的高度将变得越来越高。这个奇怪的东西隐藏了一个秘密，即分形树写操作性能高于b+树：每个插入操作都落在根节点上并立即返回。每个写操作都不需要搜索树结构的最低水平。这将导致大量热数据落在根节点的上层（此时热数据分布图与上图相似），从而充分利用热数据的局部性并大大减少了磁盘IO操作。

/操作的情况与操作相似，但是要特别注意一个事实，即分形树的随机读取性能不如B+树的随机读取性能。因此，需要在两种情况下考虑 /操作，其中测试性能可能很大：

此外，为了提高顺序写作的性能，FT索引对顺序插入操作（例如顺序写入加速度）进行了一些优化。

分形树的点质量实现

在ft-index中，与表相似的查询操作类似于id =？ （其中ID是索引）称为点问题；类似于从表格> =？和ID