MySql MyISAM INSERT缓慢

在MySQL表中插入一些数据时,我遇到了性能问题。 该表有一堆列,我们假设DATE,A,B,C,D,E,F,其中DATE,A,B,C,D,E是主键。 每天,我在该表中插入70k行(具有不同的日期),并且此表现在包含1800万行。 我用来插入行的方法只是发送70k INSERT查询。

我遇到的问题是查询开始花费比以前更多的时间。 从几分钟到几个小时。 我分析了插入,这是我得到的图表:

每个插入物的速度(以秒计)与当天插入物的数量: 每个插入的速度(以秒为单位)与当天插入的数量

一些奇怪的事实:

  • 大多数查询的执行时间少于2毫秒
  • 慢查询的速度随着该日期的表中的行数线性增加
  • 这种行为只发生在晚上,在数据库发生了一堆进程之后。 白天插入很快,周末也很快
  • 整体速度并不取决于数据库上正在运行的其他内容,实际上,当发生这种情况时,数据库上没有其他任何运行
  • 查询中没有任何内容可以解释查询是快速还是不是,快速查询与慢速查询非常相似,并且从一天到另一天不是同一组。
  • 行为不会从一天变成下一天。
  • 任何想法可能导致这种情况?

    **编辑**索引中的列按以下顺序排列:

    DATE NOT NULL,
    DATE NOT NULL,
    VARCHAR (10) NOT NULL,
    VARCHAR (45) NOT NULL,
    VARCHAR (45) NOT NULL,
    VARCHAR (3) NOT NULL,
    VARCHAR (45) NOT NULL,
    DOUBLE NOT NULL,
    VARCHAR (10) NOT NULL,
    VARCHAR (45) NOT NULL,
    VARCHAR (45) NOT NULL,
    VARCHAR (45) NOT NULL,
    

    日期与今天相同,或者保持空白,双数始终是相同的数字(没有线索设计了这张表)


    简单的解释是,你有一个在一天范围内非递增的索引。 非增量索引通常比插入/更新要慢,因为它们更经常需要重新平衡索引树,并且在更大程度上要比增量索引更平衡。

    为了进一步解释这一点 - 假定以下模式:

    a (int) | b (varchar)
    

    该指数是(a, b)

    现在我们插入:

    1, 'foo'
    2, 'bar'
    3, 'baz'
    

    这将是相当快的,因为索引将附加在每个插入。 现在让我们试试以下内容:

    100, 'foo'
    100, 'bar'
    100, 'baz'
    

    由于'bar'需要在'foo'之前插入,并且'baz'需要在另外2个之间插入,所以这不会很快。这通常需要索引来重写树以适应,并且这种“重新平衡”行为需要一些时间。 再平衡涉及的组件越大(在这种情况下,a = 100的子集),则需要的时间就越多。 请注意,这种重新平衡活动只会更频繁且更广泛地发生,但不一定会在每个插页上进行。 这是因为树通常会留下一些空间用于扩展。 当叶子没空时,它知道是时候重新平衡了。

    在你的情况下,因为你的索引主要是基于当前日期,所以你在不断重新平衡你的树在一天的范围内。 每天开始一个新的范围,并在这一天的范围内开始重新平衡。 最初这只涉及一些重新平衡,但随着当天现有参赛作品的范围的增加,这将会增加。 当你开始新的一天时,这个循环开始,这是你看到的结果。

    主键发生这种情况可能会使情况变得更糟,因为不必移动某些索引指针,而是可能需要移动整行数据以适应新条目。 (最后一点是假定MyISAM集群是在主键上执行的,至今我还没有得到澄清,尽管同音节的证据似乎支持这一点,例如,请参阅此处和此处。)

    链接地址: http://www.djcxy.com/p/16007.html

    上一篇: MySql MyISAM INSERT slowness

    下一篇: C# and Lua