mysql大数据量的优化

分区：http://biji.jinli.vip/573.html

分表

主从

千万级表单创建实例：https://www.cnblogs.com/ryanzheng/p/8334915.html

大数据的迁移：

G级别数据迁移

最近有个需求，要把机器a上的一个数据库迁移到机器b上，这个数据库的数据有100多个G。所以，果断抛弃用mysqldump的方法来迁移。这时候想到的就是直接复制文件来做迁移。
于是我按照网上的说法，步骤如下：
一、把机器b的MySQL停掉。
二、把机器a上要迁移的库的整个目录复制到机器b的mysql data目录下。
三、修改目录权限为700，修改文件权限为660，并修改他们的所属用户和所属组为mysql。
四、再启动机器b的mysql。
操作完成后，我进入机器b的mysql，此时，执行show databases可以看到要迁移的数据库。然后执行use databasename,再执行show tables，也可以看到所有的表。但是问题来了，我执行select * from table limit 10，这时候却报错了，提示表不存在。
所以，我们大致可以指定mysql的工作机制，show databases和show tables时，mysql其实是去目录下扫描，但执行select这些操作的时候，mysql优化器会去information_schema.TABLES 这个表里面获取信息。由于我们是直接复制文件过去，所以，这个表里面是没有信息的，所以就会提示表不存在。
知道了这点之后，我修改了上述步骤：
一、在机器b上，创建需要的database
二、在该database建好所有的表。
三、把机器b的mysql停掉。
四、到机器b上，刚才建的那个数据库的目录下，把所有的(.ibd)文件删除掉。
五、把机器a上，对应数据库目录下所有的(.ibd)文件复制到机器b上，修改文件的权限。
六、启动机器b的mysql。
这时候再连接上b的mysql，就可以看到所有的数据了。

设计方面：

1、尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。

2、任何地方都不要使用 select * from t ，用具体的字段列表代替“*”，不要返回用不到的任何字段。

7、如果使用到了临时表，在存储过程的最后务必将所有的临时表显式删除，先 truncate table ，然后 drop table ，这样可以避免系统表的较长时间锁定。

8、尽量避免使用游标，因为游标的效率较差，如果游标操作的数据超过1万行，那么就应该考虑改写。

10、与临时表一样，游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法，尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时间允许，基于游标的方法和基于集的方法都可以尝试一下，看哪一种方法的效果更好。

「三年博客，如果觉得我的文章对您有用，请帮助本站成长」

赞(0) 打赏

支付宝

微信

赏 0

支付宝

微信