mysql分块批量插入数据(insert)性能分析

一次插入多条数据时，可以使用 insert into table values (v1), (v2) ... (vn) 语句，这样可以避免程序和数据库建立多次连接，从而减少服务器运行时间。

实验设计：

数据库设计：

代码：

#encoding=utf8
import pymysql
import string
import random
import time

def get_ran_str():
    return ''.join(random.sample(string.ascii_letters + string.digits, 16))

def get_values_exp(count):
    exp = []
    for i in range(0, count):
        name = get_ran_str()
        key = get_ran_str()
        value = get_ran_str()
        exp.append(f"('{name}', '{key}', '{value}')")
    return ",".join(exp)

if __name__ == '__main__':
    conn = pymysql.connect('localhost', '', '', 'db')
    cursor = conn.cursor()
    arr_count = [1,2,5,10,20,50,100,200,500,1000,2000,5000,10000,20000,50000]
    for count in arr_count:
        sql = "delete from test_insert;"
        cursor.execute(sql)
        sql = 'alter table test_insert auto_increment=1;'
        cursor.execute(sql)
        conn.commit()
        num = 100000
        begin_time = time.time()
        for i in range(0, num//count):
            sql = "insert into test_insert(`name`,`key`,`value`) values " + get_values_exp(count)
            cursor.execute(sql)
            conn.commit()
        end_time = time.time()
        run_time = end_time - begin_time
        print(f'每块{count}条数据的运行时间：{run_time}秒')

实验结果：

实验分析：

运行时间随块大小的增大先急剧减少，然后趋于稳定

数据分块大小不能无限大，当块大小为10万时，程序就会抛出异常：

使用事务进行插入处理能够提高数据插入效率：

for i in range(0, num//count):
    sql = "insert into test_insert(`name`,`key`,`value`) values " + get_values_exp(count)
    cursor.execute(sql)
conn.commit()

实验结果如下：

实验分析：

运行时间随块大小的增大先急剧减少，然后趋于稳定，最后稳定在7s左右

总结：

提示批量插入性能的方法：

1、使用事务管理

2、使用 insert into table values (v1), (v2) ... (vn) 分块批量插入，块大小不宜过小，也不宜过大

最后

以上就是彪壮大地最近收集整理的关于mysql分块批量插入数据(insert)性能分析的全部内容，更多相关mysql分块批量插入数据(insert)性能分析内容请搜索靠谱客的其他文章。