python mysql写入速度加快_python,mysql_大神帮忙看下20行的python代码,文件io和数据库插入太慢，python,mysql,mysql优化 - phpStudy...

大神帮忙看下20行的python代码,文件io和数据库插入太慢

新学python,在做一个把爬虫爬下来的股票数据从文件插入到mysql数据库,速度很慢,不知道瓶颈是文件处理还是sql插入问题,望大神不吝赐教,感激不尽!

# encoding: utf-8

#!/usr/bin/python

import MySQLdb

import os

db = MySQLdb.connect(host="localhost",user="root",passwd="4242",

db="STOCKS", charset="utf8", use_unicode=True)

cursor = db.cursor()

files = os.listdir("shanghaiHistory")

for fileName in files:

print "start insert " + fileName

isTheFirstLine = True

for line in open("shanghaiHistory/" + fileName):

if isTheFirstLine:

isTheFirstLine = False

continue

lineList = line.split(',')

lineList.insert(0,fileName[:6])

sql = "insert into shanghaiHistory(Code,Date,Open,High,Low,Close,Volume,AdjClose)

values ('%s','%s','%s','%s','%s','%s','%s','%s')" % tuple(lineList)

try:

cursor.execute(sql)

db.commit()

except:

db.rollback()

db.close()

文件格式是形如:

Date,Open,High,Low,Close,Volume,Adj Close

2012-12-21,0.9151,0.9151,0.9151,0.9151,000,0.9151

2012-12-20,0.896,0.898,0.896,0.898,22924300,0.898

2012-12-19,0.895,0.898,0.895,0.897,37858100,0.897

2012-12-18,0.896,0.896,0.895,0.896,43542500,0.896

2012-12-17,0.895,0.897,0.895,0.896,41877700,0.896

2012-12-14,0.895,0.897,0.894,0.897,35734700,0.897

2012-12-13,0.894,0.896,0.894,0.895,11613800,0.895

2012-12-12,0.89,0.895,0.89,0.894,26586500,0.894

两个多小时才插入45W条数据,怎么才能提速一点呢.

相关阅读:

avoscloud中的ios实时通信 如何知道消息到达？

express生成器生成的项目如何使用 socket.io？

iOS 9 跳转系统设置, 返回后不调用viewWillAppear, 无法刷新页面数据, 谁有思路?

mysql 联合查询在数据库里测试时正确，通过php操作就不对了？

在局域网范围内如何确定应用层数据包之间的请求响应关系？

Vue.js的平行组件之间如何互相通信？

关于backbone.js里的model.set和model.get

zabbix的监控的历史图形

如何删除Android ExpandableListView中某个group item的child item？

angularjs 视频全屏切换

Mysql在插入数据的工作方式。

写直播播放器。是不是我使用插件后。就不用学as?

jquery是如何开发的？

css3 动画问题

js 中参数是按值传递的，但声明对象时又是引用指向某个对象的，该怎么理解？

关于nodejs作为中间层的疑问

如果想成为mysql dba应该看什么书？

AngularJS操作ng-show指令

PHP处理大量数据的问题

javacript的面向对象思想体现在哪里？