python 如何快速提取csv中的数据矩阵？
本来用csv.reader的，读出来后是字符列表，所以得转数字，不曾想，速度实在太慢！数据规模是（42000,785），也不是特别大吧？defcsv2matrix():'...
本来用csv.reader的，读出来后是字符列表，所以得转数字，不曾想，速度实在太慢！数据规模是
（42000,785），也不是特别大吧？
def csv2matrix():
'获取csv中的数据'
l = []
reader = csv.reader(file('train.csv', 'rb'))
for line in reader:
l.append(line)
l.remove(l[0])
l = array(l)
label = l[:, 0]
data = l[:, 1:]
return nomalizing(toInt(data)), toInt(label)
def toInt(array):
array=mat(array)
m,n=shape(array)
newArray=zeros((m,n))
for i in xrange(m):
for j in xrange(n):
newArray[i,j]=int(array[i,j])
return newArray
在toInt这里运行了好久。
有什么其他方法可以加快速度吗？ 展开
（42000,785），也不是特别大吧？
def csv2matrix():
'获取csv中的数据'
l = []
reader = csv.reader(file('train.csv', 'rb'))
for line in reader:
l.append(line)
l.remove(l[0])
l = array(l)
label = l[:, 0]
data = l[:, 1:]
return nomalizing(toInt(data)), toInt(label)
def toInt(array):
array=mat(array)
m,n=shape(array)
newArray=zeros((m,n))
for i in xrange(m):
for j in xrange(n):
newArray[i,j]=int(array[i,j])
return newArray
在toInt这里运行了好久。
有什么其他方法可以加快速度吗？ 展开
2个回答
展开全部
用pandas库，
import pandas as pd
data = pd.read_csv('train.csv')
train_data = data.values[0:TRAIN_NUM,1:]
train_label = data.values[0:TRAIN_NUM,0]
study.163.com/course/courseMain.htm?courseId=1000035
机器学习正好讲了这个手写识别的例子
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
Python使用Tensorflow读取CSV数据训练DNN深度学习模型
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
