Question

python爬虫下来的数据怎么存

我爬取了一些笑话，但发现文字太对不存不到mysql中，用的varchar(255)，那么如果碰到大数据文本时候应该保存在哪里？
我想把我爬下来的数据放在服务器上。

Answer 1

如果是存到mysql中，可以设置为字段类型为text。
mysql中text 最大长度为65,535(2的16次方–1)字符的TEXT列。
如果你觉得text长度不够，可以选择
MEDIUMTEXT最大长度为16,777,215。
LONGTEXT最大长度为4,294,967,295
Text主要是用来存放非二进制的文本，如论坛帖子,题目，或者百度知道的问题和回答之类。
需要弄清楚的是text 和 char varchar blob这几种类型的区别

如果真的特别大，就用python在某一路径下建一个文件，把内容write到文件中就可以了