Question

本地 用scrapy 爬虫 能不能实现 将数据存到 服务器上的mysql里面

本地 用scrapy 爬虫 能不能实现 将数据存到 服务器上的mysql里面，因为用的scrapy-redis 分布式爬 那 爬的数据 不应该都存到同一个mysql下吗，所以 要怎么远程连接mysql呢？ 如果不需要存到同一个mysql下，那应该是个什么原因呢？ 感谢各路大牛解答

Answer 1

问题：

1. 因为用的scrapy-redis 分布式爬 那 爬的数据 不应该都存到同一个mysql下吗

2. 要怎么远程连接mysql呢？

3. 如果不需要存到同一个mysql下，那应该是个什么原因呢？

解答：

1. 可以存在同一个mysql也可以存在不同的mysql，主要看你的需求是怎样的，一般情况下，存在一个mysql就足够了

2. 不管你的程序是在本地还是线上，只要你知道连接mysql的参数就可以连接上。连接的参数包括服务器IP,端口号,用户,密码,此外，服务器可能还配置了另外的限制条件，比如说限制远程连接的IP，如果你的本地IP不在连接白名单里面，那么你就算知道上述信息也是无法连接的。具体连接mysql方式根据不同语言而定。

3. 不存在同一个mysql的原因，可能会考虑到数据备份，也可能考虑到连接速度（如果在这方面有很高要求的话，会选择最近的服务器上的数据库进行存储）