Question

爬虫爬https站点怎么处理的

Answer 1

跟http网站一样处理的，具体参考百度如下公告：
百度放开对https站点的收录，https站点不需要再做任何额外的工作就可以被百度顺利抓收。百度视同一个域名的http版和https版为一个站点，优先收录https版。建议站长关闭http版，或者将http页面直接跳转到对应的https页面。
原文如下：http://www.wosign.com/news/baidu-https.html