Question

如何突破豆瓣爬虫限制频率

Answer 1

做好 cookie UA 伪装，豆瓣带 cookie 的抓取保持一定节奏不会被 403 ，会跳转验证码，把验证码简单二值化然后扔给开放的 OCR API ，然后走下英文单词纠错（豆瓣验证码基本都是英文单词），自动识别率基本是超过 30% 。找到这个节奏的最大并发限制，然后慢慢抓，不行可以开多 ip 代理这么抓。 几个月前抓豆瓣基本是这么写的。先大概计算下需要抓的页面数量级，有时候 1 秒一个页面，慢慢抓，抓几天也能满足需要，不行再上代理。

Answer 2

现在都是新版的了。登陆了之后右上角有一个“XX的设置”，然后选那个，设置头像就好了啊。 不过最近豆瓣好像在系统升级维护，可能无法更改，所以你看不见更改头像的按钮。等几天吧。