Question

Python如何爬取知乎一个话题下的全部源码?(为什么我只能获取很少一部分)

Answer 1

手动打开知乎也只能看到很少一部分，必须下拉才会加载。所以要模拟这种动作吧。

追问

可是为什么URL没有变化呢

知乎一个URL在网页可以浏览全部话题而且URL还没有变化，但是源码用UTF-8解析就是没有后面回答的内容

追答

这种网站太常见了。百度知道回答的不同阶段，内容也不一样，但问题网址还是不变的。内部实现机制我不是做网站的，但你应该听说过javascript，ajax啥的，背后在做一些post/get的动作。
要做好爬虫，最好有开发网站的经验。

追问

嗯嗯，谢谢！