Question

python爬虫求一个只用requests库和beautifulsoup库抓取淘宝目录页面内容的框架。。自己抓不出来。绝望。

如果方便的话，能不能写一下步骤的大概意思。。。现在写的一直重复抓同一个东西。。看了人家的还是迷迷糊糊的。。如果淘宝这些库不能解决的话。。抓个类似的。网站目录也行。。就是想练习一下，类似淘宝这种html页面比较复杂的这种。

Answer 1

给个url地址来看看

追问

https://hr.tencent.com/position.php?keywords=&tid=0

之前抓过一次，但是一直出现问题，总是抓重复的单个内容

追答

你这个不是腾讯招聘吗，我记得我写过

追问

嗯，之前想试试看淘宝，都说抓不了就换掉了

追答

还好吧，只是控件里面的不好抓。webdriver就好弄但是你又只需要requests

Answer 2

这次要爬取的是一个壁纸网站wallhaven,里面有很多用户上传的高清壁纸分享。点击进去会出现一个搜索页面,输入dota2,这就得到了我们要爬取的第一个url:”https://alpha.wallhaven.cc/search?q=dota2&search_image=&“。没错,今天的任务是爬取的是上面dota2专题的所有高清壁纸。 这就懵逼了呀！难道这是遇上了号称最难爬取的动态加载页面？？？ 别着急，慢慢来。。。突然我发现上面的url好像变了： 这样我们得到了第二页的url:”https://alpha.wallhaven.cc/search?q=dota2&search_image=&page=2“。与第一个url进行比较,可以大胆猜测第3页url是后面加个”page=3”。这样的话只要通过字符串处理函数,就能得到dota2专题的所有url。问题是最后一个url是啥呢?仅供参考！

Answer 3

不要拒绝一个向你推荐机会的人，即使你不相信、不懂、不会做、不想做，或许你很忙，了解过很多，很反感，千万不要一口回绝，在这个科技发展的时代，信息瞬息万变，也许眼前这个机会就能使你出人头地，你最好能把它了解清楚，了解之后感觉不值得你行动，也不会给你造成什么损失，但也许这个机会就是你一直想要的，是你所处朋友圈接触不到的，就是这个机会可能会改变你的一生！

Answer 4

京东比较，我把泡泡补缴吧。睫毛比较大。不见百度上边app比较烦。

追问

可以写个爬京东的例子么。非常感谢。。