Question

用python的scrapy框架写的爬取网易新闻的爬虫，有些正则表达式不知道怎么写的？大家帮帮忙~

第一个问题是，用scrapy框架爬取网易新闻和评论的时候，在spider里面继承了crawlspider这个类，里面的start_urls，是怎么找出来的？第二个问题是，抓取评论的时候，评论是json格式的嵌套，那评论链接的正则表达式是从哪里找到的呢？我知道是从网页源代码里面找出来的，可是具体是那一部分呢？求大侠们解答！





Answer 1

start_urls是一个API链接，一般是通过抓包获取的。评论链接的正则是根据json的结构编写的，需要学习正则。