Question

python 爬虫 js渲染用哪个库好

Answer 1

无疑是python，爬虫是python最擅长的方面之一，有许多强大的爬虫库如scrapy。 而node.js虽然也能做爬虫，但在处理多线程方面受到限制，这是硬伤。

Answer 2

在访问某网站时发现在HTML源码中看不到所需的数据：

网页内容： 

HTML源码内容： 

于是，我们想到了一个最简单的方法——用 Selenium + PhantomJS 来实现模拟浏览从而获取想要的内容。

下面是示例代码：

from selenium import webdriver


browser = webdriver.PhantomJS(executable_path = './phantomjs')
browser.get("hl/articles/20110516/proxieslist.html")

trs = browser.find_elements_by_tag_name('tr')for tr in trs[1:]:
print(tr.text.split(' ')[0])12345678910

我们可以看到：

Answer 3

python 爬虫 js渲染用pyv8库好,适合新手老手用

Answer 4

pyv8还不错吧