Question

怎么样python爬虫进行此网站爬取

https://www.zk120.com/ji/book/566?nav=dr&shprefix=ys-zk-b2-jingxuanshudan
就这个网站的书籍信息要如何爬取，我找到的接口里数据也不知道是不是加密，反正就是解不出来了
https://www.zk120.com/ji/content/566?uid=None&_=1513589893787
请教爬虫大佬 这样的内容要如何获取？

Answer 1

• 是加密的，解密方法在JS里面可以弄出来。

• 首先要AES解密，可以【Python：import Crypto.Cipher.AES】包，解密mode是CFB，seed是"userId:"+uid+":seed"的SHA256值，解密的key是seed[0:24]，iv是seed[len(seed)-16:]。

• 如果没有登录，uid就是用的"anyone"，这时候的seed是"61581AF471B166682A37EFE6DD40FE4700EE337FEEEF65E2C8F203FCA312AAAB"，也就是key为"61581AF471B166682A37EFE6"，iv为"C8F203FCA312AAAB"。

• 解密后文件是压缩过的，解压即可得到一个JSON。这部分解压我没仔细看他的算法，好像是gzip，直接用【Python：import gzip】解压有点出错，可能没用对或者不是这个算法，你在研究一下。第二种投机的方法就是，可以通过【Python：import execjs】直接调用他的pako.js文件的JS的inflate()函数来解压这块。JS代码混淆后看起来是非常难懂的，使用这种做法可以不用太看懂加密的算法，效率当然写Python实现这个解密算法低1点咯。

• 最后的JSON再用【Python：import demjson】解析，text的value就是文档。
  

Answer 2

八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器，可以帮助您快速进行网站数据的采集。如果您想使用Python爬虫进行网站爬取，可以使用Python的第三方库，如Requests和BeautifulSoup等。以下是一般的Python爬虫步骤：1. 安装Python和所需的第三方库。可以使用pip命令安装Requests和BeautifulSoup库。2. 导入所需的库。在Python脚本中，使用import语句导入Requests和BeautifulSoup库。3. 发送HTTP请求。使用Requests库发送HTTP请求，获取网页的HTML源代码。4. 解析HTML源代码。使用BeautifulSoup库解析HTML源代码，提取所需的数据。5. 处理数据。根据需要，对提取的数据进行处理和清洗。6. 存储数据。将处理后的数据保存到本地文件或数据库中。请注意，使用Python爬虫进行网站爬取需要一定的编程和代码知识，并且需要遵守网站的爬虫规则和法律法规。在进行网站爬取之前，请确保您已经了解相关法律法规，并获得了网站的授权或遵守了网站的使用协议。八爪鱼采集器提供了可视化的操作界面和丰富的功能，使用户无需编程和代码知识就能够轻松进行网站数据的采集。如果您想快速进行网站数据采集，推荐使用八爪鱼采集器。八爪鱼为用户准备了一系列简洁易懂的教程，帮助大家快速掌握采集技巧，轻松应对各类网站数据采集，请前往官网教程与帮助了解更多详情。