Question

python 2.7 如何下载需要登录名和密码的页面

网上找到的方法都不管用.下载到的依然是提示需要用户名和密码才能访问的页面.
看了看他们代码,我猜测发送用户名和密码字符串的语法和网页具体内容相关.
比如urllib.urlencode({"username":user,"password":password})中的"username"和"password"

我有以下疑问:
我的猜测是对的吗?
有没有一种通用结构,让我可以给出用户名和密码就可以下载页面数据?
啥样的代码能遍历那个论坛的主题页面
(它不支持主题字符搜索...手动一个一个点真是摧残人性)

如果确实需要特定网址,请说下,我私信发给你.谢谢各位大神了.

Answer 1

1. 发送的格式，主要和你所处理的网页有关。
   

2. 一般的逻辑是：用工具去分析该网页的逻辑，搞懂后，再去写代码模拟对应的逻辑。

3. 没有这样通用的结构。

4. 哪个论坛？？？

5. 我写了教程，你看了后，就可以自己写python代码，处理你索要处理的网页了：

6. 详见：

7. Python专题教程：抓取网站，模拟登陆，抓取动态网页
   http://www.crifan.com/files/doc/docbook/python_topic_web_scrape/release/html/python_topic_web_scrape.html