Question

怎么通过C语言读取网页里面的数据

比如这个网页：http://odds.500wan.com/fenxi/ouzhi.php?id=352200

我想把表格里面的数据都读取到我的程序里面然后运行，能不能实现，要是能，怎么搞才行呢

Answer 1

简单的请求格式

GET /index.php HTTP/1.0
host:www.zixue7.com

当我们和服务器连接上之后，发送上面的数据过去，服务器就会返回 index.php 这个页面给我们。

GET 这个 是表示 以什么方式请求，HTTP中还有很多其他的请求方式，常用的就 GET POST （更详细的 可以点开上面 http协议 那个链接）

GET 后面紧跟一个空格 然后 给出，要获取的资源的名称， /index.php 就表示获取网站服务器根目录下 index.php 执行后所产生的内容，我们也可以改成 GET / HTTP/1.0 这就表示获取默认首页的内容 。 GET /1.html HTTP/1.0 就是获取 服务器根目录下 1.html的内容，很容易理解吧。

接下来隔一个空格 跟上 HTTP/1.0 表示 http协议的版本，这个是固定的 。

第二行 host:www.zixue7.com 用来指定 访问哪个主机。 大家都知道，一个服务器可以放很多个网站，每个网站有不同的域名，所以我们需要用这个host来指定 我们要访问的是哪个网站，这样 才能正确得访问到我们想访问的网站。

第一步，连接服务器。
第二步，按照http协议，发送请求数据，然后就是接受返回的内容。

没错，就这么简单。

在编写程序之前，我们先用一个小工具来模拟一下这个过程，好让我们对http协议了解更深入一些。

telnet工具 如果是 win7下的朋友 猛戳这里-->win7开启telnet功能

到此为止，我假设大家电脑上已经开启了 telnet功能，正题开始。

telnet 他是一个基于tcp/ip 协议的程序，为我们用户提供一个 与其他电脑通信的工具，我们可以使用他来和其他电脑进行连接通信。

开始->运行->输入telnet回车, 出现一个黑框如下。

我们这时就可以输入命令，来连接远程主机，比如我们这次是要连接我们自学去论坛 的服务器，
那么我们就输入 open www.zixue7.com 80 然后回车。

open 是打开的意思 后面跟上 要打开那个主机 然后 后面跟上端口， web服务器默认使用的是80端口，所以 要加上80端口（不加端口 telnet默认是23端口）。

然后会出现下图的情况，这时候 我们就可以输入命令了，输入的命令都将被发送到自学去论坛的服务器上面。大家注意一下 下图红色箭头所指出的部分，那里就是一个输入光标，不用管其他的字。

这就代表 我们已经和远程主机连接上了，就相当于我们上节课中 客户端执行到 connect 函数 之后 就是要调用 send函数发送数据了，在这里 我们只需要按键盘输入到黑色窗口中 就会发送到服务端。

我们依次输入以下内容，（注意，不能按退格，输入错误了，就重新打开telnet，重新操作。）

Answer 2

1、要用程序抓取网页自动保存到本地，就要会用socket编程，或者学习使用libcurl库，不做网页抓取的时候，这些知识依然非常有用。而且，不同的网页，内容不同，规律可能也不同。
2、网页分析，本质是字符串处理和分析。所以需要掌握正则表达式和字符串处理相关的函数，以及函数库，比如tidy库等。正则表达式是用来匹配一类字符串的，方便找规律，也方便处理。而且，正则表达式跟语言无关，什么语言都能用得到。标准C库中没有正则表达式相关的函数，一般来说C中使用两种正则表达式库，一为POSIX C正则库，二为perl正则库PCRE。相比较而言PCRE要强大些，POSIX C正则库就足够使用。
3、例程，将下载下来的网页源代码处理成没有标签的纯文字文本：

    #include <tidy.h>
    #include <buffio.h>
    #include <stdio.h>
    #include <errno.h>
    int main(int argc, char **argv )
    {
      const char* input = "<title>Foo</title><p>Foo!";
      TidyBuffer output = {0};
      TidyBuffer errbuf = {0};
      int rc = -1;
      Bool ok;
      TidyDoc tdoc = tidyCreate(); // Initialize "document"
      printf( "Tidying:\t%s\n", input );
      ok = tidyOptSetBool( tdoc, TidyXhtmlOut, yes ); // Convert to XHTML
      if ( ok )
      rc = tidySetErrorBuffer( tdoc, &errbuf ); // Capture diagnostics
      if ( rc >= 0 )
      rc = tidyParseString( tdoc, input ); // Parse the input
      if ( rc >= 0 )
      rc = tidyCleanAndRepair( tdoc ); // Tidy it up!
      if ( rc >= 0 )
      rc = tidyRunDiagnostics( tdoc ); // Kvetch
      if ( rc > 1 ) // If error, force output.
      rc = ( tidyOptSetBool(tdoc, TidyForceOutput, yes) ? rc : -1 );
      if ( rc >= 0 )
      rc = tidySaveBuffer( tdoc, &output ); // Pretty Print
      if ( rc >= 0 )
      {
      if ( rc > 0 )
      printf( "\nDiagnostics:\n\n%s", errbuf.bp );
      printf( "\nAnd here is the result:\n\n%s", output.bp );
      }
      else
      printf( "A severe error (%d) occurred.\n", rc );
      tidyBufFree( &output );
      tidyBufFree( &errbuf );
      tidyRelease( tdoc );
      return rc;
    }

Answer 3

去查看下java的HttpConnection 类的源码
试着用socket+输入输出流洁净，就ok了

Answer 4

我觉得应该是可以做的
看一下网页源码，里面都是标签 直接去分析标签
这个思路应该可行

追问

请问怎么用C语言去分析网页源码的标签

追答

你就去分析 html的标签
就是一个字符串处理

Answer 5

网上自己查吧 baidu wininet api