Question

如何实现抓取一个网站的所有连接 delphi

如何实现抓取一个网站的所有连接 delphi

就像流量狗一样 抓取一个站点所有的链接地址 然后在逐个访问
如何遍历主页地址 所有连接 ？

Answer 1

先用获取网站的主页，然后遍历主页中的所有链接页面并获取，如果是本网站的链接，就继续获取，如果是循环的链接就不再继续下去，否则继续遍历。

就和树的遍历一样。就是要注意处理外部链接，循环链接。

Answer 2

unit Unit1;

interface

uses
Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
Dialogs, StdCtrls, OleCtrls, SHDocVw;

type
TForm1 = class(TForm)
WebBrowser1: TWebBrowser;
Button1: TButton;
Edit1: TEdit;
ListBox1: TListBox;
procedure Button1Click(Sender: TObject);
procedure WebBrowser1DocumentComplete(Sender: TObject;
const pDisp: IDispatch; var URL: OleVariant);
private
{ Private declarations }
public
{ Public declarations }
end;

var
Form1: TForm1;

implementation

{$R *.dfm}

procedure TForm1.Button1Click(Sender: TObject);
var
i: Integer;
begin

webbrowser1.Navigate(edit1.Text);

end;

procedure TForm1.WebBrowser1DocumentComplete(Sender: TObject;
const pDisp: IDispatch; var URL: OleVariant);
var
i:integer;
begin
for i := 0 to Webbrowser1.OleObject.Document.links.Length - 1 do
Listbox1.Items.Add(Webbrowser1.OleObject.Document.Links.Item(i));
end;

end.

Answer 3

查找lmcjl在线工具，查看就有抓取链接的工具，输入域名，点击抓取即可。