Question

C# HTML agility pack 网络爬虫怎么读txt文件里的网址

C# 用HTML agility pack 进行网络爬虫 可以将多个网址保存在txt里 然后读这个txt获取网址吗？可以的话代码怎么写？

Answer 1

 using System;
 using System.IO;
 using HtmlAgilityPack;
 class P{
	 static void Main(string[] args)
        {
			var urls=File.ReadAllLines("1.txt");// http:// 开头的网址，每输入一个，换行输入下一个
			var web=new HtmlWeb();
			foreach(var url in urls){
				var doc=web.Load(url);
				Console.WriteLine(doc.DocumentNode.OuterHtml);
			}
		}
	}

追问

可不可以读第一个网址 输出我想要的节点里的文本 然后再读下一个网址 输出下一个网址里的相同节点里的文本？

追答

当然可以，自己学习XPath语法，用HtmlNode 的SelectSingleNode方法

追问

那这样的话怎么控制读文件中地址的顺序啊？怎样实现一条一条读？我试了试 把SelectSingleNode加到foreach里面 不能实现。。。

追答

SelectSingleNode是选一个的

SelectNodes选全部符合对象

追问

我想达到的效果是 读一个网址 执行SelectSingleNode 再读下一个网址 执行SelectSingleNode 可以实现吗？怎么实现？麻烦您解答了T T

追答

 using System;
 using System.IO;
 using HtmlAgilityPack;
 class P{
 static void Main(string[] args)
        {
var urls=File.ReadAllLines("1.txt");
var web=new HtmlWeb();
foreach(var url in urls){
var doc=web.Load(url);
Console.WriteLine(doc.DocumentNode.SelectSingleNode("/html/head/title").OuterHtml);//输出网页的标题
}
}
}