Question

java开发一个接口程序,定时抓取网页信息

当我输入一个网址时，能够抓取网页上的信息，比如首饰行业的网站，网站上面报的银价的数值，能够返回数值存进数据库。注意是接口程序哦，别人调用我这个接口可以实现这一一个功能。 求帮忙了，可以完成的话加分+酬劳

Answer 1

不管你用什么东西采集，先放一边，反正你的用程序或者工具定时把数据采集到你的数据库。有了数据，说回你要的这个java接口，很简单，原理我告诉你，具体肯定这里写不下，少说也得几百行代码吧，原理就是，做一个http，或者tcp的服务程序，接受查询，然后从数据库取数据，再以json或者xml的格式返回。接口就是这样做的，你把我说的这个原理的每一步用java来实现，然后部署在tomcat上，就可以了。
关于数据采集的话选择就很多了，免费的八爪鱼采集器就不错，你用实时采集功能可以定时几分钟采集一下你说的银价的数据，然后保存在你的数据库就可以。

追问

你说的那原理挺有道理的，呵呵，我就是不会才来求助的，刚学，什么都不懂

追答

恩，明白你的状况，多努力学习吧，有问题也可以随时问我。

Answer 2

  如果不依赖第三方库的话方式如下：

1. 使用TimerTask相关类做定时

2. 使用url或httpclient相关类做页面抓取

3. 对于您的需求，建议加入分析引擎做页面分析，截取一些数据。

用第三方库的话应该比较简单点，但逻辑差不多。

追问

太泛了

Answer 3

爬虫+定时任务 足以
httpclient+htmlpaser实现爬虫
spring定时任务