爬虫程序是如何知道URL地址的?
比如爬虫程序怎么知道世界上有叫baidusinasohu这些网站呢?是通过某个预先设定的库,还是通过随机生成字符串,然后一个个验证的呢?...
比如爬虫程序怎么知道世界上有叫baidu sina sohu这些网站呢?是通过某个预先设定的库,还是通过随机生成字符串,然后一个个验证的呢?
展开
2个回答
展开全部
知道这个词有点拟人容易产生误会，其实爬虫爬取的URL是程序设置的。
可以是指定数据库，也可以是根据爬取的内容计算出新URL。总的来说就是具体爬虫具体任务，想爬什么要程序员自己写 URL或者生成URL的方法。
可以是指定数据库，也可以是根据爬取的内容计算出新URL。总的来说就是具体爬虫具体任务，想爬什么要程序员自己写 URL或者生成URL的方法。
本回答被提问者和网友采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
广东轻亿云软件
2024-05-14 广告
广东轻亿云软件科技有限公司在软件开发领域深耕多年，积累了丰富的经验和技术实力。我们深知API接口在现代软件开发中的重要性，因此，我们与多家业界领先的API接口提供商保持着紧密的合作关系，确保我们的产品和服务能够充分利用这些接口，为用户提供更...
点击进入详情页
本回答由广东轻亿云软件提供
展开全部
在八爪鱼采集器中，用户需要在创建新任务时输入目标网址（也叫URL地址）。用户可以通过浏览器访问目标网页，然后将网址复制下来，然后在八爪鱼采集器的输入框中粘贴该网址即可。八爪鱼采集器会根据用户提供的网址自动打开网页，并开始进行数据采集。了解更多八爪鱼采集器的功能与合作案例，请前往官网了解更多详情
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
