1个回答
展开全部
不知道你网站是什么系统。以下是wordpress一个非常粗糙的蜘蛛记录功能原理。可做参考
1.首先,在wordpress主题根目录建立一个robots.php文件,写入以下内容:
function get_naps_bot()
{
$useragent = strtolower($_SERVER[\'HTTP_USER_AGENT\']);
if (strpos($useragent, \’googlebot\’) !== false){
return \’Googlebot\’;
}
if (strpos($useragent, \’msnbot\’) !== false){
return \’MSNbot\’;
}
if (strpos($useragent, \’slurp\’) !== false){
return \’Yahoobot\’;
}
if (strpos($useragent, \’baiduspider\’) !== false){
return \’Baiduspider\’;
}
if (strpos($useragent, \’sohu-search\’) !== false){
return \’Sohubot\’;
}
if (strpos($useragent, \’lycos\’) !== false){
return \’Lycos\’;
}
if (strpos($useragent, \’robozilla\’) !== false){
return \’Robozilla\’;
}
return false;
}
function nowtime(){
$date=gmdate(\”Y-n-j H:i:s\”,time()+8*3600);
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER[\'HTTP_USER_AGENT\']);
$url=$_SERVER[\'HTTP_REFERER\'];
$file=\”robotslogs.txt\”;
$time=nowtime();
$data=fopen($file,\”a\”);
fwrite($data,\”Time:$time robot:$searchbot URL:$tlc_thispage\\n\”);
fclose($data);
}
?>
将其上传于你的主题目录内。
2.在Footer.php或header.php的适当位置添加以下代码调用robots.php。
程序原理:通过对蜘蛛标识符(如Baiduspider、Googlebot)的判断,记录蜘蛛爬行时间,并生成日志文件robotslogs.txt于根目录。
程序缺点:无法记录蜘蛛爬行的页面,功能较为简单。
1.首先,在wordpress主题根目录建立一个robots.php文件,写入以下内容:
function get_naps_bot()
{
$useragent = strtolower($_SERVER[\'HTTP_USER_AGENT\']);
if (strpos($useragent, \’googlebot\’) !== false){
return \’Googlebot\’;
}
if (strpos($useragent, \’msnbot\’) !== false){
return \’MSNbot\’;
}
if (strpos($useragent, \’slurp\’) !== false){
return \’Yahoobot\’;
}
if (strpos($useragent, \’baiduspider\’) !== false){
return \’Baiduspider\’;
}
if (strpos($useragent, \’sohu-search\’) !== false){
return \’Sohubot\’;
}
if (strpos($useragent, \’lycos\’) !== false){
return \’Lycos\’;
}
if (strpos($useragent, \’robozilla\’) !== false){
return \’Robozilla\’;
}
return false;
}
function nowtime(){
$date=gmdate(\”Y-n-j H:i:s\”,time()+8*3600);
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER[\'HTTP_USER_AGENT\']);
$url=$_SERVER[\'HTTP_REFERER\'];
$file=\”robotslogs.txt\”;
$time=nowtime();
$data=fopen($file,\”a\”);
fwrite($data,\”Time:$time robot:$searchbot URL:$tlc_thispage\\n\”);
fclose($data);
}
?>
将其上传于你的主题目录内。
2.在Footer.php或header.php的适当位置添加以下代码调用robots.php。
程序原理:通过对蜘蛛标识符(如Baiduspider、Googlebot)的判断,记录蜘蛛爬行时间,并生成日志文件robotslogs.txt于根目录。
程序缺点:无法记录蜘蛛爬行的页面,功能较为简单。
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
AiPPT
2024-09-19 广告
2024-09-19 广告
随着AI技术的飞速发展,如今市面上涌现了许多实用易操作的AI生成工具1、简介:AiPPT: 这款AI工具智能理解用户输入的主题,提供“AI智能生成”和“导入本地大纲”的选项,生成的PPT内容丰富多样,可自由编辑和添加元素,图表类型包括柱状图...
点击进入详情页
本回答由AiPPT提供
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询