在新站或网站收录有问题时,可能需求连续存眷搜刮引擎蜘蛛的抓取环境。关于网站的内容是否可以或许实时的收录,都是咱们站长天天都在存眷的工具,究竟天天产出的工具有限,所越发的存眷本身写的内容是否可以或许讨的百度蜘蛛的欢心,好实时收录本身的网页,究竟早一天收录,如许得到流量的可能性就会更多一点,那样的话,当前变现的老本也会变得更低。
有时辰当咱们不晓得蜘蛛什么时辰来过咱们的网站的时辰,只可以或许经由过程一遍又一遍的向百度提交本身网站近来孕育发生的新鲜内容。可是又畏惧如许会让百度的蜘蛛厌恶咱们的网站,总之那种觉得啊,不是太好。
每次关上办事器端拜候日记查望很是贫苦,出格是当日记文件比力年夜时更是未便。最好的措施就是在线间接关上望蜘蛛爬行记载。为此,咱们可以免插件应用纯 PHP 代码来完成这个功效,以下是详细完成代码。
// 记载蜘蛛拜候记载 function get_naps_bot(){ $useragent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($useragent,'googlebot') !== false){ return 'Googlebot'; } if (strpos($useragent,'bingbot') !== false){ return 'Bingbot'; } if (strpos($useragent,'slurp') !== false){ return 'Yahoobot'; } if (strpos($useragent,'baiduspider') !== false){ return 'Baiduspider'; } if (strpos($useragent,'sogou web spider') !== false){ return 'Sogouspider'; } if (strpos($useragent,'haosouspider') !== false){ return 'HaosouSpider'; } if (strpos($useragent,'yodaobot') !== false){ return 'YodaoBot'; } return false; } function nowtime(){ date_default_timezone_set('Asia/Shanghai'); $date=date("Y-m-d G:i:s"); return $date; } $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url=$_SERVER['HTTP_REFERER']; $addr=$_SERVER['REMOTE_ADDR']; $file="robotslogs.txt"; //根目次下记载蜘蛛拜候的文件 $time=nowtime(); $data=fopen($file,"a"); $PR="$_SERVER[REQUEST_URI]"; fwrite($data,"[$time] - $addr - $PR - $searchbot $tlc_thispage rn"); fclose($data); }
将以上代码拔出 funtion.php 文件,并在网站根目次下创立一个名为 robotslogs.txt 的文件即可,文件名可自界说。留意需为 robotslogs.txt 设置可写权限,最好是 777 权限,755 权限某些主机配置下可能存在无奈写进的环境。以上代码能记载搜刮蜘蛛的基本抓守信息,实现当前,一般 24 小时辰,就可以望到你“robotslogs.txt”傍边曾经尽是数据的了。
以上是搬码源码网(abnma.com)为你网络收拾整顿的全数代码内容,但愿文章可以或许帮你解决所碰到的步伐开提问题。假如感觉搬码源码网网站内容还不错,接待将搬码源码网网站保举给步伐员挚友。
评论0