• Google AdSense广告抓取失败

    今天进入Google AdSense后台发现AdSense广告抓取失败提示:

    大量的Google AdSense广告抓取失败请求
    我们注意到,AdSense 广告抓取工具目前不能顺利访问您的以下网站:amznz.com。问题似乎出在您的 robots.txt file 文件中,它在阻止我们的广告抓取工具查看您网站上的特定版块。在上周的 4 天时间里,我们检测到 220 次失败的抓取请求。

    • 原因是指南者博客先前的 robots.txt文件禁用了不少不宜搜索引擎抓取的页面,同时adsense的抓取工具也顺带被禁止所致。

    背景信息介绍:

    网站的 robots.txt 文件就像是网站的门卫 - 它决定着哪些网络抓取工具、网络漫游器和搜索引擎可以访问您的网站,哪些不能。获得了访问权限的网络抓取工具、网络漫游器和搜索引擎可以执行一系列的操作,比如查看您的网页和将您的网站编入索引。没有权限的就无法查看网站的特定部分或将其编入索引,具体取决于您如何指定。

    AdSense 广告的投放依赖于 AdSense 网络抓取工具。该抓取工具会扫描网页的内容,并根据具体的关键字确定投放哪些广告。如果 AdSense 抓取工具被您的 robots.txt 文件所屏蔽,我们就很难在您的网站上投放具有相关性的广告。在这种情况下,用户看到的可能是不太相关的广告,点击率会随之降低。

    robots小知识:

    User-agent: 该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录。

    如果该项的值设为*,则对任何robot均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。

    如果在"robots.txt"文件中,假如加入"User-agent:AmznzBot"和若干Disallow、Allow行,那么名为"AmznzBot"只受到"User-agent:AmznzBot"后面的Disallow和Allow行的限制。

    Disallow: 该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被robot访问。

    例如 "Disallow:/help" 禁止robot访问/help.html、/helpabc.html、/help/index.html,

    而 "Disallow:/help/" 则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。

    "Disallow:" 说明允许robot访问该网站的所有url,在 "/robots.txt"  文件中,至少要有一条Disallow记录。如果 "/robots.txt" 不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

    robots.txt文件是按顺序执行的,所以代码添加的顺序可能会导致出现不一样的效果。

    比如:
    User-agent: Mediapartners-Google
    Disallow:
    User-agent: *
    Disallow: /

    这样是可以允许AdSense的爬虫访问的。
    但是如果写法改成:

    User-agent: *
    Disallow: /

    User-agent: Mediapartners-Google
    Disallow:

    那么就是任何爬虫都不能访问,所以需要注意顺序。

    Adsense抓取失败解决方法:

    修复此问题,只需要在网站根目录找到 robots.txt 文件,将以下两行内容添加到该文件的顶部

    User-agent: Mediapartners-Google
    Disallow:

    这将允许 AdSense 广告抓取工具访问您网站上放置了 AdSense 广告代码的网页,从而让您和您的用户都可以从更具针对性和相关性的广告中受益。

    特别需要注意的是,此更改并不会以任何方式影响您的 Google 搜索排名和搜索引擎优化排名。添加上述两行内容到 robots.txt 文件中,只会让已放置了 AdSense 代码的网页展示效果更好、更具相关性的广告。没有放置 AdSense 广告代码的网页不会受到影响。

    © 原文地址: http://www.amznz.com/google-adsense-zhuaqushibai/
    版权所有!如转载文章,请务必注明以上引用地址,否则请勿转载!




  • + ev、pv、ac项目管理中简写记忆及计算公式
  • + 极品飞车音乐全集下载
  • + November Was White,December Was Grey
  • + Word插入gif动态图片方法
  • + 免费手机号码归属地接口
  • + Axure IOS/Android素材大全
  • + fonts.googleapis.com加载慢解决办法
  • + MySQL数据库MyISAM转换InnoDB方法
  • + 百度蜘蛛IP(定期更新)
  • + LNMPA图片防盗链方法
  • + No Update Required
  • + 如果我欠了你五块钱,请你告诉我