robots.txt 生成器
接口调用 意见/报错
登录 / 注册
robots.txt 生成器

robots.txt 生成器

默认 - 所有机器人是:  
检索间隔:
Sitemap: (留空为无)
     
普通搜索机器人: Google googlebot
  Baidu baiduspider
  MSN Search msnbot
  Yahoo yahoo-slurp
  Ask/Teoma teoma
  Cuil twiceler
  GigaBlast gigabot
  Scrub The Web scrubby
  DMOZ Checker robozilla
  Nutch nutch
  Alexa/Wayback ia_archiver
  Naver naverbot, yeti
   
特殊搜索机器人: Google Image googlebot-image
  Google Mobile googlebot-mobile
  Yahoo MM yahoo-mmcrawler
  MSN PicSearch psbot
  SingingFish asterias
  Yahoo Blogs yahoo-blogs/v3.9
   
限制目录: 路径是相对的,但每个路径之前都要包含:"/"
 
 
 
 
 
   


现在,你创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去。把“robots.txt”放在你网站的根目录,并确保他能让访问者(如搜索引擎)访问到。

关于robots生成器

  robots.txt 生成器
欢迎关注微信公众号:便民查询网

1、长按上方二维码,保存至手机相册;
2、进微信扫一扫,从相册中选择识别二维码。
联系我们
接口调用 | 联系我们
CopyRight © 2004-2021 便民查询网 All Rights Reserved
闽ICP备2020022420号-1 闽B2-20210351
闽公网安备 35011102350673号