?!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> robots.txt文g
    1. 首页 >> |络营销词典 >> |络营销术语及概?/a> >> robots.txt文g

      robots.txt文g[~辑]


      概述
      robots.txt文g是存攑֜|站根目录下的一个纯文本文gQ而且能通过互联|进行访问。通过robots文g讄Q可以指定搜索引擎蜘蛛只抓取指定的内容,或者禁止抓取网站的部分或全部内宏V?/div>

      一、robots.txt在哪

      robots.txt是存攑֜|站根目录下的一个纯文本文gQ而且该文件是可以通过互联|进行访问的。例如:|络营销教学|站的网址?a href="http://www.heritage-hse.com/" target="_blank">http://www.heritage-hse.com/Q如果网l营销教学|站讄了robots.txt文gQ那么,通过http://www.heritage-hse.com/robots.txt是可以打开q看到里面的内容的?/p>

      二、robots.txt文g作用

      robots.txt文g可以指定搜烦引擎蜘蛛只抓取指定的内容Q或者是止搜烦引擎蜘蛛抓取|站的部分或全部内容。当|站包含不希望被搜烦引擎收录的内ҎQ才需要用robots.txt文g。如果希望搜索引擎收录网站上的所有内容,请勿建立robots.txt文g?/p>

      三、robots.txt文g讄

      Q?Q先查网站是否设|了robots.txt文g。检查方法是直接讉K|站域名/robots.txtQ例如wm23.com/robots.txtQ如果能正常讉KQ说明该|站讄了robots.txt文gQ反之,则没讄?/p>

      Q?Q如果没讄Q可以新Z个txt格式的文本文,文g名ؓrobots.txt?/p>

      Q?Q借助站长工具?ldquo;robots文g生成”工具生成代码?/p>

      Q?Q将生成的代码复制到txt文g中,robots.txt文g上传到FTP根目录?/p>

      Q?Q再ơ检查网站域?robots.txt是否可以正常讉K?/p>

      Q?Q如果网站有地图Q可网站地囄址IZ行放在robots文g中。设|网站地N接,方便引导搜烦引擎蜘蛛爬取面?/p>

      四、robots文g生成

      robots文g生成工具Qhttp://tool.chinaz.com/robots/

      参考资料:
      扩展阅读Q?
      合作~辑Q?

      |络营销词典内容均由|友提供Q仅供参考。如发现词条内容有问题,请发邮g至info # wm23.com?/p>

      词条信息

      览ơ数Q?span id="_wiki_visit_Count">0

      ~辑ơ数Q?span id='_wiki_edit_Count'>0历史版本

      创徏者: 吴清

      最q更斎ͼ2017/7/5 3:49:10

      词条分类D

      关于|络营销教学|站| 本站动?/a>| |站地图| 版权声明| 联系作?/a>| 问题和徏?/a>|

      版权声明Q网l营销教学|站所有作品版权均归原作者所有,未经书面许可Q严Q何Ş式的转蝲/转脓、出版、篡攏V汇~、编译等?/p>

      ʲ