动态 / dynamic

了解国风最新市场动态

robots文件的作用与写法

行业新闻 TIME:2015-11-27
1226 2
  1、Robots.txt文件是到底什么:首先国风网络要和大家弄清楚robots.txt的概念问题,带有txt后缀的文件是纯文本文档,robots就是机器人的意思,也就是说,robots.txt文件是给搜索引擎蜘蛛看的纯文本文件。它告诉搜索引擎哪些网页允许抓取、索引并在搜索结果当中显示,哪些网页是被禁止抓取的。搜索引擎蜘蛛来访问你的网站页面的,首先会查看网站根目录下是否有robots.txt文件,robots.txt文件就是起到这个作用的。我们都知道淘宝网是屏蔽百度的,靠的就是robots.txt文件。文件是这样书写的:User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: /
  2. robots.txt的作用:通过设置屏蔽搜索引擎,使之不必要页面被收录,可以大大降低抓取页面所占用的网站带宽,大型网站尤为明显了。设置robots.txt文件可以指定某个搜索引擎不去索引不想被收录的URL,比如我们通过url重写将动态URL静态化为永久固定链接,就可以通过robots.txt设置权限,阻止某些搜索引擎索引那些动态网址,网站重复页面将减少,有利于SEO优化。
  3. robots.txt 怎么写:下面以WordPress博客来作举例。如robots.txt文件里写入以下代码:User-agent: * Disallow: Allow: / robots.txt写法中应该注意的几点。1、robots.txt必须上传到网站根名录下,不能放在子目录下;2、robots.txt,Disallow等必须注意大小写,不能变化;3、User-agent,Disallow等后面的冒号必须是英文。

联系电话:0471- 6934705/6934710/6934715

网  址:www.2400.cn www.nmgf.net 企业邮箱:kefu@nmgf.net

地  址:呼市中山东路6号金天帝广场6-9层(波士名人国际、新世纪广场旁) 

Copyright © 2003-2020 www.nmgf.net All Rights Reserved. 蒙ICP备05001757号  蒙公网安备 15010202150104号  设为首页 加入收藏 投诉电话:15848128138 18604718919

内蒙古网站建设 呼和浩特网络公司 微信小程序开发 微网站 软件开发 网站建设 内蒙古手机网站 呼和浩特网站建设 内蒙古网络公司 呼和浩特网站制作 呼和浩特网站设计 呼和浩特网页设计 呼和浩特网页制作 呼和浩特做网站 呼市考试系统 内蒙古考试系统 呼和浩特系统开发 

快捷导航
点击联系我们

Copyright © 2003-2020 国风网络

蒙公网安备 15010202150104号

蒙ICP备05001757号