什么是robots?网站的robots怎么写?
访客 2021-05-12 09:43:59 432
一般来说,网站或多或少都存在一些对排名没意义甚至有害的页面。对于SEO技术站长来说是不希望被搜索引擎检索的。而robots.txt文件则承担了站长这个意愿的表达功能。那,什么是robots?网站的robots怎么写?
什么是robots?当蜘蛛访问网站会优先抓取robots.txt,遵循站长配置的规则不再抓取不利于SEO的内容。
什么是robots?robots.txt文件位置
robots文件往往放置于根目录下
什么是robots?robots.txt文件格式
Disallow:该项的值用于描述不希望被访问的一组URL
Allow:该项的值用于描述希望被访问的一组URL
User-agent:该项的值用于描述搜索引擎robot的名字
例如:
User-Agent:YisouSpider // 配置YisouSpider
Disallow: / // 不允许YisouSpider抓取网站任何内容
User-Agent:* // 配置所有搜索引擎
Allow: / // 允许抓取网站任何内容
更多
Disallow: /abc //禁止抓取含abc目录及子目录的所有页面
注意:有些地方注释为“禁止抓取abc目录及子目录中的内容”百度官方有举例,"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html
Disallow: /abc/ //禁止抓取含abc目录的所有页面
百度官方有举例,"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。
robots.txt通配符的使用
"*" 匹配0或多个任意字符
"$" 匹配行结束符。
举例:
Disallow: /*?* //禁止抓取网站中所有的动态页面
Disallow: /*.htm$ // 禁止抓取所有以.htm为后缀的URL页面 /abc.htm/index 不匹配
区别于Disallow: /*.htm // /abc.htm/index 也匹配
更多robots.txt,可以参照百度站长站长平台关于robots.txt
什么是robots?网站哪些内容不建议被抓取
对于这个一般取决于内容是否利于SEO的原则。例如,我博客的搜索结果页,没做好优化的tags页都禁止抓取了。而对于企业站来说,如果不打算可以优化公司名称的关键词,关于、联系、企业新闻等一些内容都可以考虑禁止
还有一点值得注意的事,有很多站长反馈说百度不遵循robots.txt协议,抓取不该抓取的内容。思享也感觉不是很靠谱,所以也可以考虑在一些页面设置meta name="robots"
什么是robots?以上就是相关内容介绍,百度的解释理解起来或许有所偏差,如果有不对,大家可以指正、交流。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 3561739510@qq.com 举报,一经查实,本站将立刻删除。
转载请注明来自专注SEO技术,教程,推广 - 8848SEO,本文标题:《什么是robots?网站的robots怎么写?》
标签:robots
- 上一篇: 上海SEO谈谈交换友情链接需要注意的事项
- 下一篇: SEO技术之怎么做到让百度快速收录你的文章
- 搜索
- 最新文章
- 热门文章
-
- 打造优秀网站页脚设计(提升用户体验)
- 企业网站优化布局指南(实现企业网站高曝光的方法与技巧)
- 如何通过网络优化来提升营销推广排名(网络优化之营销推广排名攻略)
- 了解百度搜索引擎点击排名机制(提高网站排名效果)
- 如何优化企业网站以获得好排名(关键步骤和实用技巧)
- 百度SEO优化排名指南(提高网站排名)
- 如何进行企业网站密度查询(掌握密度)
- 企业网站排名的注意事项(提升排名从未如此简单)
- 企业网站优化布局全指南(如何提高企业网站排名)
- 企业网站优化稳定首页的实用技巧(从建站策略到内容优化)
- 如何更新企业网站内容,优化推广(15个实用技巧教你打造企业网站)
- 如何实现网站SEO推广(提升网站SEO排名的方法)
- seo排名优化技巧(让你的网站更具竞争力)
- 提高网站转化率的6种方法(从降权原因到SEO优化)
- 如何优化企业网站,提高搜索排名(有效的SEO策略和技巧)
- 企业网站meta标签推广(让搜索引擎更好地理解您的网站)
- 如何快速提高百度收录和排名(揭秘百度收录和排名的关键因素)
- 企业网站优化的5点总结(提升企业网站曝光率和转化率的关键)
- 网站排名优化的重要性(提升网站流量的知识基础)
- 企业网站霸屏优化的关键条件(打造有效的SEO策略提高网站排名)
- 热门tag