什么是robots?网站的robots怎么写?
访客 2021-05-12 09:43:59 440
一般来说,网站或多或少都存在一些对排名没意义甚至有害的页面。对于SEO技术站长来说是不希望被搜索引擎检索的。而robots.txt文件则承担了站长这个意愿的表达功能。那,什么是robots?网站的robots怎么写?
什么是robots?当蜘蛛访问网站会优先抓取robots.txt,遵循站长配置的规则不再抓取不利于SEO的内容。
什么是robots?robots.txt文件位置
robots文件往往放置于根目录下
什么是robots?robots.txt文件格式
Disallow:该项的值用于描述不希望被访问的一组URL
Allow:该项的值用于描述希望被访问的一组URL
User-agent:该项的值用于描述搜索引擎robot的名字
例如:
User-Agent:YisouSpider // 配置YisouSpider
Disallow: / // 不允许YisouSpider抓取网站任何内容
User-Agent:* // 配置所有搜索引擎
Allow: / // 允许抓取网站任何内容
更多
Disallow: /abc //禁止抓取含abc目录及子目录的所有页面
注意:有些地方注释为“禁止抓取abc目录及子目录中的内容”百度官方有举例,"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html
Disallow: /abc/ //禁止抓取含abc目录的所有页面
百度官方有举例,"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。
robots.txt通配符的使用
"*" 匹配0或多个任意字符
"$" 匹配行结束符。
举例:
Disallow: /*?* //禁止抓取网站中所有的动态页面
Disallow: /*.htm$ // 禁止抓取所有以.htm为后缀的URL页面 /abc.htm/index 不匹配
区别于Disallow: /*.htm // /abc.htm/index 也匹配
更多robots.txt,可以参照百度站长站长平台关于robots.txt
什么是robots?网站哪些内容不建议被抓取
对于这个一般取决于内容是否利于SEO的原则。例如,我博客的搜索结果页,没做好优化的tags页都禁止抓取了。而对于企业站来说,如果不打算可以优化公司名称的关键词,关于、联系、企业新闻等一些内容都可以考虑禁止
还有一点值得注意的事,有很多站长反馈说百度不遵循robots.txt协议,抓取不该抓取的内容。思享也感觉不是很靠谱,所以也可以考虑在一些页面设置meta name="robots"
什么是robots?以上就是相关内容介绍,百度的解释理解起来或许有所偏差,如果有不对,大家可以指正、交流。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 3561739510@qq.com 举报,一经查实,本站将立刻删除。
转载请注明来自专注SEO技术,教程,推广 - 8848SEO,本文标题:《什么是robots?网站的robots怎么写?》
标签:robots
- 上一篇: 上海SEO谈谈交换友情链接需要注意的事项
- 下一篇: SEO技术之怎么做到让百度快速收录你的文章
- 搜索
- 最新文章
- 热门文章
-
- 如何增加微信视频号的播放量(运营微信视频号,你需要掌握这些技巧)
- 搜索引擎优化的重要性与实践方法(如何让你的网站排名更靠前)
- 搜索引擎营销与网络营销的联系(探究两种营销方式的异同及互补性)
- 如何进行布局(提升网站SEO排名的技巧与方法)
- 提升网站排名的5个百度SEO策略(学会如何利用百度SEO核心)
- 如何提高网站访问量(10个实用技巧让你的网站流量飙升)
- 深入了解锚文本的作用和使用方法(优化网站排名)
- 搜索引擎优化(掌握搜索引擎喜欢的和结构)
- 提取与拓展方法(优化文章SEO的必备技能)
- 为什么优化策略不同(百度SEO与谷歌SEO优化的区别)
- 网站标题优化的实用技巧(排版等方面提升搜索排名)
- 提升网站排名的快速方法(5个技巧和6个方案知识)
- 探讨导致网站排名波动的因素(了解如何优化你的网站排名)
- 快速提升网站排名(短期内实现高排名的关键策略和技巧)
- 如何评估抖音带货的口碑(了解抖音带货口碑分的计算方式和重要性)
- 如何提高网站权重(10个实用方法)
- 零基础入门SEO优化(让你的网站获得更多流量)
- 企业网站推广(权衡利弊,找到最佳方案)
- 从化seo优化的方式(从化seo指南窍门)
- 了解百度指数、外链和百度快照,提升网站流量(从概念到实践)
- 热门tag