搜索引擎如何屏蔽网站(如何让浏览器拦截不良网站)
三石哥
2022-11-07 13:04:02
531
巧用网站禁止收录机制屏蔽蜘蛛抓取页面
基于网站安全与盈利的因素,站长并不希望某些目录或页面被抓取和收录,比如付费内容、测试阶段的页面及复制内容页面等。
SEO
尽管在网站建设的过程中,使用 JavaScript、Flash 链接及Nofollow属性等都能让搜索引擎蜘蛛望而却步,而导致页面不被收录。
但在某些情况下搜索引擎是能够读取他们的,基于网站排名考虑,我们建议慎用 JavaScript、Flash 链接及Nofollow属性屏蔽收录。
强调一下,建站使用 JavaScript、Flash 链接其实是在给网站制造蜘蛛陷阱,致使搜索引擎不能正确判断与抓取页面的主题与文字。
要确保网站某些目录或页面不被收录,需要正确使用 robots 文件或Meta Robots 标签来实现网站的禁止收录机制。
1、robots 文件
搜索引擎蜘蛛访问网站时,会先查看网站根目录下有没有一个命名为 robots.txt 的纯文本文件,它的主要作用是制定搜索引擎抓取或者禁止网站的某些内容。
user-agent:* 适用于所有蜘蛛
Disallow:/upload/
Disallow: .jpg$ 禁止抓取所有.jpg文件
Disallow: *.html 禁止抓取所有html文件
Disallow:/upload/index.html
Disallow 禁止抓取哪些文件或目录,Allow 告诉搜索引擎应该抓取哪些页面,由于不指定就是允许抓取,所以allow单独写没有意义。
2、meta robots标签
Meta robots 标签是页面 head 部分 meta 标签的一种,用于指令搜索引擎禁止索引本页内容。
最简单的 meta robots 标签格式为:
<meta name=”robots” content=”noindex,nofollow”>
效果是禁止所有搜索引擎索引本页面,禁止跟踪本页面上的链接。
<meta name=”robots” content=”noindex”>
效果是禁止索引本页面,但允许蜘蛛跟踪页面上的链接,也可以传递权重。
Google、必应、雅虎支持的标签如下:
Noindex:不要索引本页面
Nofollow:不要跟踪本页面上的链接
Nosnippet:不要在搜索结果中显示摘要文字
Noarchive:不要显示快照
Noodp:不要使用开放目录中的标题和描述
百度支持:Nofollow和Noarchive
只有禁止索引时,使用meta robots才有意义。
使用了 noindex meat robots 标签的页面会被抓取,但不会被索引,页面URL也不会出现在搜索结果中,这一点与 robots 文件不同。
网站哪些页面屏蔽后更加有利于搜索引擎蜘蛛爬行
在SEO优化过程中,有时候需要对搜索引擎蜘蛛进行屏蔽,就是禁止对网站某个地方进行抓取,那么我们应该如何屏蔽搜索引擎蜘蛛呢?
屏蔽图片目录
网站中图片是主要元素,很多网站中的图片素材都是从其他地方找来的,搜索引擎是可以分辨出真假,这会影响网站收录,所以对网站中图片目录“images”进行屏蔽还是有必要的,这样也节省了不少流量。
屏蔽双页面的内容
一个可以生成静态页面的网站,一般来说动态页面也是可以访问的,两者如果都被搜索引擎完全牵引,访问到了一致的内容,对搜索引擎来说是有害无益。而我们要屏蔽的是动态页面,因为静态页面更容易被搜索引擎牵引收录。
屏蔽危及网站安全的隐私目录
所有涉及到有关安全的目录,比如数据库目录,网站日志目录以及备份目录都有必要进行屏蔽。通过ROBOTS.TXT来屏蔽掉,网站的排名就能得到明显的提升。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 3561739510@qq.com 举报,一经查实,本站将立刻删除。
转载请注明来自专注SEO技术,教程,推广 - 8848SEO,本文标题:《搜索引擎如何屏蔽网站(如何让浏览器拦截不良网站)》
标签:
- 上一篇: 网页设计命名规范(网站建设常见问题)
- 下一篇: 网站seo都有哪些方面(seo网站优化如何做)
- 搜索
- 最新文章
-
- 热血传奇新百区:豪车家族的加点装备大赏,连特殊戒指都能加点!
- 4号台风要来了:南方酷热高温将暂缓,但西部和北方暴雨难以解除
- 提高警惕!今年最大范围高温将来,台风丹娜丝基本锁定我国
- 今年三伏只有30天?10年难遇!有啥讲究?今年三伏为何是30天?
- 如何将 iPad 用作 Nintendo Switch 2 的屏幕,获得更佳的游戏体验
- 有驾照的车主可以笑了!连续3年没有扣分,轻松获得这4大隐藏福利
- 6年前电动车随便骑,为什么现在要求这么多?行内人告诉你答案
- 荣耀小折新机曝光:骁龙8Gen3+5500mAh+超大副屏,或8月发布
- 红米K90曝光:骁龙8Elite2+全系标配长焦,或10月正式发布!
- 7月辅助梯度:软辅迎来寒冬,朵莉亚沦为下水道,鬼谷子强度飙升
- 热门文章
-
- 7月国补后,可以“闭眼买”的3款直屏手机,怎么选都很香。
- iPhone版微信推出重要新功能视频通话快捷接听,灵动岛通知增强!
- 新赛季更新时间确定,S40强度提升最大的4件装备确定,后羿成No.1
- 抖音爆火剪辑怎么做?掌握这些技巧轻松上热门!
- 抖音剪辑短剧新规怎么弄?新规实施后如何合规操作?
- 全新战力系统来袭,排位或成单排玩家噩梦,百段分路人人皆有可能
- 华为Mate 80系列将带来定制OLED显示技术,这项技术具备三大优势
- vivo X300Pro曝光:天玑9500+大直屏+2亿潜望,或9月发布!
- 自媒体优化标题怎么做?有效提升文章曝光率的秘诀是什么?
- 抖音视频拍摄与剪辑技巧?如何制作火爆内容?
- 李健首战告捷!荣耀400系列的新机,23天销量破百万台
- 抖音中怎么开始剪辑作品?新手入门剪辑流程是什么?
- 抖音视频剪辑中文字搭配技巧是什么?如何选择合适的字体和颜色?
- 小吃店抖音视频剪辑技巧有哪些?如何快速上手?
- 如何算卦网站推广赚钱多?有哪些有效策略可以提高收益?
- 小红书视频素材剪辑技巧?如何快速编辑视频内容?
- 华为重磅双旗舰曝光:三折叠MateXT2或9月发布
- 产品如何在淘宝推广网站?有哪些有效的推广策略?
- 原神:10抽奖励记得领!伊涅芙v3改动!6.0新角色剪影!UGC界面!
- 抖音歌曲片段剪辑技巧?如何快速制作音乐视频?
- 热门tag