您的位置: 首页  >  文章  >  robots，白，黑，灰帽

robots，白，黑，灰帽

分类: 文章 • 2024-05-05 15:00:15

robots.txt

  • robots协议（也称为爬虫协议，爬虫规则，机器人协议等）也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取，那些页面不希望抓取。
  • Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息，确保用户个人信息和隐私不被侵犯。
    因其不是命令，故需要搜索引擎自觉遵守
    robots，白，黑，灰帽
    robots.txt放置位置
  • roboats.txt文件应该放在网站的根目录下

  • 例如：当spider访问一个网站（比如：http://www.taobao.com)时，首先会检查该网站中是否存在http://www..taobao.com.robots.txt这个文件，如果这个Spider找不到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
    robots，白，黑，灰帽
    robots.txt文件的写法

  • User-agent:这里的代表的所有的搜索引擎种类，*是一个通配符

  • Disallow:/admin/这里定义是禁止爬寻admin目录下面的目录
  • Disallow:/?禁止访问网站中所有包含问号(?)的网址
  • Disallow:/.jpg$禁止抓取网页所有 的.jsp格式的图片
  • Disallow:/ab/abc.html禁止抓取ab文件夹下面的abc.html文件
  • Allow:/cgi-bin/这里定义是允许爬寻cgi-bin目录下面的目录
  • Allow:.html$仅允许访问以”.html”为后缀的URL
  • Allow:.gif$允许抓取网页和gif格式图片
  • Sitemap:网站地图，告诉爬虫这个网页是网站地图
    注意严格区分大小写
    robots，白，黑，灰帽
  • 爱站下的工具包中就可以使用这个工具,robots检测，

  • User-agent:*
  • Disallow:/dede
  • Disallow:/include核心文件目录
  • Disallow:/member 会员管理目录
  • Disallow:/plus插件及框助功能目录
  • Disallow:/templets默认模板存储目录
  • Disallow:/data系统缓存或其他可写入数据存储目录
  • Disallow:/uploads上传文件下载保管目次，不想索引得擎缓存图片的话，禁阻
  • Disallow:/images系统默认模板图片存储目录
  • Disallow:/index.php网站默认首页，静态化的话最好禁阻

  • Disallow:/404.html
    安全联盟：https://www.anquan.org/

  • 百度站长平台：http://zhanzhang.baidu.com
    robots，白，黑，灰帽

  • 打开网页检测以后
    robots，白，黑，灰帽
    robots，白，黑，灰帽
    SEO白帽，黑帽，灰帽的定义

  • 白帽：使用公平的，符合主流搜索引擎方针规定的SEO优化方法

  • 黑帽：作弊的意思，操作手法不符合主流搜索引擎发行方针规定

  • 灰帽：介于白帽和黑帽之间的中间地带，相对于白帽而言，会采取一些取巧的方法来操作，这些行为因为不算违规，但同样也是不算遵守规则，是为灰色地带。
    什么是白帽SEO？

  • 白帽SEO，光明磊落，一清二白，是一种严格遵守搜索引擎”游戏规则“的SEO方法

  • 相对于黑帽SEO，白帽SEO是一种没有风险的一种搜索引擎优化方法，可以与搜索引擎友好的‘对话’。SEOer的最高职业道德标准。通过白帽SEO获得的搜索引擎排名和流量都比较稳定，从长远来 看，是一种”放长线钓大鱼“的SEO战略，也是符合网站生存之道的。
    robots，白，黑，灰帽

  • 白帽seo是通过正常的手段对网站内部（包括网站标题，网站结构，网站代码，网站内容，关键字密度等）的调整，网站外部的链接建设来提高网站关键字在搜索引擎排名的一种SEO技术，白帽seo优化的生效时间长，优点：排名稳定浮动不大，不用担心因为SEO操作而降权
    什么是黑帽SEO？

黑帽SEO，顾名思义就是”黑“，见不得光，它死一种利用搜索引擎漏洞，通过作弊的手法，快速的达到搜索引擎的排名的SEO方法
黑帽SEO常被定义为搜索引擎中的垃圾技术，属于一张非主流的走做引擎优化方法，可能会因为搜索引擎算法改变而面临严重惩罚
轻则降权，重则被K

常见黑帽SEO手法

  • 桥页跳转
  • 关键词堆砌
  • 隐藏文本，关键词
  • 建立镜像，重复或相似页面过多
  • 疯狂的垃圾链接（Spam）
  • 细微文字
  • 障眼法
  • 真的被”黑“了

关键词叠加，关键词堆砌
从网页标题title到meta的keywords，再到文章内容，底部版权，关键次无孔不入，根本不讲究一个合理分布，这样网页对用户来说没有任何的意义和价值，首先，用户的阅读兴趣就被你夸张的关键词密谋”暗杀“了。过分重复的使用关键词

隐藏文本，关键词
实现原理就是利用CSS技术使文本的颜色和网页背景一致，以达到隐藏文本，关键词的目的。这是一种挺有争议的做法，像是擦边球，比如：搜索引擎营销关于这种SEO手法褒贬不一。
建立镜像 重复或相似页面过多
简单的修改网页标题，然后复制内容，以CTRL+V方式的”拿来主义“，在搜索引擎面前是很不讨人喜欢的，很多SEOer喜欢以量取胜，这些年，“采集伪原创”风气盛行，可能花个两三天时间就把别人辛苦好几年的站完美，”搬家“了。不过也不是什么长久之计，搜索引擎对这部分网站是不会给予很高的权重的
细微文字
一些搞SEO的朋友明白”隐藏文字“会遭到惩罚，所以将文字的字体在网页中设置到不起眼的地方，甚至小的看不见，一般会放在网页顶端或底部
障眼法
制作对用户无用或是看不到网页，里面堆满了关键词，而搜索引擎对这种掩耳盗铃的做法对策：就是一个字封
真的被黑了
这种黑帽SEO手法需要一定的”黑客：技术，一般人也干不来。比如，一般网络公司的服务器都了N个往站，只要你能顺利地进入服务器，加一些”隐藏链接“
降权
什么是网络被降权？
是指搜索引擎给网站评定的级别下降了，也就是搜索引擎对网站进行的一种处罚方式
表现特征

  • 网站部分收录内容减少
  • 网站排名大幅度下降
  • 搜索引擎快照跟新速度降低
  • 网站首页被屏蔽
  • 网站全部页面删除

一般你看很正常的页面，很正常，你一滑动就会出现很多隐藏的东西，还有些是，它会判断是不是蜘蛛来了，如果是就会显示正常的页面，如果不是就会显示另外一个
网站被百度降权怎么办？

  • 检查重复关键词，ALT，内容
  • 检查有没有不良友情来链接
  • 检查网站源文件是否有黑客进入
  • 检查网站title修改

  • 新站稳定性不高，如果有以上几点尽早除掉
    网站被百度谷歌降权咋办？

  • site:域名，判断沙盒效应

  • 检查关键 词的密度，Title,keywords关键词是不是合理

  • site不存在（被K），重新被K的页面，合理布置关键词，增加一部分外链
    网站优化精髓

  • 内容为”王“

  • 用心经营内容
  • 最好不要作弊
    百度搜索引擎 搜索习惯
  • 较重视第一次收录印象
  • 对网页的更新较为敏感
  • 较重视首页
  • 较重视收录日期
    robots，白，黑，灰帽

相关推荐