云翔网络 SEO服务公司,公司使命助力中小企业在各大搜索引擎实现SEO营销!
您的当前位置:主页 > SEO技术 > 正文

如何利用robots协议优化你的WordPress博客站

分类:未知 编辑:百度SEO 时间:2019-06-28 点击:

   许多新手朋友对robots协议文件的重要性不是很清楚,本篇文章由昆明SEO博主遍及一下WordPress站点robots协议文件编写常识。robots协议(也称为爬虫协议、机器人协议 等)的全称是 网络爬虫扫除规范 (Robots Exclusion Protocol),网站经过robots协议告知哪些页面能够抓取,哪些页面不能抓取。robots协议首要留意以下几大方面:

  一、运用robots协议需求留意的几点当地:

  1、指令区别大小写,疏忽不知道指令。

  2、每一行代表一个指令,空白和隔行会被疏忽。

  3、 # 号后的字符参数会被疏忽。

  4、有独立User-agent的规矩,会扫除在通配 * User agent的规矩之外。

  5、能够写入sitemap文件的链接,便利查找引擎蜘蛛匍匐整站内容。

  6、尽量少用Allow指令,由于不同的查找引擎对不同方位的Allow指令会有不同看待。

  7、robots.txt 文件有必要放在网站的根目录,不能够放在子目录。

  二、robots协议文件写法:

  1、User-agent: * 这儿的*代表的一切的查找引擎品种,*是一个通配符

  2、Disallow: /admin/ 这儿界说是制止爬寻admin目录下面的目录

  3、Disallow: /require/ 这儿界说是制止爬寻require目录下面的目录

  4、Disallow: /ABC/ 这儿界说是制止爬寻ABC目录下面的目录

  5、Disallow: /cgi-bin/*.htm 制止拜访/cgi-bin/目录下的一切以".htm"为后缀的URL(包括子目录)

  6、Disallow: /*?* 制止拜访网站中一切包括问号 (?) 的网址

  7、Disallow: /.jpg$ 制止抓取网页一切的.jpg格局的图片

  8、Disallow:/ab/adc.html 制止爬取ab文件夹下面的adc.html文件

  9、Allow: /cgi-bin/ 这儿界说是答应爬寻cgi-bin目录下面的目录

  10、Allow: /tmp 这儿界说是答应爬寻tmp的整个目录

  11、Allow: .htm$ 仅答应拜访以".htm"为后缀的URL

  12、Allow: .gif$ 答应抓取网页和gif格局图片

  13、Sitemap: 网站地图 告知爬虫这个页面是网站地图

  三、robots协议文件实践阐明:

  1、User-agent: * //设置robots规矩适用的阅读者身份为悉数UA身份

  2、Disallow: /*?* //屏蔽掉页面中的动态途径

  3、Disallow: /?p=* //屏蔽掉非固定链接的文章页面途径,由于每个页面中都会有一个shortlink运用的是?p= 的途径。

  4、Disallow: /index.php //屏蔽掉主页默许页面的index.php 页面地址

  5、Disallow: /wp-admin //屏蔽掉后台登陆页面地址,首要是考虑到服务器安全

  6、Disallow: /wp-content/plugins //屏蔽掉wordpress的插件目录

  7、Disallow: /wp-content/themes //屏蔽掉wordpress的模板目录

  8、Disallow: /wp-includes //屏蔽掉wordpress的底层程序目录

  9、Disallow: /trackback //屏蔽wordpress的页面回评途径

  10、Disallow: /*/*/trackback //屏蔽wordpress分类目录、文章页面的回评途径

  11、Disallow: /feed //屏蔽wordpress的内容订阅途径

  12、Disallow: /*/*/feed //屏蔽wordpress分类目录、文章页面的订阅途径

  13、Disallow: /comments/feed //屏幕wordpress谈论的订阅途径

  14、Disallow: /page/ //屏蔽默许的翻页途径

  15、Disallow: /*/*/page/ //屏蔽分类目录的翻页途径

  16、Disallow: /page/1$ //屏蔽翻页途径中的数字途径

  17、Disallow: /tag/ //屏蔽标签页面

  18、Disallow: /?s=* //屏蔽查找成果途径,首要是防止查找成果的缓存被查找引擎录入

  19、Disallow: /date/ //屏蔽按日期分类显现的列表页面

  20、Disallow: /author/ //屏蔽作者文章列表页面

  21、Disallow: /category/ //屏蔽以category为开始途径的分类途径,如果您没有运用插件生成不带category前缀的途径时,请不要运用此项规矩。

  22、Disallow: /wp-login.php //屏蔽后台登陆页面

  四、robots协议设置办法

  1、写好之后把文件重命名为:robots.txt 然后用FTP上传到网站的根目录下面,牢记不是主题的根目录下而是网站的根目录。

  2、使用站长东西主动生成,网址:http://tool.chinaz.com/robots/

  3、使用SEO插件设置,比方Yoast SEO、all in one 查找引擎优化

  五、robots协议的效果

  1、引导查找引擎蜘蛛抓取指定栏目或内容;

  2、网站改版或许URL重写优化时分屏蔽对查找引擎不友好的链接;

  3、屏蔽死链接、404过错页面;

  4、屏蔽无内容、无价值页面;

  5、屏蔽重复页面,如谈论页、查找成果页;

  6、屏蔽任何不想被录入的页面;

  7、引导蜘蛛抓取网站地图;

  六、怎么检查robots协议:

  1、WordPress站点默许在阅读器中输入:http://你的域名/robots.txt

  比方星斗查找引擎优化博客:http://xxjz001.com/robots.txt

  2、翻开FTP,找到网站根目录检查robots.txt文件

  总结:robots协议需求的留意当地,以及写法,设置办法,效果,怎么检查就介绍到这儿,信任咱们对robot协议已经有了比较具体的了解。运用好robots协议关于咱们网站的SEO有着重要效果,做的好能够有用的屏蔽那些咱们不想让查找引擎抓取的页面,也便是对用户体会不高的页面,然后将有利于关键词排名的内页充沛展现个客户,取得查找引擎对站内页面的权重,然后有利于咱们将网站关键词排名做的更好,然后获取更多流量。

  作者:星斗查找引擎优化博客

云翔SEO优化,专业提供SEO网站优化,整站优化,网站优化,关键词优化,快速排名服务,SEO培训教程,网络营销推广等SEO服务

Copyright @ 2016-2022 ynseo.com.cn 云翔网络 版权所有

工信部备案:滇ICP备15003631号-4

Top