We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
title: 有关seo的东西 date: 2016-08-17 20:37:47 tags:
搜索引擎蜘蛛爬取网站的时候首先会爬去根目录下的robots.txt文件,然后根据里面的规格进行爬取。
但如果你这样将父目录设为Disallow, 而将子目录设为Allow, 这个时候Allow是无效的。 如:
Disallow: / Allow: /public 还是不会被收录
示例选取淘宝的robots.txt文件的部分内容
User-agent: Baiduspider Allow: /article Allow: /oshtml Allow: /product Allow: /spu Allow: /dianpu Allow: /wenzhang Allow: /oversea Disallow: / User-Agent: Googlebot Allow: /article Allow: /oshtml Allow: /product Allow: /spu Allow: /dianpu Allow: /wenzhang Allow: /oversea Disallow: /
title是网站的标题,显示在浏览器标签页处。 title的分隔符一般用 , - _ 等,其中_对百度比较友好,-对谷歌比较好,空格较少用。title长度一般pc端30个中文,移动端20个中文,超过会截断为省略号。
title 格式
description不是权值计算的参考因素,但会影响用户体验,如: 上面是没加description的,下面是加了description的
用来告诉搜索引擎你网页的关键字是什么,多个关键字用小写逗号隔开,如慕课网的keywords
<meta name="Keywords" content="慕课网,慕课官网,MOOC,移动开发,IT技能培训,免费编程视频,php开发教程,web前端开发,在线编程学习,html5视频教程,css教程,ios开发培训,安卓开发教程" />
统一链接
http://baidu.com 和 http://baidu.com/index.html 是同一个页面,同一使用http://baidu.com
网站变更时,将原来的链接重定向到现在的页面
使用canonical表示页面的唯一性,如
http://www.harrytse.com?from=wechat http://www.harrytse.com?from=weibo http://www.harrytse.com?from=qq
可以看到上面三个链接都是同一个页面,只是用get参数区分不同的来源,可以在head上加上canoical表示页面唯一。
<link rel="cononical" href="//:ke.qq.com/download/download/app.html" />
google robots.txt测试工具
The text was updated successfully, but these errors were encountered:
No branches or pull requests
title: 有关seo的东西
date: 2016-08-17 20:37:47
tags:
1.robots.txt 文件
搜索引擎蜘蛛爬取网站的时候首先会爬去根目录下的robots.txt文件,然后根据里面的规格进行爬取。
User-agent 指搜索引擎类型,如百度BaiduSpider, 谷歌Googlebot, 必应Bingbot
Disallow表示你屏蔽蜘蛛爬取这个目录,如Disallow: /admin 表示屏蔽admin目录
Allow表示允许蜘蛛爬去这个目录,如Allow: /public 表示允许蜘蛛爬取public目录
但如果你这样将父目录设为Disallow, 而将子目录设为Allow, 这个时候Allow是无效的。
如:
示例选取淘宝的robots.txt文件的部分内容
2.title,description, keywords
title
title是网站的标题,显示在浏览器标签页处。
title的分隔符一般用 , - _ 等,其中_对百度比较友好,-对谷歌比较好,空格较少用。title长度一般pc端30个中文,移动端20个中文,超过会截断为省略号。
title 格式
description
description不是权值计算的参考因素,但会影响用户体验,如:
上面是没加description的,下面是加了description的
keywords
用来告诉搜索引擎你网页的关键字是什么,多个关键字用小写逗号隔开,如慕课网的keywords
3.前端页面编码
不要使用div.header, div.content, div.footer, span.button等无语义化的标签 结构,ie8的html5兼容可以使用html5.js库。
4.url规范化
统一链接
http://baidu.com 和 http://baidu.com/index.html 是同一个页面,同一使用http://baidu.com
网站变更时,将原来的链接重定向到现在的页面
使用canonical表示页面的唯一性,如
可以看到上面三个链接都是同一个页面,只是用get参数区分不同的来源,可以在head上加上canoical表示页面唯一。
5.相关工具
google robots.txt测试工具
The text was updated successfully, but these errors were encountered: