XML Sitemap是XML(可扩展标记语言)格式的站点地图,包含了网站所有重要页面的目录档案,可以帮助Google蜘蛛发现网站重要页面以及页面的更新频率。以下是摘自谷歌官方的解释:
“站点地图会告诉 Google 您认为网站中的哪些网页和文件比较重要,还会提供与这些文件有关的重要信息:以网页为例,这些信息包括网页上次更新的时间、网页更改的频率,以及网页是否有其他语言版本。”
Google的网站分析师Gary Illyes曾说过,XML Sitemap是谷歌蜘蛛发现页面的第二重要的途径(第一是已抓取页面上的链接)。由于Sitemap可以包含大量URL,因此其重要性不应被小觑!
那么是不是所有的网站都必须创建XML Sitemap呢?由于Sitemap最基本的作用是展现网站上URL的信息供爬虫爬取,主要受益的是新页面或是内容刚更新的页面,因此如果您的网站页面数量非常少(少于500个页面),内链结构清晰,图片视频等多媒体资源少,那么XML Sitemap的必要性就显得不是那么大;但是XML Sitemap对任何类型网站来说仍然有以下好处:
一、管理爬取预算
Google爬虫的抓取能力虽然强大,但每次的抓取页面份额依然是有限的,如果您的网站每次只有少量页面更新,为了让爬虫集中抓取这部分页面,而不是分配爬取份额到其他页面上,您可以通过sitemap.xml的lastmod属性向Google发出信号,通知它应该在此集中精力。
二、网站整改后触发爬虫重新爬取
如果您在网站整改的过程中更改了站内大量的URL,但新版的Google Search Console仅索引您提交的单个URL,这时可以通过Sitemap向谷歌发出重新爬取整站的请求。
三、快速抓取
有一些经验和证据表明,提交站点地图会使Google抓取速度更快,促进页面更快获得排名。
因此,建议每个网站都创建XML Sitemap,尤其是对以下类型网站来说:
● 大型网站
● 新闻站
● 使用了大量图片和视频的网站
XML Sitemap VS. HTML Sitemap
事实上,Sitemap可简单分为两种,按照文件格式来区分的话分别是XML Sitemap和HTML Sitemap。在我们说提交Sitemap的时候,指的是提交XML Sitemap文件的线上URL到谷歌(或者其他平台如Bing)站长后台,而我们在底部导航栏常看到的“Sitemap”锚文本链向的就是HTML版本的Sitemap,两者的本质和作用方式都是不一样的。
这里首先跟大家介绍一下较为简单的HTML Sitemap,顾名思义,HTML Sitemap实际上是一个网页,供网站用户概览网站频道分类使用,通常大家会将这个页面设计得较为美观,下图是HTML Sitemap的一个示例:
HTML Sitemap上一般放置网站重要(一级,二级导航页面等)内部链接的列表,简单明了地展示权重从首页传递到其他重要页面的流向。早年SEO业界普遍认为HTML Sitemap可以促进排名,但是来自Google的专家John Mueller表示,HTML 对于SEO来说用处并不大,反之,如果用户需要靠HTML Sitemap来进行站内导航的话, 这说明您的导航设计和站内搜索功能还差强人意。因此,如果您的网站还没有HTML Sitemap,无需担心,将精力放在优化站内导航和搜索功能上,收益会更大。
XML Sitemap应用实践
如上文所述,XML Sitemap对于SEO工作有着非常重要的作用,随着SEO技术的发展,XML Sitemap的功能也在不断被扩展。针对不同类型的网站或者需求,我们现已可以使用对应的XML Sitemap的扩展或者Sitemap管理和创建方式来进行优化。
XML Sitemap基本规范
在介绍一些重点类型网站的XML Sitemap实践方法之前,建议大家先要对XML Sitemap的规范有所了解,以保证XML Sitemap能正常发挥作用。
● 仅包含状态码为200的Canonical规范URL;
● 每个sitemap最多包含20万个URL,每个index sitemap最多包括5万个sitemap;
● 被添加到robots.txt;
● BUTF-8编码;
● 以.gz格式压缩;
● 大小不能超过50Mb;
● 无需为AMP URL添加XML网站地图。
我们可以将XML Sitemap理解城市地图,那么您的网站就是城市,Google就是游客。您只需确保地图中包含重要建筑物的位置即可,而不是必须包含所有的地址。这就是为什么非重要页面如隐私权政策页面或关于我们页面等不应该被包含在XML Sitemap中的原因,这些页面虽然应编入索引,但对于SEO来说重要性不高,不需要被经常抓取。
大型网站的XML Sitemap建议
根据Google的Sitemap官方指南,每个Sitemap包含的网址最大数量是50,000 个。因此当网站规模大于这个大小时,例如大型新闻网站,可以考虑在制作Sitemap时用创建目录文件(sitemap_index)的方式,如此一来可以对各个Sitemap档案进行管理。
您可以按照页面类型或内容主题来组织和划分sitemap。在实际过程中,为各个子目录或页面模板创建专用的XML Sitemap,有利于发现了解网站的技术和索引问题。根据Google的Sitemap官方指南,每个Sitemap包含的网址最大数量是50,000 个。因此当网站规模大于这个大小时,例如大型新闻网站,可以考虑在制作Sitemap时用创建目录文件(sitemap_index)的方式,如此一来可以对各个Sitemap档案进行管理。
您可以按照页面类型或内容主题来组织和划分sitemap。在实际过程中,为各个子目录或页面模板创建专用的XML Sitemap,有利于发现了解网站的技术和索引问题。
图片和视频Sitemap建议
像Pinterest和YouTube这样主要运营多媒体资源内容的网站将从图像或视频Sitemap中受益良多。图片Sitemap可增加网站在Google图片搜索中被发现的机会。也可以在常规站点地图中使用图片标签,无需额外创建图片Sitemap。
以下是图片标签示例(XML规范):
视频Sitemap遵循相同的原则:创建单独的视频Sitemap或为常规站点地图添加标签:
新闻Sitemap建议
新闻内容则需要专门创建一个单独的新闻XML Sitemap,不能在常规Sitemap添加新闻标签。对于每天都发布大量内容的新闻出版业来说,获得新文章的排名是一件十分具有挑战性的事情,而新闻Sitemap可帮助Google发现新文章从而促进排名。即便Google已声明并不会对使用新闻Sitemap的网站给予优待,但它确有助于更快地在Google新闻中获得热门新闻排名。
新闻站点地图有一些特殊的要求:
● 仅添加发布不超过2天的文章。
● 一次添加到现有站点地图的新URL不要超过1000个。
● 有文章更新时更新现有站点地图。
Sitemap中添加其他标签的建议
您还可以使用XML Sitemap来定义和指示Google的某些元标记。例如常用的hreflang多语言为例,您可以将这部分信息拓展添加到站点地图:
XML Sitemap工具和生成器
介绍完了Sitemap的定义和用法之后,本部分将会介绍一批广受欢迎的XML Sitemap生成工具。虽然大多数内容管理系统都会自带自动创建XML网站地图功能,但有系统则没有这样做,在这种情况下,您需要使用第三方工具。
最佳Sitemap生成器
以下是几款优秀的XML网站地图生成器:
适用于WordPress的最佳Sitemap插件
大多数CMS如Shopify具有当新URL被创建或现有页面内容有更新时自动刷新XML Sitemap的功能,。但WordPress在默认情况下并不会创建Sitemap,以下是适用于WordPress平台的一些优秀Sitemap插件推荐,详细信息请查看表格。
如何提交Sitemap?
大多数搜索引擎(例如Google或Bing)都会通过网站的robots.txt文件中查找“ Sitemap:<sitemap_location>”条目来搜寻XML Sitemap存放地址。
当然,我们也可以在将Sitemap.xml上传到服务器根目录后自行提交到各个站长平台。在提交之前,检查网站是否已经具备站点地图的最简单方法是在Google Search Console或Bing网站管理员工具中的“站点地图”下查看,如果发现没有,您可以按照下图所示在站长工具中提交Sitemap。
Google Search Console中的XML Sitemaps功能:
1.点击站点地图报告。
2.添加新的站点地图路径并提交。
3.Google已发现刚添加的站点地图。
Bing网站管理员工具中的XML Sitemaps功能:
1.点击站点地图报告。
2.添加新的站点地图路径并提交.
3.Bing已发现刚提交的站点地图。
另外,您也可以直接将站点地图ping到Google,百度,Bing和Yandex。