從 Sitemap的應用,談SEO的學習

可能會有些讀者發現,有一些在 SEO上很基礎的觀念反而我沒有特別去寫文章,以今天這篇文章要談的『Sitemap』來說,我過去都沒有安排要寫這篇文章,因為像這樣的文章其實網路上的資訊很多,Google官方也有非常完整的說明,『Sitemap』較沒有可以深入談論的點,優化起來的複雜度以及技術細節也相對較少,基本上Sitemap只要按照Google官方的建議來製作,通常都不會有甚麼問題發生。

 

但近期有較多的客戶跟學生詢問『Sitemap』這東西,同時我也發現有些剛學習SEO的人對於Sitemap的理解不夠精確,也想透過Sitemap來跟大家聊聊 SEO的學習,所以我想還是寫一篇文章來分享我的看法。這篇文章會有一些實務觀點還有經驗談,如果你正在學習SEO,我相信這篇文章會對你有幫助 : )

 

快速談一下,甚麼是『Sitemap』?

『Sitemap』是一個我們可以放在網站上的檔案,我們可以在這個檔案內條列出網站的網址、影片連結、圖片連結等,Google的爬蟲機器人會來你的網站上讀取這個檔案,並透過這個檔案來了解"你的網站上有哪些網頁",在SEO上『Sitemap』最大的意義就是"幫助搜尋引擎了解我們有哪些網頁",舉例來說,這個連結就是紐約時報的其中一個Sitemap檔案(Sitemap 基本上是公開的檔案,只要知道路徑,我們從前台都能夠看到別人的sitemap)。

 

常見的Sitemap內容格式如下(這篇文章我們以觀念為主,就不細談Sitemap怎麼做、格式是甚麼,網路上有很多sitemap產生器,即便要自己製作Sitemap檔案,Google官方也有超級清楚的說明文件):

 

<urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″ xmlns:xhtml=”http://www.w3.org/1999/xhtml”>

<url>

<loc>https://www.nytimes.com/interactive/2018/11/06/us/elections/results-house-elections.html</loc> – > 這邊填入網址

<lastmod>2019-05-15T19:08:59.015Z</lastmod> – > 這邊填入這個網頁的最後修改日期

</url>

 

大部分的人在使用Sitemap時,會在Sitemap檔案內完整條列出網站所有的網頁,透過這個Sitemap檔案來幫助Google爬取我們的網頁。

 

繼續往下談之前,先談談內部連結的觀念

在繼續往下談之前,我們要先來談一個很簡單的概念,你可以很輕易的在網路上找到 Google官方的文件或是影片,甚至很多SEO專家的部落格也可以讀到一個觀念:搜尋引擎的爬蟲會透過你網站上的"站內連結"來解析你的網站,若將這觀念簡單來解釋的話,爬蟲會去點開網站上的導覽列、麵包屑、側欄、商品列表等連結來發現、分析、爬取你的網站,透過解析這些連結的架構,它更可以辨識出每個網頁與網頁之間的關係。

 

所以我們在SEO優化上,網站的導覽列以及側欄等動線設計都非常重要(SEO上很多人會稱呼這個為"內部連結"優化),如果網站的動線出現問題,搜尋引擎很可能在解析你的網站時會出現問題。以電商網站為例,常見的電商的網站都會是樹狀架構,從首頁、到商品分類列表、到商品頁,這些頁面會被你的導覽列、側欄、麵包屑等連結串起來,成為樹狀層級,搜尋引擎的爬蟲會點開他看到的所有連結,並且透過持續不斷的點開這些連結來爬取你的網站,終究他會一層一層的找到你所有的網頁(在官方文件內,Google用"追蹤已知網頁的連結並連到新網頁"來形容這個現象)。

 

以上述的概念來說,如果你的網站上有特定的商品頁是沒有連結可以連過去的,我們在SEO上會稱呼為孤兒網頁(Orphan Page )、或是有些網頁在網站內的層級是過於深入或不容易抵達(比方說是公司6年前上架的、很久以前的文章),搜尋引擎可能就會不容易發現,甚至更嚴重的話可以說是幾乎無法發現這些網頁的存在。孤兒網頁算是比較嚴重的情況,輕微一點來說,你的網站即便沒有孤兒網頁,只要網站有一定的規模或網頁數量,也可能在爬取額度不夠的情況下,單純無法被Google有效爬取。

 

孤兒網頁(Orphan Page)或是層級較深的網頁因為不容易被Google爬蟲發現,就會導致你的SEO受到影響,通常這個現象會發生在以下特徵的網站的身上:

 

  • 規模較大的網站,網站越大越容易出現這樣的問題(像是大型龍頭電商、或新聞媒體這種網頁數量較多的網站)
  • 網站內部連結、導覽動線設計不佳的網站(導覽列不完善或不存在、也沒有設計側欄的網站,)

 

你可以想像一下,假設你的網站上有非常多的網頁、商品、文章頁是沒有被Google的爬蟲發現的,那對SEO的影響會有多大?Google都沒有發現你的網頁了,那後續做再多優化其實都是徒勞無功。為了避免這樣的問題,確保爬蟲可以有效的發現我們所有的網頁,我們可能會做的優化工作以及檢查項目有:

 

  • 檢查網站的內部連結架構(導覽列、側欄等動線設計)是否健康
  • 檢查在現行的導覽架構下,是否會有孤兒網頁、或是很不容易到達的網頁
  • 提交Sitemap檔案,透過Sitemap主動跟Google說我有哪些網頁
  • 其他Search Engine Friendly的項目檢查

(其實實務上還有很多層面跟項目可以探討,但為不偏離主題,我先大概舉幾個常見例子)

 

也就是說,今天談到的 Sitemap主要功能之一是幫助Google了解、發現、爬取我們有哪些網頁,避免我有孤兒頁面,或較難到達的網頁沒被Google發現,同時,Sitemap還可以一些附加的好處,像是:

 

  • 告訴Google我的網頁語言版本(如果你的網站有分不同語言版本,比方說有英文、中文等語言)
  • 加快Google發現我們網頁的速度(舉例來說,我的商品新上架後,Google 可能需要7天才能發現我有這個商品頁,透過Sitemap的提交,可以縮短這個時間、加快Google發現網頁、收錄網頁的速度)。

 

備註:官方已曾經說過,Sitemap內的網頁變更頻率(Frequency)以及網頁重要性(Priority)他們基本上早就已經不看。

 

『Sitemap』對SEO有很大的影響嗎?

我們上面有提到,Google的爬蟲會透過爬你網站內的連結,包括你的導覽列、側欄、商品/文章列表頁等連結來解析你的網站、並了解你有哪些網頁,只要你的網站沒有孤兒網頁或是層級過深、太難找到的網頁,基本上爬蟲可以很健康的解析你的網站,因此我們在實務上做 SEO時才會針對網站內的動線以及連結做健診。反過來說,如果你的網站規模其實不大,且網站內的動線都很完善透徹,爬蟲是可以透過這些導覽列跟連結來爬完你所有的網頁。

 

很多人以為Sitemap在SEO上很重要,但其實是不一定的,我們先稍微整理幾個重點,後面再慢慢說明…

 

  • Sitemap甚麼時候可能有用

#1 如果今天你的網站規模太大,爬蟲沒辦法很順利地找到所有的網頁,或是你的導覽動線不完善,會讓Google沒辦法發現部分的網頁,這時我們可以用Sitemap來改善問題,並且對於 SEO是有幫助的。

#2 你希望加快Google爬取你網站的速度。

#3 你有不同版本語言的網址,可以透過Sitemap來告知Google。

  • Sitemap甚麼時候可能沒有很大的用處?

反過來說,如果今天爬蟲在爬你的網站時,因為網站規模不大、導覽動線完整,所以爬蟲都能很順利的爬到所有的網頁,那麼,你是否有提交Sitemap,對你的SEO基本上不會有太大的影響,影響可能小到你沒有感覺、也不會反應到數據上。

  • The Truth,站內連結沒辦法被 Sitemap取代

但事實上,即便你的網站規模很大、網站內的動線不完整,只依靠Sitemap也沒辦法完整解決你的SEO問題,因為網站內的連結、動線對爬蟲來說是重要的訊號,他可以透過內部連結的結構解析網頁的關係,並且這些站內連結可以傳遞權重,孤兒網頁基本上即便透過 Sitemap讓Google爬到了,他也不會有太多的SEO權重,因為孤兒網頁沒有連結、也沒有權重傳遞給他。

John Mueller曾經在 Twitter公開說過(這其實也是學SEO的常識之一):Sitemaps don’t replace internal linking(Sitemap不能取代內部連結),也在Google官方的 Hang Out中提過:just because a sitemap file has a bunch of URLs and it doesn’t mean that we will index all of them(就算你在Sitemap裡面放很多網址,Google也不一定會去收錄你在Sitemap內的網址)。

 

Sitemap有點像是能量飲料,他可以幫助Google理解你的網站,但它不能取代內部連結。簡單來說,如果你只有做 Sitemap,但沒有審視、優化站內的連結跟動線問題,在SEO上很容易出現問題。這也是為什麼通常我在SEO的顧問專案中、或公開授課時,通常不會太強調 Sitemap的重要性,甚至在這篇文章之前,也沒有寫文章介紹Sitemap,因為我怕有剛學習 SEO的人誤會 Sitemap可以解決很多問題,但不去好好的優化網站內的動線、連結、還有真正的排名因素。如果你有良好的動線、內部連結優化,那麼提交 Sitemap很棒,他可以像能量飲料來幫助Google爬取網站,但他不是SEO最核心最重要的優化項目,不應該把 Sitemap當作解決SEO問題的根本方法。

 

以我的網站為例,你搜尋『SEO』、『SEO教學』、『數位行銷』、『Google Analytics』這些關鍵字時,我的網站都排序在Google的第一頁,但你可以檢查一下,你會發現我的網站完全沒有使用 Sitemap。

 

我 SEO顧問的客戶『德瑞克名床』,你搜尋『枕頭』、『獨立筒枕』等關鍵字,我們不只排序在搜尋結果第一頁,而且還經常在排名上排在momo購物、東森購物這些電商巨頭前面,但是我沒有優化這個網站的 Sitemap。

XML Sitemap是完全公開的資源,你只要打開『德瑞克名床』的前台路徑就會知道,Sitemap內只有首頁的網址,是沒有優化的,但這個SEO專案我們打敗很多大型網站,排序在搜尋結果第一頁。為什麼?因為只要 Google可以很健康的爬取網站,是否有做 Sitemap其實不會有太大的影響。

台灣有很多中小型網站在SEO上都表現得很優秀,如果你多花一點時間觀察排在搜尋結果前面的這些中小型網站或品牌,你會發現有很多排序在前面的網頁,也都是沒有使用Sitemap。

 

根據 Google官方的說明,網站規模小於500頁、或是網站內部連結完善(也就是我上述提到的網站結構健康),Google官方表明,其實你是不需要使用Sitemap。

我們更進一步來說,Sitemap最大的功能其實是幫助Google爬你的網站,他本身對於排名是沒有影響的。Google官方的文章曾經提過:A Sitemap does not affect the actual ranking of your pages. However, if it helps get more of your site crawled(Sitemap不會影響你的排名,只是幫助你的網站被爬取),Google的員工Gary Illyes也在推特上提到過,Sitemap不會直接影響你的網站排名。

 

 

結論:你可以主動提交 Sitemap,提交Sitemap對Google來說就像能量飲料,但如果你的網站結構是健康、或網頁規模不大,Sitemap對你未必會有明顯幫助(因為Google的爬蟲依靠你網站內的連結動線就可以有效的解析你的網站),你可以把 Sitemap的優先度放低,與其優先擔心 Sitemap,不如花更多時間去研究其他的 SEO優化工作。

 

根據官方所說,Sitemap也不是排名因素。

 

近年來 Google最重視的排名因素還是反向連結、優質內容、還有網站的體驗(像是mobile friendly以及網站速度)。我常常遇到剛學SEO的學生在SEO優化上做的事情就是提交 Sitemap、然後寫很多Meta Keyword,然後問我為什麼SEO沒有成效、問我要怎麼做?我經常跟學生解釋 Meta Keyowrd 已被官方證明對SEO沒有幫助,Sitemap更是未必對你的網站有幫助,要看你的網站是否有爬取的問題,它更不是排名因素。有很多人誤會了 Sitemap能帶來的效益以及功能。

 

其他小知識:知名的 SEO工具品牌Moz 以及在 SEO上權威的專家 Rand Fishkin在早期曾經提倡一個很有趣的論點,他提到提交 Sitemap其實有好處也有壞處,壞處便是"你會無法透過 Google收錄的情況來有效找到孤兒網頁",簡單來說,透過刻意不提交 Sitemap並藉此來觀察Google收錄網站的情況,其實可以幫助我們診斷站內連結的健康程度。也就是說,我們都應該發現哪些網頁沒有健康的被收錄,代表這些網頁可能是孤兒網頁、或是連結的層級過深、內部連結不健康,但 Sitemap會讓我們難以察覺這樣的情況。

這其實是一個比較久以前的觀念,Rand Fishkin過了幾年後也說,現在他是都會提交 Sitemap了,但這個觀點以及做法我認為即便到現在,對於一定規模以下、健康的網站來說是適用的,可以幫助我們判斷內部連結是否出現問題。(不過這個做法會建議很有實務經驗的人再來採取)

 

從Sitemap來談談『SEO學習』這檔事

『SEO學習』是我今天想談論的主要議題之一,職場上我碰到有很多剛學習 SEO的人過於在乎 Sitemap,我也碰到很多學生在剛接觸SEO的時候,誤以為Sitemap可以像仙丹般的拯救他的 SEO,這讓我興起了寫這篇文章的念頭。有些人過度的強調 Sitemap對於SEO的影響力,但沒有加以說明他的功能、或考究Google官方的建議。

 

不只是 Sitemap,很多新手在剛學習 SEO的任何一個優化項目時不見得會"釐清這些知識",我覺得 SEO上的優化項目太多了,在資訊爆炸的時代之下,SEO的學習者應該要學會兩件事情:

 

  • 學會診斷 SEO的問題點、以及每個優化項目的功能

會導致你的SEO不好的可能性有很多,以上圖來說,第一個環節是爬蟲【爬取網站】的優化,第二個環節是【排名因素】的優化。學習 SEO最不容易的就是學會準確診斷問題,如果Google在爬取你的網站時都很健康順利,那麼你針對爬取做再多優化效果都很有限。反過來說,如果你的內容很優質、網站權重很高,但Google卻沒辦法爬到你的網頁,那麼應該要先解決爬取的問題。

 

網站結構沒有問題,網站規模不大、Google爬得都很健康,但內容不優質、網站速度體驗不顧好,拼命提交Sitemap也是沒有用的。

 

Google爬不到網站,就算內容再優質、網站體驗在好,Google也看不到你的網站,那優化內容也是白做。

 

一個是問題點發生在爬取,一個是發生在排名因素的優化,後續要做的優化工作是差很多的,應該採取的做法也應該不同。這有點像醫學,你是頭痛沒錯,但造成頭痛背後的原因很多,壓力大、失眠、腫瘤、自律神經失調都會造成頭痛,但只是吃止痛藥未必是可以根治的,應該是要找到造成頭痛根本的原因並從根本原因下手。

 

  • 學會釐清哪些對Google具有較強的訊號以及影響力

SEO的優化項目一大堆,但我們能做的時間是有限且急迫的,實務上我們會從"對SEO影響較大、對Google訊號較強"的優化項目開始做,剛開始學習SEO時我們都該釐清到底哪些項目真的具有較高的影響力、哪些對於成效是比較沒有影響力的。像是 Meta Keywords、網址裡面要塞關鍵字、Title前面一定要塞關鍵字…等,這些都是較過時或是在SEO上影響力較小的優化項目。

 

以這篇文章的Sitemap為例,很多人以為它對於SEO很重要,但事實上是未必的,如果你的網站內部連結很健康或規模不大,Sitemap沒辦法帶來太多的效果。同時,Sitemap的重要性也沒有站內連結來的高。很多文章會告訴你A優化項目很重要、X優化項目是趨勢,但這些文章未必會告訴你"甚麼情況很重要"、"對於哪些網站很重要"、"重要在哪"、"是趨勢的原因是甚麼",在SEO優化上,你的網站架構、所屬的產業、擁有的資源等很多因素,都會影響我們採取的策略以及優化手段。對於剛學習的人來說,更應該要細心且清楚的釐清所有學習到的知識,並不是網路上的文章說很重要就拼命的執行,但卻不去釐清他重要在哪、他的功能是甚麼、為什麼重要。

 

了解What很重要,但釐清"Why"才是成長的關鍵

 

任何一個優化項目,釐清他的功能、以及效果才是重點,確實有些網站需要透過『Sitemap』來解決網站SEO的問題,但也有很多的網站是不需要做『Sitemap』的(在我的經驗中,甚至大多的中小型網站是不一定需要的)。

 

Key Takeaways:總整理

不論你網站規模多大,提交Sitemap都沒有壞處,任何網站主都可以主動去提交Sitemap是沒有問題的,但我希望正在學習 SEO的人可以知道,Sitemap絕對不是仙丹、也不是排名因素,除了 Sitemap之外,有很多的優化項目其實都未必是很重要的,在 SEO優化上通常那些"看起來很簡單輕鬆就可以完成的事情"大部分都沒有很強的影響力或效果。

 

SEO不是只靠Sitemap或是稍微改改<title>就可以有成效,如果Google在爬取、理解你的網站都沒有問題的情況下,提交 Sitemap對你的網站排名是沒有幫助的,他不是排名因素,只是幫助Google爬你網站的工具,如果你要優化排名因素,決勝點還是在內容、體驗、連結。

 

  • 如果你是中小型網站(500頁以內)、網站的動線/架構都很健康的網站,你其實不提交Sitemap也不會有太大的影響,有時間再提交處理就好了,但如果時間有限,請Focus在其他更重要的SEO優化項目上(我自己都沒有提交了)。
  • 如果你是大型網站、或擁有多國語言的網站、或是新聞/媒體型網站,強烈建議Sitemap 要按照官方規範優化跟提交。
  • 請注意,Sitemap絕對沒辦法取代內部連結,根本之道還是網站內的導覽動線、內部連結架構,在優化工作上不要以為有Sitemap就不用優化內部連結。
  • 針對網站規模, Google是建議500頁以內可以不用提交Sitemap,但我的經驗是,即便網站到1000~2000頁都還是未必需要的,要看網站的架構以及狀況而定,如果你怕的話就提交就對了,但請記得也要好好優化內部連結以及真正的排名因素,Sitemap不是仙丹。
  • Sitemap不是排名因素。
  • 學習的時候盡量要釐清每個優化項目的真正『功能』以及實際『影響多大』,這是SEO成長的關鍵 : )