SEO基礎課程:認識抓取 (Crawl) 與索引 ( Index )

抓取 (Crawl ) 與 索引 ( Index )是SEO領域裡面非常非常基本的兩個觀念,在接觸任何 SEO工作時你一定要理解。同時 Google 也有提供官方的 HTML 語法給網站經營者,透過這些語法你可以優化搜尋引擎蜘蛛如何抓取、索引你的網站

下一篇文章我將會整理出所有的 SEO相關HTML語法,但前提是你必須要有抓取 (Crawl )以及索引 (Index) 的概念。

 

了解網路蜘蛛 ( Web Spider , Like Google Bot )

spiders

 

網路蜘蛛這個說法比較抽象,Google官方將它稱為Google Spider、Google Bot,你可以把整個世界網路想像為一個巨大蜘蛛網,而搜尋引擎本身有屬於它的軟體,像是蜘蛛一樣在這巨大的網路上爬行,並收集資訊。

做 SEO工作,維持網路蜘蛛與網站之間良好的關係是非常重要的,你必須要了解各大搜尋引擎蜘蛛的效能以及規範,並盡量讓它能夠完整抓取你網站上的優質內容。在早些年前,Bing 的網路蜘蛛太大容量的網站內容會無法抓取,這就是Bing網路蜘蛛的效能限制,你必須要把最好的內容前放,因為檔案太大的話,後面的內容Bing是抓不到的。

 

 

理解抓取 ( Crawl ) 、索引 ( Index )

搜尋引擎運作原理我們可以簡單說為

 

抓取 ( Crawl) – > 演算、建立索引到搜尋引擎上 ( Index ) – > 供查詢、使用

 

Crawl 在 Google Search Console裡面被翻譯為"檢索",但我個人還是習慣將它翻譯為抓取,抓取 ( Crawl )這個動作便是指搜尋引擎抓取你網站上資料的行為,包含你的網站關鍵字、網站內容、社群訊號 ( Social Signal  , 臉書分享、Google+分享 ) 、反向連結等。而索引則是在Google  抓取完你的網站資料之後,它會將獲得的資訊透過演算、建檔,並收錄到搜尋引擎中,這個建檔、收錄的動作稱為索引 ( Index ),建立完索引後,User便可以於搜尋引擎中找到你的網站(簡單來說,先有抓取才會有索引)。

透過Google Search Console 我們可以用數據觀察到Google抓取索引我們網站的狀況。抓取與索引是完全不同的兩件事。有可能透過觀察,你會看到 Google 確實很正常的抓取到了你頁面上的資訊,但 Google 卻沒有將你的頁面索引到搜尋引擎上,這樣狀況通常是你的網站有違規行為受到 Google逞處,又或是你的排名太差,在搜尋引擎找不到自己的頁面。

 

 

 

抓取 ( Crawl ) 與索引 ( Index )的優化工作

理解抓取與索引是甚麼並不是重點,重點在於理解如何優化工作,你可以利用很多數位行銷工具來觀察網路蜘蛛與你的網站的互動狀況,像是Screaming Frog 以及 Search Console 為做 SEO工作,優化抓取必備的工具。下一篇文章我將會把所有 SEO HTML語法整理出來,到時會提到更多關於抓取以及索引的優化。

 

為何抓取 (Crawl ) 會需要優化 ?

我曾經碰過一個專案,該網站的入口頁是使用 JQuery 動態式的瀑布流,在你進入網站時會看到四則文章連結,接著你滑鼠向下捲動時,程式則會觸發JQuery並出現後面四則 (有點像Facebook 現在的做法 ),這個狀況底下網路蜘蛛只會抓取到一開始的四則文章而已!因為網路蜘蛛不會去捲動並觸發JQuery。這個案例下,網路蜘蛛看到的資訊很少,當然也很傷害你的 SEO!

抓取優化工作,最主要是你必須要確定,Google Bot 、Bing Bot 有確實完整抓到網站的資料,有可能你的一些網站結構以及HTML語法的錯誤,導致它看不到你的網站,這是非常致命的一件事。

當然也有一些特殊情況你不希望網路蜘蛛去抓取到你的網站,比方說你有頁面未完成、還在測試中,你不希望User跟Google看到這個頁面 ,那你必須要使用一些語法,防止網路蜘蛛抓到這個頁面的資料。

 

為何索引 ( Index ) 需要優化 ?

測試索引 ( Index )的唯一辦法就是實際使用搜尋引擎去搜尋自己的網站

這裡的索引優化我們先不談排名,索引的優化工作除了排名以外,便是確保你的頁面都有正常的建立進搜尋引擎,並且某些頁面會影響使用者體驗的,你不希望被建立進搜尋引擎,你就要使用meta robots來進行SEO工作,這個我將於下一篇文章有完整的簡介。

 

繼續閱讀下一篇:非技術人員也能看懂的《meta robots、robots.txt》

Harris
Harris
大家好,我是Harris,目前在阿物國際從事 SEO、網站優化相關工作,具有Google Analytics以及Adwords認證,主攻網站行銷、SEO、Google Analytics。

如果你有任何的問題,歡迎來信: harriz1231@gmail.com

延伸閱讀