搜索引擎如何工作：爬行，索引和排名。

　　搜索引擎是一種響應機制，它的存在是為了發(fā)現(xiàn)、理解和組織互聯(lián)網(wǎng)內(nèi)容，從而為用戶的搜索問題提供最相關(guān)的結(jié)果，因此有必要了解搜索引擎的工作原理。為了出現(xiàn)在搜索結(jié)果中，您的內(nèi)容應該首先對搜索引擎可見，然后才包括在內(nèi)。如果您的網(wǎng)頁沒有索引，它將永遠不會出現(xiàn)在搜索引擎結(jié)果頁面。
　　搜索引擎的工作原理

　　一、搜索引擎的工作原理

　　搜索引擎通過三個主要功能工作：

　　1.爬行：在互聯(lián)網(wǎng)上搜索內(nèi)容，檢查蜘蛛找到的每個網(wǎng)址的代碼/內(nèi)容。

　　2.索引：存儲和組織爬行過程中發(fā)現(xiàn)的內(nèi)容。一旦頁面在索引中，當用戶搜索時，它將顯示在查詢結(jié)果中。

　　3.排名：提供最能回答搜索者查詢的內(nèi)容片段，這意味著結(jié)果按照從最相關(guān)到最不相關(guān)的順序排列。

　　什么是搜索引擎爬行？

　　爬行是一個發(fā)現(xiàn)過程，其中搜索引擎發(fā)送一組機器人(稱為爬行動物或蜘蛛)來查找新內(nèi)容和內(nèi)容更新。內(nèi)容可能不同。——可以是網(wǎng)頁、圖片、視頻、PDF等。——但是不管格式如何，內(nèi)容都是通過鏈接找到的。

　　什么是搜索引擎爬行？

　　Googlebot首先獲取幾個網(wǎng)頁，然后根據(jù)這些網(wǎng)頁上的鏈接尋找新的網(wǎng)址。通過沿著這個鏈接路徑跳轉(zhuǎn)，爬蟲可以找到新的內(nèi)容，并將其添加到名為咖啡因的索引系統(tǒng)中，咖啡因是一個包含發(fā)現(xiàn)的網(wǎng)址的巨大數(shù)據(jù)庫，當用戶在網(wǎng)址上搜索內(nèi)容時，它會進行很好的匹配。

　　什么是搜索引擎索引？

　　搜索引擎處理并存儲他們在索引中找到的信息，索引是一個巨大的數(shù)據(jù)庫，包含所有發(fā)現(xiàn)的內(nèi)容，足以為搜索者提供服務。

　　什么是搜索引擎排名？

　　當有人執(zhí)行搜索時，搜索引擎會在其索引中搜索高度相關(guān)的內(nèi)容，然后對內(nèi)容進行排序，以解決搜索者的查詢。這種按相關(guān)性對搜索結(jié)果進行的排名稱為排名。一般來說，你可以假設(shè)一個網(wǎng)站的排名越高，搜索引擎認為該網(wǎng)站與查詢要求越相關(guān)。您還可以阻止搜索引擎捕獲網(wǎng)站的部分或全部內(nèi)容。雖然這可能有原因，但如果你想讓搜索者找到你的內(nèi)容，你必須首先確保爬蟲可以訪問并索引它。

　　二、如何在搜索引擎中查看網(wǎng)站的索引

　　正如剛才提到的搜索引擎的工作原理，確保你的網(wǎng)站被抓取和索引是出現(xiàn)在SERP中的先決條件。如果你已經(jīng)有一個網(wǎng)站，你可以先查看索引中的頁數(shù)。查看索引頁的一種方法是“site  : kreso  . com”。轉(zhuǎn)到谷歌，并在搜索欄中輸入上述命令，這將返回谷歌在其索引中指定網(wǎng)站的結(jié)果：如何在搜索引擎中查看網(wǎng)站索引

　　谷歌顯示的結(jié)果數(shù)量(見上面的“關(guān)于XX結(jié)果”)并不準確，但它確實讓你清楚地知道網(wǎng)站的哪些頁面被索引，以及它們在搜索結(jié)果中是如何顯示的。

　　要獲得更準確的結(jié)果，請使用谷歌搜索控制臺中的索引覆蓋率報告。如果你目前沒有，你可以注冊一個免費的谷歌搜索控制臺賬戶。有了這個工具，你可以為你的網(wǎng)站提交一個站點地圖，并監(jiān)控實際添加到谷歌索引的已提交頁面的數(shù)量。

　　如果的網(wǎng)站沒有出現(xiàn)在搜索結(jié)果中，可能有幾個原因：

　　1)你的網(wǎng)站是全新的，還沒有被抓取。

　　2)您的網(wǎng)站沒有任何外部網(wǎng)站的鏈接。

　　3)你網(wǎng)站的導航讓爬蟲很難有效抓取。

　　4)您的站點中存在阻止爬網(wǎng)程序爬網(wǎng)的代碼。這些代碼將阻止搜索引擎收集網(wǎng)頁。

　　5)你的網(wǎng)站存在嚴重的質(zhì)量問題，被谷歌處罰。

　　第三，如何讓搜索引擎抓取你的網(wǎng)站？

　　如果你使用谷歌搜索控制臺或者“site:domain.com”發(fā)現(xiàn)一些重要的頁面在索引中缺失，一些不重要的頁面被錯誤地索引，你可以通過一些優(yōu)化更好地引導Googlebot抓取你的網(wǎng)頁內(nèi)容。例如，通過GSC的網(wǎng)站檢查將重要頁面提交給谷歌進行優(yōu)先索引，并告訴搜索引擎哪些頁面不想讓谷歌機器人通過robots.txt找到包括內(nèi)容，如內(nèi)容少的舊網(wǎng)址、重復網(wǎng)址(如電子商務的排序和過濾參數(shù))、特殊推廣代碼頁面等。

　　Robots.txt文件位于網(wǎng)站的根目錄下(例如yourdomain.com/robots.txt)，文檔中注明了搜索引擎可以抓取或不抓取的文件路徑。如果Googlebot找不到某個網(wǎng)站的robots.txt文件，會繼續(xù)抓取該網(wǎng)站；如果你找到了這個文件，你通常會按照規(guī)則繼續(xù)抓取網(wǎng)站。

　　您還可以通過提交XML站點地圖讓爬蟲發(fā)現(xiàn)并索引您的網(wǎng)頁。確保谷歌找到您網(wǎng)站所有頁面的最簡單方法之一是創(chuàng)建一個符合谷歌標準的站點地圖文件，并通過谷歌搜索控制臺提交。它可以幫助爬蟲跟蹤所有重要頁面的路徑，并為它們編制索引。如何讓搜索引擎抓取你的網(wǎng)站？

　　四.與排名相關(guān)的一些數(shù)據(jù)指標

　　在谷歌排名中，參與指數(shù)指的是表明搜索者如何通過搜索結(jié)果與你的網(wǎng)站互動的數(shù)據(jù)。這包括以下內(nèi)容：

　　1)點擊次數(shù)(通過搜索訪問)

　　2)頁面停留時間(訪問者離開前停留在頁面上的時間)

　　3)跳出率(僅瀏覽一頁的用戶百分比)

　　4) Pogo-sticking(點擊一個搜索結(jié)果，然后快速返回SERP選擇另一個結(jié)果)

　　根據(jù)前谷歌搜索質(zhì)量總監(jiān)Udi  Manber的說法，排名本身受到點擊數(shù)據(jù)的影響。如果我們發(fā)現(xiàn)80%的人點擊#2，只有10%的人點擊#1進行特定的查詢，過一段時間，我們會發(fā)現(xiàn)#2可能是人們想要的，所以我們會提高它的排名。

　　各種測試已經(jīng)證實，谷歌將根據(jù)搜索者的參與情況調(diào)整SERP順序：

　　1)蘭德菲什金之前的測試讓大約200人點擊了來自SERP的URL，第7名的成績上升到了第1名。有趣的是，排名的提高似乎與訪問鏈接的用戶的位置無關(guān)。在眾多參與者所在的美國，排名位置直線上升，而在谷歌加拿大、澳大利亞等頁面上的排名仍然較低。

　　2) Larry  Kim測試了一些熱門頁面，對比了它們的平均停留時間，結(jié)果顯示Google算法會降低停留時間較短的頁面的排名位置。

　　在網(wǎng)頁排名方面，參與指數(shù)就像一個事實核查器，不會改變你網(wǎng)頁的客觀質(zhì)量。而鏈接、內(nèi)容等客觀因素首先對頁面進行排名，然后參與度指數(shù)可以幫助谷歌在用戶體驗方面調(diào)整排名。如果搜索者的行為表明他們更喜歡其他頁面，你的排名可能會下降。

　　與排名相關(guān)的一些數(shù)據(jù)指標

　　結(jié)論：目前，本地化結(jié)果受事實數(shù)據(jù)的影響，這種交互性是搜索者與本地企業(yè)互動和響應的方式。因為谷歌希望為搜索者提供最好、最相關(guān)的本地業(yè)務，所以他們使用實時參與指標來確定質(zhì)量和相關(guān)性是非常有意義的。但我們不必知道谷歌算法的來龍去脈(這還是個謎！)，只是對搜索引擎的工作原理有一個基本的了解(如何抓取、索引、存儲和排名)。