抓取是Googlebot訪問新的和更新的頁(yè)面以添加到Google索引的過程,多數(shù)情況下,如果你的抓取出現(xiàn)了問題,那么基本上整個(gè)SEO就沒有結(jié)果了,因?yàn)榍疤岵襟E已經(jīng)出問題了。
它使用大量的計(jì)算機(jī)來爬取(或 "抓取")網(wǎng)絡(luò)上的數(shù)十億網(wǎng)頁(yè)。執(zhí)行任務(wù)的程序叫Googlebot(也叫漫游程序或蜘蛛程序)。Googlebot使用算法流程來決定要抓取哪些網(wǎng)站,多久抓取一次,以及從每個(gè)網(wǎng)站中抓取多少網(wǎng)頁(yè)。
Google首先根據(jù)之前抓取過程中生成的網(wǎng)站中的網(wǎng)站列表開始抓取,并隨著網(wǎng)站所有者提供的網(wǎng)站地圖數(shù)據(jù)的增加而擴(kuò)大。當(dāng)Googlebot訪問一個(gè)網(wǎng)頁(yè)時(shí),它會(huì)搜索該網(wǎng)頁(yè)上的鏈接,并將其添加到要抓取的網(wǎng)頁(yè)列表中。它記錄新創(chuàng)建的網(wǎng)站、現(xiàn)有網(wǎng)站的變化和無效鏈接,并相應(yīng)地更新Google索引。
在捕捉過程中,谷歌使用新版本的Chrome瀏覽器來顯示網(wǎng)頁(yè)。在渲染過程中,所有檢測(cè)到的網(wǎng)頁(yè)腳本都會(huì)被執(zhí)行。如果您在網(wǎng)站上使用動(dòng)態(tài)生成的內(nèi)容,請(qǐng)遵循JavaScript SEO的基本頁(yè)面要求。
谷歌使用兩種不同的抓取工具來抓取你的網(wǎng)站:移動(dòng)版的抓取工具和桌面版的抓取工具。每個(gè)捕捉工具類型都模擬用戶使用該類型的設(shè)備訪問網(wǎng)頁(yè)。
谷歌使用一種抓取工具類型(移動(dòng)或桌面)作為您網(wǎng)站的主要抓取工具。谷歌在您的網(wǎng)站上抓取的所有頁(yè)面將使用主要抓取工具抓取。所有新站使用的主要采集工具是手機(jī)版的采集工具。
谷歌還將使用其他類型的捕捉工具(移動(dòng)或桌面)來重新捕捉網(wǎng)站的一些網(wǎng)頁(yè)。這就是所謂的二次采集,目的是讓我們了解其他設(shè)備類型如何應(yīng)用于網(wǎng)站。