搜索引擎在對網(wǎng)頁進(jìn)行收錄和排序時(shí),首先需要搜索引擎爬蟲來抓取網(wǎng)頁。所以針對搜索引擎爬蟲的優(yōu)化,算是 seo 的第一環(huán)。
去年在 AliExpress SEO 工作中遇到了一些搜索引擎爬蟲的問題(主要是 Googlebot),比如爬蟲抓取過量導(dǎo)致服務(wù)器崩潰、彈窗廣告被搜索引擎判斷為體驗(yàn)差、JavaScript 內(nèi)容如何更好的抓取等。因此,我們啟動(dòng)了一個(gè)爬蟲優(yōu)化的專項(xiàng) - “蜘蛛俠項(xiàng)目”,最后效果也不錯(cuò):每天整體抓取量提升了幾億,流量提升了幾十萬,虛擬機(jī)也下線了幾百多臺。
中間有些方案是國內(nèi)首創(chuàng),甚至是國際首創(chuàng),所以我還是比較開心的