堅(jiān)持為客戶提供有價(jià)值的服務(wù)和內(nèi)容

對(duì)頁(yè)面抓取異常的原因及分析

互聯(lián)網(wǎng) | 2022-04-14 | 分享至:
1,效勞器對(duì)接異常
效勞器對(duì)接異常會(huì)出現(xiàn)二種情況:一種是網(wǎng)站不穩(wěn)定,Baiduspider測(cè)試對(duì)接您網(wǎng)站的效勞器時(shí)展現(xiàn)臨時(shí)沒法對(duì)接的情況;一種是Baiduspider一向沒法對(duì)接上您網(wǎng)站的效勞器。

產(chǎn)生效勞器對(duì)接異常的要素一般是您網(wǎng)站效勞器太大,過載運(yùn)行。也是有或許是您的網(wǎng)站運(yùn)行異常,請(qǐng)查看網(wǎng)站的web效勞器(如apache、iis)是否設(shè)備且正常運(yùn)轉(zhuǎn),并應(yīng)用電腦瀏覽器查詢主要網(wǎng)頁(yè)頁(yè)面能不能正常的拜訪。您網(wǎng)站和服務(wù)器還或許阻礙了Baiduspider的拜訪,您要求查詢網(wǎng)站和服務(wù)器的服務(wù)器防火墻。

2,營(yíng)運(yùn)商異常:營(yíng)運(yùn)商分電信和聯(lián)通二種,Baiduspider通過電信網(wǎng)或網(wǎng)通電信沒法拜訪您網(wǎng)站。倘若展現(xiàn)這類情況,您要求與互聯(lián)網(wǎng)效勞營(yíng)運(yùn)商開展聯(lián)系,也許購(gòu)置具備多線效勞的區(qū)域也許購(gòu)置cdn效勞。

3,DNS異常:當(dāng)Baiduspider無(wú)法解析您網(wǎng)站的IP時(shí),會(huì)展現(xiàn)DNS異常?;蛟S是您的網(wǎng)站IP地址過失,也許網(wǎng)站域名效勞商把Baiduspider封禁。請(qǐng)應(yīng)用WHOIS也許host查看自身網(wǎng)站IP地址是否合理且可分析,倘若不合理或無(wú)法解析,請(qǐng)與域名服務(wù)商聯(lián)系,升級(jí)您IP地址。

4,IP封禁:IP封禁為:限制網(wǎng)絡(luò)的出入口IP地址,勸阻該IP段的應(yīng)用者開展具體內(nèi)容拜訪,在這兒專指封禁了BaiduspiderIP。當(dāng)您網(wǎng)站不期望Baiduspider拜訪時(shí),才要求該設(shè)定,倘若您期待Baiduspider拜訪您網(wǎng)站,請(qǐng)查看相關(guān)設(shè)置中是否誤添加了BaiduspiderIP。也是有或許是您網(wǎng)站地址的室內(nèi)空間效勞商把baiduIP進(jìn)行了封禁,這時(shí)候您要求聯(lián)系效勞商變更設(shè)定。

5,UA封禁:UA即是客戶代理(User-Agent),效勞器通過UA分辨拜訪者的真實(shí)身份。當(dāng)網(wǎng)站有關(guān)特定UA的拜訪,回家異常網(wǎng)頁(yè)頁(yè)面(如403,500)或自動(dòng)跳轉(zhuǎn)到其他網(wǎng)頁(yè)頁(yè)面的情況,即是UA封禁。當(dāng)您網(wǎng)站不期望Baiduspider拜訪時(shí),才要求該設(shè)定,倘若您期待Baiduspider拜訪您網(wǎng)站,useragent相關(guān)的設(shè)置中是不是有Baiduspider UA,并立即調(diào)整。

6,死鏈:網(wǎng)頁(yè)頁(yè)面已經(jīng)失效,沒法對(duì)客戶提供一切有使用價(jià)值信息內(nèi)容的網(wǎng)頁(yè)頁(yè)面就是死聯(lián)接,包括協(xié)議書死鏈和具體內(nèi)容死鏈二種方式:

協(xié)議書死鏈:網(wǎng)頁(yè)頁(yè)面的TCP協(xié)議書情況/HTTP協(xié)議書情況清楚說明的死鏈,多見的如404、403、503情況等。

具體內(nèi)容死鏈:效勞器回家情況是正常的,但具體內(nèi)容已經(jīng)變動(dòng)為不會(huì)有、已刪除或要求管理權(quán)限等與原信息沒有關(guān)系的信息內(nèi)容網(wǎng)頁(yè)頁(yè)面。
有關(guān)死鏈,大家認(rèn)為網(wǎng)站應(yīng)用協(xié)議書死鏈,并通過baidu站長(zhǎng)服務(wù)平臺(tái)
掃二維碼與項(xiàng)目經(jīng)理溝通

7*24小時(shí)為您服務(wù)

解答:網(wǎng)站優(yōu)化,網(wǎng)站建設(shè),APP開發(fā),小程序開發(fā),H5開發(fā),品牌推廣,新聞推廣,輿情監(jiān)測(cè)等

  非常感謝您有耐心的讀完這篇文章:"對(duì)頁(yè)面抓取異常的原因及分析",更多內(nèi)容請(qǐng)繼續(xù)瀏覽,我們將為您提供更多參考使用或?qū)W習(xí)交流的信息。我們還可為您提供:網(wǎng)站建設(shè)與開發(fā)、網(wǎng)站優(yōu)化品牌推廣、APP開發(fā)、小程序開發(fā)、新聞推廣等服務(wù),我們以“降低營(yíng)銷成本,提高營(yíng)銷效果”的服務(wù)理念,自創(chuàng)立至今,已成功服務(wù)過不同行業(yè)的1000多家企業(yè),獲得國(guó)家高新技術(shù)企業(yè)認(rèn)證,且擁有14項(xiàng)國(guó)家軟件著作權(quán),將力爭(zhēng)成為國(guó)內(nèi)企業(yè)心目中值得信賴的互聯(lián)網(wǎng)產(chǎn)品及服務(wù)提供商。如您需要合作,請(qǐng)掃碼咨詢,我們將誠(chéng)摯為您服務(wù)。
我要咨詢
姓名 :
電話 :
文章分類