有一些內(nèi)容質(zhì)量高的網(wǎng)頁(yè)，用戶(hù)可以正常訪問(wèn)，但百度Pider無(wú)法正常訪問(wèn)和抓取，導(dǎo)致搜索結(jié)果覆蓋率不足，給百度搜索引擎和網(wǎng)站帶來(lái)?yè)p失。百度稱(chēng)這種情況為“搶占例外”。百度搜索引擎會(huì)考慮內(nèi)容量大的網(wǎng)站在用戶(hù)體驗(yàn)上存在無(wú)法正常抓取的缺陷，降低對(duì)網(wǎng)站的評(píng)價(jià)在抓取、索引和排序方面，百度搜索引擎將受到一定程度的負(fù)面影響，這將影響網(wǎng)站從百度獲得的流量。

以下描述了對(duì)站長(zhǎng)異常抓取的一些常見(jiàn)原因：

服務(wù)器連接異常有兩種情況：一是網(wǎng)站不穩(wěn)定，百度pider在嘗試連接時(shí)暫時(shí)無(wú)法連接到您網(wǎng)站的服務(wù)器；二是百度pider一直無(wú)法連接到您網(wǎng)站的服務(wù)器。

服務(wù)器連接異常的原因通常是您的網(wǎng)站服務(wù)器太大和過(guò)載。您的網(wǎng)站也可能運(yùn)行不正常請(qǐng)檢查網(wǎng)站的web服務(wù)器（如apache、iis）是否正常安裝和運(yùn)行，并使用瀏覽器檢查主頁(yè)面是否可以正常訪問(wèn)。您的網(wǎng)站和主機(jī)也可能會(huì)阻止Baiduspider的訪問(wèn)你需要檢查網(wǎng)站和主機(jī)的防火墻。

網(wǎng)絡(luò)運(yùn)營(yíng)商例外：網(wǎng)絡(luò)運(yùn)營(yíng)商分為電信和聯(lián)通兩類(lèi)百度Pider無(wú)法通過(guò)電信或網(wǎng)通訪問(wèn)您的網(wǎng)站。如果發(fā)生這種情況，您需要聯(lián)系網(wǎng)絡(luò)服務(wù)提供商，或購(gòu)買(mǎi)空間與二線服務(wù)或CDN服務(wù)。

DNS異常：當(dāng)Baiduspider無(wú)法解析您網(wǎng)站的IP地址時(shí)，將出現(xiàn)DNS異常。可能是您網(wǎng)站的IP地址有誤，或者域名服務(wù)商已經(jīng)禁止了Baiduspider請(qǐng)使用whois或host檢查您網(wǎng)站的IP地址是否正確和可解析。如果沒(méi)有，請(qǐng)聯(lián)系域名注冊(cè)商更新您的IP地址。

IP阻塞：IP阻塞是限制網(wǎng)絡(luò)的導(dǎo)出IP地址，禁止該IP段的用戶(hù)訪問(wèn)內(nèi)容這里，它具體指的是百度Piderip的屏蔽。此設(shè)置僅在您的網(wǎng)站不希望百度Pider訪問(wèn)時(shí)才需要。如果您希望百度Pider訪問(wèn)您的網(wǎng)站，請(qǐng)檢查百度Pider IP是否錯(cuò)誤地添加到相關(guān)設(shè)置中。你的網(wǎng)站所在的空間服務(wù)提供商也有可能禁止百度IP此時(shí)，您需要聯(lián)系服務(wù)提供商以更改設(shè)置。

UA阻塞：UA是用戶(hù)代理服務(wù)器通過(guò)UA識(shí)別訪客的身份。當(dāng)一個(gè)網(wǎng)站訪問(wèn)一個(gè)指定的UA并返回一個(gè)異常頁(yè)面（如403500）或跳轉(zhuǎn)到另一個(gè)頁(yè)面時(shí)，稱(chēng)為UA阻塞此設(shè)置僅在您不希望baidu pider訪問(wèn)您的網(wǎng)站時(shí)才需要。如果你想百度皮德訪問(wèn)你的網(wǎng)站，是否有百度皮德魯在用戶(hù)代理相關(guān)設(shè)置并及時(shí)修改它。

死鏈：頁(yè)面無(wú)效，不能向用戶(hù)提供任何有價(jià)值信息的頁(yè)面為死鏈，包括協(xié)議死鏈和內(nèi)容死鏈

協(xié)議死鏈：頁(yè)面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)清楚地表示出死鏈，如404、403、503狀態(tài)等。

內(nèi)容死鏈：服務(wù)器返回的狀態(tài)是正常的，但內(nèi)容已被更改為不存在的、已被刪除或需要權(quán)限的信息頁(yè)，與原始內(nèi)容無(wú)關(guān)。

對(duì)于死鏈，我們建議網(wǎng)站使用協(xié)議死鏈，通過(guò)百度站長(zhǎng)平臺(tái)死鏈工具提交給百度，這樣百度可以更快地找到死鏈，減少死鏈對(duì)用戶(hù)和搜索引擎的負(fù)面影響。

異常跳轉(zhuǎn)：跳轉(zhuǎn)是將網(wǎng)絡(luò)請(qǐng)求重定向到另一個(gè)位置異常跳轉(zhuǎn)指以下情況：

1）當(dāng)前頁(yè)面為無(wú)效頁(yè)面（內(nèi)容已被刪除、死鏈等），直接跳轉(zhuǎn)到上一個(gè)目錄或首頁(yè)，百度建議站長(zhǎng)刪除無(wú)效頁(yè)面的入口超鏈接

對(duì)于長(zhǎng)期跳轉(zhuǎn)到其他域名，如在網(wǎng)站上更改域名，百度建議使用301跳轉(zhuǎn)協(xié)議進(jìn)行設(shè)置。

其他異常：

1）對(duì)于百度推薦人的例外情況：網(wǎng)頁(yè)返回與百度推薦人正常內(nèi)容不同的行為。

2）對(duì)于百度UA的例外情況：返回百度UA的網(wǎng)頁(yè)行為與頁(yè)面的原始內(nèi)容不同。

3）JS跳轉(zhuǎn)異常：網(wǎng)頁(yè)加載了百度無(wú)法識(shí)別的JS跳轉(zhuǎn)代碼，用戶(hù)通過(guò)搜索結(jié)果進(jìn)入網(wǎng)頁(yè)后跳轉(zhuǎn)。

4）壓力過(guò)大造成的意外阻塞：百度會(huì)根據(jù)網(wǎng)站規(guī)模、訪問(wèn)量等信息，自動(dòng)設(shè)置合理的壓力進(jìn)行抓取。但在壓力控制異常等異常情況下，服務(wù)器會(huì)根據(jù)自身負(fù)載進(jìn)行保護(hù)意外閉鎖。在這種情況下，請(qǐng)?jiān)诜祷卮a中返回503（意思是“服務(wù)不可用”），以便百度Pider在一段時(shí)間內(nèi)再次嘗試獲取鏈接。如果該網(wǎng)站處于空閑狀態(tài)，則將成功獲取該網(wǎng)站。