廣元網(wǎng)站優(yōu)化SEO問答:百度蜘蛛的抓取方式和異常原因
閱讀 ?·? 發(fā)布日期 2018-12-07 09:26 ?·? admin
1,網(wǎng)站更新頻率:更新快多來,更新慢少來,直接影響B(tài)aiduspider的來訪頻率
3,連通度:網(wǎng)站應(yīng)該安全穩(wěn)定、對Baiduspider保持暢通,經(jīng)常給Baiduspider吃閉門羹可不是好事情
抓取頻次間接決定著網(wǎng)站有多少頁面有可能被建庫收錄,如此重要的數(shù)值如果不符合站長預(yù)期該如何調(diào)整呢?百度站長平臺提供了抓取頻次工具,并已完成多次升級。該工具除了提供抓取統(tǒng)計數(shù)據(jù)外,還提供“頻次調(diào)整”功能,站長根據(jù)實際情況向百度站長平臺提出希望Baiduspider增加來訪或減少來訪的請求,工具會根據(jù)站長的意愿和實際情況進(jìn)行調(diào)整。
4,IP封禁:IP封禁為:限制網(wǎng)絡(luò)的出口IP地址,禁止該IP段的使用者進(jìn)行內(nèi)容訪問,在這里特指封禁了BaiduspiderIP。當(dāng)您的網(wǎng)站不希望Baiduspider訪問時,才需要該設(shè)置,如果您希望Baiduspider訪問您的網(wǎng)站,請檢查相關(guān)設(shè)置中是否誤添加了BaiduspiderIP。也有可能是您網(wǎng)站所在的空間服務(wù)商把百度IP進(jìn)行了封禁,這時您需要聯(lián)系服務(wù)商更改設(shè)置。
6,死鏈:頁面已經(jīng)無效,無法對用戶提供任何有價值信息的頁面就是死鏈接,包括協(xié)議死鏈和內(nèi)容死鏈兩種形式:
內(nèi)容死鏈:服務(wù)器返回狀態(tài)是正常的,但內(nèi)容已經(jīng)變更為不存在、已刪除或需要權(quán)限等與原內(nèi)容無關(guān)的信息頁面。
7,異常跳轉(zhuǎn):將網(wǎng)絡(luò)請求重新指向其他位置即為跳轉(zhuǎn)。異常跳轉(zhuǎn)指的是以下幾種情況:
2)跳轉(zhuǎn)到出錯或者無效頁面
8,其他異常:
2)針對百度ua的異常:網(wǎng)頁對百度UA返回不同于頁面原內(nèi)容的行為。
4)壓力過大引起的偶然封禁:百度會根據(jù)站點的規(guī)模、訪問量等信息,自動設(shè)定一個合理的抓取壓力。但是在異常情況下,如壓力控制失常時,服務(wù)器會根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下,請在返回碼中返回503(其含義是“Service Unavailable”),這樣Baiduspider會過段時間再來嘗試抓取這個鏈接,如果網(wǎng)站已空閑,則會被成功抓取。
為您推薦
- 襯塑管網(wǎng)站建設(shè)_網(wǎng)頁定制制作與開發(fā) 2020-01-12
- 保溫管網(wǎng)站建設(shè)_網(wǎng)頁定制制作與開發(fā) 2020-01-12
- 玻璃管網(wǎng)站建設(shè)_網(wǎng)頁定制制作與開發(fā) 2020-01-12
- 鍍鋅方矩管網(wǎng)站建設(shè)_網(wǎng)頁定制制作與 2020-01-12
- PVC管材網(wǎng)站建設(shè)_網(wǎng)頁定制制作與開發(fā) 2020-01-12