廣元網(wǎng)站優(yōu)化SEO問答:百度蜘蛛的抓取方式和異常原因

閱讀 ?·? 發(fā)布日期 2018-12-07 09:26 ?·? admin

1,網(wǎng)站更新頻率:更新快多來,更新慢少來,直接影響B(tài)aiduspider的來訪頻率

3,連通度:網(wǎng)站應(yīng)該安全穩(wěn)定、對Baiduspider保持暢通,經(jīng)常給Baiduspider吃閉門羹可不是好事情

抓取頻次間接決定著網(wǎng)站有多少頁面有可能被建庫收錄,如此重要的數(shù)值如果不符合站長預(yù)期該如何調(diào)整呢?百度站長平臺提供了抓取頻次工具,并已完成多次升級。該工具除了提供抓取統(tǒng)計數(shù)據(jù)外,還提供“頻次調(diào)整”功能,站長根據(jù)實際情況向百度站長平臺提出希望Baiduspider增加來訪或減少來訪的請求,工具會根據(jù)站長的意愿和實際情況進(jìn)行調(diào)整。

 
有一些網(wǎng)頁,內(nèi)容優(yōu)質(zhì),用戶也可以正常訪問,但是Baiduspider卻無法正常訪問并抓取,造成搜索結(jié)果覆蓋率缺失,對百度搜索引擎對站點都是一種損失,百度把這種情況叫“抓取異常”。對于大量內(nèi)容無法正常抓取的網(wǎng)站,百度搜索引擎會認(rèn)為網(wǎng)站存在用戶體驗上的缺陷,并降低對網(wǎng)站的評價,在抓取、索引、排序上都會受到一定程度的負(fù)面影響,最終影響到網(wǎng)站從百度獲取的流量。
 
1,服務(wù)器連接異常:2,網(wǎng)絡(luò)運營商異常:網(wǎng)絡(luò)運營商分電信和聯(lián)通兩種,Baiduspider通過電信或網(wǎng)通無法訪問您的網(wǎng)站。如果出現(xiàn)這種情況,您需要與網(wǎng)絡(luò)服務(wù)運營商進(jìn)行聯(lián)系,或者購買擁有雙線服務(wù)的空間或者購買cdn服務(wù)。

4,IP封禁:IP封禁為:限制網(wǎng)絡(luò)的出口IP地址,禁止該IP段的使用者進(jìn)行內(nèi)容訪問,在這里特指封禁了BaiduspiderIP。當(dāng)您的網(wǎng)站不希望Baiduspider訪問時,才需要該設(shè)置,如果您希望Baiduspider訪問您的網(wǎng)站,請檢查相關(guān)設(shè)置中是否誤添加了BaiduspiderIP。也有可能是您網(wǎng)站所在的空間服務(wù)商把百度IP進(jìn)行了封禁,這時您需要聯(lián)系服務(wù)商更改設(shè)置。

6,死鏈:頁面已經(jīng)無效,無法對用戶提供任何有價值信息的頁面就是死鏈接,包括協(xié)議死鏈和內(nèi)容死鏈兩種形式:
內(nèi)容死鏈:服務(wù)器返回狀態(tài)是正常的,但內(nèi)容已經(jīng)變更為不存在、已刪除或需要權(quán)限等與原內(nèi)容無關(guān)的信息頁面。
7,異常跳轉(zhuǎn):將網(wǎng)絡(luò)請求重新指向其他位置即為跳轉(zhuǎn)。異常跳轉(zhuǎn)指的是以下幾種情況:
2)跳轉(zhuǎn)到出錯或者無效頁面
8,其他異常:
2)針對百度ua的異常:網(wǎng)頁對百度UA返回不同于頁面原內(nèi)容的行為。

4)壓力過大引起的偶然封禁:百度會根據(jù)站點的規(guī)模、訪問量等信息,自動設(shè)定一個合理的抓取壓力。但是在異常情況下,如壓力控制失常時,服務(wù)器會根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下,請在返回碼中返回503(其含義是“Service Unavailable”),這樣Baiduspider會過段時間再來嘗試抓取這個鏈接,如果網(wǎng)站已空閑,則會被成功抓取。