邯鄲網(wǎng)站加上robots的作用?
閱讀 ?·? 發(fā)布日期 2018-11-09 09:03 ?·? admin邯鄲網(wǎng)站加上robots的作用?robots協(xié)議(也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等)的全稱是“網(wǎng)爬蟲排除標(biāo)準(zhǔn)” ( robots exclusion protocol)’。網(wǎng)站通過robots協(xié)議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。
robots文件的作用
當(dāng)一個(gè)搜索蜘蛛訪問一個(gè)站點(diǎn)時(shí),它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt,如果存在搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容確定訪問的范圍;如果該文件不在所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。
如果將網(wǎng)站視為酒店里的一個(gè)房間,robots.txt就是主人在房間門口懸掛的“請勿打擾”的提示牌。這個(gè)文件告訴來訪的搜索引擎哪些房間可以進(jìn)入和參觀,哪些房間因?yàn)榇娣刨F重物品,或可能涉及住戶及訪客的隱私而不對(duì)搜索引擎開放。
但是,robots.txt不是命令,也不是防火墻,如同守門人無法阻止竊賊等惡意闖人者。
robots協(xié)議可以屏蔽一些網(wǎng)站中比較大的文件,如圖片、音樂、視頻等內(nèi)容,節(jié)省服務(wù)器帶寬;也可以屏蔽站點(diǎn)的一些死鏈接,禁止搜索引擎抓取。
為您推薦
- 襯塑管網(wǎng)站建設(shè)_網(wǎng)頁定制制作與開發(fā) 2020-01-12
- 保溫管網(wǎng)站建設(shè)_網(wǎng)頁定制制作與開發(fā) 2020-01-12
- 玻璃管網(wǎng)站建設(shè)_網(wǎng)頁定制制作與開發(fā) 2020-01-12
- 鍍鋅方矩管網(wǎng)站建設(shè)_網(wǎng)頁定制制作與 2020-01-12
- PVC管材網(wǎng)站建設(shè)_網(wǎng)頁定制制作與開發(fā) 2020-01-12