作為一個(gè)SEO如果你不了解robots.txt文件的寫法，可以說簡直是一種罪惡，可見robots.txt文件對SEO的重要性，今天沈陽SEO就跟大家分享下robots.txt文件的正確寫法，不過在這之前，我們照顧下小白，先來講講什么是robots.txt文件?

 

什么是robots.txt文件?

 

robots.txt文件是每一個(gè)搜索引擎蜘蛛到你的網(wǎng)站之后要尋找和訪問的第一個(gè)文件，robots.txt是你對搜索引擎制定的一個(gè)如何索引你的網(wǎng)站的規(guī)則。網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。這下知道這個(gè)文件對于網(wǎng)站的重要性了吧。

 

robots.txt文件有什么具體作用?

 

1、屏蔽網(wǎng)站內(nèi)的死鏈接。(網(wǎng)站改版后出現(xiàn)的死鏈、網(wǎng)站被攻擊時(shí)來不及刪除的目錄文件和鏈接)

 

2、屏蔽搜索引擎蜘蛛抓取站點(diǎn)內(nèi)重復(fù)內(nèi)容和頁面。

 

3、阻止搜索引擎索引網(wǎng)站隱私性的內(nèi)容。(例如網(wǎng)站后臺(tái)的登陸地址)

 

robots.txt文件怎樣寫?

 

沈陽SEO首先先給大家介紹幾個(gè)robots中用到的名詞：

 

(1)、User-agent：意思是定義搜索引擎類型

 

因?yàn)樗阉饕嬗泻脦追N有：百度蜘蛛：Baiduspider;谷歌蜘蛛：Googlebot;360蜘蛛：360Spider;SOSO蜘蛛：Sosospider;有道蜘蛛：YoudaoBot;搜狗蜘蛛：Sogou News Spider

 

一般沒有特殊要求的話，正確寫法是：User-agent: * 意思是允許所有搜索引擎來抓取。這是robots.txt文件中第一行的寫法。

 

（2）、Disallow：意思是定義禁止抓取的地址

 

就是禁止蜘蛛抓取的地址，在我們的網(wǎng)站是靜態(tài)或偽靜態(tài)的時(shí)候一般網(wǎng)站要禁止蜘蛛抓取動(dòng)態(tài)路徑(?)、.js、后臺(tái)的文件等一些不想讓蜘蛛抓取的文件。它的正確的寫法如下：

 

Disallow: / 禁止蜘蛛抓取整站(一定不能這么寫，這樣會(huì)讓所有搜索引擎不來抓取你的網(wǎng)站內(nèi)容)

 

Disallow: /wp-admin/ 禁止抓取網(wǎng)站中帶wp-admin的文件夾。

 

Disallow: /page/ 禁止抓取網(wǎng)站中帶page的文件夾。

 

Disallow: /*?* 禁止抓取網(wǎng)站中的所有動(dòng)態(tài)路徑。

 

Disallow: /.js$ 禁止抓取網(wǎng)站中的所有帶.js的路徑。

 

Disallow: /*.jpeg$ 禁止抓取網(wǎng)站中所有jpeg圖片

 

(3)、Allow：意思是定義允許抓取收錄地址

 

這個(gè)就不需要多說了就是允許的意思，在robots文件中不寫Allow意思就是默認(rèn)的允許。因此大家沒必要寫上。

 

(4)、常用的一些語法符號(hào)

 

/ 如果只是一個(gè)單個(gè)/,搜索引擎會(huì)認(rèn)為是根目錄

 

* 是所有的意思;例如：Disallow: /*.jpeg$ 是禁止抓取網(wǎng)站中所有jpeg圖片

 

$ 是結(jié)束符

 

以上內(nèi)容就是沈陽SEO為大家分享的robots.txt文件的定義、作用以及正確的寫法，這是SEO一項(xiàng)非常重要的優(yōu)化操作，大家一定要熟練掌握!