垃圾爬蟲如果你的網(wǎng)站運營一段時間，在谷歌和百度的收錄情況還比較好，并且具備一定的流量與權(quán)重，這個時候就可能存在“垃圾爬蟲”廣泛爬取的情況。通常這類爬蟲主要分為如下幾種類型：①國外的一批SEO推廣軟件的搜索爬蟲，主要用于提取網(wǎng)站的鏈接狀態(tài)。②網(wǎng)站鏡像的代理爬蟲，通常都會進(jìn)行偽裝。③極個別的數(shù)據(jù)分析爬蟲。（網(wǎng)站比較優(yōu)秀，SEO研究者對你的分析）這些爬蟲除了鏡像，實際上并沒有從SEO的角度給我們帶來諸多問題，但是它卻非常容易占用大量的服務(wù)器資源，特別是如果你還是一個非知名主機(jī)商的虛擬主機(jī)。如果你想要快速檢索你的站點爬蟲數(shù)量，我們可以通過一個小策略，查看robots.txt文件的訪問情況，這只是一個小技巧。站內(nèi)搜索我相信從目前來看，基本上除了單頁組合頁面之外，都會存在站內(nèi)搜索框這個功能，畢竟大量的CMS系統(tǒng)都會配置這個功能，特別是一些模板建站的企業(yè)網(wǎng)站。在很長一段時間里，我們早前給大家解讀過一個偏灰帽的策略，雖然是老套路，而不經(jīng)常被提及，但還是仍然有人沿用至今，簡要流程如下：①尋找具備搜索框的高權(quán)重網(wǎng)站。②在高權(quán)重網(wǎng)站搜索框中，輸入一段超鏈接代碼。③基于一些搜索框的設(shè)計策略，部分的搜索結(jié)果頁面會直接反饋出具有錨文本鏈接的外鏈。這樣一些習(xí)慣性利用系統(tǒng)漏洞的灰帽，就會這樣無形之中建立一個高權(quán)重的外鏈。而之后，便有了多個類似于該策略的變體版本，比如：在搜索框中輸入第三方網(wǎng)址等等。實際上，這個問題，如果你不去查看日志，是很難發(fā)現(xiàn)的，但由于對方操作的策略，都是利用軟件自動檢索，這會直接影響網(wǎng)站加載速度。因此，從SEO角度來講，我們第一時間就應(yīng)該在robots.txt中屏蔽搜索結(jié)果頁面。而后，從網(wǎng)站運營來講，不是特別必須，我們可以采用第三方搜索框，比如：百度站內(nèi)搜索。漏洞掃描網(wǎng)站安全漏洞掃描，這個是對于任何一個網(wǎng)站都可能會遇到的事情，比如：我們經(jīng)常可以在自己的站點數(shù)據(jù)中，看到大量的404頁面的訪問情況。它可能會出現(xiàn)各種CMS系統(tǒng)后臺的登錄地址，以及一些容易出現(xiàn)漏洞的文件，通常這些情況都是基礎(chǔ)性的漏洞掃描。如果出現(xiàn)長期這樣的問題，并且IP地址固定的話，我們可以進(jìn)行有效的攔截，同時，基于SEO的角度，我們還是建議大家建立404頁面。惡意采集對于惡意采集而言，如果我們不去刻意的分析，我們是很難發(fā)現(xiàn)這個問題，除非你在百度搜索結(jié)果中看到大量的整站內(nèi)容和你一樣的站點。一般來講，我們在查看日志的時候，總是會調(diào)用一下IP訪問的排行榜，你會發(fā)現(xiàn)某些特定的IP長時間的停留在你的網(wǎng)站，并且大量的訪問你的頁面。這個時候我們需要排除它是不是CDN節(jié)點，是不是正規(guī)的搜索引擎爬蟲，如果都不是，它很可能就是惡意采集或者鏡像的IP。基礎(chǔ)狀態(tài)審查日志相關(guān)性的數(shù)據(jù)判斷網(wǎng)站日常運營的基礎(chǔ)狀態(tài)，這已經(jīng)是一個常態(tài)的操作策略，但對于新手站長而言，經(jīng)常會忽略這個問題，比如：①HTTPS和HTTP不進(jìn)行301重定向，二者反饋都是200狀態(tài)。②大量的站內(nèi)404頁面訪問，沒有進(jìn)行死鏈接提交等。③我們是否需要針對一些304狀態(tài)的反饋，進(jìn)行改變。④當(dāng)你遭遇一些服務(wù)器500錯誤的時候，該如何處理的問題。站內(nèi)情況有的時候我們在做SEO的過程中，偶爾需要進(jìn)行網(wǎng)站改版，也偶爾會遇到服務(wù)器升級的情況，如果自己的相關(guān)性配置不到位經(jīng)常會遭遇一些非常隱晦的問題，比如：頁面重復(fù)性的問題。有的時候，我們在配置網(wǎng)站偽靜態(tài)的時候，一些偽靜態(tài)規(guī)則，經(jīng)常會給出多個版本的策略，而只是讓我們在系統(tǒng)后臺篩選。但并沒有在選定之后，而對其他的鏈接展現(xiàn)形式進(jìn)行301重定向到目標(biāo)選定的URL形態(tài)上，這無形之中就會增加同內(nèi)容，多個偽靜態(tài)規(guī)則不同URL地址收錄的情況。一般日常運營的過程中，我們是很難發(fā)現(xiàn)這個問題的，除非你在site的時候，或者檢索標(biāo)題的時候，出現(xiàn)多個結(jié)果的時候才會注意。這里給大家的建議就是：當(dāng)你遇到這個情況的時候，一定在配置文件中刪除沒有選定的偽靜態(tài)規(guī)則，以免造成不必要的麻煩。網(wǎng)站優(yōu)化是指通過對網(wǎng)站功能、網(wǎng)站結(jié)構(gòu)、網(wǎng)頁布局、網(wǎng)站內(nèi)容等要素的合理設(shè)計，使得網(wǎng)站內(nèi)容和功能表現(xiàn)形式達(dá)到對用戶友好并易于宣傳推廣的最佳效果，充分發(fā)揮網(wǎng)站的網(wǎng)絡(luò)營銷價值，是一項系統(tǒng)性和全局性的工作，包括對用戶的優(yōu)化、對搜索引擎的優(yōu)化、對運營維護(hù)的優(yōu)化。網(wǎng)站優(yōu)化已經(jīng)成為網(wǎng)絡(luò)營銷經(jīng)營策略的必然要求。