所有的全文搜索引擎都表示自己的Spider對網(wǎng)站的抓取行為和網(wǎng)站用戶的訪問行為沒有太大區(qū)別，站在網(wǎng)站用戶的角度這句話的確沒有問題，但是站在站長和SEO的角度這句話就不太對了。網(wǎng)頁上有很多東西網(wǎng)站用戶看不到也分辨不清，但是Spider可以；網(wǎng)頁上也有很多東西網(wǎng)站用戶可以看到并分辨清楚，但是Spider不可以�？梢哉fSpider是一個既聰明又弱智的網(wǎng)站用戶，Spider有著網(wǎng)站用戶訪問行為的大部分特性，但是也有不少差異。
1、Spider可以分辨出網(wǎng)頁中是否有隱藏內(nèi)容，是否被掛了黑鏈等，但是不能完全了解網(wǎng)頁中圖片的內(nèi)容，更不能讀取JavaScript、Iframe、Ajax和Flash中的內(nèi)容，網(wǎng)站用戶卻是恰恰相反；
2、Spider沒有Referer，對網(wǎng)站的抓取全部都是直接訪問，而網(wǎng)站用戶中除了直接訪問的用戶外一般都是有Referer的；
3、Spider對網(wǎng)站的訪問沒有Cookie,但是網(wǎng)站用戶是有的；
4、Spider不會主動注冊登入網(wǎng)站，但是網(wǎng)站用戶是可以的；原則上Spider不會抓取和分析網(wǎng)站robots中已經(jīng)屏蔽的內(nèi)容，但是網(wǎng)站用戶是可以正常訪問的；
5、Spider對于有多個動態(tài)參數(shù)網(wǎng)站的抓取，可能會陷入死循環(huán)，但是網(wǎng)站用戶是不會的；
6、Spider對于列表中前幾頁的新內(nèi)容抓取可能不好，但是感興趣的網(wǎng)站用戶會依次瀏覽；
7、Spider暫時還不能真正判斷文章是不是原創(chuàng)，但是網(wǎng)站用戶可以通過多種方式來確定文章是原創(chuàng)還是采集轉(zhuǎn)載等。
Spider畢竟是人為技術(shù)驅(qū)動的程序，與網(wǎng)站用戶還是有著非常大的區(qū)別的，因此給了站長和SEO人員很大的操作空間。站長和SEO人員在充分了解到Spider和網(wǎng)站用戶的區(qū)別后，可以更方便地優(yōu)化網(wǎng)站，使得網(wǎng)站內(nèi)容被充分抓取，網(wǎng)站整體在搜索引擎中有個良好的表現(xiàn)；同時也可以利用兩者的區(qū)別，使得在不影響搜索引擎抓取和排名的情況下，給網(wǎng)站用戶更友好的用戶體驗，比如，判斷用戶Referer給用戶推薦內(nèi)容等；當(dāng)然，不排除有些站長和SEO人員會利用這些區(qū)別，采用很多極端的技術(shù)作弊手法，在網(wǎng)站用戶感覺不到的地方，誤導(dǎo)Spider對網(wǎng)站內(nèi)容的判斷，而惡意搶奪很多本不應(yīng)該得到的搜索流量，這是不可取的。無論如何，都有必要深入了解兩者的差異。
|
