做網站的時候有些朋友為了網站好看、炫酷等等,但是卻導致了蜘蛛抓取困難,這在一定程度上就形式了蜘蛛陷阱,那么具體有哪些情況會出現這種陷阱呢?
一、JS
有些朋友為了讓網站吸引用戶的眼球,就把導航、網站的首頁界面等等都使用了大量的JS腳本,這對于蜘蛛抓取也是不利的。
二、框架結構
框架結構里面的html通常情況下是可以被蜘蛛抓取的,但是一般情況下這里面的內容不是完整的,導致的結果就是搜索引擎無法判斷框架里面的內容到底是主框架還是框架調用的文件。
三、有過多的flash
目前的flash也是蜘蛛難以識別的,這對于搜索引擎來說也是一種看不懂的東西,那么及時再好的視覺效果,也會讓搜索引擎無法判斷對應的相關性。
四、Session ID
Session ID用戶跟蹤訪問,造成的現象就是用戶每訪問一個頁面,就會出現不一樣的Session
ID,也就是說訪問同樣的頁面,但是出現不一樣的ID,這就造成了大量重復性的內容,也不利搜索引擎優化的。
五、異常跳轉
普通情況下是不會做出這樣的操作,一般灰帽或黑帽的朋友比較喜歡這種操作,采用變相引流的方法,讓頁面跳來跳去,但是實際上等于欺騙搜索引擎和用戶。
六、動態url
動態url目前對于搜索引擎來說還是說可以識別的,但是如果大量的動態url是不利于蜘蛛抓取的,時間長,也不利于優化。
七、登錄限制
有登錄限制的內容,對于搜索引擎來說它即不會注冊也不會登錄,這樣的內容蜘蛛是發現不了的。
八、強制使用cookies
目前很少有網站采用這種限制了,為了想讓用戶記住網站、登錄信息、跟蹤訪問路徑等等情況,強制使用cookies等,造成的結果就是沒有啟用cookies的用戶就訪問不了,會提示頁面無法正常顯示,或者蜘蛛無法正常訪問識別等情況。
九、很多彈出式聊天窗口
有些網站為了跟用戶交流就時不時的強出很多聊天窗口,但是這些聊天窗口搜索引擎也是無法識別的