武漢網站建設完成后就正式上線了，在網站運營過程中，如果你用的是虛擬主機，可能遇到過網站流量超標的情況，我們通過網站流量監控發現，絕大部分的流量消耗都是蜘蛛抓取造成的，那么我們如何屏蔽攔截蜘蛛抓取我們的網站呢？如果是正常的搜索引擎蜘蛛訪問，不建議對蜘蛛進行禁止，否則網站在百度等搜索引擎中的收錄和排名將會丟失，造成客戶流失等損失。

可以優先考慮將網站改版為靜態頁面的，靜態文件都是有緩存的。如果不想在網站方面作出改動，可以使用空間的偽靜態規則來進行攔截：

 

Linux下規則文件.htaccess(手工創建.htaccess文件到站點根目錄)

Windows2008、2012或更高系統下規則文件web.config (手工創建web.config文件到站點根目錄)

注：“{HTTP_USER_AGENT}”所在行中是不明蜘蛛名稱，根據需要添加以"|"為分割。

  規則中默認屏蔽部分不明蜘蛛，要屏蔽其他蜘蛛按規則添加即可,附各大蜘蛛名字：

  google蜘蛛：googlebot

  百度蜘蛛：baiduspider

  百度手機蜘蛛：baiduboxapp

  yahoo蜘蛛：slurp

  alexa蜘蛛：ia_archiver

  msn蜘蛛：msnbot

  bing蜘蛛：bingbot

  altavista蜘蛛：scooter

  lycos蜘蛛：lycos_spider_(t-rex)

  alltheweb蜘蛛：fast-webcrawler

  inktomi蜘蛛：slurp

  有道蜘蛛：YodaoBot和OutfoxBot

  熱土蜘蛛：Adminrtspider

  搜狗蜘蛛：sogou spider

  SOSO蜘蛛：sosospider

  360搜蜘蛛：360spider  

以上蜘蛛的名稱可以參考，如果你的網站有其它蜘蛛也可以增加上去。

如需我們網站建設公司幫助設置，可以聯系我們的客服或電話，我們也可以幫忙處理。

TAG標簽: 網站建設    屏蔽蜘蛛抓取