人人爽人人爽视频

  • 027-86866258
    網站建設知識|[prov_or_city]做網站公司|seo優化排名知識

    隨州網站建設分享:網站如何屏蔽攔截蜘蛛抓取

    2022-09-19 | 閱讀:29980 首頁>>新聞中心>>網站建站知識

    隨州網站建設完成后就正式上線了,在網站運營過程中,如果你用的是虛擬主機,可能遇到過網站流量超標的情況,我們通過網站流量監控發現,絕大部分的流量消耗都是蜘蛛抓取造成的,那么我們如何屏蔽攔截蜘蛛抓取我們的網站呢?如果是正常的搜索引擎蜘蛛訪問,不建議對蜘蛛進行禁止,否則網站在百度等搜索引擎中的收錄和排名將會丟失,造成客戶流失等損失。

    可以優先考慮將網站改版為靜態頁面的,靜態文件都是有緩存的。如果不想在網站方面作出改動,可以使用空間的偽靜態規則來進行攔截:

     

    Linux下規則文件.htaccess(手工創建.htaccess文件到站點根目錄)

    Linux下規則文件屏蔽蜘蛛抓取

    Windows2008、2012或更高系統下規則文件web.config (手工創建web.config文件到站點根目錄)

    Windows規則文件屏蔽蜘蛛抓取

    注:“{HTTP_USER_AGENT}”所在行中是不明蜘蛛名稱,根據需要添加以"|"為分割。

      規則中默認屏蔽部分不明蜘蛛,要屏蔽其他蜘蛛按規則添加即可,附各大蜘蛛名字:

      google蜘蛛:googlebot

      百度蜘蛛:baiduspider

      百度手機蜘蛛:baiduboxapp

      yahoo蜘蛛:slurp

      alexa蜘蛛:ia_archiver

      msn蜘蛛:msnbot

      bing蜘蛛:bingbot

      altavista蜘蛛:scooter

      lycos蜘蛛:lycos_spider_(t-rex)

      alltheweb蜘蛛:fast-webcrawler

      inktomi蜘蛛:slurp

      有道蜘蛛:YodaoBot和OutfoxBot

      熱土蜘蛛:Adminrtspider

      搜狗蜘蛛:sogou spider

      SOSO蜘蛛:sosospider

      360搜蜘蛛:360spider  

    以上蜘蛛的名稱可以參考,如果你的網站有其它蜘蛛也可以增加上去。

    如需我們網站建設公司幫助設置,可以聯系我們的客服或電話,我們也可以幫忙處理。



    TAG標簽: 網站建設    屏蔽蜘蛛抓取   

    相關資訊

    十三年 行業經驗

    多一份參考,總有益處

    聯系新一點,免費獲得專屬《策劃方案》及報價

    咨詢相關問題或預約面談,可以通過以下方式與我們聯系

    業務熱線:027-86866258 / 大客戶專線:劉經理:15307181953

    X做網站的二維碼

    截屏,微信識別二維碼

    微信號:xinyidian8

    (點擊微信號復制,添加好友)

      打開微信

    微信號已復制,請打開微信添加咨詢詳情!
    人人爽人人爽视频