tion %> 单机山东麻将下载
當前位置:首頁 > 建站知識

禁止搜索引擎收錄的方法

更新時間:2009.07.02 瀏覽次數:
  • 什么是robots.txt文件?

  • 搜索引擎通過一種程序robot(又稱spider),自動訪問互聯網上的網頁并獲取網頁信息。
    您可以在您的網站中創建一個純文本文件robots.txt,在這個文件中聲明該網站中不想被robot訪問的部分,這樣,該網站的部分或全部內容就可以不被搜索引擎收錄了,或者指定搜索引擎只收錄指定的內容。

     
  • robots.txt文件放在哪里?

  • robots.txt 文件應該放在網站根目錄下。舉例來說,當robots訪問一個網站(比如http://www.abc.com)時,首先會檢查該網站中是否存在 http://www.abc.com/robots.txt這個文件,如果機器人找到這個文件,它就會根據這個文件的內容,來確定它訪問權限的范圍。
    網站 url相應的 robots.txt的 url
    http://www.w3.org/http://www.w3.org/robots.txt
    http://www.w3.org:80/http://www.w3.org:80/robots.txt
    http://www.w3.org:1234/http://www.w3.org:1234/robots.txt
    http://w3.org/ http://w3.org/robots.txt

     
  • robots.txt文件的格式

  • "robots.txt"文件包含一條或更多的記錄,這些記錄通過空行分開(以cr,cr/nl, or nl作為結束符),每一條記錄的格式如下所示:
    "<field>:<optionalspace><value><optionalspace>"。

    在該文件中可以使用#進行注解,具體使用方法和unix中的慣例一樣。該文件中的記錄通常以一行或多行user-agent開始,后面加上若干disallow行,詳細情況如下:

    user-agent:
      該項的值用于描述搜索引擎robot的名字,在"robots.txt"文件中,如果有多條user-agent記錄說明有多個robot會受到該協議的限制,對該文件來說,至少要有一條user-agent記錄。如果該項的值設為*,則該協議對任何機器人均有效,在"robots.txt"文件中, "user-agent:*"這樣的記錄只能有一條。

    disallow:
      該項的值用于描述不希望被訪問到的一個url,這個url可以是一條完整的路徑,也可以是部分的,任何以disallow開頭的url均不會被 robot訪問到。例如"disallow:/help"對/help.html 和/help/index.html都不允許搜索引擎訪問,而"disallow:/help/"則允許robot訪問/help.html,而不能訪問 /help/index.html。任何一條disallow記錄為空,說明該網站的所有部分都允許被訪問,在"/robots.txt"文件中,至少要有一條disallow記錄。如果"/robots.txt"是一個空文件,則對于所有的搜索引擎robot,該網站都是開放的。

  • robots.txt文件用法舉例
  • 例1. 禁止所有搜索引擎訪問網站的任何部分
    下載該robots.txt文件
    user-agent: *
    disallow: /
    例2. 允許所有的robot訪問 (或者也可以建一個空文件 "/robots.txt" file)user-agent: *
    disallow:
    例3. 禁止某個搜索引擎的訪問user-agent: badbot
    disallow: /
    例4. 允許某個搜索引擎的訪問user-agent: baiduspider
    disallow:


    user-agent: *
    disallow: /
    例5.一個簡單例子
      在這個例子中,該網站有三個目錄對搜索引擎的訪問做了限制,即搜索引擎不會訪問這三個目錄。
      需要注意的是對每一個目錄必須分開聲明,而不要寫成 "disallow: /cgi-bin/ /tmp/"。
      user-agent:后的*具有特殊的含義,代表"any robot",所以在該文件中不能有"disallow: /tmp/*" or "disallow:*.gif"這樣的記錄出現.
    user-agent: *
    disallow: /cgi-bin/
    disallow: /tmp/
    disallow: /~joe/
     

  • robots.txt文件參考資料

  • robots.txt文件的更具體設置,請參看以下鏈接:
    · web server administrator's guide to the robots exclusion protocol
    · html author's guide to the robots exclusion protocol
    · the original 1994 protocol description, as currently deployed
    · the revised internet-draft specification, which is not yet completed or implemented
    烟台麻将规则 浙江11选5 分分彩 有你的校园 竞彩比分直播爱彩 2019年排列三走势图带连线南方 体育比赛比分直播 篮球比分网即时比分 欢乐麻将下载 11温网比分直播 广东十一选五现场开 广东麻将怎么算赢 北京赛车pk10开奖结果 甘肃乐胡麻将摆叫 北京十一选五一定中 欧洲杯2012即时赔率 球探比分即时足球比分一