南京小姐qq电话|2011年哈尔滨站街女信息

滁州高端響應式網站設計

響應式網頁設計、開放源代碼、永久使用、不限域名、不限使用次數

建站案例

網站robots的設置與寫法

robots是什么?

robots就是robots.txt,是網站管理員創建的文本文件,用于告訴網絡機器人(通常是搜索引擎機器人)如何抓取其網站上的網頁。robots.txt文件是機器人排除協議(REP)的一部分,該協議是一組WEB標準,用于管理機器人如何抓取網絡,訪問和索引內容,以及將內容提供給用戶。REP還包括諸如META ROBOTS之類的指令,以及關于搜索引擎應如何處理鏈接(例如“follow”或“nofollow”)的網頁,子目錄或站點范圍的指令。

網站robots.txt放在哪里?

robots一般是放在網站的根目錄里面,已.txt文件為載體,既然網絡爬蟲在爬取一個網站之前,要先獲取到這個文件,然后解析到其中的規則,那么,Robots就必須要有一套通用的語法規則。

網站robots .txt怎么設置

常用的robots.txt示例

在實際操作中最經典的robots.txt應包含以下內容:

User-agent: *

Allow: /

Sitemap: http://??.com/sitemap.xml

代碼解釋:

第一行:代碼的意思是允許所有搜索引擎抓取;

第二行:允許所有搜索引擎訪問你的網站沒有任何屏蔽;

第三行:指定網站地圖位置,以便搜索引擎更容易獲取網站所有連接。

最后是常用的robots.txt文件用法寫法:

1. 允許所有的robot訪問

User-agent: * Allow: / 或者 User-agent: * Disallow:

2. 禁止所有搜索引擎訪問網站的任何部分

User-agent: *

Disallow: /

3. 僅禁止Baiduspider訪問您的網站

User-agent: Baiduspider

Disallow: /

4. 僅允許Baiduspider訪問您的網站

User-agent: Baiduspider

Disallow:

5. 禁止spider訪問特定目錄

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

6. 允許訪問特定目錄中的部分url

User-agent: *

Allow: /cgi-bin/see

Allow: /tmp/hi

Allow: /~joe/look

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

7. 使用”*”限制訪問url

禁止訪問/cgi-bin/目錄下的所有以”.htm”為后綴的URL(包含子目錄)。

User-agent: *

Disallow: /cgi-bin/*.htm

8. 使用”$”限制訪問url

僅允許訪問以”.htm”為后綴的URL。

User-agent: *

Allow: .htm$

Disallow: /

9. 禁止訪問網站中所有的動態頁面

User-agent: *

Disallow: /*?*

10. 禁止Baiduspider抓取網站上所有圖片

僅允許抓取網頁,禁止抓取任何圖片。

User-agent: Baiduspider

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

11. 僅允許Baiduspider抓取網頁和.gif格式圖片

允許抓取網頁和gif格式圖片,不允許抓取其他格式圖片

User-agent: Baiduspider

Allow: .gif$

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .png$

Disallow: .bmp$

12. 僅禁止Baiduspider抓取.jpg格式圖片

User-agent: Baiduspider

Disallow: .jpg$

網站使用robots.txt重要性:

1、希望在搜索引擎中隱藏或阻止網站中的文件;

2、使用廣告時需要特別說明;

3、希望網站遵循百度優化指南以提升網站排名



相關文章

南京小姐qq电话 股票涨跌跟什么有关 工商管理研究生考试科目 一只股票分析全面分析 宫濑里子 淘宝快3 众昇策略 股票推荐分析APp 雪缘园足球即时指数 极速时时彩 尊鼎配资 投资分析师 燃气股票推荐 股票指数怎么计算的股票指数的计算方法 足球竞彩比分数据中心 超级大乐透 上海股票开户