爬蟲robots,robots協(xié)議怎么寫?網(wǎng)站的robots協(xié)議在哪里查看

新聞 2023-03-14編輯：深圳網(wǎng)站建設(shè)閱讀（）標簽： 爬蟲 robots 404 301

• 爬蟲robots
• 網(wǎng)站的robots協(xié)議在哪里看
• robots.txt文件的寫法
• Robots協(xié)議中的其它語法屬性

全文介紹什么是爬蟲robots，robots協(xié)議怎么寫，網(wǎng)站的robots協(xié)議在哪里查看，robots協(xié)議的具體內(nèi)容，及robots示例解說，Robots協(xié)議中的其它語法屬性

50元付費解決Robots.txt? 看完本文本還不知道Robots.txt怎么寫．50元專人幫你解決

爬蟲robots

搜索引擎通過一種程序robot（又稱spider），自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。
Robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標準”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對應(yīng)的爬蟲被允許的權(quán)限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。

網(wǎng)站的robots協(xié)議在哪里看

robots.txt文件應(yīng)該放在網(wǎng)站根目錄下。舉例來說，當robots訪問一個網(wǎng)站時，首先會檢查該網(wǎng)站中是否存在這個文件，如果機器人找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權(quán)限的范圍。

用幾個最常見的情況，直接舉例說明：

robots.txt文件的寫法

User-agent：指定對哪些爬蟲生效
Disallow：指定要屏蔽的網(wǎng)址
Allow：允許爬行的網(wǎng)址

例：禁止谷歌收錄本站，
User-agent: Googlebot
Disallow:

例：禁止所有收錄本站：
User-agent: *
Disallow: /

例：允許所有蜘蛛爬行所有．除了后臺
User-agent: *
sitemap: http://www.goalq.com.cn/sitemap.html
Disallow: /admin/

例：允許所有蜘蛛爬行所有
直接為空

Robots協(xié)議中的其它語法屬性

User-agent: 這里的代表的所有的搜索引擎種類，*是一個通配符。

Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄。

Disallow: /mahaixiang/*.htm 禁止訪問/mahaixiang/目錄下的所有以".htm"為后綴的URL(包含子目錄)。

Disallow: /? 禁止訪問網(wǎng)站中所有包含問號 (?) 的網(wǎng)址。

Disallow: /.jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片。

Disallow:/mahaixiang/abc.html 禁止爬取ab文件夾下面的adc.html文件。

Allow: /mahaixiang/　這里定義是允許爬尋mahaixiang目錄下面的目錄。

Allow: /mahaixiang 這里定義是允許爬尋mahaixiang的整個目錄。

Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。

Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片。

Sitemap: /sitemap.html 告訴爬蟲這個頁面是網(wǎng)站地圖。

• 上一章：頭條號如何賺錢 頭條號如何獲得收益
• 下一章：企業(yè)網(wǎng)站設(shè)計如果通過圖標提升高級感呢...