適用于WordPress的Robots協(xié)議規(guī)則
適用于WordPress的Robots協(xié)議規(guī)則Robots協(xié)議也稱為爬蟲協(xié)議、爬蟲規(guī)則、機(jī)器人協(xié)議等,也就是robots.txt,網(wǎng)站通過Robots協(xié)議告訴搜索引擎可以抓取哪些頁面和不能抓取哪些頁面,優(yōu)化網(wǎng)站的收錄和權(quán)重。Robots協(xié)議規(guī)則 User-agent:?* Dis
適用于WordPress的Robots協(xié)議規(guī)則Robots協(xié)議也稱為爬蟲協(xié)議、爬蟲規(guī)則、機(jī)器人協(xié)議等,也就是robots.txt,網(wǎng)站通過Robots協(xié)議告訴搜索引擎可以抓取哪些頁面和不能抓取哪些頁面,優(yōu)化網(wǎng)站的收錄和權(quán)重。Robots協(xié)議規(guī)則 User-agent:?* Dis
Robots協(xié)議也稱為爬蟲協(xié)議、爬蟲規(guī)則、機(jī)器人協(xié)議等,也就是robots.txt,網(wǎng)站通過Robots協(xié)議告訴搜索引擎可以抓取哪些頁面和不能抓取哪些頁面,優(yōu)化網(wǎng)站的收錄和權(quán)重。
User-agent:?* Disallow:?/wp-admin/ Disallow:?/wp-include/ Disallow:?/wp-login* Disallow:?/?s=* sitemap:?https://域名/wp-sitemap-posts-post-1.xml
在網(wǎng)站根目錄創(chuàng)建名為robots.txt的文件,把以上內(nèi)容粘貼到txt文件內(nèi),再把內(nèi)容的最后一條的“域名”修改成自己網(wǎng)站的域名并保存文件。
版權(quán)所有:深圳市網(wǎng)商在線科技有限公司