User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個(gè)通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC 這里定義是禁止爬尋ABC整個(gè)目錄
Disallow: /cgi-bin/*.htm 禁止訪問(wèn)/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面
Disallow: .jpg$ 禁止抓取網(wǎng)頁(yè)所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個(gè)通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄
Allow: .htm$ 僅允許訪問(wèn)以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁(yè)和gif格式圖片robots.txt文件用法舉例
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問(wèn)/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面
Disallow: .jpg$ 禁止抓取網(wǎng)頁(yè)所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個(gè)通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄
Allow: .htm$ 僅允許訪問(wèn)以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁(yè)和gif格式圖片robots.txt文件用法舉例
本站文章均為永諾網(wǎng)站建設(shè)摘自權(quán)威資料，書籍，或網(wǎng)絡(luò)原創(chuàng)文章，如有版權(quán)糾紛或者違規(guī)問(wèn)題，請(qǐng)即刻聯(lián)系我們刪除，我們歡迎您分享，引用和轉(zhuǎn)載，我們謝絕直接復(fù)制和抄襲！感謝...
猜你喜歡
- 1陪診陪護(hù)系統(tǒng)服務(wù)預(yù)約多功能小程序軟件開發(fā)
- 2微信小程序哪家公司做的好
- 3車輛管理小程序功能開發(fā)報(bào)價(jià)
- 4做一個(gè)打車順風(fēng)車APP開發(fā)需要多少錢
- 5上門家政服務(wù)行業(yè)預(yù)約小程序APP系統(tǒng)
- 6o2o軟件系統(tǒng)開發(fā)
- 7掃碼點(diǎn)餐源碼系統(tǒng)怎么開發(fā)
- 8建立一個(gè)網(wǎng)站-需要哪幾個(gè)步驟
- 9網(wǎng)站SEO優(yōu)化之如何運(yùn)用好meta標(biāo)簽
- 10社區(qū)團(tuán)購(gòu)小程序軟件開發(fā)系統(tǒng)制作
聯(lián)絡(luò)方式：
電話：15038330582
郵箱：278477169@qq.com
掃描名片 
我們猜你喜歡
-
醫(yī)院智慧后勤維修管理系統(tǒng)包括哪些
一、醫(yī)院智慧后勤維修軟件項(xiàng)目客戶來(lái)源介紹 醫(yī)院學(xué)校單位后勤維修小程序軟件，針對(duì)的就是后勤的維修管理，接單管理，維修流程的功能系統(tǒng)。也適合大部分的診所和物業(yè)單位后...
-
搬家APP軟件開發(fā)對(duì)用戶有哪些好處
提到搬家很多人都是不想搬家的，東西多不說(shuō)，而且搬起來(lái)還很累。通過(guò)搬家公司的APP軟件找到適合自己的搬家公司，通過(guò)APP實(shí)現(xiàn)的東西就能省去自己搬家了，只是商家把搬家公司進(jìn)行...
-
網(wǎng)站降權(quán)-網(wǎng)站關(guān)鍵詞排名被K原因以及恢復(fù)方法
互聯(lián)網(wǎng)是由很多個(gè)網(wǎng)站共同組成的，用戶如果想要從網(wǎng)上查詢到自己有用的信息，那么就會(huì)在網(wǎng)絡(luò)搜索引擎上輸入關(guān)鍵詞，通過(guò)搜索引擎來(lái)找到自己想要的信息。在這個(gè)過(guò)程中如果想要...
-
做營(yíng)銷的為什么要懂4P
目前游戲圈普遍的認(rèn)知是——如果你不拿出一款游戲研發(fā)的四分之一資金、精力去做營(yíng)銷,你的產(chǎn)品很有可能在上架后就面臨失敗,于是乎本文就手游營(yíng)銷的4P原則&mda...
-
百度阿拉丁計(jì)劃是什么
百度阿拉丁，在百度首頁(yè)以特型圖文或卡片模式來(lái)展現(xiàn)第三方平臺(tái)產(chǎn)品信息，目前主要用來(lái)展示第三方B2B網(wǎng)站的采購(gòu)和供應(yīng)信息。是跟優(yōu)質(zhì)內(nèi)容合作，在自然搜索排名上給優(yōu)先展示，必...
