? ? ? ?站長朋友們都知道，robots是網(wǎng)站站點(diǎn)與搜索引擎蜘蛛程序溝通的重要渠道，站點(diǎn)通過robots文件聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄的部分。當(dāng)一個(gè)搜索蜘蛛訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，搜索引擎蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。那么在南昌網(wǎng)站建設(shè)中應(yīng)如何設(shè)置Robots文件呢？下面我們就一起來看看吧！
? ? ? ?1、允許所有搜索引擎訪問
? ? ? ?User-agent: *
? ? ? ?Disallow:
? ? ? ?或者
? ? ? ?User-agent: *
? ? ? ?Allow: /
? ? ? ?在這里大家要注意下，可以直接建一個(gè)空文件 “robots.txt”然后放到網(wǎng)站的根目錄。
? ? ? ?2、禁止所有搜索引擎訪問
? ? ? ?User-agent: *
? ? ? ?Disallow: /
? ? ? ?或者
? ? ? ?User-agent: *
? ? ? ?allow:
? ? ? ?3、禁止所有搜索引擎訪問網(wǎng)站中的幾個(gè)部分，用aa、bb、cc目錄來代替
? ? ? ?User-agent: *
? ? ? ?Disallow: /aa/
? ? ? ?Disallow: /bb/
? ? ? ?Disallow: /cc/
? ? ? ?如果是允許，則是
? ? ? ?Allow: /aa/
? ? ? ?Allow: /bb/
? ? ? ?Allow: /cc/
? ? ? ?4、禁止某個(gè)搜索引擎的訪問，在此用x來代替
? ? ? ?User-agent: x
? ? ? ?Disallow: /
? ? ? ?或
? ? ? ?User-agent: x
? ? ? ?Disallow: /d/*.htm
? ? ? ?在Disallow:后面加 /d/*.htm的意思是禁止訪問/d/目錄下的所有以”.htm”為后綴的URL，包含子目錄。?
? ? ? ?5、只允許某個(gè)搜索引擎的訪問，在此用f來代替
? ? ? ?User-agent: f
? ? ? ?Disallow:
? ? ? ?在Disallow：后面不加任何東西，意思是僅允許f訪問該網(wǎng)站。
? ? ? ?6、使用”$”限制訪問url
? ? ? ?User-agent: *
? ? ? ?Allow: .htm$
? ? ? ?Disallow: /
? ? ? ?意思是僅允許訪問以”.htm”為后綴的URL
?
? ? ? ?7、只允許搜索引擎E抓取網(wǎng)頁和.gif格式圖片
? ? ? ?User-agent: E
? ? ? ?Allow: .gif$
? ? ? ?Disallow: .jpg$
? ? ? ?Disallow: .jpeg$
? ? ? ?Disallow: .png$
? ? ? ?Disallow: .bmp$
? ? ? ?意思是只允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片
? ? ? ?關(guān)于robots文件的使用方法就先介紹到這里了，如果還有哪些不明白的地方，可隨時(shí)來電和我們聯(lián)系。此外，百恒網(wǎng)絡(luò)專注于南昌做網(wǎng)站、小程序開發(fā)、物聯(lián)網(wǎng)開發(fā)等服務(wù)。如有需要，我們將隨時(shí)為您效勞！
十三年專注于網(wǎng)站建設(shè)與互聯(lián)網(wǎng)應(yīng)用開發(fā)，低調(diào)、有情懷的網(wǎng)絡(luò)應(yīng)用服務(wù)商！
全國服務(wù)熱線：400-680-9298，0791-88117053 
贛公網(wǎng)安備 36010202000052號
售前咨詢