1、Robots.txt文件是什么：首先seo博客要和大家弄清楚robots.txt的概念題目，帶有txt后綴的

文件是純文本文檔，robots是機器人的意思，也就是說，robots.txt文件是給搜索引擎蜘蛛看的純文本

文件。它告訴搜索引擎哪些網(wǎng)頁許可抓取、索引并在搜索效果中表現(xiàn)，哪些網(wǎng)頁是被禁止抓取的。搜索

引擎蜘蛛來訪問你的網(wǎng)站頁面的，首先會查看網(wǎng)站根目錄下是否有robots.txt文件，robots.txt文件就

是起到這個作用的。我們都知道淘寶網(wǎng)是屏蔽百度的，靠的就是robots.txt文件。文件是如許書寫的：

User-agent:
Baiduspider Disallow: / User-agent: baiduspider Disallow: /
　　2、robots.txt的作用：通過設置屏蔽搜索引擎，使之不需要頁面被收錄，可以大大降低抓取頁面

所占用的網(wǎng)站帶寬，大型網(wǎng)站尤為顯明了。設置robots.txt文件可以指定某個搜索引擎不去索引不想被

收錄的URL，比如我們通過url重寫將動態(tài)URL靜態(tài)化為永世固定鏈接，就可以通過robots.txt設置權限

，阻止某些搜索引擎索引那些動態(tài)網(wǎng)址，網(wǎng)站重復頁面將削減，有利于seo優(yōu)化。
　　3、robots.txt 怎么寫：下面以WordPress博客來作舉例。如robots.txt文件里寫入以下代碼：

User-agent: *
Disallow: Allow: /
robots.txt寫法中應該細致的幾點。1、robots.txt必須上傳到網(wǎng)站根名錄下，不能放在子目錄下;2、

robots.txt，Disallow等必須細致大小寫，不能轉變;3、User-agent，Disallow等后面的冒號必須是英

文狀況下的。
    4、User-agent是透露表現(xiàn)搜索引擎(spider)的：星號“*”代表所有spider