robots.txt是網(wǎng)站主建立與搜索引擎之間溝通的一座橋梁。其文件常見問題很多，下面列舉一些我們經(jīng)常犯的一些錯誤：

一、robots.txt的位置應該放在那里？

　　robots.txt文件應該放置在網(wǎng)站根目錄下。當搜索引擎的蜘蛛程序訪問一個網(wǎng)站（比如http://www.premium-option.com/）時，會檢查該網(wǎng)站中是否存在http://www.premium-option.com/robots.txt這個文件，如果找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它即將要訪問的范圍。

二、濟南seo建立了robots.txt文件屏蔽了網(wǎng)頁，為什么還會出現(xiàn)在搜索結(jié)果中呢？

　　如果在robots.txt中屏蔽了該url路徑，按常理來將是不會出現(xiàn)的搜索結(jié)果中的，但是很多情況下并不是這樣，原因如下：

　　1.蜘蛛程序通過其他鏈接直接進入網(wǎng)站的內(nèi)頁，導致被爬取并收錄；

　　2.robots.txt文件是后期修改，搜索結(jié)果還未進行更新；

　　以上經(jīng)過一段時間的更新就會逐漸消失，如果被抓取的網(wǎng)頁涉及到一些隱私，可以直接想相關(guān)搜索引擎反映。

三、robots.txt中的一些細節(jié)問題

　　文件中頭字母大小寫；

　　注意空格和“／”

四、robots.txt的一些操作事例

　　1.禁止搜索搜索引擎訪問網(wǎng)站的任何部分

　　User-agent：*

　　Disallow：/

　　2.允許訪問所有的內(nèi)容

　　User-agent：*
　　Disallow：

    或者

　　User-agent：＊
　　Allow：/

　　濟南seo建議您：也可以建立一個空的robots.txt文件

　　3.僅僅允許google訪問我的網(wǎng)站

　　User-agent：Googlebot
　　Disallow：/
　　User-agent：*
　　Disallow：/

　　4.禁止訪問指定目錄

　　User-agent：*
　　Disallow：/abc/
　　Disallow：/def/
　　Disallow：/ghp/

　　5.允許訪問特定目錄

　　User-agent：*
　　Allow：/abc/abc
　　Allow：/def/ef
　　Allow：/ghp/look
　　Disallow：/abc/
　　Disallow：/def/
　　Disallow：/ghp/

　　6.禁止訪問/abc/目錄下的所有以”.html”為后綴的URL(包含子目錄)

　　User-agent：*
　　Disallow：/abc/*.html

　　7.僅允許訪問以”.html”為后綴的URL

　　User-agent：*
　　Allow：.html$
　　Disallow：/

　　8.禁止訪問網(wǎng)站中所有的動態(tài)頁面

　　User-agent：*
　　Disallow：/*？*

　　9.禁止抓取網(wǎng)站上所有圖片

　　User-agent：*
　　Disallow：.jpg$
　　Disallow：.jpeg$
　　Disallow：.gif$
　　Disallow：.png$
　　Disallow：.bmp$

　　濟南seo提示您：如果還有其他格式，可以再進行添加Disallow：如果允許抓取某一類型的圖片，將“Disallow”修改為“Allow”即可。

　　注意以上格式中空格和“／”的使用

　　10.允許所有搜索引擎抓取，將自己的網(wǎng)站地圖放進robots.txt文件

　　User-agent：*
　　Disallow：
　　Sitemap：http://www.premium-option.com/sitemap1.xml

　　robots.txt存在的問題比較多，大家有什么疑問也可以直接留言，方便進一步完善robots.txt常見問題，濟南seo希望您你一起成長。