亚洲美女自慰黄在线观看_国产精品99精品久久免费_欧美一级免费片_天天干美女干美女干美女干美女

鑫諾商資訊

首頁 - 新聞資訊 > 鑫諾商資訊

濟南seo-robots.txt常見問題分析

來源:http://www.premium-option.com   發(fā)布時間:2016-06-22      

  robots.txt是網(wǎng)站主建立與搜索引擎之間溝通的一座橋梁。其文件常見問題很多,下面列舉一些我們經(jīng)常犯的一些錯誤:

一、robots.txt的位置應該放在那里?

  robots.txt文件應該放置在網(wǎng)站根目錄下。當搜索引擎的蜘蛛程序訪問一個網(wǎng)站(比如http://www.premium-option.com/)時,會檢查該網(wǎng)站中是否存在http://www.premium-option.com/robots.txt這個文件,如果找到這個文件,它就會根據(jù)這個文件的內(nèi)容,來確定它即將要訪問的范圍。

二、濟南seo建立了robots.txt文件屏蔽了網(wǎng)頁,為什么還會出現(xiàn)在搜索結果中呢?

  如果在robots.txt中屏蔽了該url路徑,按常理來將是不會出現(xiàn)的搜索結果中的,但是很多情況下并不是這樣,原因如下:

  1.蜘蛛程序通過其他鏈接直接進入網(wǎng)站的內(nèi)頁,導致被爬取并收錄;

  2.robots.txt文件是后期修改,搜索結果還未進行更新;

  以上經(jīng)過一段時間的更新就會逐漸消失,如果被抓取的網(wǎng)頁涉及到一些隱私,可以直接想相關搜索引擎反映。

三、robots.txt中的一些細節(jié)問題

  文件中頭字母大小寫;

  注意空格和“/”

四、robots.txt的一些操作事例

  1.禁止搜索搜索引擎訪問網(wǎng)站的任何部分

  User-agent:*

  Disallow:/

  2.允許訪問所有的內(nèi)容

  User-agent:*
  Disallow:

    或者

  User-agent:*
  Allow:/

  濟南seo建議您:也可以建立一個空的robots.txt文件

  3.僅僅允許google訪問我的網(wǎng)站

  User-agent:Googlebot
  Disallow:/
  User-agent:*
  Disallow:/

  4.禁止訪問指定目錄

  User-agent:*
  Disallow:/abc/
  Disallow:/def/
  Disallow:/ghp/

  5.允許訪問特定目錄

  User-agent:*
  Allow:/abc/abc
  Allow:/def/ef
  Allow:/ghp/look
  Disallow:/abc/
  Disallow:/def/
  Disallow:/ghp/

  6.禁止訪問/abc/目錄下的所有以”.html”為后綴的URL(包含子目錄)

  User-agent:*
  Disallow:/abc/*.html

  7.僅允許訪問以”.html”為后綴的URL

  User-agent:*
  Allow:.html$
  Disallow:/

  8.禁止訪問網(wǎng)站中所有的動態(tài)頁面

  User-agent:*
  Disallow:/*?*

  9.禁止抓取網(wǎng)站上所有圖片

  User-agent:*
  Disallow:.jpg$
  Disallow:.jpeg$
  Disallow:.gif$
  Disallow:.png$
  Disallow:.bmp$

  濟南seo提示您:如果還有其他格式,可以再進行添加Disallow:如果允許抓取某一類型的圖片,將“Disallow”修改為“Allow”即可。

  注意以上格式中空格和“/”的使用

  10.允許所有搜索引擎抓取,將自己的網(wǎng)站地圖放進robots.txt文件

  User-agent:*
  Disallow:
  Sitemap:http://www.premium-option.com/sitemap1.xml

  robots.txt存在的問題比較多,大家有什么疑問也可以直接留言,方便進一步完善robots.txt常見問題,濟南seo希望您你一起成長。

獲取互聯(lián)網(wǎng)策劃方案