亚洲美女自慰黄在线观看_国产精品99精品久久免费_欧美一级免费片_天天干美女干美女干美女干美女

鑫諾商資訊

首頁 - 新聞資訊 > 鑫諾商資訊

網(wǎng)站Robots.txt文件你用對(duì)了嗎?

來源:http://www.premium-option.com   發(fā)布時(shí)間:2021-06-15      

     網(wǎng)站Robots.txt文件,是網(wǎng)站與搜索引擎交流的通用協(xié)議,通過Robots協(xié)議的設(shè)置告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取:一方面可以做網(wǎng)站安全的防護(hù),更重要的是用來做優(yōu)化,減少無效頁面的收錄,提升站點(diǎn)的排名效果。
    但是在實(shí)際的操作中,絕大多數(shù)的網(wǎng)站,在其撰寫上都存在或多或少的欠缺,甚至由于技術(shù)性的錯(cuò)誤撰寫,還會(huì)導(dǎo)致網(wǎng)站降權(quán)、不收錄、被K等一系列問題的出現(xiàn)。對(duì)于這一點(diǎn),我在對(duì)客戶的SEO診斷過程中,會(huì)經(jīng)常遇到,可以算是很多站點(diǎn)的通病。今天寫出這篇文章,就是來做一個(gè)分享:關(guān)于robots.txt協(xié)議,你寫對(duì)了嗎?
    一:設(shè)置成Allow全站點(diǎn)抓取
    百度收錄的越多,網(wǎng)站的排名越高?這是絕大多數(shù)站長(zhǎng)的認(rèn)為,事實(shí)上也是如此。但是也并非成立:低質(zhì)量的頁面收錄,會(huì)降低網(wǎng)站的排名效果,這一點(diǎn)你考慮到了嗎?
    如果你的網(wǎng)站結(jié)構(gòu)不是非常的清晰,以及不存在多余的“功能”頁面,不建議對(duì)網(wǎng)站開全站點(diǎn)的抓取,事實(shí)上,在SEO診斷中,只遇到少數(shù)的一部分網(wǎng)站,可以真 正的做到全站點(diǎn)都允許抓取,而不做屏 蔽。隨著功能的豐富,要做到允許全站點(diǎn)抓取,也不太可能。
濟(jì)南網(wǎng)站建設(shè)
    二:什么樣的頁面不建議抓取
    對(duì)于網(wǎng)站功能上有用的目錄,有用的頁面,在用戶體驗(yàn)上可以得到更好的提升。但是搜索引擎方面來講,就會(huì)造成:服務(wù)器負(fù)擔(dān),比如:大量的翻頁評(píng)論,對(duì)優(yōu)化上則沒有任何的價(jià)值。
    除此外還包含如:網(wǎng)站做了偽靜態(tài)處理后,那么就要將動(dòng)態(tài)鏈接屏 蔽掉,避免搜索引擎抓取。用戶登錄目錄、注冊(cè)目錄、無用的軟件下載目錄,如果是靜態(tài)類型的站點(diǎn),還要屏 蔽掉動(dòng)態(tài)類型的鏈接Disallow:/*?*
    三:撰寫上的細(xì)節(jié)注意事項(xiàng)
    1、Disallow;/a與Disallow:/a/的區(qū)別,很多站長(zhǎng)都見過這樣的問題,為什么有的協(xié)議后加斜杠,有的不加斜杠呢?筆者今天要說的是:如果不加斜杠,屏蔽的是以a字母開頭的所有目錄和頁面,而后者代表的是屏蔽當(dāng)前目錄的所有頁面和子目錄的抓取。
    3、已經(jīng)刪除的目錄屏蔽,很多站長(zhǎng)往往刪除一些目錄后,怕出現(xiàn)404問題,而進(jìn)行了屏蔽,禁止搜索引擎再抓取這樣的鏈接。事實(shí)上,這樣做真的好嗎?即使你屏蔽掉了,如果之前的目錄存在問題,那么沒有被蜘蛛從庫(kù)中剔除,同樣會(huì)影響到網(wǎng)站。
獲取互聯(lián)網(wǎng)策劃方案