熟妇人妻中文字幕av无码,亚洲色图21p,久久久久久久久久一级,伊色综合

山滾云

經(jīng)驗(yàn)分享:新網(wǎng)站請(qǐng)謹(jǐn)慎設(shè)置robots屏蔽

SEO基礎(chǔ)優(yōu)化 17838℃ 喜歡 (1)

眾所周知,SEO優(yōu)化中robots機(jī)器人是用來抓取網(wǎng)站內(nèi)容的,而robots.txt文件則是放在我們網(wǎng)站根目錄下面的一個(gè)文本文件,用來規(guī)定什么蜘蛛(機(jī)器人)可以抓取什么文件,不可以抓取什么文件。我們通常用robots來告訴搜索引擎,這個(gè)目錄你可以進(jìn),那個(gè)目錄你不可以進(jìn);這個(gè)文件你可以訪問,那個(gè)文件你不能訪問。但是有些時(shí)候,robots文件,我們還是要謹(jǐn)慎使用的好。

事情還得從年初開始。年初我負(fù)責(zé)的一個(gè)網(wǎng)站因?yàn)榫W(wǎng)站剛建好,內(nèi)容還沒填充完整,大家的觀點(diǎn)不都是沒建好的網(wǎng)站不要給搜索引擎抓取嘛。我用robots.txt文件把網(wǎng)站根目錄屏蔽所有搜索引擎抓取,等到一個(gè)月之后,填充得已經(jīng)差不多了,我就開放蜘蛛抓取。我不僅有提交首頁(yè)網(wǎng)址給百度,提交網(wǎng)址診斷,而且還發(fā)了不少外鏈,但一天一天過去,在百度上面SITE網(wǎng)站就是一個(gè)收錄都沒有。我就納悶了,是不是我什么地方設(shè)置錯(cuò)誤了呢?結(jié)果在谷歌上面site了一下已經(jīng)有上百個(gè)收錄了,306,搜狗上面也有少則幾個(gè)多則十幾個(gè)收錄了。于是我不得不認(rèn)為是robots屏蔽,百度長(zhǎng)時(shí)間未反應(yīng)過來導(dǎo)致的。

前兩個(gè)月,我又有一個(gè)新站重新建好開始填充內(nèi)容,也是把網(wǎng)站屏蔽著,結(jié)果到現(xiàn)在都兩個(gè)月過去了,可是還是不收錄,首頁(yè)還是提示“由于該網(wǎng)站的robots.txt文件存在限制指令,系統(tǒng)無法提供該頁(yè)面的內(nèi)容描述。”而谷哥收錄了93條,搜狗收錄了1條,360收錄了45條。這次我這次徹底對(duì)度娘的robots文件反應(yīng)速度是無語(yǔ)了。

robots屏蔽

 

前兩天在群里與伙伴們討論,一位叫烏鴉的大神說自己之前也遇到過幾次這樣的情況。

在此蝸牛SEO慎重的提醒各位朋友,新建的網(wǎng)站,千萬(wàn)不要先把網(wǎng)站文件上傳到空間后加個(gè)robots.txt,然后填充信息,填充好了才開放抓取。如果可以在本地把網(wǎng)站建好,填充好內(nèi)容再上傳最好,否則上傳到空間加robots禁止抓取,等開放抓取的時(shí)候,百度蜘蛛很可能又會(huì)幾個(gè)月時(shí)間都反應(yīng)不過來。幾個(gè)月后網(wǎng)站才被收錄,對(duì)網(wǎng)站優(yōu)化的周期影響無疑是巨大的。

 

本文由上海SEO蝸牛博客原創(chuàng)出品,請(qǐng)大家轉(zhuǎn)載時(shí)保留本段內(nèi)容。大家如有興趣,可以與蝸牛一起探討SEO技術(shù),討論SEO發(fā)展前景,或者討論職業(yè)發(fā)展與人生夢(mèng)想。蝸牛期待成為你忠實(shí)的朋友。

轉(zhuǎn)載請(qǐng)注明:?蝸牛SEO? ? 經(jīng)驗(yàn)分享:新網(wǎng)站請(qǐng)謹(jǐn)慎設(shè)置robots屏蔽

1、阿里云服務(wù)器、數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)OSS月付,優(yōu)惠5-8折(新老用戶不限)~
2、阿里云服務(wù)器、數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)OSS年付/多年付,優(yōu)惠5-8折(限新用戶)~
3、騰訊云服務(wù)器、數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)OSS月付,優(yōu)惠5-8折(新老用戶不限)~
4、騰訊云服務(wù)器、數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)OSS年付/多年付,優(yōu)惠5-8.5折(新老用戶不限)~
5、華為云服務(wù)器、數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)OSS,優(yōu)惠購(gòu)買5-8折~
6、景安網(wǎng)絡(luò)快云服務(wù)器、快云VPS最低2折起優(yōu)惠購(gòu)買~
7、天翼云服務(wù)器、數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)OSS,優(yōu)惠購(gòu)買2折起~
8、火山云服務(wù)器、數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)OSS,優(yōu)惠購(gòu)買2折起~
1、阿里云最新活動(dòng)頁(yè),云服務(wù)器79元/年起~>>
2、騰訊云最新活動(dòng)頁(yè),云服務(wù)器68元/年起~>>
3、華為云最新活動(dòng)頁(yè),云服務(wù)器35元/年起~>>
4、香港恒創(chuàng)輕云服務(wù)器218元一年,436元3年起~>>
5、山滾云香港虛擬主機(jī)50元一年,100元三年起~>>
6、山滾云獨(dú)立IP虛擬主機(jī)118元一年起~>>

山滾網(wǎng)絡(luò)是國(guó)內(nèi)領(lǐng)先的網(wǎng)絡(luò)服務(wù)商,有豐富的客戶服務(wù)經(jīng)驗(yàn),我們有專業(yè)的云服務(wù)器代理、各類云計(jì)算產(chǎn)品、網(wǎng)站建設(shè)、網(wǎng)站優(yōu)化、團(tuán)隊(duì),為您提供優(yōu)質(zhì)的服務(wù),您的滿意是我們不懈的追求。

城市分站:上海SEO北京SEO廣州SEO深圳SEO深圳建站公司武漢SEO重慶SEO成都SEO

業(yè)務(wù)范圍:阿里云6折起,騰訊云華為云6折起,天翼云火山云景安網(wǎng)絡(luò)2折起,深圳建站公司    微信:ganshangwoniu    QQ:549233124    業(yè)務(wù)咨詢熱線:177-2050-9380

   Copyright ? 2008-2024 山滾網(wǎng)絡(luò)版權(quán)所有   

QQ在線咨詢
上海SEO山滾網(wǎng)絡(luò)微信號(hào)