國產成人綜合視頻_亚洲廣大網友最新影片_国内自拍网址_玖玖爱国产小视频_免费看一级婬片成人Av_www日本色男插男网站_青草亚洲性爱视频_影音先锋欧美激情在线观看_日本欧美高清视频天堂_欧美性爱漫画贴图露出偷窥

您好,歡迎光臨山東云搜雙贏網(wǎng)絡(luò)官方網(wǎng)站!

咨詢熱線:186-6899-1018

全網(wǎng)網(wǎng)站排名優(yōu)化

新聞分類

如何屏蔽蜘蛛對(duì)網(wǎng)站的抓??!

發(fā)布日期:2019-04-20 作者: 點(diǎn)擊:

要知道在seo優(yōu)化的過程當(dāng)中,有時(shí)候是需要對(duì)搜索引擎蜘蛛進(jìn)行屏 蔽的,就是禁止對(duì)網(wǎng)站的某個(gè)地方進(jìn)行抓取,那么我們應(yīng)該如何屏 蔽搜索引擎蜘蛛呢?下面我們一起來看一看具體的操作方法。

百度蜘蛛抓取我們的網(wǎng)站,希望我們的網(wǎng)頁能被包含在它的搜索引擎中。將來,當(dāng)用戶搜索時(shí),它會(huì)給我們帶來量的搜索引擎優(yōu)化流量。當(dāng)然,全網(wǎng)網(wǎng)站排名優(yōu)化不想讓搜索引擎抓取所有東西。

因此,此時(shí)我們只希望能夠抓取搜索引擎搜索到的內(nèi)容。例如,用戶的隱私和背景信息不希望搜索引擎被捕獲和包含。解決這些問題有兩種佳方法,如下所示:

robots協(xié)議文件屏 蔽百度蜘蛛抓取

robots協(xié)議是放在網(wǎng)站根目錄下的協(xié)議文件,可以通過網(wǎng)址訪問,當(dāng)百度蜘蛛抓取我們的網(wǎng)站時(shí),它會(huì)先訪問這個(gè)文件。因?yàn)樗嬖V蜘蛛哪些能抓,哪些不能。

robots協(xié)議文件的設(shè)置比較簡單,可以通過User-Agent、Disallow、Allow這三個(gè)參數(shù)進(jìn)行設(shè)置。

Disallow:不允許抓取的目錄或頁面;

User-Agent:對(duì)不同搜索引擎的聲明;

Allow:被允許抓取的目錄或頁面通??梢允÷曰虿粚?,因?yàn)槿绻悴粚懭魏尾荒茏ト〉臇|西,它就可以被抓取。

下面我們來看一個(gè)示例,場景是我不希望百度抓取我網(wǎng)站所有的css文件,data目錄、seo-tag.html頁面

如上所述,user-agent聲明了蜘蛛的名稱,這意味著它針對(duì)的是百度蜘蛛。以下內(nèi)容無法獲取"/*。css",首先/指的是根目錄,這是您的域名。 *是代表任何內(nèi)容的通配符。這意味著無法抓取以.css結(jié)尾的所有文件。這是你自己的兩個(gè)經(jīng)歷。邏輯是一樣的。

403狀態(tài)代碼是http協(xié)議中的網(wǎng)頁返回狀態(tài)代碼。當(dāng)搜索引擎遇到403狀態(tài)代碼時(shí),它知道這些頁面受權(quán)限限 制。我無法訪問它。例如,如果您需要登錄才能查看內(nèi)容,搜索引擎本身將無法登錄。如果您返回403,他也知道這是權(quán)限設(shè)置頁面,無法讀取內(nèi)容。當(dāng)然,它不會(huì)被包括在內(nèi)。

如果要檢測上次設(shè)置的漫游器文件,可以訪問本文《檢查robots是否正確的工具介紹》并獲取詳細(xì)的工具來檢測您的設(shè)置。

通過403狀態(tài)碼,限 制內(nèi)容輸出,屏 蔽蜘蛛抓取。

對(duì)于機(jī)器人協(xié)議,我想補(bǔ)充一點(diǎn):“現(xiàn)在,搜索引擎將通過網(wǎng)頁的布局和布局來識(shí)別網(wǎng)頁的用戶友好性。如果阻止css文件和js文件相關(guān)到布局,然后搜索引擎我不知道你的網(wǎng)頁布局是好是壞。因此不建議阻止這些內(nèi)容來自蜘蛛。

返回403狀態(tài)代碼時(shí),應(yīng)該有一個(gè)類似于404頁面的頁面。提示用戶或蜘蛛執(zhí)行他們想要訪問的內(nèi)容。兩者都是不可或缺的。您只有提示頁面,狀態(tài)代碼返回200,這是百度蜘蛛的大量重復(fù)頁面。有403個(gè)狀態(tài)代碼但返回不同的內(nèi)容。這也不是很友好。

好的,分享在這里,我希望對(duì)你有所幫助,當(dāng)然,上面的兩個(gè)設(shè)置對(duì)除了百度蜘蛛之外的所有蜘蛛都 有效。安裝時(shí)要小心。

全網(wǎng)網(wǎng)站排名優(yōu)化

本文網(wǎng)址:http://cpjh.com.cn/news/542.html

相關(guān)標(biāo)簽:全網(wǎng)網(wǎng)站排名優(yōu)化

最近瀏覽:

在線留言
您的姓名:
您的電話:
留言內(nèi)容:
聯(lián)系我們

山東雙贏信息技術(shù)有限公司

座  機(jī):0531-88723972

電  話 : 辛經(jīng)理:186-6899-1018(微信同號(hào))

技術(shù)支持:徐經(jīng)理:156-5005-6685 / 趙經(jīng)理:176-1581-0767

Q   Q:2628885206    郵  箱:2628885206@qq.com

地  址:濟(jì)南世紀(jì)大道15612號(hào)

備案號(hào):魯ICP備17043004號(hào)

版權(quán)所有:山東雙贏信息技術(shù)有限公司

二維碼
山東雙贏信息技術(shù)有限公司山東云搜雙贏信息
全網(wǎng)網(wǎng)站排名優(yōu)化全網(wǎng)網(wǎng)站排名優(yōu)化

網(wǎng)站建設(shè)


歡迎給我們留言
請(qǐng)?jiān)诖溯斎肓粞詢?nèi)容,我們會(huì)盡快與您聯(lián)系。
姓名
聯(lián)系人
電話
座機(jī)/手機(jī)號(hào)碼
郵箱
郵箱
地址
地址