網(wǎng)站搭建
如何設(shè)置robots來避免蜘蛛黑洞
發(fā)布時間：2021-07-24 點擊：1129
對于百度搜索引擎來說，蜘蛛黑洞是指網(wǎng)站以極低的成本創(chuàng)建大量參數(shù)過多、內(nèi)容相同但具體參數(shù)不同的動態(tài)URL。它就像一個無限的圓形“黑洞”困住了蜘蛛。Baiduspider浪費(fèi)了大量的資源，抓取了無效的web頁面。
例如，許多網(wǎng)站都有篩選功能。通過篩選功能生成的網(wǎng)頁往往被搜索引擎捕獲，其中很大一部分具有較低的檢索價值，如“以500-1000的價格出租房屋”。首先，網(wǎng)站（包括現(xiàn)實中的）基本上沒有相關(guān)資源。其次，站內(nèi)用戶和搜索引擎用戶沒有這種檢索習(xí)慣。這類網(wǎng)頁是由搜索引擎進(jìn)行抓取的，只能占用網(wǎng)站寶貴的抓取配額。那么如何避免這種情況呢？
robots.txt的文件用法中有一個規(guī)則：disallow:/*？*，也就是說，禁止搜索引擎訪問網(wǎng)站中的所有動態(tài)頁面。這樣，網(wǎng)站優(yōu)先顯示高質(zhì)量頁面，屏蔽低質(zhì)量頁面，為Baiduspider提供了更加友好的網(wǎng)站結(jié)構(gòu)，避免了黑洞的形成。
最新資訊
企業(yè)網(wǎng)站制作的主要步驟
企業(yè)網(wǎng)站制作的主要步驟...
2025-01-08
工業(yè)設(shè)備類網(wǎng)站如何設(shè)計？
工業(yè)設(shè)備類網(wǎng)站如何設(shè)計？...
2024-12-25
企業(yè)網(wǎng)站應(yīng)具備哪些基本功能？
企業(yè)網(wǎng)站應(yīng)具備哪些基本功能？...
2024-12-21
標(biāo)簽
