網(wǎng)站搭建
如何設(shè)置robots來避免蜘蛛黑洞
發(fā)布時間：2021/7/24 17:13:29 點擊：
對于百度搜索引擎來說，蜘蛛黑洞是指網(wǎng)站以極低的成本創(chuàng)建大量參數(shù)過多、內(nèi)容相同但具體參數(shù)不同的動態(tài)URL。它就像一個無限的圓形“黑洞”困住了蜘蛛。Baiduspider浪費了大量的資源，抓取了無效的web頁面。
例如，許多網(wǎng)站都有篩選功能。通過篩選功能生成的網(wǎng)頁往往被搜索引擎捕獲，其中很大一部分具有較低的檢索價值，如“以500-1000的價格出租房屋”。首先，網(wǎng)站（包括現(xiàn)實中的）基本上沒有相關(guān)資源。其次，站內(nèi)用戶和搜索引擎用戶沒有這種檢索習(xí)慣。這類網(wǎng)頁是由搜索引擎進行抓取的，只能占用網(wǎng)站寶貴的抓取配額。那么如何避免這種情況呢？
robots.txt的文件用法中有一個規(guī)則：disallow:/*？*，也就是說，禁止搜索引擎訪問網(wǎng)站中的所有動態(tài)頁面。這樣，網(wǎng)站優(yōu)先顯示高質(zhì)量頁面，屏蔽低質(zhì)量頁面，為Baiduspider提供了更加友好的網(wǎng)站結(jié)構(gòu)，避免了黑洞的形成。
