360搜索《ICO算法》

ICO算法（ICO 全稱(chēng)：Index clear optimize）是對(duì)已經(jīng)入索引庫(kù)的低質(zhì)量URL和無(wú)效URL數(shù)據(jù)進(jìn)行清理的算法，在不同的階段會(huì)對(duì)不同類(lèi)型的無(wú)效數(shù)據(jù)進(jìn)行清理，該算法是一個(gè)長(zhǎng)期執(zhí)行的算法。

算法公布規(guī)范：一次清理超過(guò)10億頁(yè)面的算法360搜索都將提前公布告知站長(zhǎng)，并告知算法優(yōu)化處理的主要方向。

ICO算法—本次針對(duì)重復(fù)內(nèi)容清理

處理量級(jí)：10億以上

處理網(wǎng)頁(yè)特點(diǎn):

該算法主要是針對(duì)重復(fù)內(nèi)容進(jìn)行清理，對(duì)用戶(hù)沒(méi)有價(jià)值的內(nèi)容頁(yè)面，內(nèi)容時(shí)效性強(qiáng)且過(guò)期的頁(yè)面，采集站類(lèi)，URL地址含有無(wú)效參數(shù)的頁(yè)面等。

例如：招聘類(lèi)網(wǎng)站不同子站中內(nèi)容相同的頁(yè)面，小說(shuō)采集站尤其處理對(duì)用戶(hù)無(wú)價(jià)值的頁(yè)面，舊新聞頁(yè)且內(nèi)容重復(fù)的頁(yè)面也會(huì)處理一部分，以及其他的部分無(wú)效頁(yè)面。