robots.txt放在哪里？

　　robots.txt文件應(yīng)該放在網(wǎng)站根目錄下。舉例來(lái)說(shuō)，當(dāng)搜索引擎訪問(wèn)一個(gè)網(wǎng)站時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在robots.txt這個(gè)文件，如果robots機(jī)器人程序找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容，來(lái)確定它訪問(wèn)權(quán)限的范圍。
　　wordpress的robots文件位置
　　沒(méi)在wordpress網(wǎng)站根節(jié)目上傳過(guò)robots.txt,當(dāng)搜尋引擎和用戶拜訪某個(gè)文件時(shí)，wordpress程序會(huì)主動(dòng)生成一個(gè)robots.txt給搜尋引擎和用戶;若是我們上傳編寫(xiě)的robots.txt到網(wǎng)站根節(jié)目，用戶和搜尋引擎蛛蛛拜訪的就是我們上傳的文件，wordpress就不會(huì)再產(chǎn)生那個(gè)文件了。只有服務(wù)器找不到robots的時(shí)候wordpress才會(huì)生成這個(gè)文件。