9、Robots.txt

robots.txt是什么？有沒有想過，如果我們某個站點不讓百度和google收錄，那怎么辦？　搜索引擎已經和我們達成一個約定，如果我們按約定那樣做了，它們就不要收錄。這個寫約定的的文件命名為:robots.txt。robots.txt是一個最簡單的.txt文件，用以告訴搜索引擎哪些網頁可以收錄，哪些不允許收錄。關于robots.txt一般站長需要注意。　

robots.txt文件應該放置在網站根目錄下。舉例來說，當spider訪問一個網站（比如 http://www.abc.com）時，首先會檢查該網站中是否存在http://www.abc.com/robots.txt這個文件，如果 Spider找到這個文件，它就會根據這個文件的內容，來確定它訪問權限的范圍。

我所在的網站算是一個大型網站，百度收錄3000萬，每天百度爬蟲抓取總次數在500w次左右，單頁的百度收錄率 80%，看起來已經是一個相當不錯的數據，但分析一下詳細的日志文件，還是可以發現一些問題。　

robots.txt文件的重要作用意義（點擊閱讀）

搜索引擎機器人通過鏈接抵達互聯網上的每個網頁，并抓取網頁信息。搜索引擎機器人在訪問一個網站時，會首先檢查該網站的根目錄下是否有一個叫做robots.txt的純文本文件。當我們的網站有一些內容不想被搜索引擎收錄，我們可以通過設置robots.txt文件告知搜索引擎機器人。

網站安全是重中之重

網站服務是否穩定，對用戶、站方和搜索引擎來說都非常重要。目前國內網站的安全問題十分嚴峻，眾多網站由第三方代建，維護人員缺乏足夠的知識，大量的網站都存在不同程度的安全和管理漏洞。