robot文件，它的作用是搜索引擎抓取程序蜘蛛，自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息，如果需要限制搜索引擎抓取，也可以在robot文件中設置，限制后該搜索引擎就不會抓取網(wǎng)站，信息也不會被泄露，大大提高了網(wǎng)站后臺和用戶信息的安全系數(shù)。

看到這里，想必大家對robot文件有了更為深刻的認識，那么如何編輯robot文件呢？下面深圳網(wǎng)站建設為大家簡單介紹一下robot文件的編輯規(guī)則。
第一，robots.txt首行必寫User-agent，它是用于定位搜索引擎的蜘蛛類型。常見的蜘蛛類型如：谷歌蜘蛛googlebot，百度蜘蛛baidusoider，騰訊蜘蛛sosospider，搜狗蜘蛛sogouspider，360蜘蛛360spider……如果你想讓所有的蜘蛛都可以來抓取那么我們可以用*來表示，意為說是有蜘蛛。
第二，robots.txt禁止抓取命令Disallow，我們可以用改命令來屏蔽抓取。常見的屏蔽操作有屏蔽js css，屏蔽動態(tài)路徑，屏蔽tag標簽，屏蔽低質(zhì)量頁面，屏蔽模板、插件文件等等，這些屏蔽內(nèi)容都是為了將資源權(quán)重傳遞給網(wǎng)站參與排名的網(wǎng)頁。
第三，robots.txt允許抓取命令Allow，其實一般情況下，如果我們吧設置允許抓取命令，那么搜索引擎蜘蛛默認就是允許抓取，所以這里我們就不再多做解釋。
第四，robots.txt文件書寫時還有很多需要我們注意的地方，如通配符“*”的使用，終止符“$”運用，最為重要的是，當我們書寫robots.txt文件時一定要注意，我們的書寫格式要定義在英文格式下，否則是不被識別的。
將robots.txt文件完成后，要將其傳入我們的網(wǎng)站的根目錄中，然后通過站長工具如，百度站長，站長之家等將robots文件進行提交檢測，我們的robots文件才算正在完成。
這里還要提醒大家一下，雖然robots.txt文件有屏蔽作用，但是最好不要采取全站屏蔽，因為屏蔽是有時效的，釋放也是有時效，所以全站屏蔽這種操作往往會耽誤我們的網(wǎng)站優(yōu)化。