初學者在一開始觸碰seo的情況下，對蔡甸seo中許多文檔將會不太掌握，例如常見的好多個文檔，robots.txt(robots協(xié)議文檔)、.htacces(設定301/偽靜態(tài)等文檔)、sitemap.xml/txt/html(sitmap文檔)等，今日蔡甸SEO優(yōu)化公司就來詳細介紹個文檔robots協(xié)議，希望對有需要的網站運營人員有所幫助。

    什么叫robots協(xié)議呢？robots是網站和網絡爬蟲間的協(xié)議書，用簡易立即的txt格式文字方法告知相匹配的網絡爬蟲被容許的管理權限，換句話說robots.txt是搜索引擎中瀏覽網址的情況下要查詢的個文檔。當一個檢索搜索引擎蜘蛛瀏覽一個網站時，它會先查驗該網站根目錄下是不是存有robots.txt，假如存有，檢索智能機器人便會依照該文件中的內容來明確瀏覽的范疇。

    假如該文件不會有，全部的檢索搜索引擎蜘蛛將可以瀏覽網站上全部沒有被動態(tài)口令維護的網頁頁面。簡易的而言便是讓你的網站做一個管理權限明細，告知搜索引擎這些網頁頁面能夠瀏覽，這些不可以瀏覽等。

    robots協(xié)議一般普遍的robots協(xié)議書寫以下：

    User-agent:*

    Disallow:/*?*

    robots協(xié)議放哪兒呢？robots.txt這一文件名稱是固定不動的，務必那樣寫。無論大家做哪些的網站全是這一名字。robots協(xié)議文檔放到網站根目錄，說白了的網站根目錄便是http://網站域名/robots.txt可以立即瀏覽到的，千萬別弄錯了哈。

    robots.txt的書寫標準：

    User-agent:*這兒的*意味著的全部的搜索引擎類型，*是一個使用通配符,容許搜索引擎蜘蛛瀏覽全部網頁頁面。

    Disallow:/admin/這兒界定是嚴禁爬尋admin文件目錄下邊的文件目錄。

    Disallow:/require/這兒界定是嚴禁爬尋require文件目錄下邊的文件目錄。

    Disallow:/cgi-bin/*.htm禁止訪問/cgi-bin/文件目錄下的全部以".htm"為后綴名的URL(包括根目錄)。

    Disallow:/abc/這兒界定是嚴禁爬尋abc全部文件目錄。

    Disallow:/*?*禁止訪問網址中全部的動態(tài)性網頁頁面。

    Disallow:/jpg$嚴禁爬取網頁頁面全部的.jpg格式的照片。

    Allow:/tmp這兒界定是容許爬尋tmp的全部文件目錄。

    Allow:.htm$僅容許瀏覽以".htm"為后綴名的URL。

    Allow:.gif$容許爬取網頁頁面和gif格式照片。

    蔡甸seo優(yōu)化是一個長期的過程，需要我們花足夠的心聲去經營維護，從開始的網站建設策劃到網站主頁設計,之后的網站建設運營，都是需要用心才能做好，只有開始的時候注意細節(jié)，到了后期運營起來才會便捷很多。