对seoer来说对robots.txt的理解是网站优化过程中必须的，合理的利用它可以给网站优化带不更好的效果。
#搜索引擎User-Agent代码对照表########################
#    搜索引擎                User-Agent代码
#    AltaVista                Scooter
#    Infoseek                Infoseek
#    Hotbot                    Slurp
#    AOL Search                Slurp
#    Excite                    ArchitextSpider
#    Google                    Googlebot
#    Goto                    Slurp
#    Lycos                    Lycos
#    MSN                     MSNBOT
#    Netscape                Googlebot
#    NorthernLight            Gulliver
#    WebCrawler                ArchitextSpider
#    Iwon                    Slurp
#    Fast                    Fast
#    DirectHit                Grabber
#    Yahoo Web Pages            Googlebot
#    Looksmart Web Pages        Slurp
#    Baiduspider                Baidu
 

#开放百度的搜索引擎的User-Agent代码，*表示所有###########
User-agent: Baiduspider

#限制不能搜索的目录，Disallow: 为空时开放所有目录####
Disallow: /admin/
Disallow: /include/
Disallow: /html/
Disallow: /queue/
Disallow: /config/

#限制的搜索引擎的User-Agent代码，*表示所有###########
User-agent: *

#临时限制对所有目录的禁止抓取
Disallow: /

#限制不能搜索的目录，Disallow: 为空时开放所有目录####
##Disallow: /admin/
##Disallow: /include/
##Disallow: /html/
##Disallow: /queue/
##Disallow: /config/

#开放搜索的目录有####################################
#    /
#    /advice/
#    /help/
#    /lm/
#    /main/
#    /myblog/

以上资料由大连网站制作收集整理