User-agent: *
Disallow: /ajax/ #scripts ajax do site
Disallow: /anexos/ #arquivos
Disallow: /funcoes/ #funcoes específicas do site
Disallow: /intranet/ #arquivos de acesso restrito
Disallow: /scripts/ #arquivos de script
Disallow: /templates/ #arquivos de modelo do site