Para evitar que determinados diretórios de um website sejam vasculhados pelos robôs (bots) de busca, o seguinte trecho de código pode ser utilizado:

User-agent: *.

Disallow: /diretorio.

Disallow: /diretorio2.

Para que as instruções sejam respeitadas pelos bots, este trecho de código deverá estar presente no arquivo: