# Copia este código en el directorio raiz y llámalo robots.txt
# All robots will spider the domain
User-agent: *
Disallow: /blog1
Disallow: /cgi-bin
Disallow: /colab
Disallow: /contenidos nit
Disallow: /cosas antiguas
Disallow: /descargas
Disallow: /descargas_web
Disallow: /phpBB2
Disallow: /myjukebox_files
Disallow: /libro
Disallow: /wordpress