Robots.txt es un simple fichero de texto que se coloca en el directorio raiz de tu web. En este fichero puedes decidir que directorios de tu web no quieres que sean indexados por un buscador.
Cuando un robot llega a tu página web, lo primero que hace es una petición de este archivo, si este archivo no existe, el robot indexará toda la web. (Se puede comprobar esta petición en las estadísticas, ya que si no lo tienes te devuelve un error 404 Not Found).
El funcionamiento de este fichero es muy simple con estas dos instrucciones:
User-agent: (indicas el robot que quieres)
Disallow: (nombras los directorios)
Por ejemplo, supongamos que queremos que los buscadores no nos indexen el directorio /imagenes/:
User-agent: *
Disallow: /images/
El asterisco indica todos.
Para hacer que Google no indexe este directorio y el resto si bastará nombrar el bot de Google
User-agent: googlebot
Disallow: /imagenes/
*♫♥♫* Sígueme en Twitter *♫♥♫*
Sígueme en Twitter 
Es increible la cantidad de herramientas que hay para controlar el tráfico en internet.
Siii uffffffffff robot y todoooooo es alucinantee :27:
Lola, tus amigos los robots que te persiguen…