

Robots.txt es un archivo de texto que los webmasters crean para indicar a los robots web (normalmente robots de motores de búsqueda) cómo rastrear páginas en su sitio web. El archivo robots.txt es parte del protocolo de exclusión de robots (REP), un grupo de estándares web que regulan cómo los robots rastrean la web, acceden e indexan contenido, y entregan ese contenido a los usuarios. El REP también incluye directivas como meta robots, así como instrucciones para páginas, subdirectorios o sitios sobre cómo los motores de búsqueda deben tratar los enlaces (como “do follow” o “no follow”).