Antes de responder eso primero, ¿te diría qué es el archivo Robots.txt ?
Robots.txt es un archivo de texto que contiene pocas líneas de código simple. Si no tiene el conocimiento adecuado al respecto, simplemente puede generar el archivo txt con este generador Online Robots.txt .
Se guarda en el sitio web o en el servidor del blog, que le indica a los rastreadores web cómo indexar y rastrear su blog en los resultados de búsqueda. Eso significa que puede restringir cualquier página web en su blog de los rastreadores web para que no pueda indexarse en motores de búsqueda como la página de etiquetas de su blog, su página de demostración o cualquier otra página que no sea tan importante para indexar.
- ¿Qué significa 'no especificado' en Omniture?
- ¿Qué tipo de palabra clave debo seleccionar para mi blog?
- ¿Es una buena idea pagarle a una empresa SEO por su posición en la web o puedo hacerlo yo mismo con Google AdWords y LinkWheel blogging?
- ¿Cómo suelen pasar el día las personas cuyo único papel es el marketing SEO en una sola empresa?
- ¿Cuánto tiempo lleva hacer que un sitio sea el mejor resultado de Google haciendo SEO?
Recuerde siempre que los rastreadores de búsqueda escanean el archivo robots.txt antes de rastrear cualquier página web.
Ahora respondamos tu pregunta
Cómo agregar Robots.Txt personalizados a Blogger
Puedes hacerlo siguiendo los pasos a continuación
- Ve a tu blog.
- Vaya a Configuración >> Preferencias de búsqueda ›› Rastreadores e indexación ›› robots.txt personalizado ›› Editar ›› Sí
- Ahora pegue el código del archivo robots.txt en el cuadro.
- Haga clic en el botón Guardar cambios.
- Estás listo.
¿Cómo crear su archivo Robots.txt?
Si no está familiarizado con el archivo txt, puede generarlo aquí utilizando esta herramienta de generador Free Robots.txt siguiendo los pasos a continuación
- Primero configure la opción para todos los robots en “Permitido”.
- Dé el retraso de rastreo según su elección de 5 segundos a 120 segundos.
- Coloque un mapa del sitio si lo tiene o déjelo en blanco.
- Para cargar un archivo existente y ocupar previamente la herramienta generadora, escriba o copie y pegue el texto en la URL del dominio raíz y seleccione ‘Cargar’.
- Puede utilizar las funciones “Permitido” y “Rechazado” para modificar el archivo Robots.txt generado. Tenga en cuenta que la herramienta por defecto es ‘Permitida’.
- Luego, para aplicar una nueva directiva a su lista, puede hacer clic en ‘Agregar directiva’ y para excluir o editar una directiva actual, seleccione ‘Eliminar directiva’, luego cree una nueva utilizando la función ‘Agregar directiva’.
¿Cómo verificar su archivo Robots.txt?
Puede verificar este archivo en su blog agregando /robots.txt al final de la URL de su blog en el navegador web. Por ejemplo:
thewebomania.com/robots.txt
Una vez que visite la URL del archivo robots.txt, verá el código completo que está utilizando en su archivo robots.txt personalizado.
Ver la imagen de abajo.
Gracias.