El fichero robots.txt es el herramienta fundamental para toda sitio web que desea ser bien vista por los buscadores como Bing. Sirve como un mapa para los bots, indicándoles qué páginas de tu https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html