creo que en configuracion del host, hay un apartado para mandar el SiteMap a los buscadores, realmente robots.txt sirve para decirle a los buscadores que restricciones de paginas o buscadores, quieres para tu sitio, si no encuentra robot.txt creo que indexa todo el sitio.
pero como digo todo esto solo me suena.
Un saludo.