Attenzione a come si utilizza il file robots.txt perché se mal configurato può bloccare l'intero sito ad alcuni motori di ricerca.
Se hai solo WordPress, ti consiglio di lasciarlo vuoto e inserire al suo interno solo "Sitemap: URL SITEMAP XML SITO". Perché togliere Disallow: /wp-admin/ mi chiederai? Perché con i nuovi aggiornamenti agli algoritmi di Google non è più necessario (e anzi sconsigliato) tenere tale istruzione nel file robots.txt. Per maggiori info: yoast.com/wordpress-robots-txt-example/.