Ciao simao94, dovrebbe bastarti un:
User-agent: *
Disallow: /nomepagina
Considera però in questo caso aggiungeresti solo quella pagina e non direttamente tutte le 404.
Mi spiego, se un utente viene rendirizzato sulla tua pagina 404 ci sta, ma se finisce in una qualsiasi pagina non esistente (quindi url diversa) quella non verrà considerata.
Una soluzione alternativa potrebbe essere l'uso dei meta-tag da inserire nell'head del file che genera la pagina 404.
Per la precisione in quel solo file dovrai aggiungere il metatag:
<META NAME="ROBOTS" CONTENT="NOINDEX">
Spero di non essere stato troppo tecnico.
Il codice puoi modificarlo direttamente dall'editor (sotto la voce aspetto) di WordPress, attento però che modificando un tema quando l'aggiorni (non avendo un tema figlio) perdi la modifica.
Attenzione sopratutto che compaia solo in quella pagina.