Strane Pagine Indicizzate

[xavi]

Strane Pagine Indicizzate

ciao, sto provando screaming frog e ho visto che il sito in questione c'ha questa specie di immondezzaio di cui non so nulla, che risulta Indexable

E' un problema o è tutto normale?

[giulio.marchesi]

@xavi no direi che non è normale significa che nel robot.txt la carella plugins è accessibile e indicizzabile, meglio escluderla! Sprechi crawl budget oltre al fatto di far indicizzare contenuti che non dovrebbero esserci. Di sicuro quindi è una cosa da evitare.

[xavi]

@giulio-marchesi grazie mille per la risposta,
può dipendere dal fatto che il sito è "in manutenzione" (tramite apposito plugin) e che c'ho la spunta su scoraggia i bot dei motori di ricerca?

e per rimediare è il caso di piazzare wp-content nel robots?

[giulio.marchesi]

@xavi in linea teorica non dovrebbe dipendere dal plugin per il sito in manutenzione (dubito che vada a modificare impostazioni del genere); molto più probabile che ci sia quindi l'accesso a tutto lo spazio di hosting del sito, ti consiglio di aggiustarlo tramite robots.txt facendo però attenzione a mettere Disallow di wp-content (magari meglio mettere anche Disallow di wp-admin) e poi Allow di wp-content/uploads (altrimenti ti perdi l'indicizzazione delle immagini, che di default sono in quella directory!!). Mettendo Allow dopo Disallow, sovrascrive l'istruzione precedente e quindi funziona. La nuova indicizzazione probabilmente non sarà proprio immediata, ma con queste istruzioni nel tempo dovrebbe aggiustarsi.

[kal]

@xavi ha detto in Strane Pagine Indicizzate:

sto provando screaming frog

@xavi ha detto in Strane Pagine Indicizzate:

può dipendere dal fatto che il sito è "in manutenzione" (tramite apposito plugin) e che c'ho la spunta su scoraggia i bot dei motori di ricerca?

Allora, se stai bloccando i bot, ma usando Screaming Frog... Vuol dire che stai usando quest'ultimo in modo da ignorare il robots.txt.

Quello che vedi in questo modo NON È quello che vede Googlebot.

Per vedere quello che vede Googlebot devi impostare SF in modo che rispetti il robots.txt.

[merlinox]

@giulio-marchesi ha detto in Strane Pagine Indicizzate:

significa che nel robot.txt la carella plugins è accessibile e indicizzabile,

attenzione che se quei plugin buttano in pagina elementi che servono al rendering della pagina, andare a bloccare tutto lato robots.txt è un grave errore.

[giulio.marchesi]

@merlinox per carità, certo bisogna verificare che non ci siano incongruenze di questo tipo e che sia tutto funzionale!

[xavi]

@kal ah quindi in effetti non dovrebbero esserci problemi... il fatto è che uso la versione free di SF al momento
grazie a tutti