Errori di scansione: Soggetto a Restrizioni da Robots

claudiofringe

Errori di scansione: Soggetto a Restrizioni da Robots

Salve a tutte,

Ho da poco creato un nuovo ecommerce sviluppato con prestashop (eliminando il vecchio obsoleto sviluppato con virtuemart) ed ho inserito tale ecommerce nel mio google webmaster tool.

Il problema è che nella diagnostica, alla sezione Errori di Scansione ho:

Errori Nelle Sitemap (8)
Non Raggiungibile (19)
Non Seguito (68)
Non Trovato (489)
Soggetto a Restrizioni da Robots.txt (1623)

Ho provato ad eliminare a mano gli URL (tramite accesso crawler -> rimuovi url) i 480 url non trovati ma nonostante mi dice Rimossi 430 (dal pannello accesso crawler) sulla diagnostica mi continua a dare i Non Trovato (489).

Come faccio ad eliminare quei 1623 soggetti a restrizioni da robots?

E soprattutto come faccio ad eliminare tutti gli url del vecchio sito che ora non c'è più?

Grazie in anticipo

overclokk

Ciao Claudiofringe e benvenuto nel forum GT,
Quando si elimina un'intera cartella di un sito la procedura da fare è bloccare la cartella tramite robots.txt

Disallow: /nome_cartella_da_eliminare/

In questo modo verrà bloccata insieme a tutto il suo contenuto.

Poi dal GWT inserisci come url da eliminare le cartella stessa, in questo modo accelleri il processo, altrimenti la lasci bloccata dal robots e google col tempo eliminerà le pagine, la cosa non è immediata, posono passare anche diversi mesi prima che elimini tutto.

Per quanto riguarda gli altri errori controlla se ci sono indicazioni particolari e le pagine da cui sono generati.

Ciao
Enea

claudiofringe

@overclokk said:

Quando si elimina un'intera cartella di un sito la procedura da fare è bloccare la cartella tramite robots.txt

>Disallow: /nome_cartella_da_eliminare/
>```



Grazie per la dritta overclokk, provo e ti faccio sapere. :smile5:

claudiofringe

Purtroppo non mi è possibile accedere al vecchio sito così da vederne la struttura a cartelle e dagli errori di scansione (circa 1600) ho tutti url del tipo index.php?page=shop.product_details&product_id=3&flypage=flypage.tpl&pop=0&option=com_virtuemart&Itemid=1

Sia per rimuovere gli url sia per bloccare gli accessi dal robots non ho a disposizione la cartella che dici te. So solo che lo shop prima era fatto con virtuemart.

P.S. forse sono riuscito a trovare la directory tramite un altro ecommerce sviluppato in virtuemart ti faccio sapere se è andato a buon fine grazie!

overclokk

Con il robots è possibile bloccare anche i soli file oltre le cartelle, eventualmente su può bloccare la variabile "?" ma se il nuovo progetto non ha impostato le frendly url si rischia di bloccare tutto.

Nel caso il codice da inserire per bloccare la variabile ? è:

Disallow: /*?

Ciao
Enea

claudiofringe

Ciao Enea,

ho provato a bloccare tramite il file robots (disallow) le vecchie cartelle (tipo la cartella components) dopodiché ho utilizzato lo strumento rimozione URL (di google webmaster tool) ed ho specificato di eliminare l'intera cartella; stesso procedimento l'ho fatto per tutte le altre vecchie cartelle.

Sono passati diversi giorni e la situazione si è aggravata... non solo non me le ha cancellate ma sono aumentati gli errori di scansione!

Non so più che fare

overclokk

Ciao Caudiofringe,
GWT non è aggiornato in tempo reale, è probabile che i dati che vedi tu oggi sono di qualche tempo fa (a volte giorni, a volte anche settimane), in questi giorni per esempio potrebbe aumentare ancora per poi stabilizzarsi, l'importante è che tu intervenga fin da subito a mettere a posto tramite robots ciò che non vuoi sia indicizzato.

Tieni comunque monitorato i vari errori, di solito è indicato anche da dove sono causati, per alcuni per esempio bisogna agire in modo differente, per esempio i non raggiungibili, i non trovati ecc, guarda da dove sono generati, nel caso vediamo se è sufficente il robots o si necessita di altra procedura.

Ciao
Enea