- Home
- Categorie
- Digital Marketing
- Posizionamento Nei Motori di Ricerca
- Dilemma robots.txt
-
Il problema harry è che dici a google di eliminare una cosa che c'è non di non idicizzarla.
-
Quindi significa che poi comparirà di nuovo?
-
Almeno che non venga cancellata o bloccata dal robots.
-
OK BESTSEO, ho capito, grazie della tua spiegazione e suggerimento.
-
You are welcome.
-
Ciao Harry, che casino !
In realtà non e il robots.txt che comanda l'indicizazzione, serve solo a vietare sacanasione di certe parte del sito. Se per errore autorizi una cartella con delle pagine private e ti rendi conto che Google le ha indicizzate, a questo punto non devi bloccare la cartella di nuovo, perche se lo fai queste rimarrano nel indice. Se si tratta di pagine html puoi farle de-indicizzare aggiungendo nella parte head di queste pagine <meta name="robots" CONTENT="noindex,nofollow"> o <meta name="robots" CONTENT="noindex">. Queste si che sono delle direttive di indicizzazione. Ovviamente devi autorizzare momentaneamente la scanassione della cartella sul robots.txt, nel caso contrario, Googlebot non vedra mai le tue nuove direttive. Una volta, che le pagine sono sparite da Google, allora puoi bloccare di nuovo la cartella.
Se si tratta di altri tripi di file in cui non puoi aggiungere <meta name="robots">, per esempio un pdf. Puoi chiedere la des-indicizzazione tramitte htaccess con ***HTTP X-Robots-Tag
***```<FilesMatch ".(doc|pdf)$">
Header set X-Robots-Tag "noindex, noarchive, nosnippet"
</FilesMatch>Nel tuo caso comunque, hai bisogno di autorizzare la cartella del plugin per essere riconociuto come mobile friendly
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Allow: /wp-content/uploads/
Allow: /wp-content/plugins/LayerSlider/CIao !
-
walid, ma quindi trattandosi di cartelle e sottocartelle da rimuovere (quelle del plugin LayerSlider) come faccio con HTTP X-Robots-Tag a dirlo a Google?
Altra cosa, se io lascio
User-agent: *
Disallow: /wp-admin/Non è come se dicessi
User-agent: *
Disallow: /wp-admin/e Allow per tutto il resto senza specificarlo? Oppure l'Allow, anche se non serve come hai detto a indicizzare, in qualche modo "spinge" in positivo?
-
Ecco cosa viene fuori se indicizzi LayerSlider
Digita questo indirizzo nella barra di ricerca e vedi gli esempi
Valuta tu.
[h=3]Index of /wp-content/plugins/LayerSlider/static/cssNon è che sia un dramma devi valutare costi e benefici.Ciao Raffaele
-
Si, so cosa esce fuori... ma io chiedevo, non volendo sostituire la LayerSlider, come la elimino da Google?
-
@Harry84 said:
walid, ma quindi trattandosi di cartelle e sottocartelle da rimuovere (quelle del plugin LayerSlider) come faccio con HTTP X-Robots-Tag a dirlo a Google?
Nel mio post precedente ti ho mandato un esempio di codice ad aggiungere nel file .htaccess / Non so quali sono i file che sono stati indicizzati da Google... ma per darti un esempio se si cierca di desindicizzare il file robots.txt e il file pipo.css
<FilesMatch "robots.txt"> Header set X-Robots-Tag "noindex, noarchive, nosnippet" </FilesMatch> <FilesMatch "pipo.css"> Header set X-Robots-Tag "noindex, noarchive, nosnippet" </FilesMatch>
per non stare a scrivere 50 righe puoi farlo in questo modo
<FilesMatch "(robots.txt|pipo.css)"> Header set X-Robots-Tag "noindex, noarchive, nosnippet" </FilesMatch>
Se i file diventano verramente tropo allora puoi usare le espressione regolare, per vietare ad esempio tutti i file che finiscono con .js
<FilesMatch ".js$"> Header set X-Robots-Tag "noindex, noarchive, nosnippet" </FilesMatch>
Il dollaro serve a dire 'tutti file che hanno un nome che finisce con ".js" . Puoi mettere anche delle alternative, diciamo che ora vuoi bloccare non solo i file .js ma anche tutti file .css :
<FilesMatch ".js$"> diventa <FilesMatch ".(js|css)$">@Harry84 said:
Altra cosa, se io lascio
User-agent: *
Disallow: /wp-admin/Non è come se dicessi
User-agent: *
Disallow: /wp-admin/e Allow per tutto il resto senza specificarlo? Oppure l'Allow, anche se non serve come hai detto a indicizzare, in qualche modo "spinge" in positivo?
Si, se fai disalow su una cartella senza altre precisione, per il motore vuole dire, divieto di acesso a : questa cartella, tute le sue sottocartelle, e tutti i file della cartella stessa o delle sue sotto cartelle.
L'allow non serve a spingere, a questo punto se Google ha l'acesso autorizzato ad una cartella, decide lui ad indicizzare o meno il suo contenuto.
Spero esserti stato di aiuto, a presto
-
E se volessi usare X-Robots non per files ma cartelle, appunto la cartella LayerSlider?
-
Dicevo, se volessi usare X-Robots non per files ma per le cartelle, appunto la cartella LayerSlider?