Mi inserisco nella discussione per fare una domanda sul file robots + wordpress.

Tempo fa ho creato un file robots.txt configurato come segue:

Google Image

User-agent: Googlebot-Image
Disallow:
Allow: /*

Global

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: /category//

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /*?

Disallow: /recommends/

Come potete vedere ho dovuto commentare il disallow dei feed, dei trackback e delle ricerche, pena vedere ogni mattina la pagina di Google Webmaster Tools zeppa di avvisi riguardanti pagine del mio sito che venivano non indicizzate a causa della configurazione del file robots.

Qualcuno ha qualche consiglio in merito? Yoast in un suo articolo sul file robots per wordpress dice che l'unico disallow da inserire è quello /wp-content/plugins/. Qualche esperto di wordpress del forum ha fatto dei test e/o verifiche?

Grazie, Mattia!

misteri di google webmaster , ti da ancora problemi ? ma tutti quei disallow si mettono solo per non avere indicizzazioni doppie?

@AndMore
Ho inserito anche io come hai fatto tu, ma quello della guida pare che dice che sia quasi obbligatorio inserire anche questi, perché tu non li hai messi? Io non ho capito neanche a che serviva metterli e così non l'ho fatto... E comunque tramite FileZilla vanno copiati nella cartella NOME.DOMINIO semplicemente giusto?

Disallow: /?
Disallow: /*?

Ciao Andreaas92 e benvenuto in questa discussione

Sinceramente non sono un esperto di file robots.txt ma ho semplicemente inserito i consigli che ho trovato a giro in rete, provo a sentire qualche amico amministratore di server e vi faccio sapere.

Per quello che ne so al momento, la sintassi che stai suggerendo permette di impedire l'accesso a qualsiasi tipo di carattere (*) ripetuto un numero indefinito di volte (?). Se non vado errato, queste regole accettano delle espressioni regolari che ci permettono di definire una stringa di testo definendo alcune variabili, nel nostro caso specifico, * e ?

Se non leggo male, quindi, la regola che hai inserito te impedirà la lettura di qualsiasi elemento contenuto all'interno della cartella di root, definita con /

Spero di esserti stato di aiuto ma, come ho già detto, non sono un esperto di gestione server et simila quindi se ci fosse qualcuno più ferrato di me è invitato a farsi avanti!

Andrea Barghigiani

Il Disallow: /? e il **Disallow: /? **servono a impedire l'indicizzazione delle pagine di ricerca. Infatti queste pagine hanno come URL nomedominio/?=termine+ricercato.

Mattia

@mattiaboero said:

Il Disallow: /? e il **Disallow: /? **servono a impedire l'indicizzazione delle pagine di ricerca. Infatti queste pagine hanno come URL nomedominio/?=termine+ricercato.

Allora qui non saprei... non vorrei che le persone usassero la casella di ricerca inserendo parole errate e Google le considera errori di punteggiatura...

Secondo voi conviene indicizzare anche le sotto categorie nel senso CATEGORY/PAGE 2 ?
Ho notato anche che se scrivo gli stessi TAG in maiuscolo, e poi la prossima volta in maiuscolo. Lui li considera duplicati
Cmq Mattia mi pare che tu ne hai messo davvero tanti, anche nei commenti e nelle categorie? Perché?

Forse questo post di Joost de Valk può esservi di aiuto, il link è "yoast . com/example-robots-txt-wordpress/" (aggiustate il link a mano che se no non me lo faceva postare).

Dopo averlo letto oltre ad inserire quelli consigliati da AndMore ho messo questo Disallow: /wp-content/plugins/

io sono un po' indeciso se aggiungere
Disallow: /page/
Disallow: /category/

Perchè non capisco bene se possono danneggiarmi o meno considerate che il mio è portfolio ma piano piano scriverò articoli nel blog

Perchè dovresti voler impedire il crawl delle pagine? :():

Secondo me le pagine e le categorie devi lasciarle indicizzare altrimenti non avrebbe molto senso creare un blog.
Invece per le sottocategorie voi le fate indicizzare? Non ve le considera titoli duplicati?

ecco avevo paura che considerasse duplicati per il nome delle pagine

Grazie del tuo contributo mattiaboero, ci fa sempre piacere vedere persone all'interno della comunità GT che condividono articoli interessanti.
Sono tornato anche io a scrivere all'interno di questa discussione perché recentemente è stato rilasciato un ottimo articolo che parla proprio del file robots.txt con esempi dal vivo! L'articolo non poteva che provenire dal team di SEOMoz consiglio a tutti la lettura e di fare qualche esperimento!

Dimenticavo, il link è seomoz.org/blog/interactive-guide-to-robots-txt

Buona Formazione

Andrea Barghigiani