• User Attivo

    Ciao igna.de,

    scusa se siamo stati un pò assenti ma con le feste di mezzo... Senti, al momento non sono in grado di darti una risposta precisa, nei prossimi giorni chiedo a qualche amico sistemista, ma se qualcuno conosce la risposta, è caldamente invitato a darci una mano a risolvere questo dubbio!

    Grazie e a presto.

    Andrea Barghigiani


  • User

    Mi inserisco nella discussione per fare una domanda sul file robots + wordpress.

    Tempo fa ho creato un file robots.txt configurato come segue:

    Google Image

    User-agent: Googlebot-Image
    Disallow:
    Allow: /*

    Global

    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    Disallow: /trackback/

    Disallow: /feed/

    Disallow: /comments/

    Disallow: /category//

    Disallow: */trackback/

    Disallow: */feed/

    Disallow: */comments/

    Disallow: /*?

    Disallow: /recommends/

    Come potete vedere ho dovuto commentare il disallow dei feed, dei trackback e delle ricerche, pena vedere ogni mattina la pagina di Google Webmaster Tools zeppa di avvisi riguardanti pagine del mio sito che venivano non indicizzate a causa della configurazione del file robots.

    Qualcuno ha qualche consiglio in merito? Yoast in un suo articolo sul file robots per wordpress dice che l'unico disallow da inserire è quello /wp-content/plugins/. Qualche esperto di wordpress del forum ha fatto dei test e/o verifiche?

    Grazie, Mattia!


  • User

    misteri di google webmaster , ti da ancora problemi ? ma tutti quei disallow si mettono solo per non avere indicizzazioni doppie?


  • User

    @AndMore
    Ho inserito anche io come hai fatto tu, ma quello della guida pare che dice che sia quasi obbligatorio inserire anche questi, perché tu non li hai messi? Io non ho capito neanche a che serviva metterli e così non l'ho fatto... E comunque tramite FileZilla vanno copiati nella cartella NOME.DOMINIO semplicemente giusto?

    Disallow: /?
    Disallow: /*?


  • User Attivo

    Ciao Andreaas92 e benvenuto in questa discussione 😉

    Sinceramente non sono un esperto di file robots.txt ma ho semplicemente inserito i consigli che ho trovato a giro in rete, provo a sentire qualche amico amministratore di server e vi faccio sapere.

    Per quello che ne so al momento, la sintassi che stai suggerendo permette di impedire l'accesso a qualsiasi tipo di carattere (*) ripetuto un numero indefinito di volte (?). Se non vado errato, queste regole accettano delle espressioni regolari che ci permettono di definire una stringa di testo definendo alcune variabili, nel nostro caso specifico, * e ?

    Se non leggo male, quindi, la regola che hai inserito te impedirà la lettura di qualsiasi elemento contenuto all'interno della cartella di root, definita con /

    Spero di esserti stato di aiuto ma, come ho già detto, non sono un esperto di gestione server et simila quindi se ci fosse qualcuno più ferrato di me è invitato a farsi avanti!

    Andrea Barghigiani


  • User

    Il Disallow: /? e il **Disallow: /? **servono a impedire l'indicizzazione delle pagine di ricerca. Infatti queste pagine hanno come URL nomedominio/?=termine+ricercato.

    Mattia


  • User

    @mattiaboero said:

    Il Disallow: /? e il **Disallow: /? **servono a impedire l'indicizzazione delle pagine di ricerca. Infatti queste pagine hanno come URL nomedominio/?=termine+ricercato.

    Allora qui non saprei... non vorrei che le persone usassero la casella di ricerca inserendo parole errate e Google le considera errori di punteggiatura...

    Secondo voi conviene indicizzare anche le sotto categorie nel senso CATEGORY/PAGE 2 ?
    Ho notato anche che se scrivo gli stessi TAG in maiuscolo, e poi la prossima volta in maiuscolo. Lui li considera duplicati 😕
    Cmq Mattia mi pare che tu ne hai messo davvero tanti, anche nei commenti e nelle categorie? Perché?


  • User

    Forse questo post di Joost de Valk può esservi di aiuto, il link è "yoast . com/example-robots-txt-wordpress/" (aggiustate il link a mano che se no non me lo faceva postare).


  • User

    Dopo averlo letto oltre ad inserire quelli consigliati da AndMore ho messo questo Disallow: /wp-content/plugins/


  • User

    io sono un po' indeciso se aggiungere
    Disallow: /page/
    Disallow: /category/

    Perchè non capisco bene se possono danneggiarmi o meno considerate che il mio è portfolio ma piano piano scriverò articoli nel blog


  • User

    Perchè dovresti voler impedire il crawl delle pagine? :():


  • User

    Secondo me le pagine e le categorie devi lasciarle indicizzare altrimenti non avrebbe molto senso creare un blog.
    Invece per le sottocategorie voi le fate indicizzare? Non ve le considera titoli duplicati?


  • User

    ecco avevo paura che considerasse duplicati per il nome delle pagine


  • User Attivo

    Grazie del tuo contributo mattiaboero, ci fa sempre piacere vedere persone all'interno della comunità GT che condividono articoli interessanti.
    Sono tornato anche io a scrivere all'interno di questa discussione perché recentemente è stato rilasciato un ottimo articolo che parla proprio del file robots.txt con esempi dal vivo! L'articolo non poteva che provenire dal team di SEOMoz consiglio a tutti la lettura e di fare qualche esperimento!

    Dimenticavo, il link è seomoz.org/blog/interactive-guide-to-robots-txt

    Buona Formazione

    Andrea Barghigiani