• I
    User •

    suggerimenti sul file robots

    Un saluto a tutti, vorrei avere una dritta da qualcuno. Ho un file robots che contiene questo

    User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?*
Disallow: /*?
Sitemap: httpp ://psicologaonlinesalerno.it/sitemap_index.xml

Allow: / forum/index.php?action=sitemap;xml
Disallow: / forum/*sort=*
Disallow:  / forum/*msg*
Disallow: / forum/index.php?action=activate*
Disallow: / forum/index.php?action=admin*
Disallow: / forum/index.php?action=calendar*
Disallow: / forum/index.php?action=emailuser*
Disallow: / forum/index.php?action=findmember*
Disallow: / forum/index.php?action=help*
Disallow: / forum/index.php?action=helpadmin*
Disallow: / forum/index.php?action=login*
Disallow: / forum/index.php?action=mlist*
Disallow: / forum/index.php?action=modifykarma*
Disallow: / forum/index.php?action=pm*
Disallow: / forum/index.php?action=post*
Disallow: / forum/index.php?action=printpage*
Disallow: / forum/index.php?action=profile*
Disallow: / forum/index.php?action=recent*
Disallow: / forum/index.php?action=register*
Disallow: / forum/index.php?action=reminder*
Disallow: / forum/index.php?action=search*
Disallow: / forum/index.php?action=unread*
Disallow: / forum/index.php?action=unreadreplies*
Disallow: / forum/index.php?action=verificationcode*
Disallow: / forum/index.php?action=who*
Disallow: / forum/index.php?action=stats*
Disallow: / forum/index.php?theme*
Disallow: / forum/index.php?*wap*
Disallow: / forum/index.php?*wap2*
Disallow: / forum/index.php?*imode*
Disallow:  / index.php?*rss*
Disallow: / forum/Themes/
Disallow: /forum/Sources

    sapreste indicarmi se va bene la forma? Nel senso ho analizzato tramite analizzatore online e mi dice alcuni errori:

    Allow: /wp-content/uploads/
    Comando sconosciuto. I comandi accettati sono "User-agent" e "Disallow".
    Un file robots.txt non indica quali file/directory puoi abilitare (allow) ma solo quelli che puoi disabilitare (disallow).
    altro errore
    Disallow: /trackback/
    Il carattere speciale asterisco (    ) nel nome dei file o delle directory non è accettato da tutti gli user-agent specificati per questo blocco di codice. Dovresti usare il carattere speciale "*" in un blocco di codice indirizzato esclusivamente a spider che lo supportano (Es: Googlebot).
    Ti consigliamo di scrivere i nomi di file e directory con un carattere "/" in cima (Esempio: /privato.html).

    grazie a chi ne sa più di me (e ci vuole poco...)

    0
  • A
    User •

    Bhè, gli errori sono chiari: allow è un'istruzione non valida. I bot indicizzano tutto ciò che non è "disallow". Puoi eliminare gli asterischi finali, è un'istruzione inutile. Il bot segue le url, quindi quando legge l'istruzione disallow si fermerà sempre e comunque al punto indicato. Dove scrivi wp- ad esempio, sottintendi anche le altre wp-admin, wp-includes e wp-content.
    Il bot di google è l'unico che accetta la wildcard, quindi o specifichi le isstruzioni per ogni bot o le rimuovi proprio. Inoltre c'è un errore sintattico dove scrivi:

    Disallow: / forum. Non inserire spazi fra / e forum. Inoltre questa
    Allow: / forum/index.php?action=sitemap;xml (che non esiste)contrasta comunque con queste Disallow: /? Disallow: /*?

    Andrebbe riscritto da zero.

    0
  • federico.sasso
    Moderatore •

    ciao,
    ti consiglio di usare un analizzatore diverso, per esempio quello di Google Webmaster Tools che ti permette di fare una simulazione.
    Allow è riconosciuto in realtà da google e altri motori, così come pure l'asterisco.

    0
  • A
    User •

    Non ho detto che non sia accettato. Allow si utilizza solo per determinati file che si vuole indicizzare, all'interno di directory "disallow". Quindi scritta in quel modo non è valida. E' inutile. Esempio:

    Disallow: /members/user

    Allow: /members/user/id

    0
Effettua l'accesso per rispondere