• K
    User Newbie •

    Help!!! File Robot.txt blocca l'indicizzazione del sito...

    Carissimi, partendo dal presupposto che mi sto approcciando alla materia per la prima volta nella mia esistenza...:o
    Sto avendo un problema che forse voi ragazzi/e un po' più navigati potete aiutarmi a risolvere.
    Ho creato un blog/sito di servizi per turisti nella città di Firenze, su piattaforma wordpress con hosting aruba.

    Ieri sera ho reso il sito pubblico per la prima volta (deflaggando anche la visibilità ai motori di ricerca) ed ho verificato che nella pagina di ricerca di google appare questa dicitura:
    "Non è disponibile una descrizione per questo risultato a causa del file robots.txt del sito.Leggi ulteriori informazioni."

    cliccando sul link del presunto file robot.txt, si apre una finestra che dice quanto segue:
    "User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/ Sitemap: nomesito+sitemap"

    per tentare di risolvere il problema, ho cercato di eliminare il file robot.txt dal root....ma nella directory principale non lo trovo...è possibile che si trovi in una sottocartella?
    Per l'ottimizzazione SEO del sito sto utilizzando Yoast Wordpress SEO, e le pagine risultano essere tutte corrette.
    Anche attraverso i google Webmaster tools mi si presenta il problema, e mi vengono indicate le 9 url bloccate, che non si riferiscono a pagine vere e proprie ma piuttosto a fogli di stile, script e carattere, insomma..non so come risolvere la cosa.

    Ho una domanda: Non è che avendo deflaggato la visibilità ai motori di ricerca, google ci metterà un po' di tempo, prima di indicizzare il sito?
    Avete idea di come posso procedere? devo aspettare del tempo oppure posso apportare delle modifiche in modo che il sito venga regolarmente indicizzato e visualizzato?
    Aspetto un vostro riscontro...
    Grazie! :sun:

    0
  • Z
    User •

    Ciao kjkha, il link sarebbe di aiuto... comunque così senza altre info potrei dirti che quel risultato è vecchio. Dal GWT reinvia la sitemap e guarda la copia cache di google. Non eliminare il file robots perche così si indicizzano anche le pagine lato admin. Guarda anche le impostazioni di yoast per sicurezza, io uso solo joomla quindi non conosco bene wordpress.

    0
  • K
    User Newbie •

    ciao Zanchetta, grazie della risposta! purtroppo il forum non mi permette di inserire url 😕
    in realtàil file robot txt non è stato mai creato da me, infatti non capisco da dove riesca a prenderlo se non c'è nel root..cercherò di capire meglio se il problema proviene da Yoast.. grazie ancora e buona domenica!

    0
  • Z
    User •

    Se vuoi mandami il link in pvt!

    0
  • Z
    Super User •

    Ciao, per inserire link usa www .dominio .ext/percorso

    M.

    0
  • juanin
    Admin •

    Ciao kjkha,

    Wordpress crea da solo il robots.txt, ma è un file virtuale.
    Tramite Yoast se vuoi puoi modificarlo tramite la sezione "Modifica Files", ma pur lasciandolo come è ora non dovresti avere problemi di indicizzazione.

    I file JS potrebbero essere bloccati perché alcuni temi usano i file delle librerie JS pescandoli da wp-includes che Wordpress di default blocca erroneamente.
    Come ho già fatto in un post ti consiglio di impostare il tuo robots.txt su Wordpress come segue:

    User-Agent: *
Disallow:

    Utilizzare il robots.txt per bloccare le sezioni amministrative è un errore perché in primis espone solamente a problemi di sicurezza.
    Ti consiglio anche di cambiare il percorso della cartella wp-admin in qualcos'altro oppure di bloccarne l'accesso solamente al tuo IP o tramite pass .htaccess/.htpasswd

    0
  • Z
    Super User •

    @Juanin said:

    Utilizzare il robots.txt per bloccare le sezioni amministrative è un errore perché in primis espone solamente a problemi di sicurezza.

    Ciao, me la spieghi questa tua affermazione ?
    Grazie.

    M.

    0
  • must
    Super User •

    @ziobudda said:

    Ciao, me la spieghi questa tua affermazione ?
    Grazie.

    M.

    perché basta aprire il robots.txt per vedere quali URLs danno accesso al backend, per esempio

    0
  • Z
    Super User •

    @must said:

    perché basta aprire il robots.txt per vedere quali URLs danno accesso al backend, per esempio
    Per quello basta sapere quale è il CMS utilizzato per saperlo.

    M.

    0
  • juanin
    Admin •

    ziobudda Must ti ha dato la risposta.

    In ogni caso basterebbe anche sapere quale è il CMS sì ed è per questo che ho scritto di bloccare la sezione in altri modi o cambiare nome senza però esporla inutilmente nel robots.txt.
    L'uso dei CMS è già da solo un'esposizione a falle di sicurezza e se in più poi lo dichiariamo anche senza prendere accorgimenti...

    Fatto sta che bloccare nel robots.txt sezioni admin/private non ha senso a differenza di quanto consigliano il 90% dei post e delle persone in giro per forum e social.
    Farlo è una cosa pessima. Stop. Almeno secondo me, poi ognuno è libero di fare come vuole a casa sua 🙂

    Non ti torna qualcosa?

    0
  • Z
    Super User •

    Ciao, ognuno è libera di pensarla come vuole, ma decisamente l'affermazione

    L'uso dei CMS è già da solo un'esposizione a falle di sicurezza

    lascia tutto il tempo che trova.

    Quindi ci facciamo tutto custom e ci leghiamo al programmatore/azienda di turno che è più sicuro dei CMS utilizzati per la maggiore ? Direi che è inutile continuare, si va fuori target e basta.

    M.

    0
  • L
    Super User •
    • Quindi ci facciamo tutto custom e ci leghiamo al programmatore/azienda di turno che è più sicuro dei CMS utilizzati per la maggiore?

    Non credo fosse questo il punto. Juanin non ha detto di non usare WordPress o Joomla o Drupal, ha detto che se si usa un CMS si è esposti a falle di sicurezza. Io avrei detto "eventuali falle di sicurezza", ma credo fosse quello il concetto a cui si riferiva Juanin. Il giorno in cui esce fuori una falla di sicurezza per uno di quei 3 CMS lo possono venire a sapere tutti i blackhat del mondo e quindi possono essere a rischio tutti i siti realizzati con quel CMS o con un particolare plugin di quel CMS. Per non parlare di eventuali plugin per CMS ideati apposta per creare problemi (non credo che tutti i webmaster prima di installare un plugin, magari scaricato chissà dove, lo vanno ad analizzare).

    Ciò comunque non vuol dire che il "programmatore/azienda di turno" sia più affidabile in termini di sicurezza, sopratutto se il programmatore o l'azienda ci fornisce comunque un CMS.

    Di sicuro però tra un sito con Joomla o WordPress e un sito realizzato solo in Html è ovvio che il sito in Html è più sicuro, perchè se ti bucano l'FTP possono cancellare il sito con o senza CMS, ma col CMS ci sono delle possibilità in più per creare danni.

    0
  • juanin
    Admin •

    @ziobudda said:

    Quindi ci facciamo tutto custom e ci leghiamo al programmatore/azienda di turno che è più sicuro dei CMS utilizzati per la maggiore?

    Non ho mai detto questo. Tu hai parlato di CMS e non io 🙂

    @ziobudda said:

    Direi che è inutile continuare, si va fuori target e basta.

    Infatti kjkha ha fatto una domanda e io gli ho risposto fornendo anche alcuni argomenti utili per potersi fare un ragionamento anche da solo.

    Detto questo....io sono un amante dell'Open Source e so benissimo che poi bisogna prendersene onori e oneri e se non conosci bene quello che fai, ma usi solamente un CMS perché ci vuole poco a farci un sito stai pur sicuro che verrai bucato più velocemente della luce e se lo esponi pure nel robots.txt ancora di più.

    0
  • must
    Super User •

    Eppoi, per tenere una risorsa fuori dall'indice di Google, il robots.txt è lo strumento sbagliato.

    noindex is the answer.

    0
Effettua l'accesso per rispondere