Errore Connettività Server e Robots.txt

francesco.89

Errore Connettività Server e Robots.txt

Salve amici del forum,
Oggi ho ricevuto una bella mail da Google dove mi viene detto a caratteri cubitali:

www(.)liuteriasabatini(.)
**Googlebot non riesce ad accedere al tuo sitoo:o
**Nel corso delle ultime 24 ore, Googlebot ha rilevato 1 errori durante il tentativo di connessione al tuo sito. La percentuale complessiva di errori di connessione al tuo sito è del 50.0%.

ho contattato il mio servizio di hosting (hosting99) per verificare eventuali problemi al server, il quale mi ha risposto che lato server **non ci sono e non ci sono stati problemi
**

Vorrei capire a cosa potrebbe riferirsi questo problema e soprattutto se potrebbe centrare il file robots.txt.
Dico questo perché più di un mese fa, avevo disabilitato a googlebot di indicizzare il sito tramite il robots.txt e i meta tag nell'head del sito, successivamente rimossi, negli ultimi giorni di Aprile. Nonostante questo mi sono state indicizzate metà delle pagine presenti nella sitemap e mi vengono visualizzati **52 avvisi **in Google Webmaster Tools dicendomi che La Sitemap contiene URL bloccati da robots.txt.

Ora mi chiedo... come mai google continua ad avere problemi ad accedere ed indicizzare il sito???? è possibile che i due problemi descritti siano correlati????
Grazie mille a tutti!!!

juanin

Onestamente non capisco la necessità di utilizzare un robots.txt così arzigogolato come il tuo.
Fai più danni che benefici.

francesco.89

Effettivamente in precedenza era abbastanza semplice, questo modello qui mi è stato suggerito da un amico con qualche anno di esperienza in più nel settore, io avrei inserito per le mie necessità solo queste voci:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Allow: /wp-content/uploads/
Disallow: /negozio/

Questo tipo di file robots.txt potrebbe crearmi problemi a tuo avviso??? e soprattutto, il problema principale sollevato nel primo messaggio potrebbe essere dovuto proprio al robots????

juanin

Il robots.txt va fatto in base al tuo sito e non basato su standard.

Bisogna vedere che risorse usa il tuo sito e quali deve limitare. Una volta stabilito questo valuta il log del server e vedi se qualcosa non ti torna.
Una volta visto il comportamento del crawler sul tuo sito agisci di conseguenza se necessario tramite delle regole nel tuo file.

francesco.89

Perfetto Grazie mille Juanin, solo 3 domande essendo ancora un neofita in questo campo:

tu mi hai detto "Bisogna vedere che risorse usa il tuo sito e quali deve limitare" che cosa intendi prima di tutto per "risorse" e poi per "limitare";
Per quanto riguarda il log del server dal mio cpanel su Hosting99 visulizzo queste tre voci: 1) Log di Accesso grezzi, 2) Log di Errore, 3) Scegli log programmi.
quale di questi tre dovrei valutare??? immagino il Log di Errore, però andandolo ad aprire è VUOTO.
Esiste un modo, un tool o qualsiasi cosa per vedere come il crawler vede il mio sito in modo da poter agire di conseguenza sul file robots.txt?????

Grazie Infinite

juanin

Un piacere francesco.89,

intendo tutte le risorse, URL pagina, css, js, immaigni etc etc...
devi prendere i log di accesso ovviamente e filtrare Googlebot
puoi entrare in webmaster tool e usare l'apposita sezione di test del robots.