• Super User

    attirare googlebot sul sito

    ciao a tutti
    vedo che sulle mie serp, le cache di molti siti e' ferma a molti giorni fa.
    In passato sul mio sito googlebot passava ogni giorno ed anche 2-3 volte in un giorno.
    Ora invece anche io sono fermo a molti giorni fa.
    C'e' qualcosa che posso fare per attirarlo sul sito per fargli vedere che i contenuti sono freschi?


  • Moderatore

    Ciao No_Stress,

    @No_Stress said:

    In passato sul mio sito googlebot passava ogni giorno ed anche 2-3 volte in un giorno.
    Ora invece anche io sono fermo a molti giorni fa.
    C'e' qualcosa che posso fare per attirarlo sul sito per fargli vedere che i contenuti sono freschi?

    non molto in realtà, la frequenza di visita dipende anche dall'idea che Google si è fatta del tuo sito.

    Un paio di cose le puoi tentare:

    • re-inviare la sitemap da Google Webmaster Tools
      è importante prestare attenzione a un particolare: se nella sitemap specifichi la data di ultima modifica dei post, abbi cura sia veritiera. Alcuni generatori di sitemap aggiungono forzatamente una data odierna su tutti gli URL per convincere i motori di ricerca che i contenuti sono freschi, niente di più errato: Google in pratica perde fiduca nella tua informazione e comincia a ignorarla, è un po' la versione telematica della favola di Esopo 🙂
    • sempre da Google Webmaster Tools, Salute, provare "Fetch as Googlebot" dei contenuti più freschi non ancora indicizzati, e poi "Invia all'indice".
      A differenza dell'approccio con sitemap, dove "prenoti una visita di googlebot", qui dovrebbe essere più rapido perché in pratica gli fai saltare la parte di crawling e metti subito in coda per la possibile indicizzazione (G potrebbe sempre decidere di non indicizzare dei contenuti visitati, se non li ritiene valevoli).
      Puoi farlo solo sul singolo URL, ma puoi chiedere di valutare anche gli URL linkati alla pagina visitata.

    Se Google non ti visita da un po' e prima lo faceva, è meglio anche ti appuri se non vi sia qualche blocco strutturale non voluto.
    Intanto, sei sicuro che non ti visiti, o che semplicemente non ti indicizzi i contenuti?

    Da Google Webmaster Tools, vai in Statistiche di Scansione, e vedi se googlebot ti visita o no.
    Se ti visita il sito, ma non ne indicizza i contenuti nuovi, fai poniti qualche domanda:

    • hai modificato erroneamente il robots.txt?
      Controlla in "URL bloccati" lo stato del robots.txt (potrebbe non visualizzare l'ultima versione, nel caso copiavela) e usa lo strumento per vedere se gli URL non indicizzati sono bloccati accidentalmente o no
    • hai messo erroneamente dei noindex?
      controlla la pagina
    • Ci sono problemi sistemistici?
      Controlla le notifiche di Google, e fai un test con "Visualizza come Google" (lo strumento già indicato nel secondo approccio): deve tornare un codice HTTP 200 OK, e visualizzare l'html corretto della pagina.

    Spero d'esserti stato utile


  • Super User

    ciao e grazie per ora
    allora, ho dato uno sguardo alle statistiche di scansione e mi dice:
    Pagine sottoposte a scansione giornalmente
    alto 1130
    medio 435
    basso 3

    in ogni caso, nel grafico mostra l'oscillazione della linea che credo evidenzi le pagine visitate e pare che ogni giorno googlebot entra sul mio sito (almeno ci sono quasi tutte le date)
    Nello "stato delle pagina indicizzate" mi dice che ce ne sono 3017 quindi il problema non e' far passare googlebot o indiiczzare le pagine, ma fargli aggiornare la copia cache che ha lui, e' ferma al 25 marzo...

    Il noindex ce l'ho in qualche pagina che volutamente non voglio indicizzare ed infatti non sono indicizzate.
    Il robot.txt l'ho scritto cosi':

    User-agent: *
    Disallow: /inc/highslide/
    Disallow: /inc/easyslider/
    Disallow: /inc/jquery/
    Allow: /

    User-agent: Googlebot
    Disallow: /inc/highslide/
    Disallow: /inc/easyslider/
    Disallow: /inc/jquery/
    Allow: /

    User-agent: Updownerbot
    Disallow:

    in pratica non ho voluto indizzare alcuni javascript (in passato mi arrivava un messaggio dicendo che era una pagina non trovata)

    Il 6 aprile mi e' arrivato un messaggio dicendo:
    indirizzo del mio sito: aumento degli errori soft 404
    Google ha rilevato un aumento significativo degli URL che a nostro parere dovrebbero restituire un errore 404 (Pagina non trovata) ma non lo fanno.

    In effetti ho modificato delle pagine con il 301 altre che non mi servivano le ho tolte proprio, ma ho una pagina di errore 404 personalizzata, non so se si riferisce a questo

    Per quanto riguarda la sitemap, esiste un buon sistema possibilmente gratuito che me la crei in automatico e senza limitazioni di pagine?

    Altra domanda: cosa si intende per rich snippet?

    Inoltre, se ho dei backlink che non voglio, c'e' un modo per segnalarli negli strumenti per webmaster in modo da non prenderli in considerazione?


  • Moderatore

    @No_Stress said:

    quindi il problema non e' far passare googlebot o indiiczzare le pagine, ma fargli aggiornare la copia cache che ha lui, e' ferma al 25 marzo...
    Il noindex ce l'ho in qualche pagina che volutamente non voglio indicizzare ed infatti non sono indicizzate.
    Cerca di mettere nofollow sui link interni che portano a pagine noindex, risparmi un po' di tempo a googlebot che così riesce - si spera - a crawlare prima i contenuti che ti interessano.
    Certo se sono solo qualche pagina, il risparmio di tempo non è tantissimo.

    @No_Stress said:

    Il 6 aprile mi e' arrivato un messaggio dicendo:
    indirizzo del mio sito: aumento degli errori soft 404
    Google ha rilevato un aumento significativo degli URL che a nostro parere dovrebbero restituire un errore 404 (Pagina non trovata) ma non lo fanno.

    In effetti ho modificato delle pagine con il 301 altre che non mi servivano le ho tolte proprio, ma ho una pagina di errore 404 personalizzata, non so se si riferisce a quest
    I soft 404 dovresti vederli negli Errori di Scansione (vado a memoria, non ho un esempio sotto gli occhi).
    Testa anche la pagina 404 con degli URL fatti in vari modi (da root, sottocartella, più sottocartelle, con / finale, con altra estensione, senza estensione), può essere in alcuni casi il sistema non riesca a dirottare correttamente la chiamata.

    @No_Stress said:

    Per quanto riguarda la sitemap, esiste un buon sistema possibilmente gratuito che me la crei in automatico e senza limitazioni di pagine?
    Se mi passano l'autopromozione, Visual SEO Studio permette di creare sitemap senza limiti di dimensione. Devi usarlo per crawlare tutto il sito e poi andare in "Create new sitemap". Ricorda di impostare il tuo sito tra gli amministrati per poterlo visitare a velocità piena, e imposta un numero massimo di pagine visitabili più alto del predefinito, che è 500.

    @No_Stress said:

    Altra domanda: cosa si intende per rich snippet?
    Hai presente quando nella pagina di Google vedi delle stelline a esprimere un punteggio, degli ingredienti in corrispondenza di ricette, la faccina dell'autore, etc..?
    Ecco, quelli sono i "rich snippet", e si impostano scrivendo nel codice delle pagine dei markup particolari, testabili in GWT da "Dati Strutturati" (pagina da cui trovi anche i link alla documentazione opportuna.

    @No_Stress said:

    Inoltre, se ho dei backlink che non voglio, c'e' un modo per segnalarli negli strumenti per webmaster in modo da non prenderli in considerazione?
    Il "Disavow Tool" dovrebbe fare per te. Non ho mai avuto occasione d'usarlo però (nemmeno lo riesco a trovare nel menu al momento!), forse altri sapranno aiutarti meglio di me su questo fronte.

    Ciao

    P.S.: forse per le ultime due domande avresti fatto meglio a aprire due thread separati, a beneficio degli altri utenti del forum