Ciao Swalke,
dal pannello di amministrazione di wp super cache puoi leggere:

User Agents
Le stringhe presenti nella header HTTP degli ?User Agent? che impediscono a WP-Cache di fornire i dati nella cache alle richieste da parte dei bot, degli spider e dei crawler. Nota che anche i file super cached saranno inviati a questi agent qualora esistessero.

Grazie per la risposta fortunecat.
Avevo letto questa cosa nel pannello ma pensavo di avere capito male.

Non è controproducente il NON mostrare una pagina in cache agli spider e farlo solo con gli utenti?

In tal modo Google percepirà il sito più lento di quanto accade nella navigazione degli utenti e ci darà una valutazione più negativa in termini di performance.

Perchè di default WP super cache è settato in questo modo?
...io toglierei tutti lgi user agent da quella lista.
Cosa ne pensi?

Wp super cache riduce il carico di lavoro dovuto alla generazione dinamica delle pagine. Se ho mille utenti, anzichè elaborare la pagina mille volte, ne salvo una copia statica e mostro sempre quella.

Ma non è il contenuto dinamico in sè a dare grandi rallentamenti, quanto il fatto che il suddetto contenuto viene dinamicamente generato per tantissimi utenti.

Il bot passa solo di tanto in tanto, quindi non causa alcun problema.

Dal punto di vista del carico non fa una grinza. Hai perfettamente ragione che gli spider non influiscono molto.

Dal punto di vista delle prestazioni per il SEO invece la cosa mi rende perplesso.
E' vero che l'elaborazione server incide poco ma (al di la del fatto che dipende da che elaborazione si fa) un po' incide.
E' una delle cose (insieme alla compression gzip ad esempio) che in diversi casi può aiutare (certo dipende dai casi).

Credo proprio che toglierò gli spider da quella lista... ...a occhio non vedo controindicazioni.

Chiaramente il mio obbiettivo ultimo è riuscire a debellare il rallentamento dovto al plugin per i fan di Facebook (è incredibile il danno che fa in termini di performance...presto farò un articolo a riguardo con tanto di dati rilevati da Webmaster tool)

Sono d'accordo con te Swalke sul rallentamento che produce il plugin per i fan e aspetto il tuo articolo. Fammi sapere.

Ok.
Sarà un articolo diviso in più parti pubblicate una ogni settimana.
Vorrei analizzare innanzitutto il peso delle pagine e la quantità massima recuperata dagli spider (sono del parere che i famosi 97k di google siano solo una diceria basata su ciò che accade con il webmaster tool).
Poi analizzerò le cose classiche (ottimizzazione delle immagini ecc.) per passare poi alla questione dei widget, alla staticizzazione e alla compressione gzip.
Tutte cose che possono aiutare, ma non in tutti i casi.
Spero anche di riuscire a fare una bella analisi di quanto mogliora in termini di performance il mio sito a seguito dei singoli interventi.

Scusate se rispolvero il topic, ma alla fine questo articolo è stato fatto ? E se sì, dove posso leggerlo? Grazie anticipatamente.

Ciao Justlike0
Si, alcuni articolo sono stati fatti e li trovi a partire da qui:
velocità e seo: regole-seo.com/velocita-seo-google
Per ora gli argomenti trattati sono i seguenti:

Codice pulito, contenuti leggeri e cache del browser: regole-seo.com/ottimizzazione-codice

Ottimizzazione, compressione e uso intelligente delle immagini: regole-seo.com/ottimizzare-comprimere-immagini

GZIP compression: regole-seo.com/gzip-compression

Importare librerie Javascript tramite Google AJAX API: regole-seo.com/google-load-velocita-google-ajax-api

...ma restano ancora molti altri aspetti da trattare e che spero di riuscire a trattare a breve.

Ad esempio la questione dei widgets come quello di facebook. Il caricamento dei widgets è una delle cose che incide di più sui tempi di caricamento ma purtroppo a questo ancora non c'è una valisa soluzione.

Grazue Swalke per la gentile risposta. Terrò d' occhio il sito anche in futuro per gli aggiornamenti!

Visto che era uscito nel discorso vi segnalo questo nuovo articolo:
velocizzare-i-social-plugins

Spiega passo passo come fare per caricare in modo asincrono i social plugins (o social widgets) in modo tale che il loro tempo di caricamento non incida negativamente sul tempo di caricamento della pagina e sulla user experience!