Si parlo proprio di quello, ma a questo punto non credo più che il problema fosse solamente il robots.txt

Se sei d'accordo unisco questo thread con quello linkato e proseguiamo lì la discussione.

Per me va bene
spero solo qualcuno riesca ad aiutarmi a trovare una soluzione ...
Prendetela come una sfida

Dov'è hostato il sito?
Intendo è su qualche server legato al vecchio gestore?

Adesso è su Aruba Hosting Windows, prima non so che hosting, ma in qualche modo era comunque legato ad Aruba. Lo ricordo perchè la prima cosa che fu richiesta fù la variazione di login e password poi la conversione da (mi sembra ma non ne sono sicuro Servizio Dns a Hosting Windows). Ripeto dell'ultima parte non metto la mano sul fuoco, comunque qualche legame con Aruba c'era anche precedentemente.

C'entra qualcosa secondo te? Dici c'entri il file .htaccess? ma in hosting windows funziona? ho cercato sul server ma non l'ho trovato.

Ma credo che questa sia la strada giusta, ti ringrazio fin d'ora se mi proponi le tue idee.

Il file .htaccess lo usi?
Potrebbe essere la causa (non so se l'hosting windows lo sfrutta).
Il file è nascosto (i file che iniziano per . sono nascosti), attiva la visibilità dei file nascosti.

I metodi per bloccare lo spider sono tanti.

• file robots.txt
• direttiva all'interno dell'html
• uso del file htaccess ad esempio con qualcoa del tipo "SetEnvIf User-Agent ^Googlebot"

Verifica se ti serve il file .htaccess, nel caso eliminalo.

Ho fatto visualizza file nascosti sia con Fireftp che con altri programmi ma nulla di file .htaccess neanche l'ombra. Forse sbaglio qualcosa?
Il fatto che ci siano legami tra server vecchio e nuovo non significa niente, oppure può essere quella la causa?

Robots.txt e html non possono essere più le cause.
Grazie

Nel file robots.txt ho scritto questo:
User-agent: *
Disallow: /cgi-bin/

Mica può causare problemi?

Sotto windows pare che .htaccess sia ignorato, sicuro che non hai un hosting windows/linux?
Comunque crea un file di test vuoto di nome ".htaccess" e caricalo in una cartella di test apposita (non nella root del sito). Se non vedrai neanche questo allora forse hai un htaccess nella root, chiedi all'assistenza aruba come fare per vederlo/editarlo.
Ipotizzo che non sia questo il problema.

Il file robots puoi anche cancellarlo, così com'è messo disabilita la directory cgi-bin dall'indicizzazione (cosa utile ma non indispensabile) da parte di tutti gli spider.

Grazie mille
Ho fatto come hai detto tu, ma il mio di file .htaccess si vede anche una volta caricato sul server.
Comunque invierò una mail al server per vedere se c'è qualcosa che io non vedo.
Grazie.
Hai altre idee?
Perchè io a questo punto se non è nemmeno questo veramente non so più cosa pensare
Grazie

Il tuo sito è inserito nella directory giorgiotave, quindi hai sicuramente un link buono in ingresso.

Ho notato che dichiari il sito come inglese (en), ma non penso centri.

A questo punto sarebbe da capire se il webmaster tool che stai usando l'hai registrato tu o se ti è stato passato dal gestore precedente.
Non è che il webmastertool che stai osservano non è quello del sito di cui stiamo parlando, ma di un altro (visto che ti dice pagine incluse)?

Hai accesso alle statistiche del sito in formato raw?
Sarebbe interessante vedere se arriva googlebot e cosa gli rispondi.
Già che scrivi ad aruba, richiedi anche questo.

Ho sbagliato a scrivere, non sono le statistiche in formato raw, ma i log del server web. Dovresti chiedere al provider (mi pare di avere capito Aruba) se hai accesso a questi dati e come fare per consultarli.

Al suo interno troverai tutte le richieste pervenute al tuo server.
Dentro al log troverai tutti gli accessi per cui sarà complesso leggerlo (è un file di testo).
Potresti cominciare a cercarci dentro tutte le righe in cui viene richiesto il file robots.txt (ovvero una richiesta da un motore di ricerca).
Troverai qualcosa di simile a questo:
xx.xx.xx.xx - - [31/Aug/2009:16:36:54 +0200] "GET /robots.txt HTTP/1.1" 200 143 "-"

Ne dovresti trovare parecchi.

Ciao redsector
Grazie mille epr la tua disponibilità
Ho chiesto ad Aruba se c'erano problemi di Dns o htaccess e mi hanno risposto così:
la informo che il DNS del suo dominio è correttamente configurato dal momento della conversione effettuata per il suo dominio e , lato server di hosting, non vengono rilevati problemi o similari.

Poi continua:
Qualora continui a riscontrare problemi, provi a contattare il precedente gestore del dominio, per appurarsi eventualmente delle operazioni che aveva effettuato.

E grazie se potevo lo facevo, comunque questo significa che il vecchio gestore ha potuto fare qualcosa che ancora oggi rende impossibile a google accedere alle pagine?Se si cosa?

Per quanto riguarda il WebmasterTool io ho fatto la verifica e google me l'ha accettata, però i dati sono strani alcuni sono aggiornati e dicono che tutto è ok altri "ad esempio in errori di scansione" mi da errore 404 sulle vecchie pagine del sito ( che ormai non ci sono più).

Tra l'altro ho cliccato su "accesso crawler" poi su "rimuovi url" poi su "presentate da altri" e ce n'erano 2 una che non era stata presa in considerazione, l'altra invece l'ho dovuta annullare e risaliva a febbraio. Vuoi vedere che era questa stupidaggine a bloccare il tutto?

Questa cosa non mi è chiara.
L'account webmaster ti è stato trasferito o l'hai creato da zero?
Perché, sato che è possibile avere più livelli di utenza e di permessi, è bene capire se sei l'unico ad accederci.
Per capire se erano quelle due richieste di cancellazione a dare fastidio dovresti dirci quali URL richiedevano.
Il webmastertool non è aggiornato in tempo reale, è indietro una mesata circa.
Con i log si avrebbe il polso della situazione attuale.

I log li ho già richiesti ad Aruba, spero mi rispondino presto.
La richiesta delle webmaster tool l'ho fatta io ma sicuramente poteva essercene un altra precedentemente e (se è come dici tu) forse anche nel vecchio sito nonostante sia stato spostato potrebbe essere successo che il vecchio gestore ne aveva accesso, perche il codice html non era stato modificato.

Ora comunque come verifica da inizio agosto c'è solo il mio di codice all'interno della pagina html.

Le due richieste di rimozione non so quale link richiedevano. A me è comparsa solo una tabella con url, stato, tipo rimozione e richiesta.
1 fatta il 19 02 09 ed è stata negata per la seguente motivazione: "La tua richiesta è stata respinta in quanto il webmaster del sito non ha applicato il file robots.txt o i metatag corretti per impedirci di indicizzare o archiviare la pagina.Contatta il webmaster di questo sito oppure seleziona un'altra opzione di rimozione dallo strumento per la richiesta di rimozione di pagine web."

L'altra invece il 20 febbraio e sembrava attiva tutt'ora e l'ho annullata io adesso.

Grazie infinite per l'aiuto che mi stai dando

Vedrai che al rientro delle ferie ci saranno persone che la sanno più lunga!
Già che ci sei aggiungi una firma personalizzata al tuo user così da avere un altro link autorevole in ingresso sul tuo sito!

La cosa strana è che tra i link in entrata google non mi segnala nemmeno quello della directory di giorgiotave.
Non ti sembra strano anche questo?

Direi che hai finito di soffrire, finalmente il sito è entrato in google, aspetta qualche tempo e dovresti vedere pure il traffico.
Probabilmente erano quelle richieste di rimozione url, anche se non mi è chiaro cosa fossero.

Eccomi volevo ringraziarti proprio per questo.
Credi anche tu che sia dovuto a quelle richieste di rimozione?

Be' ma come robots modificato e a causa di quella richiesta era bloccato, senza dare un avviso ne niente.

Comunque grazie mille, ma non rispondi agli MP?

Ho visto i PM e ho risposto sempre qua nel forum