Curiosità file robot.txt

mastro86

Curiosità file robot.txt

Buongiorno a tutti,
scrivo nel mitico forum gt per la prima volta...sono quasi emozionato.
Volevo chiarirmi un dubbio, nel file robots di un sito che mi è capitato tra le mani, per farci qualche lavoretto, ho notato che era indicata la dicitura:
disallow: /
La persona che ha realizzato il medesimo sito, ha chiesto al "proprietario" del sito medesimo una cospicua somma di denaro per far si che il sito entrasse nei motori di ricerca.
Io mi chiedo, sicuramente i lavori da fare sarebbero andati oltre, ma si poteva inziare eliminando la sovracitata dicitura ed inserendo un riferimento valido ad una sitemap nel file robots?
Spero di essere stato chiaro...
Grazie a tutti coloro i quali avranno voglia di rispondermi.

studiograficoroma

Ciao mastro86,
benvenuto nel Forum GT, quello che hai esposto si direbbe che sia una bella truffa per raccimolare soldi sporchi senza lavorare.

Sarebbe bastato, per far indicizzare il sito, inserire nel robots:

User-agent: *
Disallow:
Sitemap: http: // www nomesito com/sitemap.xml

Ciao

yeswebcan

Ciao Mastro86 benvenuto nel Forum GT

Come dice studiograficoroma si tratta di una truffa.
Il trucchetto del bloccare l'accesso agli spider tramite l'istruzione disallow: / in robots.txt è molto usato da pseudo web designer che vogliono raccimolare qualche soldo in più per l'indicizzazione del sito su Google (che è cosa ben diversa dal posizionamento).
Ti basta cancellare il "/" e meglio ancora segnalare il file sitemap.xml (se esiste nel sito altrimenti ti consiglio di crearlo)

A presto

mastro86

Grazie ad entrambi!
L'avevo sospettato...avevo già provveduto alla rimozione dell'istruzione disallow: / e all'inserimento del percorso sitemap.

Siccome non sono un esperto, prima di "attaccare" qualcuno volevo essere certo.

Grazie ancora!

mastro86

Dopo aver smascherato il tentativo di truffa (grazie a due fide sentinelle, grazie ancora!), mi vengono altri dubbi, può essere stata fatta qualche altra manovra di questo tipo?
Ad esempio nel codice visualizzo:

Conosco il significato del nofollow...ma noindex?

Grazie ancora...

yeswebcan

Ciao Mastro86
Esatto, quello è un altro metodo per impedire che le pagine vengano indicizzate nei motori di ricerca.

In breve il tag no index indica ai robots che quella pagina non va indicizzata, mentre il no follow indica che non devono essere seguiti i link presenti nella pagina.

Puoi anche lasciarlo e sostituirlo con
<meta name="robots" content="index,follow">

Fa attenzione che potrebbe essere inserito in tutte le pagine.

A questo punto potrebbero esserci anche altri escamotage, correggi i 2 scovati fino ad ora e se non otteniamo risultati valutiamo altre soluzioni.

A presto

mastro86

Sono riuscito ad eliminare quest'altra "gabola"...è stato un pò complicato poichè il sito è in joomla e non capisco nulla di php.

Ma come sempre delle sane e profonde ricerche in Internet aiutano parecchio.

Grazie ancora...spero di aver risolto tutto (ho eliminato la dicitura da un file della libreria ed è così sparita da tutte le pagine), possono esserci altri blocchi di questo tipo o altri mezzucci?

Potrebbe essere carina una guida anti truffatori!!!

Grazie!

yeswebcan

Questi mezzi non sono nati per fare truffe ma per istruire i motori di ricerca su cosa indicizzare e cosa no.

Di mezzucci utilizzabili ne esistono altri (tipo modifica .htaccess o blocco su strumenti per Web Master) ma il discorso diventerebbe un tantino complicato.
Comincia a vedere se tutto si risolve così altrimenti valutiamo altre soluzioni
Ciao

pdellov

Devo dire che resto allibito quando vedo cosa fa questa gente..
E poi magari sono gli stessi che vanno in giro a dire che la SEO è una truffa e loro sanno fare le stesse cose senza aggiungersi strani titoli..
Che gente..

@mastro86: Casomai lasciaci il link inattivo del sito, gli diamo una controllata veloce quando possiamo
Ciao
Paolo