Ciao,
riesci a scansionare tutto il sito?
ho fatto dei passi avanti sul sito sul quale sto lavorando anche io ma comunque alcune cose mi sono inaccessibili
Ho escluso le indicazioni dei file di robots e abilitati javascripts ma c'è qualcosa che mi sfugge. Mi suggerisci come abbassare la frequenza?
Grazie per l'aiuto
Davide

Ciao,
è proprio quella la cosa strana. Sembra un problema di server ma il sito bpg.it è visibile e indicizzato.
Come ho scritto sopra ho già eliminato alcune ipotesi ma non me ne vengono altre
Grazie

Buongiono a tutti,
ho un probema a scansionare il sito bgp.it. Quando inserisco l'homepage e faccio partire la scansione riesce a darmi i dati solo di quella pagina dicendo che risponde 500 e non va oltre.
Ho già selezionato di ignorare il file di robots.txt e ho provato a scansionare le singole url ma si ferma e non procede comunque con la scansione. Non vorrei uplodare una lista di url ma ho bisogno che il bot mi trovi tutte le pagine alberate.
Avete idee?
Grazie

Tipo:
Altri

Tipo:
Altri