Problema di scansione con Screamingfrog

robybernasco

Problema di scansione con Screamingfrog

Buongiono a tutti,
ho un probema a scansionare il sito bgp.it. Quando inserisco l'homepage e faccio partire la scansione riesce a darmi i dati solo di quella pagina dicendo che risponde 500 e non va oltre.
Ho già selezionato di ignorare il file di robots.txt e ho provato a scansionare le singole url ma si ferma e non procede comunque con la scansione. Non vorrei uplodare una lista di url ma ho bisogno che il bot mi trovi tutte le pagine alberate.
Avete idee?
Grazie

Tipo:
Altri

sermatica

Ciao
se il server risponde 500 ci sono problemi sul sito. Il sito è indicizzato e visibile sul Web? Puoi postare il sito in formato sito . it?

robybernasco

Ciao,
è proprio quella la cosa strana. Sembra un problema di server ma il sito bpg.it è visibile e indicizzato.
Come ho scritto sopra ho già eliminato alcune ipotesi ma non me ne vengono altre
Grazie

sermatica

Ciao
ho appena finito di scansionare il tuo sito con SF, nessun problema di errore 500. L'unica cosa che mi chiede gli accessi, forse hai qualche risorsa protetta da password. Abbassa la frequenza di scansione a 1 pagina ogni 3 secondi e riprova.

robybernasco

Ciao,
riesci a scansionare tutto il sito?
ho fatto dei passi avanti sul sito sul quale sto lavorando anche io ma comunque alcune cose mi sono inaccessibili
Ho escluso le indicazioni dei file di robots e abilitati javascripts ma c'è qualcosa che mi sfugge. Mi suggerisci come abbassare la frequenza?
Grazie per l'aiuto
Davide

sermatica

Ciao
*>Ho escluso le indicazioni dei file di robots e abilitati javascripts ma c'è qualcosa che mi sfugge.
*Questo non devi farlo altrimenti hai dati errati e falsati.

>Mi suggerisci come abbassare la frequenza?
Si perchè alcuni Firewall dei Server ti bannano se calchi troppo la mano.