• lucaorlandini
    User •

    Problema su ROBOT.TXT

    Non ho ben capito cosa dovrei fare... rifare la verifica?

    **Google mi dice :
    **

    ** Abbiamo trovato un file robots.txt, ma non ci è stato possibile scaricarlo. **

    Quando abbiamo effettuato l'accesso al tuo sito, abbiamo trovato un file robots.txt. Non è stato tuttavia possibile leggere il file a causa del timeout del server. Verifica che il server risponda correttamente e riprova. Tieni presente che l'elaborazione del nuovo file robots.txt potrebbe richiedere fino a 24 ore.

    ![image](file:///C:/DOCUME%7E1/FUTURA%7E1/IMPOST%7E1/Temp/moz-screenshot-2.jpg)

    0
  • A
    User Attivo •

    posta il tuo robots.txt analizziamolo insieme.
    Grazie

    0
  • F
    User Attivo •

    @LucaOrlandini said:

    Non ho ben capito cosa dovrei fare... rifare la verifica?

    **Google mi dice :
    **

    ** Abbiamo trovato un file robots.txt, ma non ci è stato possibile scaricarlo. **

    ![image](file:///C:/DOCUME%7E1/FUTURA%7E1/IMPOST%7E1/Temp/moz-screenshot-2.jpg)

    Primo se dai l'inddirizzo del tuo sito, si prova a vedere co'è il tuo robots secondo se vuoi mandare un'immagine il tag IMG nn ti permette di caricare un'immagine dal locale ma solo da un server online, per intenderci all'interno di img ci deve esser un url con indirizzo http://www.sito.it/immagine.jpg
    oppure clicci in basso su allega file e lo mandi come fosse un file, nn ci sarà l'anteprima am dovrà esser scaricato,
    hai duie scelte
    ciao

    0
  • lucaorlandini
    User •

    Ciao, grazie delle delucidazioni ^_^

    Il mio sito è :
    http://www.futuraimmagine.com

    Ecco il mio robots.txt :

    User-agent: *
    Disallow: /administrator/
    Disallow: /download/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /editor/
    Disallow: /help/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /language/
    Disallow: /mambots/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /templates/
    Disallow: /installation/

    sitemap: http://www.futuraimmagine.com/index2.php?option=com_sefservicemap&task=xmlmap&no_html=1

    0
  • F
    User Attivo •

    a me nn da nessun tipo di problema.io ho aperto tranquillamente
    futuraimmagine.com/robots.txt

    senti da quanto hai sto problema, è da molto che hai inserito sitemap e robots il problema si era già presntato?
    Ciao

    0
  • lucaorlandini
    User •

    strano, ora nei webmastertools il problema non è più segnalato... magari era dovuto ad un errore del server...

    mi è capitato solo una volta, prima che aprissi il post.

    :ciauz: grazie lo stesso

    0
  • A
    User Attivo •

    in effetti il robots.txt non è danneggiato..meglio cosi se hai risolto.saluti

    0
  • M
    User •

    @LucaOrlandini said:

    strano, ora nei webmastertools il problema non è più segnalato... magari era dovuto ad un errore del server...

    mi è capitato solo una volta, prima che aprissi il post.

    :ciauz: grazie lo stesso

    Ciao ragazzi, vi scrivo anche io per un errore nel caricamento della sitempa.xml. L'errore che mi viene segnalato è questo sotto:

    *URL limitato da robots.txt
    Abbiamo rilevato un errore durante l'accesso alla tua Sitemap. Accertati che la tua Sitemap rispetti le nostre linee guida e che sia possibile accedervi utilizzando il percorso da te fornito, quindi reinviala.

    *Il mio file robots.txt, invece è questo:*User-agent: *
    Disallow:
    Sitemap: MIOSITO.it/sitemap.xml *Il robots mi sembra corretto, ho provato anche senza inserire il link...

    Che dite? Inoltre vorrei segnalarvi un'altra curiosità:

    creando la sitemap, ho utilizzato diversi tools. Bene, con alcuni, tipo
    xml-sitemaps.com/, non mi dava alcun risultato... non vedeva alcuna pagina, mentre altri tool, si. Sapete darmi qualche dritta?

    0
  • F
    User Attivo •

    Dunque, il disallow devi metterlo dopo l'indirizzo delal sitemap, altrimenti, stai dicendo al robots.

    nn guardare la site map.

    fa così:

    # /robots.txt file for tuosito.it/
# Author: tuo nome (abbastanza inutile)
# 25/07/2008  16.25

Sitemap: tuosito.it/sitemap.xml

User-agent: *
Disallow:  /cgi-bin
( e tutte le cartelle o i file che vuoi disabilitare)

ps tutti i link anteceduti da  h t t p :// w w w etc



```per quanto riguarda il crawler per la sitemap il migliore resta Gsite
gsitecrawler.com/
ciao
    0
  • A
    User •

    ciao,secondo voi questo bot va bene per farsi indicizzare da google?

    User-Agent: Googlebot
Allow: /

User-agent: Alexibot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: asterias
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: BotRightHere
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: Copernic
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: hloader
Disallow: /

User-agent: httplib
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: larbin
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Microsoft URL Control - 5.01.4511
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: moget
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: Openfind
Disallow: /

User-agent: Openfind data gatherer
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RMA
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: spanner
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: Szukacz/1.4
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: TightTwatBot
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: turingos
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: VCI
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: Wget
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

# All Bots!
User-agent: *
Disallow: /adm/
Disallow: /blocks/
Disallow: /cache/
Disallow: /ctracker/
#Disallow: /docs/
Disallow: /downloads/
Disallow: /files/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /logs/
Disallow: /pafiledb/
Disallow: /templates/
Disallow: /calendar.php
Disallow: /calendar_scheduler.php
Disallow: /common.php
Disallow: /config.php
Disallow: /groupcp.php
Disallow: /login_ip.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php: /printview.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /ranks.php
Disallow: /search.php
Disallow: /statistics.php
Disallow: /tellafriend.php
Disallow: /viewonline.php
Disallow: /_broletta.php
Disallow: /_solmyr.php


```prerchè molte volte passa ma non mi indicizza le discussioni...
grazie
    0
Effettua l'accesso per rispondere