• User

    Problema su ROBOT.TXT

    Non ho ben capito cosa dovrei fare... rifare la verifica?

    **Google mi dice :
    **

    ** Abbiamo trovato un file robots.txt, ma non ci è stato possibile scaricarlo. **

    Quando abbiamo effettuato l'accesso al tuo sito, abbiamo trovato un file robots.txt. Non è stato tuttavia possibile leggere il file a causa del timeout del server. Verifica che il server risponda correttamente e riprova. Tieni presente che l'elaborazione del nuovo file robots.txt potrebbe richiedere fino a 24 ore.

    ![image](file:///C:/DOCUME%7E1/FUTURA%7E1/IMPOST%7E1/Temp/moz-screenshot-2.jpg)


  • User Attivo

    posta il tuo robots.txt analizziamolo insieme.
    Grazie


  • User Attivo

    @LucaOrlandini said:

    Non ho ben capito cosa dovrei fare... rifare la verifica?

    **Google mi dice :
    **

    ** Abbiamo trovato un file robots.txt, ma non ci è stato possibile scaricarlo. **

    ![image](file:///C:/DOCUME%7E1/FUTURA%7E1/IMPOST%7E1/Temp/moz-screenshot-2.jpg)

    Primo se dai l'inddirizzo del tuo sito, si prova a vedere co'è il tuo robots secondo se vuoi mandare un'immagine il tag IMG nn ti permette di caricare un'immagine dal locale ma solo da un server online, per intenderci all'interno di img ci deve esser un url con indirizzo http://www.sito.it/immagine.jpg
    oppure clicci in basso su allega file e lo mandi come fosse un file, nn ci sarà l'anteprima am dovrà esser scaricato,
    hai duie scelte
    ciao


  • User

    Ciao, grazie delle delucidazioni ^_^

    Il mio sito è :
    http://www.futuraimmagine.com

    Ecco il mio robots.txt :

    User-agent: *
    Disallow: /administrator/
    Disallow: /download/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /editor/
    Disallow: /help/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /language/
    Disallow: /mambots/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /templates/
    Disallow: /installation/

    sitemap: http://www.futuraimmagine.com/index2.php?option=com_sefservicemap&task=xmlmap&no_html=1


  • User Attivo

    a me nn da nessun tipo di problema.io ho aperto tranquillamente
    futuraimmagine.com/robots.txt

    senti da quanto hai sto problema, è da molto che hai inserito sitemap e robots il problema si era già presntato?
    Ciao


  • User

    strano, ora nei webmastertools il problema non è più segnalato... magari era dovuto ad un errore del server...

    mi è capitato solo una volta, prima che aprissi il post.

    :ciauz: grazie lo stesso


  • User Attivo

    in effetti il robots.txt non è danneggiato..meglio cosi se hai risolto.saluti


  • User

    @LucaOrlandini said:

    strano, ora nei webmastertools il problema non è più segnalato... magari era dovuto ad un errore del server...

    mi è capitato solo una volta, prima che aprissi il post.

    :ciauz: grazie lo stesso

    Ciao ragazzi, vi scrivo anche io per un errore nel caricamento della sitempa.xml. L'errore che mi viene segnalato è questo sotto:

    *URL limitato da robots.txt
    Abbiamo rilevato un errore durante l'accesso alla tua Sitemap. Accertati che la tua Sitemap rispetti le nostre linee guida e che sia possibile accedervi utilizzando il percorso da te fornito, quindi reinviala.

    *Il mio file robots.txt, invece è questo:*User-agent: *
    Disallow:
    Sitemap: MIOSITO.it/sitemap.xml *Il robots mi sembra corretto, ho provato anche senza inserire il link...

    Che dite? Inoltre vorrei segnalarvi un'altra curiosità:

    creando la sitemap, ho utilizzato diversi tools. Bene, con alcuni, tipo
    xml-sitemaps.com/, non mi dava alcun risultato... non vedeva alcuna pagina, mentre altri tool, si. Sapete darmi qualche dritta?


  • User Attivo

    Dunque, il disallow devi metterlo dopo l'indirizzo delal sitemap, altrimenti, stai dicendo al robots.

    nn guardare la site map.

    fa così:

    # /robots.txt file for tuosito.it/
    # Author: tuo nome (abbastanza inutile)
    # 25/07/2008  16.25
    
    Sitemap: tuosito.it/sitemap.xml
    
    User-agent: *
    Disallow:  /cgi-bin
    ( e tutte le cartelle o i file che vuoi disabilitare)
    
    ps tutti i link anteceduti da  h t t p :// w w w etc
    
    
    
    ```per quanto riguarda il crawler per la sitemap il migliore resta Gsite
    gsitecrawler.com/
    ciao

  • User

    ciao,secondo voi questo bot va bene per farsi indicizzare da google?

    User-Agent: Googlebot
    Allow: /
    
    User-agent: Alexibot
    Disallow: /
    
    User-agent: Aqua_Products
    Disallow: /
    
    User-agent: asterias
    Disallow: /
    
    User-agent: b2w/0.1
    Disallow: /
    
    User-agent: BackDoorBot/1.0
    Disallow: /
    
    User-agent: BlowFish/1.0
    Disallow: /
    
    User-agent: Bookmark search tool
    Disallow: /
    
    User-agent: BotALot
    Disallow: /
    
    User-agent: BotRightHere
    Disallow: /
    
    User-agent: BuiltBotTough
    Disallow: /
    
    User-agent: Bullseye/1.0
    Disallow: /
    
    User-agent: BunnySlippers
    Disallow: /
    
    User-agent: CheeseBot
    Disallow: /
    
    User-agent: CherryPicker
    Disallow: /
    
    User-agent: CherryPickerElite/1.0
    Disallow: /
    
    User-agent: CherryPickerSE/1.0
    Disallow: /
    
    User-agent: Copernic
    Disallow: /
    
    User-agent: CopyRightCheck
    Disallow: /
    
    User-agent: cosmos
    Disallow: /
    
    User-agent: Crescent
    Disallow: /
    
    User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
    Disallow: /
    
    User-agent: DittoSpyder
    Disallow: /
    
    User-agent: EmailCollector
    Disallow: /
    
    User-agent: EmailSiphon
    Disallow: /
    
    User-agent: EmailWolf
    Disallow: /
    
    User-agent: EroCrawler
    Disallow: /
    
    User-agent: ExtractorPro
    Disallow: /
    
    User-agent: FairAd Client
    Disallow: /
    
    User-agent: Flaming AttackBot
    Disallow: /
    
    User-agent: Foobot
    Disallow: /
    
    User-agent: Gaisbot
    Disallow: /
    
    User-agent: GetRight/4.2
    Disallow: /
    
    User-agent: Harvest/1.5
    Disallow: /
    
    User-agent: hloader
    Disallow: /
    
    User-agent: httplib
    Disallow: /
    
    User-agent: humanlinks
    Disallow: /
    
    User-agent: InfoNaviRobot
    Disallow: /
    
    User-agent: Iron33/1.0.2
    Disallow: /
    
    User-agent: JennyBot
    Disallow: /
    
    User-agent: Kenjin Spider
    Disallow: /
    
    User-agent: Keyword Density/0.9
    Disallow: /
    
    User-agent: larbin
    Disallow: /
    
    User-agent: LexiBot
    Disallow: /
    
    User-agent: libWeb/clsHTTP
    Disallow: /
    
    User-agent: LinkextractorPro
    Disallow: /
    
    User-agent: LinkScan/8.1a Unix
    Disallow: /
    
    User-agent: LinkWalker
    Disallow: /
    
    User-agent: LNSpiderguy
    Disallow: /
    
    User-agent: lwp-trivial
    Disallow: /
    
    User-agent: lwp-trivial/1.34
    Disallow: /
    
    User-agent: Mata Hari
    Disallow: /
    
    User-agent: Microsoft URL Control
    Disallow: /
    
    User-agent: Microsoft URL Control - 5.01.4511
    Disallow: /
    
    User-agent: Microsoft URL Control - 6.00.8169
    Disallow: /
    
    User-agent: MIIxpc
    Disallow: /
    
    User-agent: MIIxpc/4.2
    Disallow: /
    
    User-agent: Mister PiX
    Disallow: /
    
    User-agent: moget
    Disallow: /
    
    User-agent: moget/2.1
    Disallow: /
    
    User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
    Disallow: /
    
    User-agent: NetAnts
    Disallow: /
    
    User-agent: NetMechanic
    Disallow: /
    
    User-agent: NICErsPRO
    Disallow: /
    
    User-agent: Offline Explorer
    Disallow: /
    
    User-agent: Openbot
    Disallow: /
    
    User-agent: Openfind
    Disallow: /
    
    User-agent: Openfind data gatherer
    Disallow: /
    
    User-agent: ProPowerBot/2.14
    Disallow: /
    
    User-agent: ProWebWalker
    Disallow: /
    
    User-agent: psbot
    Disallow: /
    
    User-agent: Python-urllib
    Disallow: /
    
    User-agent: Radiation Retriever 1.1
    Disallow: /
    
    User-agent: RepoMonkey
    Disallow: /
    
    User-agent: RepoMonkey Bait & Tackle/v1.01
    Disallow: /
    
    User-agent: RMA
    Disallow: /
    
    User-agent: SiteSnagger
    Disallow: /
    
    User-agent: SpankBot
    Disallow: /
    
    User-agent: spanner
    Disallow: /
    
    User-agent: suzuran
    Disallow: /
    
    User-agent: Szukacz/1.4
    Disallow: /
    
    User-agent: Teleport
    Disallow: /
    
    User-agent: TeleportPro
    Disallow: /
    
    User-agent: Telesoft
    Disallow: /
    
    User-agent: The Intraformant
    Disallow: /
    
    User-agent: TheNomad
    Disallow: /
    
    User-agent: TightTwatBot
    Disallow: /
    
    User-agent: toCrawl/UrlDispatcher
    Disallow: /
    
    User-agent: True_Robot
    Disallow: /
    
    User-agent: True_Robot/1.0
    Disallow: /
    
    User-agent: turingos
    Disallow: /
    
    User-agent: URL Control
    Disallow: /
    
    User-agent: URL_Spider_Pro
    Disallow: /
    
    User-agent: URLy Warning
    Disallow: /
    
    User-agent: VCI
    Disallow: /
    
    User-agent: VCI WebViewer VCI WebViewer Win32
    Disallow: /
    
    User-agent: Web Image Collector
    Disallow: /
    
    User-agent: WebAuto
    Disallow: /
    
    User-agent: WebBandit
    Disallow: /
    
    User-agent: WebBandit/3.50
    Disallow: /
    
    User-agent: WebCopier
    Disallow: /
    
    User-agent: WebSauger
    Disallow: /
    
    User-agent: Website Quester
    Disallow: /
    
    User-agent: Webster Pro
    Disallow: /
    
    User-agent: WebStripper
    Disallow: /
    
    User-agent: WebZip
    Disallow: /
    
    User-agent: WebZip/4.0
    Disallow: /
    
    User-agent: Wget
    Disallow: /
    
    User-agent: Wget/1.5.3
    Disallow: /
    
    User-agent: Wget/1.6
    Disallow: /
    
    User-agent: WWW-Collector-E
    Disallow: /
    
    User-agent: Xenu's
    Disallow: /
    
    User-agent: Xenu's Link Sleuth 1.1c
    Disallow: /
    
    User-agent: Zeus
    Disallow: /
    
    User-agent: Zeus 32297 Webster Pro V2.9 Win32
    Disallow: /
    
    User-agent: Zeus Link Scout
    Disallow: /
    
    # All Bots!
    User-agent: *
    Disallow: /adm/
    Disallow: /blocks/
    Disallow: /cache/
    Disallow: /ctracker/
    #Disallow: /docs/
    Disallow: /downloads/
    Disallow: /files/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /language/
    Disallow: /logs/
    Disallow: /pafiledb/
    Disallow: /templates/
    Disallow: /calendar.php
    Disallow: /calendar_scheduler.php
    Disallow: /common.php
    Disallow: /config.php
    Disallow: /groupcp.php
    Disallow: /login_ip.php
    Disallow: /memberlist.php
    Disallow: /modcp.php
    Disallow: /posting.php: /printview.php
    Disallow: /privmsg.php
    Disallow: /profile.php
    Disallow: /ranks.php
    Disallow: /search.php
    Disallow: /statistics.php
    Disallow: /tellafriend.php
    Disallow: /viewonline.php
    Disallow: /_broletta.php
    Disallow: /_solmyr.php
    
    
    ```prerchè molte volte passa ma non mi indicizza le discussioni...
    grazie