• Super User

    Non saprei. Ma quel robots.txt è totalmente inutile. Toglilo.


  • User Attivo

    A me non da nessun tipo di errore :ciauz:


  • User Attivo

    Dalla linguetta "analisi di robots.txt" ottengo un bel 200, quindi tutto OK 🙂
    Interessante, sempre in fondo a questa pagina, la possibilità di far eseguire un check del proprio robots.txt da parte di 4 user-agent:

    • Googlebot
    • Googlebot-Mobile
    • Googlebot-Image
    • Mediapartners-Google
      P.S.: il robots.txt lo tengo in quanto purista e "all'antica" 😛
      :lol:

  • User

    pero' pur se inutile anche su giorgiotrave.it è presente quel robots.txt


  • Super User

    tieni il robots.txt. ma tienilo vuoto. 🙂


  • User Attivo

    @Tagliaerbe said:

    Dalla linguetta "analisi di robots.txt" ottengo un bel 200, quindi tutto OK 🙂
    Interessante, sempre in fondo a questa pagina, la possibilità di far eseguire un check del proprio robots.txt da parte di 4 user-agent:

    • Googlebot
    • Googlebot-Mobile
    • Googlebot-Image
    • Mediapartners-Google
      P.S.: il robots.txt lo tengo in quanto purista e "all'antica" 😛
      :lol:

    A me da un errore perchè superiore ai 5000 caratteri puù influire la cosa?? :mmm:


  • Super User

    @must said:

    tieni il robots.txt. ma tienilo vuoto. 🙂
    Non escludo a priori che quella sopra possa essere una genialata anzichenò.
    Però me la devi proprio spiegare. 😉


  • Super User

    @Maro said:

    A me da un errore perchè superiore ai 5000 caratteri puù influire la cosa?? :mmm:
    Ellamiseria! Cosa ci hai scritto, un blog come quello di [url=http://www.webmasterworld.com/robots.txt]Brett Tabke? 😄


  • Super User

    @ArkaneFactors said:

    Ellamiseria! Cosa ci hai scritto, un blog come quello di [url=http://www.webmasterworld.com/robots.txt]Brett Tabke? 😄

    bello l'indirizzo ip che sta alla fine!!! :lol:


  • Super User

    @ArkaneFactors said:

    Non escludo a priori che quella sopra possa essere una genialata anzichenò.
    Però me la devi proprio spiegare. 😉

    dubito sia una genialata, comunque te la spiego in fretta.

    mi secca vedere 404 nei logs, e non avendo nulla da mettere, creo il file e lo lascio vuoto. 😄


  • Super User

    tornando al robots.txt di Brett, non male anche il suo PR 🙂


  • User Attivo

    @ArkaneFactors said:

    Ellamiseria! Cosa ci hai scritto, un blog come quello di [url=http://www.webmasterworld.com/robots.txt]Brett Tabke? 😄

    Questo:

    # Robots.txt file for www.ilcodicedavinci.org
    #IL CODICE DA VINCI
    User-agent: *
    Disallow:/stat/
    Disallow:/forum/Themes/
    Disallow:/forum/Sources/
    Disallow:/mkportal/admin/
    Disallow:/mkportal/templates/
    Disallow:/mkportal/lang/
    Disallow:/mkportal/cache/
    Disallow:/mkportal/include/
    
    
    User-agent: EmailCollector  (Scansiona il Web alla ricerca di E-mail).
    Disallow: /
    
    User-agent: Teleport        (Software per lo scaricamento di interi siti).
    Disallow: /
    
    #User-agent: TeleportPro
    #Disallow: /
    : Teleport Pro/1.29.1718: /
    : Teleport Pro/1.29.1632: /
    : Teleport Pro/1.29.1590: /
    : Teleport Pro/1.29: /
    
    User-agent: webmirror 
    Disallow: / 
    
    User-agent: webcopy 
    Disallow: / 
    
    User-agent: WebBandit/3.50
    Disallow: /
    
    User-agent: WinHTTrack 
    Disallow: / 
    
    User-agent: website extractor 
    Disallow: / 
    
    User-agent: SuperBot 
    Disallow: / 
    
    User-agent: SuperBot/2.6 
    Disallow: / 
    
    User-agent: WebReaper 
    Disallow: / 
    
    User-agent: Black Hole 
    Disallow: / 
    
    User-agent: Titan 
    Disallow: / 
    
    User-agent: NetMechanic 
    Disallow: / 
    
    User-agent: CherryPicker 
    Disallow: / 
    
    User-agent: DISCo Pump 3.1 
    Disallow: / 
    
    User-agent: NetAttache 
    Disallow: / 
    
    User-agent: NetAttache Light 1.1 
    Disallow: / 
    
    User-agent: EmailSiphon 
    Disallow: / 
    
    User-agent: WebBandit 
    Disallow: / 
    
    User-agent: EmailWolf 
    Disallow: / 
    
    User-agent: ExtractorPro 
    Disallow: / 
    
    User-agent: CopyRightCheck 
    Disallow: / 
    
    User-agent: Crescent 
    Disallow: / 
    
    User-agent: SiteSnagger 
    Disallow: / 
    
    User-agent: ProWebWalker 
    Disallow: / 
    
    User-agent: CheeseBot 
    Disallow: / 
    
    User-agent: Alexibot 
    Disallow: / 
    
    User-agent: Wget 
    Disallow: / 
    
    User-agent: MIIxpc 
    Disallow: / 
    
    User-agent: Telesoft 
    Disallow: / 
    
    User-agent: Website Quester 
    Disallow: / 
    
    User-agent: WebZip 
    Disallow: / 
    
    User-agent: moget/2.1 
    Disallow: / 
    
    User-agent: WebZip/4.0 
    Disallow: / 
    
    User-agent: WebStripper 
    Disallow: / 
    
    User-agent: WebStripper/2.02 
    Disallow: / 
    
    User-agent: WebSauger 
    Disallow: / 
    
    User-agent: WebCopier 
    Disallow: / 
    
    User-agent: NetAnts 
    Disallow: / 
    
    User-agent: Mister PiX 
    Disallow: / 
    
    User-agent: WebAuto 
    Disallow: / 
    
    User-agent: TheNomad 
    Disallow: / 
    
    User-agent: WWW-Collector-E 
    Disallow: / 
    
    User-agent: RMA 
    Disallow: / 
    
    User-agent: libWeb/clsHTTP 
    Disallow: / 
    
    User-agent: asterias 
    Disallow: / 
    
    User-agent: httplib 
    Disallow: / 
    
    User-agent: turingos 
    Disallow: / 
    
    User-agent: spanner 
    Disallow: / 
    
    User-agent: InfoNaviRobot 
    Disallow: / 
    
    User-agent: Harvest/1.5 
    Disallow: / 
    
    User-agent: Bullseye/1.0 
    Disallow: / 
    
    User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0 
    Disallow: / 
    
    User-agent: CherryPickerSE/1.0 
    Disallow: / 
    
    User-agent: CherryPickerElite/1.0 
    Disallow: / 
    
    User-agent: WebBandit/3.50 
    Disallow: / 
    
    User-agent: NICErsPRO 
    Disallow: / 
    
    User-agent: Microsoft URL Control - 5.01.4511 
    Disallow: / 
    
    User-agent: DittoSpyder 
    Disallow: / 
    
    User-agent: Foobot 
    Disallow: / 
    
    User-agent: WebmasterWorldForumBot 
    Disallow: / 
    
    User-agent: SpankBot 
    Disallow: / 
    
    User-agent: BotALot 
    Disallow: / 
    
    User-agent: lwp-trivial/1.34 
    Disallow: / 
    
    User-agent: lwp-trivial 
    Disallow: / 
    
    User-agent: Wget/1.6 
    Disallow: / 
    
    User-agent: BunnySlippers 
    Disallow: / 
    
    User-agent: URLy Warning 
    Disallow: / 
    
    User-agent: Wget/1.5.3 
    Disallow: / 
    
    User-agent: LinkWalker 
    Disallow: / 
    
    User-agent: cosmos 
    Disallow: / 
    
    User-agent: moget 
    Disallow: / 
    
    User-agent: hloader 
    Disallow: / 
    
    User-agent: humanlinks 
    Disallow: / 
    
    User-agent: LinkextractorPro 
    Disallow: / 
    
    User-agent: Mata Hari 
    Disallow: / 
    
    User-agent: LexiBot 
    Disallow: / 
    
    User-agent: Offline Explorer 
    Disallow: / 
    
    User-agent: Web Image Collector 
    Disallow: / 
    
    User-agent: The Intraformant 
    Disallow: / 
    
    User-agent: True_Robot/1.0 
    Disallow: / 
    
    User-agent: True_Robot 
    Disallow: / 
    
    User-agent: BlowFish/1.0 
    Disallow: / 
    
    User-agent: JennyBot 
    Disallow: / 
    
    User-agent: MIIxpc/4.2 
    Disallow: / 
    
    User-agent: BuiltBotTough 
    Disallow: / 
    
    User-agent: ProPowerBot/2.14 
    Disallow: / 
    
    User-agent: BackDoorBot/1.0 
    Disallow: / 
    
    User-agent: toCrawl/UrlDispatcher 
    Disallow: / 
    
    User-agent: WebEnhancer 
    Disallow: / 
    
    User-agent: TightTwatBot 
    Disallow: / 
    
    User-agent: suzuran 
    Disallow: / 
    
    User-agent: VCI WebViewer VCI WebViewer Win32 
    Disallow: / 
    
    User-agent: VCI 
    Disallow: / 
    
    User-agent: Szukacz/1.4 
    Disallow: / 
    
    User-agent: QueryN Metasearch 
    Disallow: / 
    
    User-agent: Openfind data gathere 
    Disallow: / 
    
    User-agent: Openfind 
    Disallow: / 
    
    User-agent: Xenu's Link Sleuth 1.1c 
    Disallow: / 
    
    User-agent: Xenu's 
    Disallow: / 
    
    User-agent: Zeus 
    Disallow: / 
    
    User-agent: RepoMonkey Bait & Tackle/v1.01 
    Disallow: / 
    
    User-agent: RepoMonkey 
    Disallow: / 
    
    User-agent: Zeus 32297 Webster Pro V2.9 Win32 
    Disallow: / 
    
    User-agent: Webster Pro 
    Disallow: / 
    
    User-agent: EroCrawler 
    Disallow: / 
    
    User-agent: LinkScan/8.1a Unix 
    Disallow: / 
    
    User-agent: Kenjin Spider 
    Disallow: / 
    
    User-agent: Cegbfeieh 
    Disallow: /
    

  • Super User

    Per i puristi (mica tanto poi se non vuoi riempire i log di 404) che vogliono laciare le porte aperte:

    User-agent: * 
    Disallow:
    

  • User Attivo

    si google sitemap è stata aggiornata ieri pomeriggio.

    cmq anche a me dice:
    Errore Dettaglio
    URL limitato da robots.txt URL limitato da robots.txt

    mhà!