Ciao Federico,
grazie per questo aggiornamento, lo citerò su FastFoward.
Stavo cercando di aggiornarmi e sono felice di trovare qui questo contributo così importante.
Devo dire che mi piace molto il "in collaborazione con l'inventore originale del protocollo Martijn Koster e altri motori di ricerca" e mi piacciono un po' meno le altre cose che anche tu critichi. Hai perfettamente ragione: è troppo Google-centrico.
Questa cosa ha alcuni risvolti. Di sicuro notiamo come Google dove agisce lo fa sì per migliorare le cose, ma anche per imporre le sue di interpretazioni.
Noi siamo lontani anni luce da quelle dinamiche, non sappiamo se gli altri motori di ricerca hanno effettivamente partecipato al dibattito. Che poi diciamocolo, su questa cosa in particolare: tutti gli altri si accodavano già a Google in linea generale.
Quindi, forse, è anche giusto che sia così.
Mi piacciono le due cose che fai notare:
Nota: Seznam, il motore della Repubblica Ceca, ha proposte alternative interessanti: Request-rate (equivalente a Crawl-Delay) e Visit-time, quest'ultima in particolare permetterebbe di sostituire l'impostazione fornita a Bing dal suo Webmasters Tool.
Non vi è alcuno sforzo nella RFC di risolvere il problema dei web server con file system case-insensitive; personalmente proverò ad avanzare una proposta:
Case-sensitive: [true | false] # default value is true
Chissà Andrea Pernici (@juanin) cosa ne pensa