Perché non esiste un Robots.txt dei Social e perché bisognerebbe crearlo

[giorgiotave]

Perché non esiste un Robots.txt dei Social e perché bisognerebbe crearlo

Il Robots.txt è un file molto conosciuto dai SEO e da tutti quelli che si occupano di motori di ricerca. È un file interessante che, elevato a istruzioni globali e riconosciuto legalmente, potrebbe diventare uno strumento potente.

Ad oggi le informazioni sono relative allo spider dei motori di ricerca, per i Social sono blande e non ufficiali. Questo perché in realtà, i Social non effettuano una fase di crawling come un motore di ricerca. Però è molto simile: leggiamo cosa fa il Crawling di Facebook.

Il crawler raccoglie, memorizza nella cache e visualizza le informazioni sull'app o sul sito web come il titolo, la descrizione e l'immagine in miniatura.

Questo quando qualcuno condivide. Non prende tutta la pagina ma solo il 1 MB

Allora qui la mia proposta: sempre a livello di Robots.txt, avere delle istruzioni per regolare anche gli spider dei Social e comunicare anche la non condivisione di una risorsa.

E questo, per legge, deve essere implementato da tutte le piattaforme che superano un determinato numero di utenti/traffico.

Se tu persona condividi una risorsa che non è condivisibile, il sistema te la blocca e ti manda un popup.

Sono completamente pazzo?

Non lo so.

So che però ci sono pagine che non vorresti avere nei social e che sarebbe importante avere uno strumento di controllo.

Secondo me bisognerebbe crearlo e rendere la cosa ufficiale.

Prendiamo le immagini ad esempio. Magari io non voglio che siano condivise. È un mio diritto poter scegliere. Ad oggi le indicazioni sono ufficiose e molto scarse, secondo me andrebbe potenziato, reso ufficiale e dare valenza legale.

Che ne pensate?

[barretta]

Come al solito le tue idee/riflessioni sono interessanti e stimolanti.
Considerando che spesso e volentieri anche sedicenti "professionisti" della SEO non comprendono ed utilizzano correttamente il robots.txt credi che la tipologia di utenza che si riversa nei social (leggasi FB ad esempio) abbia questa percezione ed attenzione oltre che competenza per poter utilizzare/implementare un file di questo genere?

[kal]

Bella provocazione @giorgiotave !

Ad oggi questa cosa può tecnicamente essere fatta solo a livello sistemistico, bloccando a monte a livello di server web gli user agent e/o gli IP, solo su specifiche URL.

Non proprio una passeggiata lato tecnico. Fattibile, ma non per tutti.

Sì, penso tu abbia ragione sul concetto generale.

I motori di ricerca onorano storicamente da sempre la volontà dei webmaster di non voler essere scansionati del tutto o in parte.

Sui social non si è mai creata questa cosa perché si è sempre dato per scontato che uno VOGLIA esserci... e che la condivisione sia qualcosa di inerentemente buono. Ma non è affatto detto che sia così.

[robertosantoli]

sui social agisci sui livelli di privacy per i Post e sulla visibilità di Pagine e Gruppi per rendere pubblico ed indicizzabile internamente ed esternamente i contenuti o nasconderli.

[SteTomasi]

@giorgiotave secondo me non c'è blocco che tenga per la condivisione sui social...basta fare uno screenshot ...pensiamo ad esempio che un utente faccia uno screenshot di una pagina web di un'area riservata che appunto non è indicizzata sui motori di ricerca... è impossibile fermare la "condivisione" sul web... ormai la gente fa di tutto per condividere qualcosa se vuol fare nascere una discussione su un determinato argomento...forse la riflessione dovrebbe estendersi all'educazione al giorno d'oggi e inserire nell'educazione civica, messa come materia scolastica, una sorta di netiquette del web e social...ormai i giovani d'oggi crescono con in mano uno smartphone a 13 anni senza il minimo di conoscenza di quale arma hanno in mano...non per niente la piaga di oggi è il cyberbullismo

[juanin]

Se in og:URL metti localhost o vattela a pesca non ti condivide. Poi ovvio nel post uno se vuole l'URL la scrive.