<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[quesito su robots.txt strano]]></title><description><![CDATA[<p dir="auto">Buonasera a tutti,<br />
so gnurante, mi dareste spiegazione o conferma di quello che ho trovato su un sito (realizzato in WordPress con 400 pagine piu o meno)</p>
<p dir="auto">posso anche capire bloccare i bot di semrush e ahrefs, forse per evitare rallentamenti da scansioni intensive? boh<br />
ma il resto?!</p>
<p dir="auto">User-agent: DomainCrawler<br />
Disallow: /<br />
User-agent: SemrushBot<br />
Disallow: /<br />
User-agent: AhrefsBot<br />
Disallow: /<br />
User-agent: *<br />
Disallow: /<em>.jpg<br />
Disallow: /</em>.JPG<br />
Disallow: /<em>.png<br />
Disallow: /</em>.PDF<br />
Disallow: /<em>.pdf<br />
Disallow: /</em>.mp3<br />
Disallow: /<em>.MOV<br />
Disallow: /</em>.mov<br />
Disallow: /<em>.AVI<br />
Disallow: /</em>.avi<br />
Disallow: /<em>.csv<br />
Disallow: /</em>.data<br />
Crawl-delay: 2</p>
<p dir="auto">è roba normale?</p>
]]></description><link>https://connect.gt/topic/251098/quesito-su-robots-txt-strano</link><generator>RSS for Node</generator><lastBuildDate>Sun, 19 Apr 2026 07:50:19 GMT</lastBuildDate><atom:link href="https://connect.gt/topic/251098.rss" rel="self" type="application/rss+xml"/><pubDate>Wed, 20 Mar 2024 18:04:18 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to quesito su robots.txt strano on Thu, 21 Mar 2024 21:27:50 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="https://connect.gt/uid/130848">@giulio-marchesi</a> grazie per le conferme <img src="https://connect.gt/plugins/nodebb-plugin-emoji/emoji/android/1f642.png?v=4as8rolt52f" class="not-responsive emoji emoji-android emoji--slightly_smiling_face" title=":-)" alt="🙂" /><br />
Quel poco di contesto che so è che il sito è stato rifatto di recente da non so chi e il cliente finale sembra si sia ritrovato con perdita di posizionamenti vari. Al che mi han chiesto di dargli una occhiata e oltre a varie cosucce ( ben più gravi) trovate c’era appunto questo robots<br />
A buttarla lì mi veniva da supporre fosse il vecchio robots di un sito non WordPress che si sono ritrovati li causa penosa migrazione visto che manca il tipico disallow su Word-admin ma vai a sapere che hanno combinato..<br />
Fa ridere poi che il sito blocca jpg e png ma non le svg che risultano le uniche indicizzate<br />
Morale: per me è proprio un lavoro fatto male e basta <img src="https://connect.gt/plugins/nodebb-plugin-emoji/emoji/android/1f622.png?v=4as8rolt52f" class="not-responsive emoji emoji-android emoji--cry" title=":cry:" alt="😢" /></p>
]]></description><link>https://connect.gt/post/1311777</link><guid isPermaLink="true">https://connect.gt/post/1311777</guid><dc:creator><![CDATA[shazarak]]></dc:creator><pubDate>Thu, 21 Mar 2024 21:27:50 GMT</pubDate></item><item><title><![CDATA[Reply to quesito su robots.txt strano on Thu, 21 Mar 2024 11:54:50 GMT]]></title><description><![CDATA[<p dir="auto"><a class="plugin-mentions-user plugin-mentions-a" href="https://connect.gt/uid/66618">@shazarak</a> mah, per conoscere le eventuali ragioni occorre conoscere bene tutto il contesto ovviamente, comunque sia  di robots.txt "creativi" ne ho trovati diversi, anche con annunci di lavoro, lol.</p>
<p dir="auto">Diciamo che bloccare i bot di Semrush e Ahrefs mi pare un po' stupido (tra l'altro nell'eventualità, i bot degli altri servizi? Dimenticati? Mah...).</p>
<p dir="auto">Bloccare la scansione di determinati file può avere senso in alcune condizioni, qui a livello generale direi di prestare molta attenzione! Ha senso se vuoi evitare la scansione e indicizzazione di file che possono non essere scansionati, indicizzati, se però contribuiscono al rendering o al posizionamento stesso, direi proprio che bloccarli è un errore! Bloccare un'immagine, magari infografica con potenziale utilità per gli utenti (e potenziale traffico, impression), titolo ottimizzato e alt-text, è sicuramente un errore.</p>
<p dir="auto">Quindi ribadisco che sarebbe opportuno conoscere meglio il contesto, tutte le ragioni (ammesso che esistano!) per cui il robots.txt sia stato strutturato in questo modo. Dopodiché, se un sito amatoriale o comunque piccolino ha un robots.txt con più istruzioni di quello di Google, viene da farsi qualche domanda.</p>
]]></description><link>https://connect.gt/post/1311767</link><guid isPermaLink="true">https://connect.gt/post/1311767</guid><dc:creator><![CDATA[giulio.marchesi]]></dc:creator><pubDate>Thu, 21 Mar 2024 11:54:50 GMT</pubDate></item></channel></rss>