- Home
- Categorie
- Digital Marketing
- Consigli su Penalizzazioni e Test SEO
- Posso bloccare bing?
-
Posso bloccare bing?
Puoi dare l'indicazione attraverso il robots.txt (è solo indicativo il crawler potrebbe non considerare la tua segnalazione)
User-agent: * Allow: / User-agent: Bingbot Disallow: / User-agent: yandex Disallow: /example-subfolder/ User-agent: baiduspider Disallow: /example-subfolder/blocked-page.htmlLa prima indicazione è quella che permette a tutti i crawler di "scansionare" il tuo sito.. la seconda invece dice a Bing di non scansionarti.
Nell'esempio poi ti ho messo come dire a Yandex di non scansionare la cartella "example-subfolde" e tutto ciò che è dentro.
Eventualmente puoi dire anche di evitare la scansione di una pagina specifica a "Baidu General".Attenzione: rispetta l'ordine delle direttive.. quindi prima gli allow e poi di disallow.
Baidu General baiduspider Baidu Images baiduspider-image Baidu Mobile baiduspider-mobile Baidu News baiduspider-news Baidu Video baiduspider-video Bing General bingbot Bing General msnbot Bing Images & Video msnbot-media Bing Ads adidxbot Google General Googlebot Google Images Googlebot-Image Google Mobile Googlebot-Mobile Google News Googlebot-News Google Video Googlebot-Video Google AdSense Mediapartners-Google Google AdWords AdsBot-Google Yahoo! General slurp Yandex General yandexL'elenco dei crawler lo puoi trovare qui: https://www.robotstxt.org/db.html
1 Risposta
-
@mirkomassarutto ha detto in Posso bloccare bing?:
Puoi dare l'indicazione attraverso il robots.txt (è solo indicativo il crawler potrebbe non considerare la tua segnalazione)
In realtà tutti i principali motori di ricerca la rispettano come una direttiva, Bing incluso.
Nel merito, non so se lo farei. Bing è una nicchia, ma pur sempre utilizzato.
Agirei piuttosto da Bing Webmaster Tools per rallentare la frequenza di scansione.
-
@kal Si come detto in generale viene rispettata.. poi ho tenuto a precisare che dipende dal bot.
Per quanto riguarda il "bloccarlo" personalmente credo sia errato.. come dici tu eventualmente rallentare la frequenza su Bing Webmaster è il suggerimento migliore.
-
@pornupdate ha detto in Posso bloccare bing?:
Queste le visite che più o meno tutti i miei siti ricevono da bing:
Ciao
non vedo alcun motivo per bloccare Bing. Personalmente non lo bloccherei.
-
Non è raro che Bingbot si comporti in questo modo.
Davvero non c'è stato modo di ottenere un rallentamento via Bing Webmaster Tools?
@pornupdate ha detto in Posso bloccare bing?:
Però il dubbio rimane: ci può essere qualche aspetto negativo a cui non ho pensato, che può compromettere le mie visite, bloccando bing?
Che perdi tutte le visite dalle piattaforme che usano Bing.
Inclusa, ad esempio, la ricerca nativa di Windows 10.
Valuta tu.
-
@pornupdate perdonami ma credo che tu debba dare la direttiva per ogni bot...
User-agent: Bingbot Disallow: /rss.php?query=* Disallow: /rss.php?q=* Disallow: /rss_search.php?q=* Disallow: /rss.php?id=* Disallow: /rss.php?page=* Crawl-delay: 2 User-agent: bingbot/2.0 Disallow: /rss.php?query=* Disallow: /rss.php?q=* Disallow: /rss_search.php?q=* Disallow: /rss.php?id=* Disallow: /rss.php?page=* Crawl-delay: 2 User-agent: bingbot Disallow: /rss.php?query=* Disallow: /rss.php?q=* Disallow: /rss_search.php?q=* Disallow: /rss.php?id=* Disallow: /rss.php?page=* Crawl-delay: 2 User-agent: msnbot Disallow: /rss.php?query=* Disallow: /rss.php?q=* Disallow: /rss_search.php?q=* Disallow: /rss.php?id=* Disallow: /rss.php?page=* Crawl-delay: 2 User-agent: msnbot/2.0b Disallow: /rss.php?query=* Disallow: /rss.php?q=* Disallow: /rss_search.php?q=* Disallow: /rss.php?id=* Disallow: /rss.php?page=* Crawl-delay: 2
-
@mirkomassarutto non c'è un vero e proprio standard (purtroppo), ma sicuramente fare un gruppo per bot è la cosa più "sicura".
Aggiungo questo articolo di Bing che spiega varie cose, tra cui la conferma che Bingbot, a differenza di Googlebot, rispetta il Crawl delay:
https://blogs.bing.com/webmaster/2012/05/03/to-crawl-or-not-to-crawl-that-is-bingbots-question/
-
@pornupdate ha detto in Posso bloccare bing?:
Tipo duckduckgo
Sì, DDG mi risulta utilizzi le search API di Bing... Quindi bloccando Bing saresti fuori anche da DDG.
-
@pornupdate ehm.. 50 siti su un server con "milioni" di pagine? se hanno milioni di pagine forse dovresti pensare a come sono strutturate ed il carico che danno alla macchina.. e magari pensare di suddividerli in server differenti... insomma se hanno milioni di pagine spero che lo facciano per business.. quindi ci sta anche spendere un pelo di più!
Di seguito le statistiche di utilizzo a livello mondiale Novembre 2020
Potresti tenere solo Google... però se fai 1 Milione di fatturato e ti dicessi che ci perdi il 7.84% (78400 Euro) non so se saresti contento.. o no?
Forse converrebbe spenderne un migliaio per un server dedicato
Una curiosità... ma negli screenshot che hai messo nel post vedo numeri parecchio bassi... intorno al migliaio di visitatori.. sono giornalieri? o cosa? perché con "milioni" di pagine mi aspetterei qualcosa di più.
Vorrei vedere uno dei siti di cui parli per farci un giro e capire se hai dei loop o cosa... Search Console cosa ti dice?
-
Sul serio fai fare SEO ad un indiano? Auguri
-
@mirkomassarutto nel settore adult perdipiù
-
@pornupdate a naso, l'indiano si intasca i tuoi soldini e non fa nulla di nulla. Questo nel MIGLIORE dei casi.
Nel peggiore ti spamma link e altre porcherie su siti bannati da Google e ti espone a tua volta a rischio ban.
Il punto è, come dice @mirkomassarutto, tu stai cercando un SEO per fare le magie... Ma hai innanzi tutto bisogno di occuparti tu per primo di cose tecniche, perché hai sicuramente dei grossi problemi di architettura del contenuto sul sito.
Hai dei crawl loop o altre cose simili che fanno imbizzarrire i bot.
Bloccare Bingbot è come prendere la Tachipirina: la febbre magari ti si abbassa, ma la malattia mica è guarita.
Riguardo al fatto che non riesci a trovare un SEO, a occhio è per via dell'offerta economica, prima ancora che per il settore "particolare".
A revenue share non troverai nessuno disposto a metterci manco gli occhi sopra
-
@pornupdate ha detto in Posso bloccare bing?:
@kal ha detto in Posso bloccare bing?:
a naso, l'indiano si intasca i tuoi soldini e non fa nulla di nulla. Questo nel MIGLIORE dei casi.
La mia triste impressione è sempre di più che tutti questi esperti seo siano tutti così...
Credo che il problema stia anche qui, come già detto:
@kal ha detto in Posso bloccare bing?:
Riguardo al fatto che non riesci a trovare un SEO, a occhio è per via dell'offerta economica, prima ancora che per il settore "particolare".
A revenue share non troverai nessuno disposto a metterci manco gli occhi sopra
-
@pornupdate ha detto in Posso bloccare bing?:
E infatti soldi da questi siti non ne escono... non abbastanza da investire in server seri
Ora, un SEO valido non lo trovi gratuitamente... se tu chiedi ad un professionista di lavorare per il 50% della revenue di siti che non generano sufficienti guadagni cosa ti aspetti?
Se uno è un "professionista" deve essere pagato come tale... se ti da il servizio per pochi euro probabilmente non sarà così affidabile: una buona attività SEO richiede ore di lavoro, soprattutto in fase di analisi iniziale...
