Posso bloccare bing?

[pornupdate]

Posso bloccare bing?

Dritto al punto, questi sono gli accessi giornalieri del mio server:

sudo cat /var/log/httpd/access.log | awk -F\" '{print $6}' | sort | uniq -c | sort -n
.....
   6695 Googlebot-Image/1.0
   7134 Mozilla/5.0 (Linux; Android 6.0; CAM-L03) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.101 Mobile Safari/537.36
   7927 Mozilla/5.0 (iPhone; CPU iPhone OS 14_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) CriOS/87.0.4280.77 Mobile/15E148 Safari/604.1
   8002 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0.1 Safari/605.1.15
   9829 Mozilla/5.0 (iPhone; CPU iPhone OS 14_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0.2 Mobile/15E148 Safari/604.1
  10656 Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36
  14465 Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19
  21064 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.66
  21709 Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36
  24862 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/87.0.4280.90 Safari/537.36
  25023 Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36
  25822 Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36
  36899 Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:84.0) Gecko/20100101 Firefox/84.0
  56217 Mozilla/5.0 (iPhone; CPU iPhone OS 14_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0.1 Mobile/15E148 Safari/604.1
  64203 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36
  94823 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
 102313 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
 115242 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.90 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
 124573 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36
 792018 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Queste le visite che più o meno tutti i miei siti ricevono da bing:




(ricevo più visite da yandex e baidu che sono completamente bloccati da robot.txt e da motori di ricerca mai visti prima)

Ma bloccare bing storicamente, spaventa... è il secondo colosso... e spesso si sente che altri motori di ricerca usano i suoi database, bing è l'alternativa ... bing è bing... è la grande M...

Quindi, quali sono i rischi effettivi e quali sono i vantaggi effettivi nel bloccare bing nel (ormai) 2021?

[mirkomassarutto]

Puoi dare l'indicazione attraverso il robots.txt (è solo indicativo il crawler potrebbe non considerare la tua segnalazione)

User-agent: *
Allow: /

User-agent: Bingbot
Disallow: /

User-agent: yandex
Disallow: /example-subfolder/

User-agent: baiduspider
Disallow: /example-subfolder/blocked-page.html

La prima indicazione è quella che permette a tutti i crawler di "scansionare" il tuo sito.. la seconda invece dice a Bing di non scansionarti.
Nell'esempio poi ti ho messo come dire a Yandex di non scansionare la cartella "example-subfolde" e tutto ciò che è dentro.
Eventualmente puoi dire anche di evitare la scansione di una pagina specifica a "Baidu General".

Attenzione: rispetta l'ordine delle direttive.. quindi prima gli allow e poi di disallow.

Baidu	General	baiduspider
Baidu	Images	baiduspider-image
Baidu	Mobile	baiduspider-mobile
Baidu	News	baiduspider-news
Baidu	Video	baiduspider-video
Bing	General	bingbot
Bing	General	msnbot
Bing	Images & Video	msnbot-media
Bing	Ads	adidxbot
Google	General	Googlebot
Google	Images	Googlebot-Image
Google	Mobile	Googlebot-Mobile
Google	News	Googlebot-News
Google	Video	Googlebot-Video
Google	AdSense	Mediapartners-Google
Google	AdWords	AdsBot-Google
Yahoo!	General	slurp
Yandex	General	yandex

L'elenco dei crawler lo puoi trovare qui: https://www.robotstxt.org/db.html

[kal]

@mirkomassarutto ha detto in Posso bloccare bing?:

Puoi dare l'indicazione attraverso il robots.txt (è solo indicativo il crawler potrebbe non considerare la tua segnalazione)

In realtà tutti i principali motori di ricerca la rispettano come una direttiva, Bing incluso.

Nel merito, non so se lo farei. Bing è una nicchia, ma pur sempre utilizzato.

Agirei piuttosto da Bing Webmaster Tools per rallentare la frequenza di scansione.

[mirkomassarutto]

@kal Si come detto in generale viene rispettata.. poi ho tenuto a precisare che dipende dal bot.

Per quanto riguarda il "bloccarlo" personalmente credo sia errato.. come dici tu eventualmente rallentare la frequenza su Bing Webmaster è il suggerimento migliore.

[sermatica]

@pornupdate ha detto in Posso bloccare bing?:

Queste le visite che più o meno tutti i miei siti ricevono da bing:

Ciao
non vedo alcun motivo per bloccare Bing. Personalmente non lo bloccherei.

[pornupdate]

Ciao, buon natale, grazie a tutti per le risposte.

Il motivo per bloccare bing è questo

Di tanto in tanto (ultimamente sempre più spesso) manda a fuoco il mio server...
Decide di entrare tipo un milione di volte in una giornata e il mio povero piccolo server si infiamma e in cambio invia magari un paio di visite l'anno...

Un po la stessa cosa che fa yandex, è un gran bel motore di ricerca, ma troppo invasivo e pesante per quello che da in cambio.

Ho anche provato a rallentare/calmare bing in tutti i modi, si può impostare la frequenza di scansdione per ogni sito su bing webmaster e limitare via robots.txt

User-agent: Bingbot
User-agent: bingbot/2.0
User-agent: bingbot
User-agent: msnbot
User-agent: msnbot/2.0b
Disallow: /rss.php?query=* 
Disallow: /rss.php?q=* 
Disallow: /rss_search.php?q=* 
Disallow: /rss.php?id=* 
Disallow: /rss.php?page=*  
Crawl-delay: 2

Ma non cambia quasi nulla, di delay accetta solo valori molto bassi, e ho dovuto aggiungere rules per gli rss, perchè qualche tempo fa ha iniziato a leggerli come fossero sitemap (un milione di volte al giorno l'uno).

Quindi, la mossa più logica da fare sarebbe sicuramente bloccarlo, non vale assolutamente la pena tenerti per quello che mi dai.
Però il dubbio rimane: ci può essere qualche aspetto negativo a cui non ho pensato, che può compromettere le mie visite, bloccando bing?

[kal]

Non è raro che Bingbot si comporti in questo modo.

Davvero non c'è stato modo di ottenere un rallentamento via Bing Webmaster Tools?

@pornupdate ha detto in Posso bloccare bing?:

Però il dubbio rimane: ci può essere qualche aspetto negativo a cui non ho pensato, che può compromettere le mie visite, bloccando bing?

Che perdi tutte le visite dalle piattaforme che usano Bing.

Inclusa, ad esempio, la ricerca nativa di Windows 10.

Valuta tu.

[mirkomassarutto]

@pornupdate perdonami ma credo che tu debba dare la direttiva per ogni bot...

User-agent: Bingbot
Disallow: /rss.php?query=* 
Disallow: /rss.php?q=* 
Disallow: /rss_search.php?q=* 
Disallow: /rss.php?id=* 
Disallow: /rss.php?page=*  
Crawl-delay: 2

User-agent: bingbot/2.0
Disallow: /rss.php?query=* 
Disallow: /rss.php?q=* 
Disallow: /rss_search.php?q=* 
Disallow: /rss.php?id=* 
Disallow: /rss.php?page=*  
Crawl-delay: 2

User-agent: bingbot
Disallow: /rss.php?query=* 
Disallow: /rss.php?q=* 
Disallow: /rss_search.php?q=* 
Disallow: /rss.php?id=* 
Disallow: /rss.php?page=*  
Crawl-delay: 2

User-agent: msnbot
Disallow: /rss.php?query=* 
Disallow: /rss.php?q=* 
Disallow: /rss_search.php?q=* 
Disallow: /rss.php?id=* 
Disallow: /rss.php?page=*  
Crawl-delay: 2

User-agent: msnbot/2.0b
Disallow: /rss.php?query=* 
Disallow: /rss.php?q=* 
Disallow: /rss_search.php?q=* 
Disallow: /rss.php?id=* 
Disallow: /rss.php?page=*  
Crawl-delay: 2

[kal]

@mirkomassarutto non c'è un vero e proprio standard (purtroppo), ma sicuramente fare un gruppo per bot è la cosa più "sicura".

Aggiungo questo articolo di Bing che spiega varie cose, tra cui la conferma che Bingbot, a differenza di Googlebot, rispetta il Crawl delay:

https://blogs.bing.com/webmaster/2012/05/03/to-crawl-or-not-to-crawl-that-is-bingbots-question/

[pornupdate]

@kal ha detto in Posso bloccare bing?:

Che perdi tutte le visite dalle piattaforme che usano Bing.
Inclusa, ad esempio, la ricerca nativa di Windows 10.
Valuta tu.

Visti i numeri... verrebbe da dire "chi se ne frega", ma ce ne saranno anche altre? Tipo duckduckgo, qwant? Tanto tempo fa so che acquisivano dati dai database di bing, ma già da un po vedo entrare un "dudckduck bot" e un "qwant bot" sul mio server, quindi boh... li useranno ancora? Li userà anche qualcun'altro?

@mirkomassarutto ha detto in Posso bloccare bing?:

perdonami ma credo che tu debba dare la direttiva per ogni bot...

No, ti confermo che funziona anche con tutto raggruppato, aggiungendo le direttive sugli rss bing smette di leggere gli rss. Però è una storia infinita, perchè ad esempio dopo aver bloccato gli rss, ora ogni tanto si mette a cercare ricerche che si inventa lui sui miei siti, tipo:
miosito.com/search.php?q=cicciaciuccia
miosito.com/search.php?q=cicciociuccia
miosito.com/search.php?q=cicciociccia
e avanti così all'infinito, ricerche che nessuno ha mai fatto e che per qualche oscuro motivo bing vuol venire a fare nei miei siti, mandando a fuoco il mio server.

@kal ha detto in Posso bloccare bing?:

Bingbot, a differenza di Googlebot, rispetta il Crawl delay:

Lo rispetterà anche, ma se non ricordo male il massimo consentito è di 2 secondi (comunque un tempo eterno per un bot) e nel mio server io ho una cinquantina di siti, alcuni dei quali con quasi un milione di link ormai, e se questo mi entra ogni due secondi, per ogni sito, siamo sempre in fiamme, e sembra che bing non si faccia scappare un occasione, e quando non trova link li inventa lui... per i risultati che poi porta sarebbe obbiettivamente troppo invasivo...

Però purtroppo anche dopo tutte queste considerazioni il dubbio rimane, "togliendosi" da bing, da quanto del mondo web ci si sta in realtà togliendo?

[kal]

@pornupdate ha detto in Posso bloccare bing?:

Tipo duckduckgo

Sì, DDG mi risulta utilizzi le search API di Bing... Quindi bloccando Bing saresti fuori anche da DDG.

[mirkomassarutto]

@pornupdate ehm.. 50 siti su un server con "milioni" di pagine? se hanno milioni di pagine forse dovresti pensare a come sono strutturate ed il carico che danno alla macchina.. e magari pensare di suddividerli in server differenti... insomma se hanno milioni di pagine spero che lo facciano per business.. quindi ci sta anche spendere un pelo di più!

Di seguito le statistiche di utilizzo a livello mondiale Novembre 2020

Potresti tenere solo Google... però se fai 1 Milione di fatturato e ti dicessi che ci perdi il 7.84% (78400 Euro) non so se saresti contento.. o no?
Forse converrebbe spenderne un migliaio per un server dedicato

Una curiosità... ma negli screenshot che hai messo nel post vedo numeri parecchio bassi... intorno al migliaio di visitatori.. sono giornalieri? o cosa? perché con "milioni" di pagine mi aspetterei qualcosa di più.

Vorrei vedere uno dei siti di cui parli per farci un giro e capire se hai dei loop o cosa... Search Console cosa ti dice?

[pornupdate]

Sono siti per adulti, un milione di pagine non sono niente, soprattutto nei siti tube, il problema e che le sorgenti e i contenuti sono gli stessi per tutti, se fai mille visite al giorno con questi siti è già tanto, questi siti servono più che altro a supportare altri siti che a loro volta sono collegati ai programmi di affiliazione.

E infatti soldi da questi siti non ne escono... non abbastanza da investire in server seri, bisogna lavorare molto in ottimizzazione delle risorse del server e dei siti web perché ne valga la pena, e infatti proprio per questo nascono anche i dubbi tra benefici e possibili svantaggi nel bloccare bing. Probabilmente in qualsiasi altra situazione più "normale" la domanda non avrebbe molto senso, ma qui diventa importante.

Anche perché questi siti sono stati abbandonati a se stessi per anni, ora visto che non ci sono altri lavori seri da ormai un anno li sto riprendendo in mano, ho anche "assunto" un tipetto indiano che si dovrebbe occupare di seo, e se davvero il seo del tipetto indiano inizia a portare molte visite, il carico sul server di bing diventa molto fastidioso se non da in cambio nuovi visitatori (e soldi).

Però, si torna sempre lì, quello è bing... cosa fai? Lo togli davvero?

Che in realtà, l'ho anche fatto, un paio di giorni fa l'ho bloccato via robots.txt, per ora nessuna tragedia, ma il timore più grande è per gli effetti a lungo termine. Ora vivo con l'ansia di aver fatto una caz...

[mirkomassarutto]

Sul serio fai fare SEO ad un indiano? Auguri

[kal]

@mirkomassarutto nel settore adult perdipiù

[pornupdate]

@mirkomassarutto ha detto in Posso bloccare bing?:

Sul serio fai fare SEO ad un indiano? Auguri

@kal ha detto in Posso bloccare bing?:

@mirkomassarutto nel settore adult perdipiù

Eh, l'ho cercato qui e non mi ha cagato nessuno...
https://connect.gt/topic/243019/cerco-esperto-seo-per-siti-per-adulti-offro-il-50-di-guadagni/2

Questo ho trovato... piuttosto che niente... si prova, se va bene, senno a casa...

Anche se fin'ora effettivamente... non so... sono solo un paio di mesi , dice che lavora su tutti i siti, parla poco poco, le domande che gli faccio devono essere a risposta singola perchè mi risponde solo "Yes sir", "No sir", Ohy sir", ma grandi cambiamenti/incrementi nelle visite fin'ora non se ne vedono...

Sarà normale che ancora poco o niente, o dovrei già aver visto qualche cambiamento significativo?

[kal]

@pornupdate a naso, l'indiano si intasca i tuoi soldini e non fa nulla di nulla. Questo nel MIGLIORE dei casi.

Nel peggiore ti spamma link e altre porcherie su siti bannati da Google e ti espone a tua volta a rischio ban.

Il punto è, come dice @mirkomassarutto, tu stai cercando un SEO per fare le magie... Ma hai innanzi tutto bisogno di occuparti tu per primo di cose tecniche, perché hai sicuramente dei grossi problemi di architettura del contenuto sul sito.

Hai dei crawl loop o altre cose simili che fanno imbizzarrire i bot.

Bloccare Bingbot è come prendere la Tachipirina: la febbre magari ti si abbassa, ma la malattia mica è guarita.

Riguardo al fatto che non riesci a trovare un SEO, a occhio è per via dell'offerta economica, prima ancora che per il settore "particolare".

A revenue share non troverai nessuno disposto a metterci manco gli occhi sopra

[pornupdate]

@kal ha detto in Posso bloccare bing?:

a naso, l'indiano si intasca i tuoi soldini e non fa nulla di nulla. Questo nel MIGLIORE dei casi.

La mia triste impressione è sempre di più che tutti questi esperti seo siano tutti così...

[kal]

@pornupdate ha detto in Posso bloccare bing?:

@kal ha detto in Posso bloccare bing?:

a naso, l'indiano si intasca i tuoi soldini e non fa nulla di nulla. Questo nel MIGLIORE dei casi.

La mia triste impressione è sempre di più che tutti questi esperti seo siano tutti così...

Credo che il problema stia anche qui, come già detto:

@kal ha detto in Posso bloccare bing?:

Riguardo al fatto che non riesci a trovare un SEO, a occhio è per via dell'offerta economica, prima ancora che per il settore "particolare".
A revenue share non troverai nessuno disposto a metterci manco gli occhi sopra

[mirkomassarutto]

@pornupdate ha detto in Posso bloccare bing?:

E infatti soldi da questi siti non ne escono... non abbastanza da investire in server seri

Ora, un SEO valido non lo trovi gratuitamente... se tu chiedi ad un professionista di lavorare per il 50% della revenue di siti che non generano sufficienti guadagni cosa ti aspetti?

Se uno è un "professionista" deve essere pagato come tale... se ti da il servizio per pochi euro probabilmente non sarà così affidabile: una buona attività SEO richiede ore di lavoro, soprattutto in fase di analisi iniziale...