@mix said:

Ne parlai un pò di tempo fa per msn MSNbot un utente troppo invadente,
si è parlato anche di yahoo un vero e proprio assalto......è normale?, ma mai di google.

Initerrottamente da quando ho fatto il cambio board passando ad una versione con mod rewrite google non mi lascia in pace sono 12 ore che acquisisce dalle tre alle cinque pagine al minuto.

Il mio portale e spesso in stallo e non riesco a spiegarmi il perchè.

Credo proprio che questo sia la causa.

Come limitare lo spider di google?

Stesso metodo?

non è che è andato in loop a causa di qualche parametro? Verifica nei log se effettivamente sta scansionando pagine nuove oppure sempre le stesse con parametri leggermente diversi.

Per i rimedi pare che googlebot non accetti ancora il crawl-delay, ma solo l'opzione di rallentamento negli strumenti per webmaster.

@Giorgiotave said:

Grazie Alessio per questa informazione, non me ne ero accorto, nel Seo ti distrai un attimo e sei fregato!

Ho fatto proprio bene a creare sto Forum così mi aggiorno

Sei il solito sfruttatore di noi minoranze etniche

No no tutte pagine nuove e il bello che in sole 24 ore sono già nella serp con il comando site...

ASSURDO

@mix said:

Ne parlai un pò di tempo fa per msn MSNbot un utente troppo invadente,
si è parlato anche di yahoo un vero e proprio assalto......è normale?, ma mai di google.

Io ho Googlebot sempre presente nel sito 24/24 7/7 da almeno un anno. Non credo che ciò possa causare rallentamenti del server però.
Controlla i logs, in genere sono quelli che, aumentando a dismisura, causano questo tipo di problemi.

Ho ridotto tutto quanto sembra che non sia cambiato nulla.

Il mio server è ancora in stallo.

Mi sa che questa volta google non centra proprio nulla... e io non so cosa fare.

@mix said:

e io non so cosa fare.

ma si blocca su pagine statiche o dinamiche?
Se è sulle dinamiche forse hai qualche connessione non chiusa o problemi con gli indici. Se è sulle statiche il tuo provider ha problemi perchè non vedo come un bot possa sovraccaricarti in questo modo.

Non posso fare questo tipo di test perchè ho solo pagine dinamiche.

Claudio mi ha consigliato uno script che mi ottimizza i miei script ma è da caricare sul server, e con i miei permessi ( ho un vps ) non posso.

Manualmente non riusciamo a trovare l'errore non so come fare.

La cosa che noto è che se riavviamo in vps il server si riprende, almeno per un pò di tempo.

@mix said:

Non posso fare questo tipo di test perchè ho solo pagine dinamiche.

Claudio mi ha consigliato uno script che mi ottimizza i miei script ma è da caricare sul server, e con i miei permessi ( ho un vps ) non posso.

Manualmente non riusciamo a trovare l'errore non so come fare.

La cosa che noto è che se riavviamo in vps il server si riprende, almeno per un pò di tempo.
90 su 100 hai le risorse esaurite. Ovvero lo spazio in esaurimento.
Ho avuto lo stesso problema per ben 2 volte un mese fà, poi ho fatto un upgrade di spazio e per il momento tutto bene.

@mix said:

Non posso fare questo tipo di test perchè ho solo pagine dinamiche.

Claudio mi ha consigliato uno script che mi ottimizza i miei script ma è da caricare sul server, e con i miei permessi ( ho un vps ) non posso.

Manualmente non riusciamo a trovare l'errore non so come fare.

La cosa che noto è che se riavviamo in vps il server si riprende, almeno per un pò di tempo.

E' un hosting windows o linux? Hai un database, ,se si quale, forse ci sono delle query al database non ottimizzate correttamente.

Se vuoi continuiamo in un altra sezione, qui in "posizionamento" non ha più senso.

In effetti e meglio spostare in consigli per il tuo sito.

Comunque sono su hosting linux ho come distribuzione una cenOS uso un Mysql come database.

90 su 100 hai le risorse esaurite. Ovvero lo spazio in esaurimento.
Ho avuto lo stesso problema per ben 2 volte un mese fà, poi ho fatto un upgrade di spazio e per il momento tutto bene.
No di spazio ne ho a volontà.

L'assistenza mi ha appena risposto dicendomi che risultava essere bloccato il web server apache.

Lo stesso è stato riavviato ma niente tutto bloccato.

Ho individuato una query che forse da problemi, anzi no dà problemi perché per caricare ci mette tra i 4 e i 5 secondi contro una media di 0,003 delle altre query nel sito

SELECT club_msg.testo, club_msg.data, club_msg.foto, utenti.nomeutente, utenti.immagine, utenti.privilegi, utenti.firma, utenti.id AS utid, club_msg.id AS postid, utenti.sesso, DATE_FORMAT( club_msg.data,  '%e-%m-%y'  )  AS datapo, DATE_FORMAT( club_msg.data,  '%h:%i'  )  AS orapo
FROM club_msg LEFT JOIN utenti ON club_msg.nomeutente = utenti.nomeutente
WHERE club_msg.codice =  '1162749141' ORDER  BY  DATA  DESC LIMIT 0 , 15

avete idea di come ottimizzare? sbaglio qualcosa?Grazie

@mix said:

No di spazio ne ho a volontà.

L'assistenza mi ha appena risposto dicendomi che risultava essere bloccato il web server apache.

Lo stesso è stato riavviato ma niente tutto bloccato.

Ho individuato una query che forse da problemi, anzi no dà problemi perché per caricare ci mette tra i 4 e i 5 secondi contro una media di 0,003 delle altre query nel sito

>SELECT club_msg.testo, club_msg.data, club_msg.foto, utenti.nomeutente, utenti.immagine, utenti.privilegi, utenti.firma, utenti.id AS utid, club_msg.id AS postid, utenti.sesso, DATE_FORMAT( club_msg.data,  '%e-%m-%y'  )  AS datapo, DATE_FORMAT( club_msg.data,  '%h:%i'  )  AS orapo
FROM club_msg LEFT JOIN utenti ON club_msg.nomeutente = utenti.nomeutente
WHERE club_msg.codice =  '1162749141' ORDER  BY  DATA  DESC LIMIT 0 , 15
>``` 
avete idea di come ottimizzare? sbaglio qualcosa?Grazie
 
aggiungi un indice sul campo club_msg.codice 
e un altro indice con doppio campo combinato su club_msg.codice e club_msg.data insieme.

emm, puoi spiegarmi meglio come? così non riesco a capire cosa fare praticamente...

Ammesso che il problema sia l'eccessivo traffico che sovraccarica il server e non un flusso dati incapace di sostenere grossi carichi di lavoro, il consiglio che ti posso dare io è quello di progettare un sistema informativo che distribuisca i carichi di lavoro nel tempo sempre che tu abbia margini di intervento sul CMS.

Mi spiego meglio; se ogni volta che si visualizza una pagina, si legge un feed o quant'altro il sistema è costretto ad esequire delle query per la costruzione della pagina dinamica il collasso del sistema è solo questione di tempo. Un aumento drastico di visitatori sommato alla frequenza di lettura degli spiders o eventualmente di aggregatori che attingono al tuo feed manderà la macchina in tilt, è matematico.

Un upgrade dell'hardware non fa altro che spostare questa soglia di pericolo, che comunque rimane.

Una delle soluzioni è quella di generare parte dei contenuti necessari alla costruzione della pagina tramite script che si avviano ogni ora (cron jobs) con cui MySQL genera in formato XML i feeds, le mappe del sito e i contenuti del portale che poi vengono inclusi nelle pagine attraverso opportuni parsers, che magari hanno anche funzionalità di caching.

Ho avuto il tuo stesso problema e l'ho risolto così.

In parte il problema lo abbiamo risolto,
la macchina non va più in stallo, non è proprio istantanea ma è gia un OTTIMO risultato, proprio serio.

La soluzione che mi hai dato tu già in parte è stata prevista sul mio portale ( uso un CMS autocostruito ) praticamente il cron jobs lo applichiamo solo che non generiamo file xml ma un file .php incluso nel resto del portale.

Perchè consigli di usare xml?

Nel mio caso uso XML perchè mi costruisco fonti dati che poi richiamo in altre parti del portale magari formattato diversamente, oppure utilizzando alcuni campi in una pagina ed altri in un'altra pagina.

La sorgente RSS rimane la stessa e gli utilizzi possono essere molteplici. Dipende poi dalle necessità, ma penso che adeguarsi a standard ben precisi possa rivelarsi utile anche in caso di necessità future che magari non prevediamo al momento.

Mi piacerebbe che tu analizzassi il mio portale per avere qualche consiglio in più su dove aplicare il cron jobs.

Nel nostro lo abbiamo potuto aplicare solo in ancune sezioni della home page non avrei la più pallida idea di come si possa fare nelle altre sezioni.

Cosa è che fa esattamente? Quali sono i dati genera?

Cosa è che fa esattamente? Quali sono i dati genera?

Non ho capito la tua domanda scusami.

Avevo dato una occhiata al tuo portale (è il primo in firma vero?) e mi stavo chiedendo quali sono i dati che generate con il cron job visto che mi hai detto che lo applicate solo in alcune sezioni. volevo capire meglio