Ciao robyweb,

trovo il tuo post molto interessante ed utile. Ora vediamo se qualche tester ci vuole dare una mano.

Corro subito a segnalarlo nel Forum di Linux

Grazie

Volevo modificare il primo post ma non riesco ...

comunque mi sono dimenticato di questo:

Lo scriptino sopra considera solo pagine con estensione .html o .php

in caso di estensioni diverse tipo .asp o .htm basta modificare questa linea

arr=(`tree -i -f |grep [.html][.php]`)

```e aggiungere/modificare/togliere le estensioni desiderate ....

imparo ora cosa e' un "sitemap", ma cosi' a primo acchitto mi viene la domanda? le istruzioni "wget" non sarebbe meglio includerle nello script in modo da rendere il tutto piu' automatico?

@robyweb said:

Volevo modificare il primo post ma non riesco ...

Piccolo OT, per limitare la modifica dei post in totale (che poi non si capisce niente), abbiamo messo un limite di tempo.

Comunque, via pvt, modifichiamo tutti i post

@olaola said:

imparo ora cosa e' un "sitemap", ma cosi' a primo acchitto mi viene la domanda? le istruzioni "wget" non sarebbe meglio includerle nello script in modo da rendere il tutto piu' automatico?

sicuramente si ... non l'ho fatto perchè così si può personalizzare più semplicemente il comando con le opzioni volute ...

Ciao robyweb,
guarda, di linux non è che ne mastico tanto, sinceramente non posso darti una gran mano in questo. Vediamo se qualche utente + esperto di me in questo settore ci può autare..

A presto
Gianni

Per le prove fatte finora la procedura sembra funzionare bene ...

Invece di salvare tutti i file e poi cancellarli successivamente, si può utilizzare direttamente l'stdout (standard output) di wget, giocando un po' con grep ed awk. Questo ci permette di fare il tutto (url grabbing e creazione della sitemap) con un unico script abbastanza piccolo, che volendo può anche essere messo in cronjob per l'esecuzione. Avrei voluto utilizzare insieme le opzioni -r e --spider per wget, ma a quanto pare è possibile farlo solo con una nuova versione in fase alpha, sicuramente non presente sulla maggior parte delle installazioni. Utilizzo invece -m insieme a --delete-after, cancellando così immediatamente tutti i file che vengono scaricati, tanto ci serve solo manipolarne gli indirizzi. La directory che wget crea comunque, vuota quindi, verrà cancellata alla fine delle operazioni. Uso anche l'opzione -erobots=off, ignorando così robots.txt che altrimenti finirà nella sitemap.
Le uniche opzioni che andrebbero modificate dall'utente si trovano all'inizio del codice e comprendono url del sito e le varibili tipiche della sitemap (data ultima modifica, frequenza d'aggiornamento, priorità,...).

#!/bin/bash

#Varibili modificabili dall'utente
url="http://www.ilmiosito.it/"
data="2006-12-31"
freq="daily"
prio="0.5"

#Da qui non andrebbe modificato niente
lista=`wget -erobots=off -m --delete-after $url --reject .jpg,.css 2>&1 |grep $url |awk '{print $2 " "}'`
IFS=" "
array=($lista)

echo '<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">' >> sitemap.xml;

for ((i=0;i<${#array* };i++)); do
        echo "< url>
        <loc>${array*:1}</loc>
        <lastmod>$data</lastmod>
        <changefreq>$freq</changefreq>
        <priority>$prio</priority>
</url>" >> sitemap.xml
done

echo "</urlset>" >> sitemap.xml

rmdir ${url#http://}
exit 0

Ovviamente questo è solo un esempio, da wget ho escluso i file .jpg e .css ma poi ognuno può sceglierne altri in base alle proprie necessità. Occhio ad accenti ed apostrofi che non sono tutti uguali
Se qualcosa non è chiara chiedete pure

grande ... così è sicuramente meglio

grazie

Se ci saranno aggiornamenti o modifiche posta pure il post qui che aggiorno il primo e pulisco il thread da post come il mio

Nicola a me il tuo script da questo errore:

 
./pro: command substitution: line 13: syntax error near unexpected token `|'
./script: command substitution: line 13: `|grep $url |awk '{print $2 " "}''
./script: line 17: syntax error near unexpected token `newline'
./script: line 17: `<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">' >> '

```inoltre nello script manca l'opzione -X per specificare le cartelle da non scansionare ...

OK, ho riassunto tutti i passaggi in uno script unico

#!/bin/bash

site=**www.sito.com**
#indirizzo del sito senza http://
nodir=**/dir1,/dir2**
#elenco delle directory da escludere , separate da una virgola
accettati=**.html,.php** delle estensioni da prendere, separate da una virgola
esclusi=**.css,.jpg** delle estensioni da NON prendere, separate da una virgola
data=**2006-12-31**
#data utlimo aggiornamento in questo formato YYYY-MM-DD
freq=**daily**
#frequenza aggiornamento - valori possibili:
#always,hourly,daily,weekly,monthly,yearly,never
prio=**0.5**
#priorità da 0.0 a 1.0

wget -m -X $nodir  http://$site --accept $accettati --reject $esclusi

cd $site

echo '<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.google.com/schemas/sitemap/0.84">' >> ../sitemap.xml;

arr=(`tree -i -f |grep [.html][.php]`)
for (( I=0 ; I<${#arr
* } ; I++ ))
        do
echo "<url>
    <loc>$site${arr*:1}</loc>
    <lastmod>$data</lastmod>
    <changefreq>$freq</changefreq>
    <priority>$prio</priority>
</url>" >> ../sitemap.xml
done
echo "</urlset>" >> ../sitemap.xml

cd ..

rm -rf $site 
#questo comando elimina la cartella creata in cui viene scaricato il sito

exit 0


```le parti da personalizzare sono quelle in neretto

Questa versione dello script alla fine del processo elimina direttamente la cartella che viene creata per scaricare il sito, quindi, alla fine del processo ci trovaremo semplicemente un file nominato sitemap.xml  nella cartella in cui c'è lo script stesso
TUTTAVIA la cartella viene comunque creata e successivamente eliminata quindi è necessario avere abbastanza spazio

@robyweb:
è un problema di accenti ed apostrofi corretti, ` e ' sono diversi ed hanno funzioni diverse.

@Nicola said:

@robyweb:
è un problema di accenti ed apostrofi corretti, ` e ' sono diversi ed hanno funzioni diverse.

si scusa si vede che nel copia incolla ha combinato qualche casino

Dopo alcuni test credo che questa possa considerarsi una versione abbastanza corretta e funzionale (prima erano presenti alcuni errori)

 #!/bin/bash

#---INIZIO PARTE DA MODIFICARE

site=**www.sito.it**
#indirizzo del sito senza http://
nodir=**/dir2,/dir2**
#elenco delle directory da escludere , separate da una virgola
accettati=**.html,.php,.asp** delle estensioni da prendere, separate da una virgola
esclusi=**.css,.jpg,.gif,.txt** delle estensioni da NON prendere, separate da una virgola
data=**2007-03-21**
#data utlimo aggiornamento in questo formato YYYY-MM-DD
freq=**weekly**
#frequenza aggiornamento - valori possibili:
#always,hourly,daily,weekly,monthly,yearly,never
prio=**0.5**
#priorita da 0.0 a 1.0

#---FINE PARTE DA MODIFICARE

wget -m -X $nodir  http://$site --accept $accettati --reject $esclusi

cd $site

echo '<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.google.com/schemas/sitemap/0.84">' >> ../sitemap.xml;

arr=(`tree -i -f |grep [.html][.php]`)
for (( I=0 ; I<${#arr
* } ; I++ ))
        do
echo "<url>
    <loc>http://$site${arr*:1}</loc>
    <lastmod>$data</lastmod>
    <changefreq>$freq</changefreq>
    <priority>$prio</priority>
</url>" >> ../sitemap.xml
done
echo "</urlset>" >> ../sitemap.xml

cd ..

rm -rf $site 
#questo comando elimina la cartella creata in cui viene scaricato il sito

exit 0          


```le parti da personalizzare sono sempre quelle in neretto

Questa versione dello script alla fine del processo elimina direttamente la cartella che viene creata per scaricare il sito, quindi, alla fine del processo ci trovaremo semplicemente un file nominato sitemap.xml nella cartella in cui c'è lo script stesso
TUTTAVIA la cartella viene comunque creata e successivamente eliminata quindi è necessario avere abbastanza spazio

tenete conto che lo script genera la prima pagina del sito  in versione con index
ad esempio: 
h-ttp://w-ww.nomedelsito.com/index.html

quindi se non vi piace (come a me)modificatela ad esempio con h-ttp://w-ww.nomedelsito.com

Ciao ho trovato questo script per linux che uso da pochi mesi, molto interessante solo che mi da questo problema una volta lanciato: sitemapfdb.sh: 30: Syntax error: "(" unexpected la riga nello script è questa: arr=(tree -i -f |grep [.html][.php][.htm]) come posso risolvere? grazie

Edit:

Inizia i messaggi con una maiuscola e termina con un punto.

Anche a me da un errore alla linea 30!!!
./sitemap.sh: line 30: tree: command not found

in pratica è la linea
arr=(tree -i -f |grep [.html][.php][.asp])

non so che fare!

la sitemap viene generata ma solo fino a questo punto

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="hxxp://wxw.google.com/schemas/sitemap/0.84">
</urlset>

Edit:

Inizia i messaggi con una maiuscola e termina con un punto.

cosa vuol dire
Inizia i messaggi con una maiuscola e termina con un punto.

???