API di YouTube: riusciamo a fare un sito per piccole statistiche?

overclokk

GLi ID dei canali banalmente in questo formato:

[
    "UCvWXRrUaVdBEvVIHWPugIgw",
    "UCvWXRrUaVdBEvVIHWPugIgw",
    ...rest,
]

giorgiotave

@overclokk ha detto in API di YouTube: riusciamo a fare un sito per piccole statistiche?:

GLi ID dei canali banalmente in questo formato:
[
    "UCvWXRrUaVdBEvVIHWPugIgw",
    "UCvWXRrUaVdBEvVIHWPugIgw",
    ...rest,
]

Ci penso io. Servirà fare una tabella ordinabile.

Si riesce a fare un cron? Li prendiamo ogni settimana

Più avanti possiamo pensare di trovare un modo furbo per far in modo che siano loro ad aggiungersi

overclokk

@giorgiotave ha detto in API di YouTube: riusciamo a fare un sito per piccole statistiche?:

Ci penso io. Servirà fare una tabella ordinabile

È già ordinabile, l'icona non si vede ma c'è

@giorgiotave ha detto in API di YouTube: riusciamo a fare un sito per piccole statistiche?:

Si riesce a fare un cron? Li prendiamo ogni settimana

Per ora semplicemente refreshando prende gli attuali.
Ma vuoi collezionare i dati nel tempo? Perché in questo caso bisogna vedere se c'è già qualcosa nelle API di YT, mi sembra di aver visto anche la API per YT analytics ma non ho approfondito.

@giorgiotave ha detto in API di YouTube: riusciamo a fare un sito per piccole statistiche?:

Più avanti possiamo pensare di trovare un modo furbo per far in modo che siano loro ad aggiungersi

Per me il modo più furbo è far fare una pull request su github ai partecipanti ma poi non si iscrive più essuno

Comunque ci sono anche le API per i file Sheets di Google, nel caso per tenere più semplice ognuno si aggiunge da li, però il file deve essere pubblico mi sembra.

giorgiotave

@overclokk ottimo per l'ordinamento.

Io li collezionerei ogni settimana. Se vuoi vediamo con @andreadragotta di mettere qui su connect e offrire lo spazio. Perché così possiamo fare gli andamenti come vogliamo noi.

Per l'inserimento facciamo a mano sicuramente all'inizio, devo verificare che siano iscritti

Ora mi invento qualocsa, prossima settimana ti faccio la lista

Non credo che YouTube abbia i dati retroattivi sai...

overclokk

@giorgiotave Ora quello che ho fatto io è proprio basico, ho usato Next.js (React) perché visto che mi stavo studiando la documentazione ho voluto provare direttamente con qualcosa, come riepilogo può essere utile ma forse c'è bisogno di creare un processo un pelo più complesso se vuoi consentire l'aggiunta agli iscritti e monitorare l'andamento nel tempo, forse usando gogole sheet e famiglia riusciamo lo stesso, mi stavo guardando in giro e ho trovato questo:

https://zapier.com/learn/google-sheets/google-apps-script-tutorial/

Ma forse le analytics API sono solo per il proprio utente se no tutti guarderebbero i dati degli altri canali

overclokk

Finito di guardare l'utlimo video, direi proprio che l'approccio migliore sia usare quello che già offre Google, sarebbe bello crearsi la propria app ma non ho abbastanza vite a disposizione e poi è più facile da embeddare qui sul forum.

Google form -> Google Sheet
Le persone si iscrivono tramite un form e i dati vengono salvati su un file sheet
Il dato più importante è l'ID del canale
YT Statistic -> Google Sheet
Si crea uno script che fa una chiamata alle statistiche di YT e salva sul file Sheet
Google calendar -> Google Sheet
Si usa il calendario come servizio cron per eseguire lo script precedente e salvare i dati sul file Sheet.

giorgiotave

@overclokk questo procedura è bellissima, per me va bene

overclokk

Ok, mi studio meglio la documentazione e vediamo di creare il processo.

mirkomassarutto

Ehm.. @giorgiotave quindi a te interessa
Iscritti,
Numero Video
Visualizzazione per video:

Dati sul canale: https://developers.google.com/youtube/v3/docs/channels/list

Con questo prendi le statistiche del canale (usando il NomeCanale)

curl \
  'https://youtube.googleapis.com/youtube/v3/channels?part=snippet%2CcontentDetails%2Cstatistics&forUsername=giorgiotave&key=[YOUR_API_KEY]' \
  --header 'Authorization: Bearer [YOUR_ACCESS_TOKEN]' \
  --header 'Accept: application/json' \
  --compressed

Con questo prendi le statistiche del canale (usando l'id)

curl \
  'https://youtube.googleapis.com/youtube/v3/channels?part=statistics&id=UCjL9qnLkh-tLCNHlHA80vkw&key=[YOUR_API_KEY]' \
  --header 'Authorization: Bearer [YOUR_ACCESS_TOKEN]' \
  --header 'Accept: application/json' \
  --compressed

ed ottieni:
Numero di video pubblicati
Numero di visualizzazioni
Numero di Subscribers

{
  "kind": "youtube#channelListResponse",
  "etag": "j0ZL9d73zdPhRWvrH79lPQs7vsk",
  "pageInfo": {
    "totalResults": 1,
    "resultsPerPage": 5
  },
  "items": [
    {
      "kind": "youtube#channel",
      "etag": "EK-DC9hNYsQ28YmGNeU5ZW5AeaU",
      "id": "UCjL9qnLkh-tLCNHlHA80vkw",
      "statistics": {
        "viewCount": "2359791",
        "subscriberCount": "30800",
        "hiddenSubscriberCount": false,
        "videoCount": "662"
      }
    }
  ]
}

Con questo prendi tutti i video (io per esempio ho preso fino a 5000 video dal tuo canale)
https://developers.google.com/youtube/v3/docs/search/list

curl \
  'https://youtube.googleapis.com/youtube/v3/search?part=snippet&channelId=UCjL9qnLkh-tLCNHlHA80vkw&maxResults=5000&key=[YOUR_API_KEY]' \
  --header 'Authorization: Bearer [YOUR_ACCESS_TOKEN]' \
  --header 'Accept: application/json' \
  --compressed

nel json ne vedi 3.. ovviamente
Ed ottieni ID dei video

{
  "kind": "youtube#searchListResponse",
  "etag": "QIGsQR77vjcPecQ9zFn_9qIqnHo",
  "nextPageToken": "CAMQAA",
  "regionCode": "IT",
  "pageInfo": {
    "totalResults": 682,
    "resultsPerPage": 3
  },
  "items": [
    {
      "kind": "youtube#searchResult",
      "etag": "Jo66Sv2pftskaYB1uQJcH_NG6mo",
      "id": {
        "kind": "youtube#video",
        "videoId": "ypSmZvqB4UA"
      },
      "snippet": {
        "publishedAt": "2016-10-27T09:43:14Z",
        "channelId": "UCjL9qnLkh-tLCNHlHA80vkw",
        "title": "PC e OBS: Live dalla Telecamera dello Smartphone Android e iOS - Tutorial",
        "description": "Durante le Live YouTube e Facebook gestite con OBS si può postare la Telecamera / Webcam del proprio Smartphone come telecamera aggiuntiva e quindi ...",
        "thumbnails": {
          "default": {
            "url": "https://i.ytimg.com/vi/ypSmZvqB4UA/default.jpg",
            "width": 120,
            "height": 90
          },
          "medium": {
            "url": "https://i.ytimg.com/vi/ypSmZvqB4UA/mqdefault.jpg",
            "width": 320,
            "height": 180
          },
          "high": {
            "url": "https://i.ytimg.com/vi/ypSmZvqB4UA/hqdefault.jpg",
            "width": 480,
            "height": 360
          }
        },
        "channelTitle": "Giorgio Taverniti",
        "liveBroadcastContent": "none",
        "publishTime": "2016-10-27T09:43:14Z"
      }
    },
    {
      "kind": "youtube#searchResult",
      "etag": "TvazwXzmUdTOFDY1w1Lhg8AwYok",
      "id": {
        "kind": "youtube#video",
        "videoId": "UYgCQ3dmPdU"
      },
      "snippet": {
        "publishedAt": "2020-01-17T06:25:28Z",
        "channelId": "UCjL9qnLkh-tLCNHlHA80vkw",
        "title": "Sito E-Commerce: ha ancora senso?",
        "description": "Partendo dall'ultima, INCREDIBILE, novità di Google in ambito E-commerce, rispondiamo alla domanda di Maurizio su E-Commerce e Contenuti. E vi mostro ...",
        "thumbnails": {
          "default": {
            "url": "https://i.ytimg.com/vi/UYgCQ3dmPdU/default.jpg",
            "width": 120,
            "height": 90
          },
          "medium": {
            "url": "https://i.ytimg.com/vi/UYgCQ3dmPdU/mqdefault.jpg",
            "width": 320,
            "height": 180
          },
          "high": {
            "url": "https://i.ytimg.com/vi/UYgCQ3dmPdU/hqdefault.jpg",
            "width": 480,
            "height": 360
          }
        },
        "channelTitle": "Giorgio Taverniti",
        "liveBroadcastContent": "none",
        "publishTime": "2020-01-17T06:25:28Z"
      }
    },
    {
      "kind": "youtube#searchResult",
      "etag": "K85VmszUDSYDKYYxAOH-SexZ0Tk",
      "id": {
        "kind": "youtube#playlist",
        "playlistId": "PLzt4Piz6uM_6nBedHMH6hKgPJzBkXsitM"
      },
      "snippet": {
        "publishedAt": "2020-01-26T08:12:29Z",
        "channelId": "UCjL9qnLkh-tLCNHlHA80vkw",
        "title": "Google",
        "description": "",
        "thumbnails": {
          "default": {
            "url": "https://i.ytimg.com/vi/ZYu1PIDpy8Y/default.jpg",
            "width": 120,
            "height": 90
          },
          "medium": {
            "url": "https://i.ytimg.com/vi/ZYu1PIDpy8Y/mqdefault.jpg",
            "width": 320,
            "height": 180
          },
          "high": {
            "url": "https://i.ytimg.com/vi/ZYu1PIDpy8Y/hqdefault.jpg",
            "width": 480,
            "height": 360
          }
        },
        "channelTitle": "Giorgio Taverniti",
        "liveBroadcastContent": "none",
        "publishTime": "2020-01-26T08:12:29Z"
      }
    }
  ]
}

Dati sui Video: https://developers.google.com/youtube/v3/docs/videos/list

Con questo ti prendi le statistiche del singolo video conoscendo l'id

curl \
  'https://youtube.googleapis.com/youtube/v3/videos?part=id%2C%20localizations%2C%20statistics&id=udXBMhWKOac&key=[YOUR_API_KEY]' \
  --header 'Authorization: Bearer [YOUR_ACCESS_TOKEN]' \
  --header 'Accept: application/json' \
  --compressed

Qui sto prendendo i dati del tuo:

e direi che abbiamo quello che ti interessa..

{
  "kind": "youtube#videoListResponse",
  "etag": "hUGEIBI7jn1wVXUsVYHeKra75s4",
  "items": [
    {
      "kind": "youtube#video",
      "etag": "Fdd8yvCY1HcmXpH34AKrhjS-LSE",
      "id": "udXBMhWKOac",
      "statistics": {
        "viewCount": "610",
        "likeCount": "60",
        "dislikeCount": "1",
        "favoriteCount": "0",
        "commentCount": "29"
      },
      "localizations": {
        "it": {
          "title": "Licenziata da Google per Razzismo?",
          "description": "Torna FastForward formato TG. Ed è qui per restare, ogni Martedì.\n\nOggi affrontiamo 9 notizie importanti. Quali? Ma tanto un TG si apre senza sapere di cosa si parla no? Vi prometto sempre notizie importanti.\n\nLa Live del 12 Gennaio\n[The Opening] Stagione 2021 di FastForward: si cambia!\n\n\n\n\n-------------------------------\nINDICE E FONTI\n\n00:00 Opening\n00:49 Perché Google è andato Down? https://bit.ly/382tM05\n01:40 Il caso Timnit Gebru https://bit.ly/3mjb1dZ\n03:53 Indagine Tecnology Review https://bit.ly/384HD5X\n04:55 L'Europa vuole sapere i segreti di Google https://bit.ly/2LF4ptX\n08:44 Web almanac SEO https://bit.ly/2K7ECtH\n11:01 Mia newsletter https://bit.ly/3mgySed\n11:25 Brevetto Google https://bit.ly/2LCPssf\n12:07 Pornhub https://bit.ly/3nnwhk3\n12:48 StreamYard https://bit.ly/3gOvfeh\n\n\n\nÈ nata la mia Newsletter!\nFastLetter: Una fonte buona dalla quale aggiornarsi\nhttps://giorgiotaverniti.substack.com/\n\n-------------------------------\n\nPer seguire FastForward:\nSu YouTube: iscriviti e attiva la campanella 🔔  http://bit.ly/IscrivitiAlCanale\n\n\nTelegram (con approfondimenti e link utili): http://bit.ly/TelegramFF\n\nPodcast \nSpotify: http://bit.ly/SpotyFF\nSpreaker: http://bit.ly/2E7xIyi\nApple Podcast: https://apple.co/2G2shC2\nGoogle Podcast: http://bit.ly/2XvRDhB\n\nCONSIGLI AMAZON  \nhttps://amzn.to/2BVlveL\n\n\n-------------------------------\n☆ Su Connect.gt potete approfondire qualsiasi argomento legato al web https://connect.gt ☆\n\n☆ Sul Master Club potete trovarci in giro per l'Italia con i nostri eventi, oppure seguire la formazione online http://www.gtmasterclub.it/ ☆"
        }
      }
    }
  ],
  "pageInfo": {
    "totalResults": 1,
    "resultsPerPage": 1
  }
}

Schedulato ogni X ... ed hai tutte le stats

Per quando lo avresti bisogno? Sono un po' preso in questo periodo... ma magari un buchino lo troviamo

mirkomassarutto

.. centra poco.. però mi sono imbattuto in questo tool che può far comodo a qualcuno:
https://commentpicker.com/

overclokk

Usare il nome del canale non è sicuro, l'ID è l'unico valore unico e non cambia nel tempo (bisogna valutare i casi in cui ci sia l'url personalizzata).

Form e statistiche dovrebbero essere embeddabili qui sul forum per essere sempre visibili e per evitare un terzo dominio che comunque andrebbe embeddato qui.

L'utente deve iscriversi usando il form e inserendo almeno l'ID del canale o anche tutta la url se presente l'ID.

Al submit si deve popolare una tabella o altro sistema per salvare questi dati.

Quindi parte un cron che va a completare i dati che mancano ogni tot.

Il tutto deve essere semplice da usare se no si vanifica tutto.

mirkomassarutto

.. direi quasi fatto.. unica cosa che devo vedere meglio nella documentazione il listing dei video..
Per ora raccolgo:

Canale
channel_id
channel_name
channel_description
channel_published
channel_viewCoun
channel_subscriberCount
channel_VideoCount

Video
video_videoId
video_localization
videoTitle
videoDescription
video_publishTime
video_viewCount
video_likeCount
video_dislikeCount
video_favoriteCount
video_commentCount

Serve altro?

mirkomassarutto

Qui un test di recupero sui video di @giorgiotave

https://yt.massarutto.it/tools/

Purtroppo riusciamo a recuperare al massimo i 50 video precedenti.. insomma diciamo che il problema dati è risolto se non ti interessano più di 50 video prima della data di "censimento"

mirkomassarutto

Mi correggo.. riusciamo a fare anche la paginazione.. comunque direi che ho tirato fuori quello che serve

Dati Canale: giorgiotave
channel_id: UCjL9qnLkh-tLCNHlHA80vkw
channel_name: Giorgio Taverniti
channel_description: Ciao, io sono Giorgio Taverniti, ... bla bla bla
channel_published: 2006-05-05T13:55:47Z
channel_viewCount: 2360360
channel_subscriberCount: 30800
channel_VideoCount: 663

Esempio dati ultimo video

Video: c6IgWVD4OIY
video_publishedAt: 2020-12-17T06:30:04Z
video_title: Leggendo apostrofi in Autostrada..
video_description: La storia di Google, della SEO e del significato della è. Della e. bla bla bla
video_liveBroadcastContent: none
categoryId: 28 (Science & Technology)
defaultLanguage: it
duration: PT9M24S
dimension: 2d
definition: hd
caption: false
licensedContent: true,
contentRating:
projection: rectangular
video_viewCount: 288
video_likeCount: 37
video_dislikeCount: 0
video_commentCount: 20

Ora basta sapere cosa serve visualizzare..

mirkomassarutto

@overclokk il sistema come concepito permette di aggiungere un utenza sia attraverso id canale che attraverso il nome canale.
Una volta inserito il nome canale noi registriamo comunque l'id che è il riferimento per tutti i check futuri.
Io la presa e messa in database l'ho già finita.. resta solo da elaborare un interfaccia o api per restituire JSON per eventuali integrazioni api.
Il "giro" sheet, calendar, Google form mi pare un po' articolato... Ma magari mi sbaglio

overclokk

@mirkomassarutto ha detto in API di YouTube: riusciamo a fare un sito per piccole statistiche?:

Il "giro" sheet, calendar, Google form mi pare un po' articolato... Ma magari mi sbaglio

In realtà non è articolato perché non hai lo sbattimento di tirare su un db dedicato, costruire una UI, usare una url esterna che poi è da embeddare qui, creare un form per l'iscrizione, ecc, con gli strumenti di Google hai già tutto quello che serve, con gli script app integri gli strumenti fra loro in modo semplice perché sono fatti apposta per comunicare fra loro, e il tutto senza avere necessita di preparare una piattaforma da zero.

Per esempio gia i google form ti danno la possibilità di salvare su un file sheet e da qui si fa il resto, è molto più immediato.

giorgiotave

Eccomi, scusate il ritardo.

La verità è che, davvero, sono andato un po' in crisi nel capire qual è il processo più semplice da applicare. Non è facile, perché c'è da tenere conto che bisogna farlo riservato alla classe, ALMENO PER IL MOMENTO, e dobbiamo averlo qui su Connect.gt (con tutti i credits di chi lo crea, link e via dicendo).

Quindi ho pensato un po'.

Serve un Form sicuro
Questo perché altrimenti si iscrivono tutti a caso. Non so se dobbiamo autorizzare qualcosa o che.

La persona deve mettere:

Nome su Connect
Sua discussione su Connect
Suo canale
Tema

Da qui noi salviamo, in più:

data di compilazione: diventerà la data di inizio alla classe
iscritti: in quel momento
iscritti ora: ULTIMO nostro salvataggio
numero video: in quel momento
numero video ora: ULTIMO nostro salvataggio
salto di iscritti:
salto iscritti in percentuale:
salto iscritti per video:

Così riusciamo a fare questa
alt text

A me questo serve.

Se da questo si salva il dato settimanalmente, più avanti possiamo pensare di fare altro.

Ma in questo momento è troppo complicato. Sono impazzito a pensare le varie cose e così perdo un mucchio di tempo

Pensate solo che ora devo capire come far aprire le discussioni qui, se in una nuova sezione o in quella vecchia e nel caso sistemare le discussioni...mmm

overclokk

Google form secondo me è il mezzo più semplice e sicuro, già di base si può collegare ad uno spreadsheet anche esistente, ogni campo del form sarà la colonna nel foglio poi se servono campi aggiuntivi si aggiunge lo script necessario.

Da questo foglio poi si procede con il resto.

overclokk

Devo solo mettermi in pari con alcuni lavori e poi faccio una demo, purtroppo a me le vacanze spezzano il flusso e poi riprendere è sempre un problema...

mirkomassarutto

Ciao @giorgiotave e @overclokk io il sistema di presa API lo ho già definito con tutto quello che ho scritto sopra..
il concetto è del tipo:

Mi iscrivo e do il mio canale
Il sistema analizza se il canale esiste
Il sistema preleva le stats da quel momento in avanti

.. personalmente non vedo cose strambe...

se vuoi ti faccio avere via e.mail il csv.. oppure ti creo un API per prelevarle.

ditemi voi... integrazione con form... si può fare... ma non hai in mano nulla.... sarà che io con "excel" non mi ci sono mai trovato