API di YouTube: riusciamo a fare un sito per piccole statistiche?

overclokk

Devo solo mettermi in pari con alcuni lavori e poi faccio una demo, purtroppo a me le vacanze spezzano il flusso e poi riprendere è sempre un problema...

mirkomassarutto

Ciao @giorgiotave e @overclokk io il sistema di presa API lo ho già definito con tutto quello che ho scritto sopra..
il concetto è del tipo:

Mi iscrivo e do il mio canale
Il sistema analizza se il canale esiste
Il sistema preleva le stats da quel momento in avanti

.. personalmente non vedo cose strambe...

se vuoi ti faccio avere via e.mail il csv.. oppure ti creo un API per prelevarle.

ditemi voi... integrazione con form... si può fare... ma non hai in mano nulla.... sarà che io con "excel" non mi ci sono mai trovato

mirkomassarutto

ah giusto per.. il sistema si basa poi sull'ID... che magari non tutti ti sanno dare all'inizio

overclokk

@mirkomassarutto "excel" sarà il nostro DB, tutto qui, è più semplice per Giorgio poter accedere e vedere i dati in tempo reale, i vari endpoint che hai indicato ci saranno utili per reperire le informazioni necessarie e caricarle sul DB (excel).

Per una cosa così non è conveniente dover tirare su un server per ospitare un db, creare un form per salvare i dati sul db, creare tutte le query per lavorare con i dati e pensare alla sicurezza del tutto, troppa roba, lo so che lato dev fa più figo e che sono due righe di codice (che poi non è mai vero) ma in questo modo si complica la UX di Giorgio, il problema qui non è reperire le info ma avere una UI gestibile, vedi l'esempio che ha postato Giorgio, è un file "excel", e se riusciamo a dargli quello abbiamo vinto tutti, "excel" poi ha già integrati tutti gli strumenti per filtrare i dati e per aggiungere filtri personalizzati.

Tutto il sistema si gestisce con simil-javascript così possiamo tirare fuori il dev che è in noi

L'unica pecca dei form di google è che puoi fare il check sui campi al submit e non prima, però penso si possa risolvere in qualche modo.

mirkomassarutto

@overclokk per me potete fare come volete...
Non ho capito bene come intendi estrarrei dati da youtube attraverso google form... io per fare questo sto utilizzando direttamente le api

il sistema io lo ho già mostrato a suo tempo.. ed è fatto con 341 righe di codice https://yt.massarutto.it/tools/ (qui estraggo in questo momento i dati di @giorgiotave e i dati degli ultimi video.

Ribadisco che non voglio fare tutta l'interfaccia, semplicemente il sistema di presa che genera il CSV che poi @giorgiotave di importa in excel e gestisce come preferisce

overclokk

@mirkomassarutto ha detto in API di YouTube: riusciamo a fare un sito per piccole statistiche?:

Non ho capito bene come intendi estrarrei dati da youtube attraverso google form... io per fare questo sto utilizzando direttamente le api

Google form serve solo per l'iscrizione, il foglio di calcolo prende i dati tramite le API aggiungendo delle "macro" in javascript (google script).

@mirkomassarutto ha detto in API di YouTube: riusciamo a fare un sito per piccole statistiche?:

Ribadisco che non voglio fare tutta l'interfaccia, semplicemente il sistema di presa che genera il CSV che poi @giorgiotave di importa in excel e gestisce come preferisce

È un lavoro doppio che va fatto manualmente ogni volta che si devono importare i dati, averli già in un foglio di calcolo che si popola da solo senza dover caricare nulla semplifica il processo, alla fine sempre nel foglio di calcolo vanno messi ma se si riesce a farlo con meno passaggi è meglio (DRY), e mancherebbe il sistema di iscrizione degli utenti.

Lo scopo finale è aprire il foglio di calcolo una volta sola e avere già tutto pronto.

giorgiotave

@overclokk vai, riusciamo a partire con questa disposizione?

Così faccio partire la classe, appena ho almeno il form, faccio partire il tutto.

@mirkomassarutto ti darà una mano nelle API giusto?

L'idea che invece prospettare Mirko, è una figata. Ma ci facciamo un'altra cosa se lui ha voglia

mirkomassarutto

Allora.. io ho fatto un test con Google Sheets

Questo il codice dello script per importarsi i JSON

/**
 * Retrieves all the rows in the active spreadsheet that contain data and logs the
 * values for each row.
 * For more information on using the Spreadsheet API, see
 * https://developers.google.com/apps-script/service_spreadsheet
 */
function readRows() {
  var sheet = SpreadsheetApp.getActiveSheet();
  var rows = sheet.getDataRange();
  var numRows = rows.getNumRows();
  var values = rows.getValues();

  for (var i = 0; i <= numRows - 1; i++) {
    var row = values*;
    Logger.log(row);
  }
};


function onOpen() {
  var sheet = SpreadsheetApp.getActiveSpreadsheet();
  var entries = [{
    name : "Read Data",
    functionName : "readRows"
  }];
  sheet.addMenu("Script Center Menu", entries);
};


function ImportJSON(url, query, options) {
  return ImportJSONAdvanced(url, query, options, includeXPath_, defaultTransform_);
}


function ImportJSONAdvanced(url, query, options, includeFunc, transformFunc) {
  var jsondata = UrlFetchApp.fetch(url);
  var object   = JSON.parse(jsondata.getContentText());
  
  return parseJSONObject_(object, query, options, includeFunc, transformFunc);
}


function URLEncode(value) {
  return encodeURIComponent(value.toString());  
}


function parseJSONObject_(object, query, options, includeFunc, transformFunc) {
  var headers = new Array();
  var data    = new Array();
  
  if (query && !Array.isArray(query) && query.toString().indexOf(",") != -1) {
    query = query.toString().split(",");
  }
  
  if (options) {
    options = options.toString().split(",");
  }
    
  parseData_(headers, data, "", 1, object, query, options, includeFunc);
  parseHeaders_(headers, data);
  transformData_(data, options, transformFunc);
  
  return hasOption_(options, "noHeaders") ? (data.length > 1 ? data.slice(1) : new Array()) : data;
}


function parseData_(headers, data, path, rowIndex, value, query, options, includeFunc) {
  var dataInserted = false;
  
  if (isObject_(value)) {
    for (key in value) {
      if (parseData_(headers, data, path + "/" + key, rowIndex, value[key], query, options, includeFunc)) {
        dataInserted = true; 
      }
    }
  } else if (Array.isArray(value) && isObjectArray_(value)) {
    for (var i = 0; i < value.length; i++) {
      if (parseData_(headers, data, path, rowIndex, value*, query, options, includeFunc)) {
        dataInserted = true;
        rowIndex++;
      }
    }
  } else if (!includeFunc || includeFunc(query, path, options)) {
    // Handle arrays containing only scalar values
    if (Array.isArray(value)) {
      value = value.join(); 
    }
    
    // Insert new row if one doesn't already exist
    if (!data[rowIndex]) {
      data[rowIndex] = new Array();
    }
    
    // Add a new header if one doesn't exist
    if (!headers[path] && headers[path] != 0) {
      headers[path] = Object.keys(headers).length;
    }
    
    // Insert the data
    data[rowIndex][headers[path]] = value;
    dataInserted = true;
  }
  
  return dataInserted;
}


function parseHeaders_(headers, data) {
  data[0] = new Array();

  for (key in headers) {
    data[0][headers[key]] = key;
  }
}


function transformData_(data, options, transformFunc) {
  for (var i = 0; i < data.length; i++) {
    for (var j = 0; j < data*.length; j++) {
      transformFunc(data, i, j, options);
    }
  }
}


function isObject_(test) {
  return Object.prototype.toString.call(test) === '[object Object]';
}


function isObjectArray_(test) {
  for (var i = 0; i < test.length; i++) {
    if (isObject_(test*)) {
      return true; 
    }
  }  

  return false;
}


function includeXPath_(query, path, options) {
  if (!query) {
    return true; 
  } else if (Array.isArray(query)) {
    for (var i = 0; i < query.length; i++) {
      if (applyXPathRule_(query*, path, options)) {
        return true; 
      }
    }  
  } else {
    return applyXPathRule_(query, path, options);
  }
  
  return false; 
};


function applyXPathRule_(rule, path, options) {
  return path.indexOf(rule) == 0; 
}


function defaultTransform_(data, row, column, options) {
  if (!data[row][column]) {
    if (row < 2 || hasOption_(options, "noInherit")) {
      data[row][column] = "";
    } else {
      data[row][column] = data[row-1][column];
    }
  } 

  if (!hasOption_(options, "rawHeaders") && row == 0) {
    if (column == 0 && data[row].length > 1) {
      removeCommonPrefixes_(data, row);  
    }
    
    data[row][column] = toTitleCase_(data[row][column].toString().replace(/[\/\_]/g, " "));
  }
  
  if (!hasOption_(options, "noTruncate") && data[row][column]) {
    data[row][column] = data[row][column].toString().substr(0, 256);
  }

  if (hasOption_(options, "debugLocation")) {
    data[row][column] = "[" + row + "," + column + "]" + data[row][column];
  }
}


function removeCommonPrefixes_(data, row) {
  var matchIndex = data[row][0].length;

  for (var i = 1; i < data[row].length; i++) {
    matchIndex = findEqualityEndpoint_(data[row][i-1], data[row]*, matchIndex);

    if (matchIndex == 0) {
      return;
    }
  }
  
  for (var i = 0; i < data[row].length; i++) {
    data[row]* = data[row]*.substring(matchIndex, data[row]*.length);
  }
}


function findEqualityEndpoint_(string1, string2, stopAt) {
  if (!string1 || !string2) {
    return -1; 
  }
  
  var maxEndpoint = Math.min(stopAt, string1.length, string2.length);
  
  for (var i = 0; i < maxEndpoint; i++) {
    if (string1.charAt(i) != string2.charAt(i)) {
      return i;
    }
  }
  
  return maxEndpoint;
}
  


function toTitleCase_(text) {
  if (text == null) {
    return null;
  }
  
  return text.replace(/\w\S*/g, function(word) { return word.charAt(0).toUpperCase() + word.substr(1).toLowerCase(); });
}


function hasOption_(options, option) {
  return options && options.indexOf(option) >= 0;
}

A questo punto sono 3 i tipi di chiamata per ottenere i dati che ci interessano:

=ImportJSON("https://youtube.googleapis.com/youtube/v3/channels?part=snippet%2CcontentDetails%2Cstatistics&forUsername=giorgiotave&key=MYAPYKEY")

=ImportJSON("https://youtube.googleapis.com/youtube/v3/channels?part=snippet%2CcontentDetails%2Cstatistics&id=UCjL9qnLkh-tLCNHlHA80vkw&key=MYAPYKEY")

=ImportJSON("https://youtube.googleapis.com/youtube/v3/search?part=snippet&channelId=UCjL9qnLkh-tLCNHlHA80vkw&maxResults=2&order=date&key=MYAPYKEY")

=ImportJSON("https://youtube.googleapis.com/youtube/v3/videos?part=snippet%2CcontentDetails%2Cstatistics&id=1mMuAxzYM_0&key=MYAPYKEY")

Il primo individua il ChannelID in base alla username (in alternativa, se conosciamo già il channel ID si può usare il secondo)
Il Terzo serve per ottenere lD dei video pubblicati
Il quarto fornisce i dettagli per ogni video

overclokk

@giorgiotave ha detto in API di YouTube: riusciamo a fare un sito per piccole statistiche?:

vai, riusciamo a partire con questa disposizione?
Così faccio partire la classe, appena ho almeno il form, faccio partire il tutto.

Riesco a guardarci questo fine settimana, non prima.

mirkomassarutto

@overclokk ti ho mandato un link in chat

overclokk

@mirkomassarutto In Google script c'è anche già lAPI per collegare con Youtube senza leggere il json e senza aggiungere app key, Giorgio aggiungerà lo script nel suo account e il gioco è fatto.

mirkomassarutto

@overclokk https://docs.google.com/spreadsheets/d/1d7GfoWxlR7lf03KoNRwcQYQlwLyEjPiPAmjE4_NkKFM/edit?usp=sharing

giorgiotave

@overclokk ha detto in API di YouTube: riusciamo a fare un sito per piccole statistiche?:

@giorgiotave ha detto in API di YouTube: riusciamo a fare un sito per piccole statistiche?:

vai, riusciamo a partire con questa disposizione?
Così faccio partire la classe, appena ho almeno il form, faccio partire il tutto.

Riesco a guardarci questo fine settimana, non prima.

Perfetto

GRANDI

overclokk

Eccomi, allora procediamo così:

@giorgiotave dovresti nel tuo google drive creare una cartella dedicata (serve solo per tenere separato il progetto dal resto dei tuoi file) e poi dare accesso a me e @mirkomassarutto (ti passiamo la mail in chat) così creiamo direttamente il form e lo spreadsheet collegato.

I form sono pubblici conoscendone la url, quello che si può fare è limitare a 1 risposta per utente, gli utenti per rispondere devono avere un account google.

Poi per limitare ulteriormente sarebbe utile metterlo visibile sono per gli iscritti del forum?

Al momento l'unica validazione che ho scritto è quella se l'ID del canale è corretta.

L'ID del canale è l'unico mezzo sicuro che ci consente di reperire le info (non cambia mai come il nome), ho fatto delle prove con il nome del canale e non funziona con tutti quelli che ho provato (non sono stato a impazzire per capire il perché), poi, raga, se uno vuole fare lo youtuber dovrà imparare anche quale sia l'ID del proprio canale

Nello spreadsheet collegato al form meglio salvare solo le informazioni attuali, tutti gli altri calcoli (i vari salti iscritti, video, ecc) si fanno in un'altro foglio perché poi si dovra creare il "database" con lo storico ma un passo alla volta.

giorgiotave

@overclokk fatto, passatemi le email

GRANDISSIMI

overclokk

Intanto ho caricato i file del form e il foglio di calcolo

overclokk

Al momento solo l'ID è obbligatorio, finché facciamo dei test va bene così che se no si impazzisce a compilare tutti i campi.

Per eseguire lo script al submit ho aggiunto un "attivatore" nell'editor degli scripts

Il modula salva nel foglio "iscritti", poi il resto dei dati usiamo gli altri fogli.

Ora procediamo con i test per vedere come e cosa migliorare nel form.

giorgiotave

@overclokk va bene!

Che devo fare?

overclokk

Rompilo

Nel senso vedi se compilandolo c'è qualcosa che non va, cancella le righe nel foglio di calcolo, cancella le risposte dal form e ripeti, così vediamo se c'è qualche problema.

L'unico check che ho messo nel codice è solo per verificare che il canale esiste, non c'è nessun controllo se il canale è già stato inserito e non ci sono ancora le notice da mostrare in caso di errore.

overclokk

Intanto ho visto che forse si riescono a fare anche gli unit test, sarebbe interessante.