Quanto è lo SPRECO con l'AI?

[giorgiotave]

Quanto è lo SPRECO con l'AI?

Sarebbe interessante se le piattaforme di AI inserissero un pulsante per determinare che quel task è terminato.

In questo modo si potrebbe quantificare lo spreco di risorse usato per ottenere quel risultato.

Attenzione, lo SPRECO.

Ovvero certo che ci sarà il complessivo, ma ci deve essere quanto la persona ha PERSO dalla prima interazione all'ultima, perché secondo me la quantità di NON ONE Shot Prompt è elevatissima.

[kal]

A me più che lo spreco interesserebbe sapere quando le piattaforme fanno throttling delle risorse.

A volte "sembra" che il modello diventi più "stupido". Ecco, secondo me in questi casi io credo che limitino le risorse ma senza dirtelo.

Magari perché hanno un carico maggiore in quel momento, allora ti danno le risposte di un modello quantizzato... Cosa che fra l'altro aumenta pure le allucinazioni.

Qua servirebbe più trasparenza. Tipo "ChatGPT in questo momento è più affaticato del solito per cui potrebbe essere un po' meno brillante".

Almeno uno sa cosa aspettarsi.

Invece ora come ora non c'è trasparenza...