token
Pegno. Pagamento simbolico.
Usato per indicare un'inclusione forzata, per ragioni ideologiche o politiche.
Esempi
«In quel film c'è un solo personaggio femminile.»
«Non era necessario. L'hanno inserito come token.»
token
Pegno. Pagamento simbolico.
Usato per indicare un'inclusione forzata, per ragioni ideologiche o politiche.
«In quel film c'è un solo personaggio femminile.»
«Non era necessario. L'hanno inserito come token.»
token
"Token" indica l'unità minima in cui i modelli linguistici di grandi dimensioni (LLM) scompongono il testo per elaborarlo. Non corrisponde esattamente a una parola: può essere una parola intera, una sua parte, un segno di punteggiatura o una sequenza di caratteri, a seconda del sistema di tokenizzazione usato dal modello. In italiano, per esempio, una parola lunga o rara può valere più token, mentre articoli e preposizioni comuni ne valgono spesso uno solo. Il termine è entrato nel gergo degli utenti di strumenti AI per indicare la misura del testo in input e output, che determina i costi di utilizzo delle API e i limiti della finestra di contesto.
Cfr. tokenizzazione, promptare, llm
«Ho esaurito i token disponibili a metà del documento, ho dovuto spezzare la richiesta.»
«Attento a non sprecare token nel prompt con roba inutile: costano caro.»