• token

    1

    Pegno. Pagamento simbolico.

    Usato per indicare un'inclusione forzata, per ragioni ideologiche o politiche.

    Esempi

    • «In quel film c'è un solo personaggio femminile.»

      «Non era necessario. L'hanno inserito come token.»

  • token

    2

    "Token" indica l'unità minima in cui i modelli linguistici di grandi dimensioni (LLM) scompongono il testo per elaborarlo. Non corrisponde esattamente a una parola: può essere una parola intera, una sua parte, un segno di punteggiatura o una sequenza di caratteri, a seconda del sistema di tokenizzazione usato dal modello. In italiano, per esempio, una parola lunga o rara può valere più token, mentre articoli e preposizioni comuni ne valgono spesso uno solo. Il termine è entrato nel gergo degli utenti di strumenti AI per indicare la misura del testo in input e output, che determina i costi di utilizzo delle API e i limiti della finestra di contesto.

    Cfr. tokenizzazione, promptare, llm

    Esempi

    • «Ho esaurito i token disponibili a metà del documento, ho dovuto spezzare la richiesta.»

    • «Attento a non sprecare token nel prompt con roba inutile: costano caro.»

Aggiungi una definizione