O que é Token (em IA)?

Definição

Um token é um pedaço de texto que os modelos de IA usam como unidade básica para ler e gerar linguagem. Pode ser uma palavra, parte de uma palavra ou um sinal de pontuação.

Por que existe

Modelos não leem letras nem frases inteiras de uma vez; quebram o texto em tokens para processar e prever o próximo pedaço. É assim que medem tamanho e custo.

Analogia simples

Pense nos tokens como as peças de LEGO do texto: a frase é montada (e cobrada) peça por peça, não de uma vez.

Exemplo do dia a dia

A palavra inteligência pode virar 3 ou 4 tokens; já a palavra de costuma ser 1. Ferramentas de IA cobram por mil tokens de entrada e de saída.

Por que as pessoas se importam

O preço e o limite de uma IA são medidos em tokens. Entender isso ajuda a escrever prompts mais enxutos e a controlar custos.

Mitos comuns

• Token não é o mesmo que palavra — quase sempre há mais tokens do que palavras.
• Token de IA não tem relação com token de criptomoeda, apesar do nome igual.
• Textos em português costumam gastar mais tokens que em inglês.

Onde você encontra

Nos preços das APIs de IA, nos limites de mensagem do ChatGPT e do Gemini e no tamanho máximo de um prompt.

Conceitos relacionados