Como LLM trabalha? | LLM | I.A
- Como LLM trabalha? | LLM | I.A
Vídeo explicando
Tokenização e Embeddings
O texto de entrada é dividido em tokens, que são pedaços menores do texto.
Um token pode ser:
- uma palavra inteira
- parte de uma palavra
- um símbolo
- uma pontuação
Exemplo simples:
"Eu gosto de banco"
Pode virar algo como:
["Eu", "gosto", "de", "banco"]
Depois disso, cada token é transformado em um vetor numérico chamado embedding.
Esse vetor representa o significado aproximado daquele token em um espaço matemático de muitas dimensões.
A ideia é:
palavras com significados parecidos ficam próximas nesse espaço
Exemplo conceitual:
"rei" fica perto de "rainha"
"carro" fica perto de "ônibus"
"banco" pode ficar próximo de dinheiro ou de assento, dependendo do contexto
Mecanismo de Atenção — Self-Attention
A atenção permite que o modelo entenda quais palavras são importantes umas para as outras dentro da frase.
Por exemplo:
"Eu sentei no banco da praça."
Aqui, banco provavelmente significa assento.
Agora:
"Eu depositei dinheiro no banco."
Aqui, banco significa instituição financeira.
O mecanismo de self-attention ajuda o modelo a olhar para as outras palavras da frase e ajustar o significado de cada token com base no contexto.
Em termos simples:
cada palavra "olha" para as outras palavras e decide quais são mais relevantes para entender seu próprio significado
Camadas Feed-Forward
Depois da atenção, os tokens passam por camadas chamadas feed-forward layers.
Essas camadas são redes neurais que processam os vetores e refinam a representação dos tokens.
A atenção ajuda a capturar relações entre palavras.
A feed-forward layer ajuda a transformar e enriquecer essas informações.
De forma simplificada:
Self-Attention → entende relações entre tokens
Feed-Forward → processa e refina o significado
Iteração e Deep Learning
Esse processo não acontece só uma vez.
Em modelos grandes, existem muitas camadas repetindo essa estrutura:
Attention
Feed-Forward
Attention
Feed-Forward
Attention
Feed-Forward
...
Cada camada vai refinando um pouco mais a representação dos tokens.
Camadas iniciais podem capturar coisas mais simples, como estrutura da frase.
Camadas intermediárias podem capturar relações semânticas.
Camadas mais profundas podem capturar padrões mais abstratos, como intenção, estilo, contexto e lógica.
É por isso que se chama deep learning: existem várias camadas de processamento matemático, normalmente envolvendo multiplicações de matrizes, funções de ativação e otimizações.
Predição e Sampling
No final, o modelo produz uma distribuição de probabilidade para o próximo token.
Exemplo:
Entrada:
"O céu está muito"
O modelo pode gerar probabilidades como:
azul → 45%
claro → 20%
nublado → 15%
bonito → 10%
frio → 5%
outros → 5%
Então o modelo escolhe o próximo token com base nessa distribuição.
Esse processo se repete várias vezes:
gera um token
usa esse token como novo contexto
gera o próximo
usa o novo texto como contexto
gera o próximo
...
Por isso dizemos que modelos de linguagem geram texto token por token, e não uma resposta inteira de uma vez.
Resumo direto
Um modelo de linguagem funciona mais ou menos assim:
Texto de entrada
→ Tokenização
→ Embeddings
→ Self-Attention
→ Feed-Forward Layers
→ Repetição em várias camadas
→ Probabilidades para o próximo token
→ Sampling
→ Texto gerado
Em termos simples:
O modelo transforma texto em números, analisa relações entre palavras, refina essas representações em várias camadas e prevê qual token deve vir em seguida.