Skip to main content

Transformers | Text Generation | I.A

  • Transformers | Text Generation | I.A

alt text

  • O Transformer inclui um codificador e um decodificador, transformando sequências de entrada em representações e saídas detalhadas.

  • As camadas de Multi-Head Attention e Add & Norm estabilizam e refinam os dados, enquanto a Masked Multi-Head Attention garante a geração adequada de sequências.

  • As previsões do modelo, criadas usando camadas Lineares e Softmax, destacam-se em tarefas como tradução e sumarização, evidenciando seu design versátil.

1. Inputs​

Entrada textual que será processada.

Exemplo: Frase: "O gato sentou no tapete"

2. Input Embedding​

Converte cada palavra da frase em um vetor numérico (embedding), permitindo o processamento matemático.

Exemplo: "gato" → [0.12, -0.45, 0.88, ...] (vetor de 768 dimensões, por exemplo)

3. Positional Encoding​

Adiciona informação sobre a posição da palavra na frase, pois os embeddings sozinhos não contêm ordem.

Exemplo: "gato" na 2ª posição recebe uma codificação posicional específica e é somada ao seu embedding.

4. Multi-Head Attention​

Permite que o modelo foque em diferentes partes da frase ao mesmo tempo. Cada "head" observa relações diferentes entre palavras.

Exemplo: Na frase "O gato sentou no tapete":

  • Uma head pode focar em "gato" → "sentou"
  • Outra em "tapete" → "no"

5. Add & Norm (1)​

Soma o resultado da atenção com a entrada original (residual connection) e aplica normalização para estabilizar o aprendizado.

Exemplo: Embedding original + resultado da atenção → Normalização

6. Feed Forward​

Passa os dados por duas camadas densas (linear → ReLU → linear) para capturar padrões complexos.

Exemplo: Transforma "gato" em um vetor mais refinado após ativação não linear.

7. Add & Norm (2)​

Soma a saída do feed forward com a entrada anterior e aplica nova normalização. Prepara os dados para a próxima camada ou para decodificação.

Exemplo: (Saída FFN + Entrada anterior) → Normalização

Essas etapas podem ser empilhadas em diversas camadas para formar o encoder e o decoder de um modelo Transformer completo.

Resumo Visual:

Texto → Embedding → +Positional → Multi-Head Attention → Add & Norm → Feed Forward → Add & Norm