Skip to main content

Introdução | I.A

  • Introdução | I.A

Ferramentas | Inteligência Artificial​

Busca por MCP​

mcp

Conceitos​

LLMs​

  • Um modelo de linguagem grande (LLM) é um tipo de programa de inteligência artificial (IA) que pode reconhecer e gerar texto, entre outras tarefas. Os LLMs são treinados em enormes conjuntos de dados — daí o nome "grande". Os LLMs são baseados em aprendizado de máquina: especificamente, um tipo de rede neural chamada de modelo transformer.

Parâmetros​

Os números 7B, 13B, 175B, etc., referem-se à quantidade de parâmetros de um modelo de linguagem (LLM). Parâmetros são as "engrenagens" internas de um modelo que ajustam sua capacidade de aprender e representar padrões. Quanto maior o número de parâmetros, maior a complexidade e a capacidade do modelo de gerar respostas sofisticadas. Vamos explorar mais sobre isso:

O que são parâmetros em LLMs?​

  • Definição: Parâmetros são os pesos ajustáveis em uma rede neural. Eles representam as conexões entre os neurônios e determinam como o modelo processa informações.
  • Função: Durante o treinamento, esses pesos são ajustados para que o modelo consiga prever a próxima palavra com mais precisão.

Por exemplo:

  • 7B: 7 bilhões de parâmetros.
  • 13B: 13 bilhões de parâmetros.
  • 175B: 175 bilhões de parâmetros (GPT-3).

Como o número de parâmetros afeta o desempenho?​

  1. Mais parâmetros = maior capacidade:

    • Modelos com mais parâmetros conseguem capturar padrões mais complexos na linguagem.
    • São melhores em tarefas de zero-shot ou few-shot learning.

  2. Cuidado com a eficiência:

    • Mais parâmetros não garantem sempre melhor desempenho em todas as tarefas. Modelos menores, como o LLaMA 7B, podem ser mais eficientes em algumas situações específicas.
    • Modelos com muitos parâmetros exigem mais memória, tempo de processamento e energia.

Comparação por tamanho​

ModeloParâmetrosDesempenho Geral
GPT-2 (Small)117MBom para tarefas simples
LLaMA 7B7BCompacto e eficiente, bom para domínio específico
GPT-3175BExcelente para tarefas diversas
GPT-4 (estimado)>200BMultimodal e mais robusto

📖 Dicionário | Embeddings | I.A​

  • Embeddings → No contexto de Inteligência Artificial, embeddings são representações numéricas (vetores) que traduzem informações complexas — como palavras, frases, imagens ou documentos — em uma forma que os modelos conseguem entender, comparar e relacionar.

  • Tokenizer → Tokenizar é o processo de quebrar o texto em unidades menores, chamadas tokens. Ex: ["O", "gato", "come", "peixe"]