Skip to main content

Generation Model Parameters | I.A

  • Generation Model Parameters | I.A
info

Os parâmetros do modelo de geração controlam o comportamento do processo de geração de texto, influenciando a qualidade e a diversidade do resultado.

alt text

def generate_text(context, query, model, tokenizer, max_length=100):
    input_text = f"Context: {context} \nQuestion: {query} \nAnswer:"
    inputs = tokenizer(input_text, return_tensors="pt", padding=True, truncation=True)

    inputs_ids = inputs["input_ids"]
    attention_mask = (inputs_ids != tokenizer.pad_token_id).long()
    outputs = model.generate(input_ids=inputs_ids,
                             attention_mask=attention_mask,
                             max_length=max_length,
                             pad_token_id=tokenizer.eos_token_id,
                             temperature=0.1,
                             top_k=50,
                             top_p=0.8,
                             repetition_penalty=1.2,
                             do_sample = True)
    
    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return generated_text

Temperature​

  • Ele ajusta o grau de aleatoriedade do texto gerado, equilibrando entre resultados mais focados e mais criativos.

Temperatura = 1,0 — configuração padrão Temperatura mais baixa (< 1,0) — saída mais focada Temperatura mais alta (> 1,0) — saída mais aleatória

Top-k Sampling​

  • Ele restringe as escolhas da próxima palavra às k principais opções, aumentando a coerência e reduzindo a aleatoriedade.

Top-p (Nucleus) Sampling​

  • Ele ajusta as opções de palavras com base na probabilidade cumulativa, equilibrando diversidade e coerência. Essa configuração considera todas as opções cuja probabilidade cumulativa soma até 100%. Valores mais baixos limitam as opções, de forma semelhante ao top-k.

Repetition Penalty​

  • A penalidade de repetição reduz frases repetidas, deixando as respostas mais diversas e mais naturais/“humanas”.

repetition_penalty = 1,1 — essa configuração impede o modelo de repetir palavras, garantindo uma saída mais variada.

Sampling Mode​

  • O modo de amostragem (sampling) adiciona aleatoriedade, criando um texto mais variado e criativo.

do_sample = True — ativa o modo de amostragem, permitindo saídas mais variadas e criativas.