A frase mais provável
Um modelo de linguagem não escreve a frase inteira de uma vez: ele escolhe a próxima palavra, depois a próxima. Aqui está um modelo minúsculo que completa "O robô..." com duas escolhas. Descubra o que ele escreve e se dava para fazer melhor.
As probabilidades do modelo
A probabilidade de uma frase inteira é a multiplicação das probabilidades de cada escolha. O modo guloso (temperatura zero) pega sempre a palavra com maior porcentagem naquele passo.
- Qual a probabilidade, em %, da frase que o modo guloso escreve?
- Qual a probabilidade, em %, da frase mais provável de todas que o modelo consegue escrever?
Sua resposta
Dicas
- 50% é 0,5. A frase "O robô parou longe" tem probabilidade 0,2 × 0,4 = 0,08, ou seja, 8%.
- O modo guloso decide a primeira palavra sem olhar a segunda coluna. Depois, decide a segunda só entre os filhos da palavra que escolheu.
- Para a pergunta 2, calcule as sete frases possíveis e pegue a maior. Ela não começa pela palavra mais provável.
Explicação
Por que o melhor passo não é a melhor frase
Para ir além
Entenda como os modelos de linguagem funcionam por dentro, de tokens a temperatura, no curso IA do zero. Para ver modelos que transformam texto em movimento de robô, veja VLA: visão, linguagem e ação.