Glossário de APIs de LLM
Atualizado em
Definições curtas e com fontes dos termos que desenvolvedores encontram ao chamar uma API de LLM ou de fala para texto: o que são tokens e janela de contexto, como entrada em cache e planos de preço fixo mudam a conta e o que limites de taxa e retenção zero de dados significam na prática.
APIs e integração
- Agente de IA (AI agent)
- Um agente de IA é um sistema em que um modelo de linguagem conduz os próprios passos rumo a um objetivo: decide quais ferramentas chamar, lê os resultados e repete até produzir uma resposta final ou atingir um limite. Um script fixo que chama um modelo em pontos definidos costuma ser chamado de workflow.
- Agente de programação com IA (AI coding agent)
- Um agente de programação com IA é uma ferramenta de software em que um modelo de linguagem trabalha numa codebase em ciclo: lê arquivos, edita, roda comandos como os testes, lê a saída e decide o próximo passo até a tarefa terminar ou um limite ser atingido.
- API compatível com a OpenAI
- Uma API compatível com a OpenAI é uma API HTTP que aceita os mesmos formatos de requisição e de resposta da API da OpenAI, como POST /v1/chat/completions, de modo que SDKs e ferramentas da OpenAI podem usá-la trocando só a base URL, a chave de API e o nome do modelo.
- Backoff exponencial (exponential backoff)
- Backoff exponencial é uma estratégia de retry em que o cliente espera mais tempo depois de cada tentativa que falha, normalmente dobrando o atraso até um teto, antes de tentar de novo. Adicionar um jitter aleatório a cada espera espalha os retries de muitos clientes, para que não atinjam o servidor no mesmo instante.
- Banco de dados vetorial (vector database)
- Um banco de dados vetorial é um armazenamento que guarda vetores de embedding, muitas vezes com o texto de origem e metadados, e responde a consultas de vizinhos mais próximos: dado um vetor de consulta, devolve os vetores armazenados mais parecidos, em geral por distância de cosseno, distância euclidiana ou produto interno.
- Base URL (URL base)
- A base URL é o endereço raiz fixo de uma API, como https://api.example.com/v1, que um cliente coloca antes de cada caminho de endpoint, como /chat/completions. Nos SDKs compatíveis com a OpenAI, trocar a base URL, junto com a chave de API e o ID do modelo, aponta o mesmo código para outro provedor.
- Batch API (API de lote)
- Batch API é um endpoint assíncrono de LLM que aceita muitas requisições de uma vez, normalmente em um arquivo, processa tudo dentro de uma janela definida em vez de na hora e devolve os resultados juntos. Provedores como OpenAI e Anthropic cobram as requisições em lote com desconto em relação às APIs padrão.
- BM25
- BM25 (Okapi BM25) é uma função de ranking para busca por palavra-chave que pontua um documento conforme a frequência dos termos da consulta nele, a raridade desses termos na coleção e o tamanho do documento. É a similaridade padrão no Lucene e no Elasticsearch.
- Busca híbrida (hybrid search)
- Busca híbrida é um método de recuperação que executa, na mesma consulta, uma busca por palavras-chave, como BM25, e uma busca vetorial sobre embeddings, e depois funde as duas listas ranqueadas em uma só, muitas vezes com reciprocal rank fusion (RRF) ou com uma soma ponderada de scores normalizados.
- Chamadas de ferramentas em paralelo (parallel tool calls)
- Chamadas de ferramentas em paralelo acontecem quando um modelo devolve mais de uma chamada de ferramenta em uma única resposta, por exemplo três leituras de arquivo de uma vez. No formato da OpenAI elas chegam como várias entradas em tool_calls, e parallel_tool_calls como false limita o modelo a zero ou uma chamada por turno.
- Chat Completions API
- A Chat Completions API é o endpoint HTTP da OpenAI, POST /v1/chat/completions, que recebe o nome de um modelo e uma lista de mensagens marcadas com papéis e devolve a próxima mensagem do modelo. O formato da requisição e da resposta virou o padrão comum que provedores e SDKs compatíveis com a OpenAI reutilizam.
- Chave de idempotência (idempotency key)
- Uma chave de idempotência é um valor único, normalmente um ID aleatório como um UUID, que o cliente anexa a uma requisição que altera estado, como um pagamento ou uma compra. Se a mesma requisição for enviada de novo com a mesma chave, o servidor retorna o resultado original em vez de executar a ação duas vezes.
- Chunking (RAG)
- Chunking é a etapa de um pipeline de recuperação que divide os documentos em pedaços menores, chamados chunks, antes de gerar embeddings e indexá-los. O chunk size define quanto texto cada pedaço tem, e o chunk overlap repete parte do texto entre chunks vizinhos para que ideias cortadas numa fronteira não se percam.
- Concorrência (concurrency)
- Concorrência é o número de requisições que um cliente tem em andamento ao mesmo tempo. APIs de LLM muitas vezes a limitam por chave ou por plano, separadamente das requisições por minuto, porque cada requisição aberta ocupa capacidade de GPU até a resposta terminar.
- Descontinuação de modelos (model deprecation)
- A descontinuação (deprecation) de um modelo acontece quando um provedor de API anuncia que deixará de oferecê-lo, normalmente informando uma data de aposentadoria ou desligamento e um substituto recomendado. Depois dessa data, as requisições ao modelo falham, então as aplicações precisam migrar antes para outro ID de modelo.
- Fallback de modelo (model fallback)
- Fallback de modelo é um padrão de confiabilidade em que uma requisição de LLM que falhou é repetida em outro modelo ou provedor de uma lista ordenada. O gatilho pode ser um erro, um rate limit, um erro de tamanho de contexto ou uma recusa por política de conteúdo. Roda no cliente ou em um gateway na frente das APIs.
- finish_reason
- finish_reason é um campo de cada choice na resposta de uma chat completion que informa por que o modelo parou de gerar. No formato da OpenAI, os valores são stop, length, tool_calls, content_filter e o obsoleto function_call. A Messages API da Anthropic informa a mesma coisa como stop_reason.
- Inferência serverless (serverless inference)
- Inferência serverless é uma forma de rodar modelos de machine learning em que a plataforma inicia, escala e desliga automaticamente a computação por trás de um endpoint, muitas vezes até zero quando ocioso, e cobra pelo uso em vez de máquinas reservadas. A contrapartida é um possível atraso de cold start.
- JSON mode (modo JSON)
- JSON mode é uma configuração de APIs de LLM, response_format {"type": "json_object"} em APIs no estilo da OpenAI, que faz a resposta do modelo ser JSON válido e parseável. Ao contrário de structured outputs com JSON Schema, ele não garante quais chaves, tipos ou valores o objeto contém.
- JSON Schema
- JSON Schema é um vocabulário, escrito em JSON, para descrever e validar a estrutura de dados JSON: tipos, campos obrigatórios, valores permitidos e aninhamento. A versão atual é a 2020-12. APIs de LLM o usam para definir parâmetros de tools e o formato exato que uma saída estruturada deve seguir.
- Latência (latency)
- Latência, em uma API de modelos de linguagem, é o tempo entre o envio de uma requisição e o recebimento do último token de saída. É a soma do time to first token com o tempo de geração e costuma ser informada em percentis, como p50 e p95, e não como média.
- LLM router (roteador de LLMs)
- Um LLM router é um software ou serviço que fica entre uma aplicação e uma ou mais APIs de modelos de linguagem e decide, a cada requisição, qual modelo ou provedor vai atendê-la, com base em regras como custo, latência, disponibilidade ou tipo de tarefa.
- MCP (Model Context Protocol)
- MCP (Model Context Protocol) é um protocolo aberto, baseado em JSON-RPC 2.0, que padroniza como aplicações de LLM se conectam a ferramentas e dados externos. Um servidor MCP expõe ferramentas, recursos e prompts; um client MCP dentro da aplicação host os descobre e repassa ao servidor as chamadas de ferramenta feitas pelo modelo.
- Normalização Unicode (Unicode normalization)
- Normalização Unicode é a conversão de texto para uma forma padrão, para que strings que parecem iguais usem os mesmos code points. As quatro formas são NFD, NFC, NFKD e NFKC; as formas K também reduzem caracteres de compatibilidade, como formas de apresentação árabes e ligaduras, a letras comuns.
- Parâmetro seed
- O parâmetro seed é um inteiro que você envia com a requisição para que a API tente amostrar os mesmos tokens quando a mesma requisição for repetida. A OpenAI o descreve como best effort: o determinismo não é garantido, e o campo system_fingerprint mostra quando a configuração do backend mudou.
- Prompt de sistema (system prompt)
- O system prompt, ou prompt de sistema, é o texto de instruções que uma aplicação envia a um modelo de linguagem antes da conversa, em geral como mensagem com o papel system ou developer. Ele define o papel, as regras, o tom e o formato de saída do modelo, que deve segui-lo mesmo quando mensagens do usuário o contradizem.
- Provedor de inferência (inference provider)
- Um provedor de inferência é uma empresa que roda modelos de machine learning, muitas vezes LLMs open-weight, em GPUs próprias, arrendadas ou alugadas, e vende o acesso a eles por uma API, normalmente cobrando por token, por requisição ou por unidade de tempo. Ele cuida do serving, da escala e do hardware.
- RAG (geração aumentada por recuperação)
- RAG (retrieval-augmented generation, ou geração aumentada por recuperação) é um padrão em que a aplicação primeiro busca, em um repositório externo como um índice de busca ou vetorial, trechos relevantes para uma pergunta e depois os adiciona ao prompt, para que um modelo de linguagem responda a partir desse texto e não só da memória.
- Rate limit (limite de taxa)
- Um rate limit é um teto que uma API impõe a quanto um cliente pode usá-la em um intervalo de tempo, como requisições por minuto ou tokens por minuto. As requisições acima do limite são recusadas, normalmente com HTTP 429 Too Many Requests, até que o uso volte a ficar abaixo dele.
- ReAct (reason and act)
- ReAct (reason and act) é um padrão de prompting, apresentado por Yao et al. em 2022, em que um modelo de linguagem intercala traços de raciocínio com ações, como buscas ou chamadas de ferramentas. Ele lê cada observação, atualiza o plano e repete até conseguir dar uma resposta final.
- Reranking (reordenação de resultados)
- Reranking é uma segunda etapa de recuperação em que um modelo mais preciso, porém mais lento, em geral um cross-encoder, pontua cada par de consulta e documento candidato vindo de uma primeira busca e os reordena, para que só os poucos mais relevantes sejam passados ao modelo de linguagem.
- Saída estruturada (structured output)
- Saída estruturada é um recurso de APIs de LLM que restringe a resposta de um modelo a um formato definido pelo desenvolvedor, normalmente um JSON Schema, para que o código consiga interpretá-la de forma confiável. É mais rigorosa que o JSON mode, que garante um JSON válido, mas não uma estrutura específica.
- Sequências de parada (stop sequences)
- Sequências de parada são strings que você envia com a requisição e que fazem o modelo parar de gerar assim que produz uma delas. A OpenAI chama o campo de stop e aceita até 4 sequências; a Anthropic o chama de stop_sequences. Normalmente o texto encontrado fica fora da saída retornada.
- Server-sent events (SSE)
- Server-sent events (SSE) é um padrão web para um servidor enviar a um cliente um fluxo de eventos de texto por uma única resposta HTTP de longa duração, com content type text/event-stream. Cada evento tem uma ou mais linhas de campo, como data:, e termina com uma linha em branco.
- Sistema multiagente (multi-agent system)
- Um sistema multiagente é uma aplicação de LLM em que vários agentes, cada um com seu próprio prompt, ferramentas e contexto, trabalham em partes de uma mesma tarefa. Um desenho comum é o orchestrator-worker: um agente líder planeja, inicia agentes workers em paralelo e combina os resultados deles.
- SLA (acordo de nível de serviço)
- SLA (service level agreement, ou acordo de nível de serviço) é um compromisso contratual de um fornecedor com um nível de serviço mensurável, em geral um percentual de uptime mensal, com uma compensação definida, em geral créditos de serviço, se não for cumprido. O SLA define o que conta como downtime, o que fica excluído e como reivindicar.
- Streaming
- Streaming é uma forma de devolver a resposta de um modelo de linguagem em pequenos pedaços enquanto ela ainda está sendo gerada, em vez de uma resposta única no final. APIs compatíveis com a OpenAI fazem streaming via server-sent events quando a requisição define stream como true.
- Subagente (subagent)
- Um subagente é um agente separado que um agente principal inicia para cuidar de uma tarefa específica. Ele roda com a própria janela de contexto, o próprio system prompt e acesso próprio a ferramentas, faz o trabalho e devolve ao agente principal só um resultado ou resumo, o que mantém a conversa principal pequena.
- Texto RTL (da direita para a esquerda)
- Texto da direita para a esquerda (RTL) é a escrita, como a árabe ou a hebraica, exibida da direita para a esquerda. O computador a armazena na ordem lógica de leitura, e o algoritmo bidirecional do Unicode decide a ordem de exibição quando ela se mistura com texto da esquerda para a direita, dígitos, nomes de modelos ou código.
- Throughput (vazão)
- Throughput, ou vazão, no serving de LLMs, é a quantidade total de trabalho que um sistema conclui por unidade de tempo em todas as requisições simultâneas, geralmente medida em tokens de saída ou requisições por segundo. É diferente da velocidade por stream, que é a rapidez com que uma única requisição recebe seus tokens.
- Time to first token (TTFT)
- Time to first token (TTFT) é o tempo entre o envio de uma requisição a um modelo de linguagem e a chegada do primeiro token de saída. Inclui o tempo de rede, a fila no servidor e o prefill, etapa em que o modelo lê o prompt inteiro, então cresce com o tamanho do prompt e a carga.
- Timeout de requisição (request timeout)
- Timeout de requisição é o tempo máximo que um cliente HTTP espera por um servidor antes de abandonar a requisição. Os clientes costumam dividi-lo em timeout de conexão, para abrir a conexão, e timeout de leitura, para esperar os dados. Chamadas a LLMs precisam de timeouts de leitura generosos, porque respostas longas levam tempo.
- Tool calling (chamada de ferramentas)
- Tool calling, também chamado de function calling ou chamada de ferramentas, é um recurso de APIs de LLM em que o modelo devolve um pedido estruturado para executar uma função definida pelo desenvolvedor, com argumentos JSON. A aplicação executa a função e devolve o resultado; o modelo nunca executa código sozinho.
- tool_choice
- tool_choice é um parâmetro da requisição que controla o uso de ferramentas. No Chat Completions da OpenAI, pode ser auto (o modelo decide), required (precisa chamar uma ou mais ferramentas), none (sem ferramentas) ou uma função específica a forçar. As opções equivalentes da Anthropic são auto, any, tool e none.
Modelos e tokens
- Alucinação (hallucination)
- Alucinação é uma saída de um modelo de linguagem que parece plausível, mas é falsa, inventada ou não tem apoio na entrada recebida, como uma citação inventada, um número errado ou uma API que não existe. Ela surge porque o modelo prevê o texto mais provável em vez de checar fatos.
- Árabe dialetal (dialectal Arabic)
- Árabe dialetal é o árabe falado no dia a dia de uma região ou cidade, como o árabe egípcio, do Golfo, levantino ou magrebino. Os dialetos diferem do árabe padrão moderno em sons, palavras e gramática, não têm ortografia padrão e são cada vez mais escritos na internet, o que os torna mais difíceis para modelos de linguagem.
- Árabe padrão moderno (MSA)
- O árabe padrão moderno (MSA) é a forma padronizada do árabe usada na escrita, no noticiário, na educação e na fala formal em todo o mundo árabe. Ele não é a língua materna do dia a dia de ninguém: as pessoas falam dialetos regionais, como o egípcio ou o árabe do Golfo, e passam para o MSA em contextos formais.
- Arabizi
- Arabizi é árabe escrito de modo informal com letras latinas, usando dígitos para sons árabes sem equivalente latino, como 3 para ع. É comum em chats e redes sociais, é quase sempre dialetal, não tem grafia padrão e muitas vezes vem misturado com inglês ou francês.
- AWQ (activation-aware weight quantization)
- AWQ (activation-aware weight quantization) é um método pós-treinamento que comprime os pesos de um LLM para baixa precisão, geralmente inteiros de 4 bits. Ele usa estatísticas de ativação de um pequeno conjunto de calibração para achar os canais de pesos mais importantes e os escala para que percam menos precisão. Não precisa de backpropagation.
- Benchmark de LLM
- Um benchmark de LLM é um conjunto fixo de tarefas, normalmente público, com um método de pontuação, usado para medir e comparar modelos de linguagem em uma habilidade, como perguntas de conhecimento, programação ou reconhecimento de fala. A nota mostra a capacidade relativa naquele teste, não como um modelo vai se sair na sua carga de trabalho.
- Byte pair encoding (BPE)
- Byte pair encoding (BPE) é um algoritmo de tokenização em subpalavras que parte de caracteres ou bytes individuais e junta repetidamente o par adjacente mais frequente em uma nova entrada do vocabulário, até chegar ao tamanho de vocabulário desejado. A maioria dos tokenizers de LLM atuais usa BPE ou uma variante em nível de byte.
- Chain-of-thought (CoT, cadeia de pensamento)
- Chain-of-thought (CoT, cadeia de pensamento) é uma técnica de prompting em que se mostra ou se pede a um modelo de linguagem que escreva passos intermediários de raciocínio antes da resposta final. Ela melhora a precisão em problemas de várias etapas, como aritmética e lógica, e os modelos de raciocínio agora a geram automaticamente.
- Chat template (template de chat)
- Chat template é a regra de formatação, geralmente escrita em Jinja e distribuída com o tokenizer do modelo, que converte uma lista de mensagens de chat com papéis na sequência única de tokens que o modelo espera, incluindo os tokens especiais de controle. Usar o template errado pode piorar muito as respostas do modelo.
- Context compaction (compactação de contexto)
- Context compaction é a prática de resumir uma conversa que está chegando ao limite da janela de contexto e continuar a sessão a partir desse resumo, para que o agente mantenha decisões importantes e o estado, descartando histórico bruto como saídas antigas de ferramentas.
- Context engineering (engenharia de contexto)
- Engenharia de contexto é o trabalho de escolher e manter o conjunto de tokens que um modelo de linguagem vê a cada requisição, incluindo system prompt, definições de ferramentas, histórico, documentos recuperados e anotações, para que o modelo receba o menor conjunto de informações de alto sinal de que precisa para fazer bem a tarefa.
- Context rot (degradação de contexto)
- Context rot é a perda gradual de precisão e confiabilidade que os modelos de linguagem mostram conforme a entrada fica mais longa, mesmo quando a tarefa é a mesma e a entrada está bem dentro da janela de contexto. O termo foi popularizado por um relatório técnico da Chroma de 2025 que testou 18 modelos.
- Destilação (knowledge distillation)
- Destilação, ou knowledge distillation, é um método de treinamento em que um modelo aluno menor aprende a reproduzir as saídas de um modelo professor maior, como suas distribuições de probabilidade ou respostas geradas, para manter boa parte da qualidade do professor com um custo de execução menor.
- Diacríticos árabes (tashkeel)
- Diacríticos árabes, ou tashkeel, são pequenas marcas escritas acima ou abaixo das letras para indicar vogais curtas, consoantes dobradas e a ausência de vogal. São opcionais: a maior parte do texto árabe, incluindo notícias, não as usa, então leitores e software deduzem as vogais pelo contexto.
- Embeddings
- Embeddings são listas de números de ponto flutuante (vetores) que um modelo produz para representar um texto, uma imagem ou outra entrada. Entradas com significado parecido recebem vetores próximos, então a distância entre vetores serve para ordenar resultados de busca, agrupar documentos ou encontrar itens relacionados.
- Engenharia de prompt (prompt engineering)
- Engenharia de prompt é o processo de escrever, estruturar e testar as instruções dadas a um modelo de linguagem para que ele produza, de forma consistente, uma saída que atenda aos seus requisitos. Inclui mensagens de papel, instruções claras, exemplos, formatação e a medição dos resultados com casos de teste.
- Eval (avaliação de LLM)
- Uma eval (abreviação de evaluation, avaliação) é um teste repetível de um modelo de linguagem ou de um prompt: um conjunto fixo de entradas, uma descrição de como é uma boa saída e um avaliador (código, uma pessoa ou outro modelo) que pontua cada saída, para que versões possam ser comparadas.
- Few-shot prompting (prompt com exemplos)
- Few-shot prompting é uma técnica em que o prompt inclui um pequeno número de exemplos resolvidos de entrada e saída antes da entrada real, para que o modelo de linguagem deduza deles a tarefa e o formato. Os pesos do modelo não mudam; zero-shot não usa exemplos e one-shot usa um.
- Fine-tuning (ajuste fino de LLM)
- Fine-tuning é o processo de continuar treinando um modelo de linguagem pré-treinado com um conjunto de dados menor e específico, como conversas de exemplo, para que seus pesos mudem e ele execute aquela tarefa ou estilo de forma mais confiável, sem instruções longas ou exemplos em todo prompt.
- FP8 (ponto flutuante de 8 bits)
- FP8 é um formato numérico de ponto flutuante de 8 bits usado em deep learning, definido em duas codificações: E4M3, com 4 bits de expoente e 3 de mantissa, e E5M2, com 5 bits de expoente e 2 de mantissa. Ele reduz pela metade a memória em relação aos formatos de 16 bits e roda nativamente em GPUs recentes.
- Frequency e presence penalty
- Frequency e presence penalty são configurações de amostragem que reduzem a pontuação de tokens que já estão na saída. A presence penalty se aplica assim que o token aparece; a frequency penalty cresce a cada repetição. Na API da OpenAI, ambas vão de -2.0 a 2.0, com padrão 0.
- GGUF (formato de modelo do llama.cpp)
- GGUF é um formato de arquivo binário para armazenar modelos de linguagem para inferência com runtimes baseados em GGML, como o llama.cpp. Um único arquivo GGUF guarda os pesos, muitas vezes quantizados, e os metadados necessários para carregar o modelo, incluindo detalhes do tokenizer e da arquitetura, e pode ser mapeado em memória para carregar rápido.
- Grounding (ancoragem em fontes)
- Grounding é a prática de ligar a saída de um modelo de linguagem a fontes de informação específicas e verificáveis, como documentos fornecidos, resultados de busca ou registros de banco de dados, e instruí-lo a responder com base nelas. Respostas ancoradas podem ser rastreadas até uma fonte e têm menos chance de trazer fatos inventados.
- Hamza (letra árabe)
- Hamza (ء) é a letra árabe que representa a oclusiva glotal. Ela é escrita sozinha ou sobre um suporte: alef (أ إ), waw (ؤ) ou yeh (ئ), e آ junta alef e madda. Como o texto digitado é inconsistente com ela, buscadores e a avaliação de fala costumam reduzir as formas com alef a ا.
- IA multimodal (multimodal AI)
- IA multimodal é um modelo ou sistema que trabalha com mais de um tipo de dado, como texto, imagens, vídeo e áudio. Um modelo multimodal pode ler uma foto e uma pergunta juntas, ou receber fala e responder em texto. O tipo mais comum é o modelo de visão e linguagem (vision-language model).
- Identificação de dialeto árabe (dialect identification)
- Identificação de dialeto árabe é a tarefa de decidir em qual variedade de árabe está um texto ou uma gravação, como egípcio, do Golfo, levantino, magrebino ou árabe padrão moderno, no nível de região, país ou cidade. Serve para rotear mensagens, escolher prompts e dividir conjuntos de avaliação.
- INT4 (quantização de 4 bits)
- INT4 é um formato numérico inteiro de 4 bits que representa 16 níveis. Na inferência de LLMs, costuma significar quantização de 4 bits só dos pesos (W4A16): os pesos são guardados em INT4 com fatores de escala e expandidos para 16 bits durante o cálculo, usando cerca de um quarto da memória de pesos em 16 bits.
- Janela de contexto (context window)
- A janela de contexto é o número máximo de tokens com que um modelo de linguagem consegue trabalhar em uma única requisição. Ela abrange o prompt, o histórico da conversa, as definições de ferramentas, as imagens e a saída gerada, incluindo os tokens de raciocínio. O que não couber precisa ser cortado, resumido ou dividido em várias requisições.
- KV cache (cache de chave-valor)
- KV cache é a memória em que um modelo de linguagem transformer guarda as chaves e os valores de atenção calculados para cada token já processado, de modo que cada novo token os reutiliza em vez de recalcular a sequência inteira. Ele cresce com o tamanho do contexto e muitas vezes limita quantas requisições uma GPU consegue atender.
- Licença do modelo (model license)
- A licença de um modelo são os termos legais sob os quais os pesos, o código e as saídas de um modelo podem ser usados, alterados e compartilhados. Modelos open-weight usam licenças de software padrão, como Apache 2.0 ou MIT, ou licenças próprias que podem acrescentar condições, como limites para grandes serviços comerciais.
- LLM-as-a-judge (LLM como juiz)
- LLM-as-a-judge é um método de avaliação em que um modelo de linguagem avalia saídas de outros modelos, dando nota a uma única resposta com base em uma rubrica ou escolhendo a melhor de duas. Aproxima o julgamento humano a um custo bem menor, mas tem vieses conhecidos, como favorecer a primeira resposta ou a mais longa.
- Logprobs (log-probabilidades)
- Logprobs são as log-probabilidades que um modelo de linguagem atribuiu aos tokens que gerou. Uma API que os retorna mostra, para cada token de saída, quão provável o modelo o considerou e, opcionalmente, os tokens alternativos mais prováveis naquela posição.
- LoRA (low-rank adaptation)
- LoRA (low-rank adaptation, adaptação de baixo posto) é um método de fine-tuning eficiente em parâmetros que congela os pesos de um modelo pré-treinado e treina um par de pequenas matrizes de baixo posto para camadas escolhidas. A atualização aprendida pode ser guardada como um pequeno adapter ou mesclada aos pesos, sem adicionar latência na inferência.
- Lost in the middle (perdido no meio)
- Lost in the middle é a tendência observada de modelos de linguagem usarem melhor as informações relevantes quando elas aparecem perto do início ou do fim de uma entrada longa, e pior quando ficam no meio. O nome vem de um estudo de 2023 de Liu et al.
- max_tokens
- max_tokens é um parâmetro de APIs de LLM que define o máximo de tokens que um modelo pode gerar em uma resposta. Quando a geração atinge o limite, ela para e a resposta é marcada como cortada, por exemplo com finish_reason igual a "length".
- Mixture of experts (MoE)
- Mixture of experts (MoE) é uma arquitetura de rede neural em que uma camada contém muitas sub-redes especialistas e um roteador aprendido envia cada token para apenas algumas delas. Um modelo de linguagem MoE tem um número total de parâmetros grande, mas usa um pequeno subconjunto ativo para cada token.
- Modelo de pesos abertos (open-weight)
- Um modelo de pesos abertos (open-weight) é um modelo de machine learning cujos pesos treinados são publicados para qualquer pessoa baixar e rodar, em geral sob uma licença com condições. Ele difere da IA totalmente open source, que também libera o código de treinamento e informações detalhadas sobre os dados, para que outros possam estudar e reproduzir o modelo.
- Modelo de visão e linguagem (VLM)
- Um modelo de visão e linguagem (VLM, vision-language model) é um modelo que recebe imagens e texto juntos como entrada e produz texto, então consegue descrever fotos, responder perguntas sobre elas e ler documentos, gráficos ou capturas de tela. VLMs também são chamados de modelos image-text-to-text ou multimodais.
- Normalização de texto árabe (Arabic text normalization)
- Normalização de texto árabe é a etapa que converte as variantes de grafia de uma mesma palavra em uma única forma antes da comparação: remove diacríticos e tatweel, unifica as formas de alef e muitas vezes troca ى por ي e ة por ه. Ela se aplica a chaves de busca e à avaliação, não ao texto exibido.
- Prefill e decode
- Prefill e decode são as duas fases da inferência de um LLM. No prefill, o modelo processa o prompt inteiro em paralelo e preenche o KV cache; no decode, gera a resposta um token por vez, reaproveitando esse cache. O prefill define principalmente o tempo até o primeiro token; o decode, a velocidade de saída.
- Quantização (quantization)
- Quantização é o processo de armazenar os números de uma rede neural, principalmente os pesos, em um formato de menor precisão, como 8 ou 4 bits em vez de 16 bits, para que o modelo use menos memória e muitas vezes rode mais rápido. Bons métodos mantêm pequena a perda de precisão.
- Reconhecimento de entidades nomeadas (NER)
- Reconhecimento de entidades nomeadas (NER) é a tarefa de encontrar nomes em um texto e rotular cada um com um tipo, como pessoa, organização ou local. Sistemas clássicos rotulam cada token; já aos LLMs costuma-se pedir uma lista de entidades em JSON, que depois é conferida contra o texto original.
- Reconhecimento óptico de caracteres (OCR)
- OCR (reconhecimento óptico de caracteres) é a tecnologia que detecta texto impresso ou manuscrito em uma imagem, digitalização ou PDF e o converte em caracteres legíveis por máquina. O OCR clássico devolve o texto e a posição dele na página; modelos de visão e linguagem conseguem ler o texto e responder perguntas sobre ele diretamente.
- Speculative decoding (decodificação especulativa)
- Speculative decoding (decodificação especulativa) é uma técnica de inferência em que um modelo draft pequeno e rápido propõe vários próximos tokens e o modelo alvo, maior, os verifica em um único forward pass, mantendo os aceitos. Ela acelera a geração sem mudar a distribuição da saída.
- Tā’ marbūṭa (ta marbuta, ة)
- Ta marbuta (ة, U+0629) é uma letra árabe que só aparece no fim da palavra, muitas vezes marcando substantivos e adjetivos femininos. Ela parece um heh (ه, U+0647) com dois pontos, por isso o texto digitado mistura as duas, e muitos normalizadores de busca convertem ة em ه.
- Tamanho do vocabulário (vocabulary size)
- Tamanho do vocabulário é o número de tokens distintos no tokenizer de um modelo de linguagem, cada um com o seu ID e o seu embedding. Um vocabulário maior pode codificar texto comum em menos tokens, mas aumenta as camadas de embedding e de saída, e só ajuda no tipo de texto com que foi treinado.
- Temperatura (temperature)
- Temperatura é um parâmetro de amostragem que controla quão aleatória é a saída de um modelo de linguagem. O modelo divide as pontuações dos tokens pela temperatura antes de transformá-las em probabilidades: valores baixos fazem o token mais provável dominar; valores altos achatam a distribuição, e tokens menos prováveis são escolhidos com mais frequência.
- Token
- Um token é a unidade de texto que um modelo de linguagem lê e escreve: uma palavra, parte de uma palavra, um sinal de pontuação ou uma sequência de bytes gerada pelo tokenizador do modelo. As APIs de LLM contam, limitam e normalmente cobram o uso em tokens.
- Tokenizer (tokenizador)
- Tokenizer (tokenizador) é o componente que converte texto na sequência de IDs inteiros de tokens que um modelo de linguagem lê, e converte os IDs gerados de volta em texto. Cada modelo vem com o próprio tokenizer, então o mesmo texto pode gerar um número diferente de tokens em modelos diferentes.
- Tokens de imagem (image tokens)
- Tokens de imagem são os tokens de entrada que um modelo de visão e linguagem usa para representar uma imagem no prompt. Os provedores os calculam a partir do tamanho da imagem, normalmente dividindo-a em patches ou tiles de tamanho fixo depois de redimensioná-la, e os cobram como tokens de entrada de texto, então imagens maiores custam mais.
- Tokens de raciocínio (reasoning tokens)
- Tokens de raciocínio são tokens que um modelo de raciocínio gera para trabalhar um problema antes de escrever a resposta visível. Normalmente são cobrados como tokens de saída, contam para o limite de saída e para a janela de contexto, e a API pode ocultá-los ou resumi-los.
- Tokens por segundo (tokens per second)
- Tokens por segundo (TPS) são a taxa com que um modelo de linguagem gera tokens de saída, geralmente medida para uma requisição depois que o primeiro token chega. Definem a rapidez com que a resposta flui depois de começar. Somados em todas as requisições simultâneas, viram throughput do sistema; a espera pelo primeiro token é medida à parte.
- Top-p (nucleus sampling)
- Top-p, também chamado de nucleus sampling, é um método de decodificação em que o modelo de linguagem escolhe o próximo token apenas entre o menor conjunto de tokens mais prováveis cuja probabilidade somada atinge um limiar p, como 0,9, descartando a cauda improvável.
- vLLM
- vLLM é uma biblioteca open source de inferência e serving de LLMs, desenvolvida originalmente no Sky Computing Lab da UC Berkeley. Ela gerencia a memória do KV cache com PagedAttention, agrupa as requisições em batching contínuo, suporta muitos formatos de quantização e expõe um servidor HTTP compatível com OpenAI.
Preços e cobrança
- Crédito pré-pago (prepaid credit)
- Crédito pré-pago é dinheiro adicionado a uma conta de API antes do uso. Cada requisição desconta o próprio custo do saldo e, quando o saldo acaba, as requisições cobradas por uso param até você fazer uma recarga. Ele limita o gasto ao que você já pagou.
- Hora de GPU (GPU-hour)
- Uma hora de GPU (GPU-hour) é um processador gráfico usado durante uma hora. Provedores de nuvem cobram instâncias de GPU alugadas por hora ou por segundo, e pesquisadores usam horas de GPU para dizer quanta computação um trabalho exigiu. Você paga pelo tempo da máquina, ocupada ou não.
- Limite de gastos (spend limit)
- Limite de gastos é um teto para quanto uma conta, um projeto ou uma chave de API pode gastar em um período, em geral um mês. Quando o uso chega nele, o provedor rejeita as próximas requisições, muitas vezes com erro HTTP 429 ou 400, até o período reiniciar ou o limite ser aumentado.
- Pagamento por uso (pay-as-you-go)
- Pagamento por uso é um modelo de preço em que você paga só pelo que usa, medido por unidade, como tokens, requisições ou minutos de áudio, sem assinatura nem compromisso mínimo. A maioria das APIs de LLM cobra assim, a partir de um saldo pré-pago ou de uma fatura periódica.
- Plano de LLM com preço fixo (flat-rate)
- Um plano de LLM com preço fixo cobra um valor fixo por um período, como um mês, pelo acesso à API de um modelo de linguagem, em vez de cobrar por token. Esses planos costumam limitar outra coisa, como simultaneidade, velocidade, modelos ou janelas de uso, então os limites importam tanto quanto o preço.
- Tokens de entrada e de saída
- Tokens de entrada são os tokens que um modelo de linguagem lê em uma requisição, incluindo o system prompt, o histórico da conversa, as definições de ferramentas e as imagens. Tokens de saída são os que ele gera na resposta, incluindo o raciocínio. As APIs de LLM costumam cobrá-los separadamente, e a saída costuma custar mais.
- Tokens de entrada em cache (cached input)
- Tokens de entrada em cache são tokens do prompt que um provedor de LLM processou há pouco e pode reaproveitar de um cache em vez de calcular de novo, normalmente um prefixo repetido, como um system prompt ou um documento. Os provedores os cobram com uma tarifa menor que a dos tokens de entrada novos.
Privacidade e segurança
- Acordo de tratamento de dados (DPA)
- Um acordo de tratamento de dados (DPA) é o contrato entre o controlador e o operador que define como o operador trata dados pessoais. O artigo 28(3) do GDPR o exige e lista o conteúdo: instruções documentadas, confidencialidade, segurança, regras para suboperadores, exclusão ou devolução dos dados e auditorias.
- Chave de API (API key)
- Uma chave de API é uma string secreta que identifica e autoriza um cliente que chama uma API. As APIs de LLM normalmente a esperam em um cabeçalho Authorization: Bearer, e qualquer pessoa que tenha a chave pode fazer requisições cobradas da conta dona dela.
- GDPR (Regulamento Geral de Proteção de Dados)
- O GDPR (General Data Protection Regulation, Regulamento (UE) 2016/679) é a lei da UE sobre o tratamento de dados pessoais. Vale desde 25 de maio de 2018 para organizações estabelecidas na UE e algumas de fora. Em APIs de LLM, regula os contratos com operadores, as transferências internacionais e a minimização de dados.
- Guardrails (barreiras de proteção para LLM)
- Guardrails são checagens que uma aplicação executa em volta de uma chamada a um modelo de linguagem para mantê-la dentro de limites definidos. Guardrails de entrada filtram o que entra no modelo, os de saída verificam o que sai e os de ferramenta validam ações antes que rodem. Uma checagem que falha bloqueia, reescreve ou sinaliza a requisição.
- Jailbreak (LLM)
- Jailbreak é uma entrada criada para fazer um modelo de linguagem ignorar seu treinamento de segurança ou as regras definidas pela aplicação que o usa, de modo que ele produza conteúdo ou execute ações que normalmente recusaria. A OWASP trata o jailbreaking como uma forma de prompt injection.
- Lista de IPs permitidos (IP allow list)
- Uma lista de IPs permitidos é um controle de segurança que aceita requisições apenas de endereços IP ou faixas CIDR listados e recusa todos os outros. Em uma API, ela limita o estrago de uma chave vazada, porque a chave não funciona a partir de redes que não estão na lista.
- PDPL (leis de proteção de dados da Arábia Saudita e EAU)
- PDPL (Personal Data Protection Law) é o nome comum da lei saudita de dados pessoais, editada pelo Decreto Real M/19 e aplicada pela SDAIA, e do Decreto-Lei Federal nº 45 de 2021 dos EAU. As duas regulam o tratamento de dados pessoais e impõem condições a transferências ao exterior, incluindo prompts enviados a APIs de LLM estrangeiras.
- PII (informações pessoais identificáveis)
- PII (personally identifiable information) é a informação que permite distinguir ou rastrear a identidade de uma pessoa, como nome, número de documento ou registro biométrico, mais outras informações ligadas ou vinculáveis a ela. O termo mais amplo do GDPR é dados pessoais. Com LLMs, a anonimização de PII remove esses dados dos prompts antes que saiam dos seus sistemas.
- Prompt injection (injeção de prompt)
- Prompt injection é um ataque em que um texto entregue a um modelo de linguagem, por um usuário ou escondido em uma página web, e-mail, arquivo ou resultado de ferramenta, muda o comportamento do modelo contra a intenção do desenvolvedor. A OWASP o coloca em primeiro lugar (LLM01:2025) no seu Top 10 para aplicações de LLM.
- Residência de dados (data residency)
- Residência de dados é um requisito ou compromisso de que os dados sejam armazenados e processados em um país ou região específicos. Em uma API de LLM, cobre onde os prompts são processados durante a inferência e onde fica qualquer conteúdo armazenado, e muitas vezes exclui dados de conta e de faturamento.
- Retenção zero de dados (zero data retention)
- Retenção zero de dados (ZDR) é uma política de tratamento de dados em que um provedor de IA processa prompts e saídas só para atender uma requisição e não guarda esse conteúdo depois, nem em logs, nem em caches, nem em dados de treinamento. Registros sem conteúdo, como contagens de tokens e tempos, costumam continuar sendo guardados.
- Suboperador (subprocessor)
- Suboperador (subprocessor, ou subcontratante ulterior no texto europeu) é um terceiro que um operador contrata para tratar dados pessoais em nome do controlador. Em uma API de LLM, pode incluir hosts de GPU, provedores de inferência parceiros e capacidade de backup. Pelo artigo 28 do GDPR, exige autorização do controlador e as mesmas obrigações de proteção de dados.
Voz
- Character error rate (CER)
- Character error rate (CER, taxa de erro de caracteres) mede a precisão de uma transcrição ou OCR no nível de caractere: substituições, exclusões e inserções necessárias para transformar a saída no texto de referência, divididas pelo número de caracteres da referência. Quanto menor, melhor, e 0 é uma correspondência perfeita.
- Code-switching (alternância de código)
- Code-switching é o uso de dois ou mais idiomas, ou variedades de um mesmo idioma, dentro da mesma conversa ou frase, na fala ou na escrita. Exemplos são falantes de árabe que misturam palavras em inglês ao dialeto, ou que alternam entre o árabe padrão moderno e o próprio dialeto.
- Diarização de locutores (speaker diarization)
- Diarização de locutores é a tarefa de dividir uma gravação de áudio em segmentos por falante, respondendo "quem falou e quando". Ela marca cada trecho de fala com um ID anônimo, como SPEAKER_00, e costuma ser combinada com uma transcrição para mostrar quem disse cada fala.
- Fala para texto (speech-to-text)
- Fala para texto, ou reconhecimento automático de fala (ASR), é a tecnologia que converte áudio falado em texto. Uma API de fala para texto recebe um arquivo ou stream de áudio e retorna uma transcrição, normalmente cobrada por minuto de áudio. A precisão é medida pela taxa de erro de palavras e varia com sotaque, dialeto e qualidade da gravação.
- Legendas SRT (arquivo .srt)
- SRT (SubRip) é um formato de legenda em texto puro. Cada legenda tem um número sequencial, um tempo de início e fim escrito como hh:mm:ss,mmm --> hh:mm:ss,mmm, uma ou mais linhas de texto e uma linha em branco. WebVTT é o formato web parecido usado pelo vídeo em HTML.
- Ogg Opus
- Ogg Opus é áudio codificado com o codec Opus (RFC 6716) e guardado em um contêiner Ogg (RFC 7845). Ele foi feito para fala e áudio interativo com bitrates baixos, e é o formato que o WhatsApp usa para mensagens de voz, normalmente como arquivos .ogg ou .opus.
- Taxa de amostragem (sample rate)
- Taxa de amostragem (sample rate) é o número de amostras de áudio capturadas por segundo, medido em hertz (Hz). Modelos de reconhecimento de fala costumam esperar áudio mono a 16.000 Hz (16 kHz). Junto com a profundidade de bits e o número de canais, ela define quanto um arquivo de áudio sem compressão ocupa por minuto.
- Text-to-speech (TTS, síntese de voz)
- Text-to-speech (TTS), ou síntese de voz, converte texto escrito em áudio falado. Uma API de TTS recebe um texto, uma voz e um formato de saída, como MP3 ou WAV, e devolve a fala gerada. É o inverso do speech-to-text, que transforma áudio em texto.
- Timestamps (speech-to-text)
- Timestamps em speech-to-text são tempos de início e fim, em segundos, associados a partes de uma transcrição. Timestamps de segmento cobrem uma frase ou trecho; timestamps por palavra cobrem cada palavra. Eles são necessários para legendas, busca dentro de gravações e alinhamento do texto com os locutores.
- Voice activity detection (VAD)
- Voice activity detection (VAD, detecção de atividade de voz) é uma etapa de processamento de sinal que classifica frames curtos de áudio como fala ou não fala. Sistemas de voz a usam para pular silêncios, dividir gravações longas nas pausas, detectar quando alguém terminou de falar e evitar transcrever ruído de fundo.
- WAV (arquivo de áudio WAV)
- WAV (Waveform Audio File Format, ou WAVE) é um contêiner de áudio baseado no formato RIFF da Microsoft e da IBM. Ele costuma guardar amostras PCM lineares sem compressão, então o tamanho é previsível: taxa de amostragem vezes bytes por amostra vezes canais, por segundo.
- Word error rate (WER)
- Word error rate (WER, taxa de erro de palavras) é a medida padrão de precisão do reconhecimento de fala: o número de substituições, deleções e inserções de palavras necessárias para transformar uma transcrição na referência correta, dividido pelo número de palavras da referência. Quanto menor, melhor.
Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity