CONCEPTS
Todas as entradas
Quarenta e oito conceitos essenciais, filtráveis por domínio ou nível.
48 entradas
Vetores e espaços vetoriais
A IA transforma tudo — palavras, imagens, sons — em uma lista de números
Gradiente e descida do gradiente
Todo o aprendizado profundo se resume a uma coisa: dar um pequeno passo ladeira abaixo
Operações matriciais e transformações lineares
Multiplicar matrizes não é uma porção de multiplicações e somas: é reescrever todo um espaço de uma só vez
Probabilidade e distribuições
Um modelo nunca entrega uma resposta; entrega um grau de crença sobre cada resposta possível
Teorema de Bayes
Acredite um pouco, veja a evidência, corrija um pouco — isso é Bayes
Entropia e teoria da informação
Quanto mais surpreendente a frase, mais informação ela carrega; e a função de perda de um modelo de linguagem mede exatamente essa surpresa
Aprendizagem supervisionada
Pares de pergunta e resposta ensinam o modelo a responder sozinho
Aprendizagem não supervisionada
Sem respostas, a estrutura precisa emergir dos próprios dados — e “bom” tem de ser redefinido
Funções de perda
A função de perda define o que você penaliza — trocá-la troca toda a sua noção de certo e errado
Sobreajuste e regularização
O modelo decora os dados de treino e depois fracassa em qualquer dado novo
Avaliação de modelos e validação cruzada
A acurácia é a métrica mais fácil de enganar — erre na avaliação e tudo o mais desmorona
Compromisso viés-variância
Todo erro de previsão se divide em três: modelo simples demais, modelo instável demais e a aleatoriedade do próprio mundo
Neurônio e perceptron
A peça menor de uma rede neural: uma soma ponderada, um viés e um toque de não linearidade
Retropropagação
Transformar “calcular o gradiente” de um trabalho matemático penoso em uma única chamada de função: o instante em que o aprendizado profundo decolou
Funções de ativação
Sem ela, até a mais profunda rede é apenas uma única transformação linear
Redes neurais convolucionais
Substituir as conexões densas por “olhar localmente e reutilizar o mesmo filtro em toda parte”: a ideia que tornou o reconhecimento de imagens funcional
Redes neurais recorrentes
Dar memória à rede: uma mesma unidade reutilizada no tempo para tratar sequências de qualquer comprimento
Normalização e conexões residuais
Tornar treinável uma rede de cem camadas: um atalho de identidade e uma reescala por camada
Tokenização
Os modelos não leem caracteres, leem tokens; e como você divide define silenciosamente a capacidade e o custo
Embeddings de palavras
Transformar palavras em coordenadas: sinônimos se agrupam sozinhos e o significado passa a poder ser somado e subtraído
Mecanismo de atenção
Cada posição pode olhar diretamente para todas as outras e distribuir atenção conforme a relevância
Arquitetura Transformer
Substituir o revezamento palavra a palavra por uma sala onde todos falam ao mesmo tempo, deixando dependências distantes a um salto
Pré-treinamento e ajuste fino
Aprender a língua primeiro com texto não rotulado e depois especializar com poucos dados: o paradigma mais eficiente em dados da IA moderna
Engenharia de prompts e alinhamento
Tornar um modelo útil, honesto e inofensivo é mais difícil do que apenas torná-lo maior
Representação digital de imagens
Para uma máquina, uma foto não passa de grades de números sobrepostas
Operações de convolução
Um pequeno molde varrendo a imagem encontra bordas, texturas e formas
Classificação de imagens
Não diga “gatos têm bigodes”: mostre gatos suficientes e ele descobre sozinho
Detecção de objetos
De “o que há na imagem” para “o quê, onde e quantos”
Segmentação semântica
Colorir cada pixel: não uma caixa, mas um livro de colorir
Visão auto-supervisionada e aprendizado contrastivo multimodal
Sem rótulos: aprender a ver descobrindo quais imagens são a mesma
Processo de decisão de Markov
Escrever «decidir passo a passo» com cinco símbolos: todo o aprendizado por reforço começa aqui
Funções de valor e Q-learning
Em vez de adivinhar o que fazer, primeiro estime quanto vale cada escolha
Gradientes de política
Ajuste a política diretamente para que ações boas ocorram com mais frequência
Exploração e explotação
A melhor opção agora não é necessariamente a melhor no longo prazo
Aprendizado por reforço profundo
Deixe uma rede neural decidir direto dos pixels, estabilizada com ideias antigas
Aprendizado por reforço a partir de feedback humano
Quando a «boa resposta» não cabe numa fórmula, deixe as pessoas servirem de recompensa
Visão geral dos modelos generativos
Modelos discriminativos respondem "o que é isto"; generativos, "como deveria parecer"
Autoencoders e VAE
Comprima a informação por um gargalo e deixe-a crescer de volta
Redes generativas adversárias
Um falsificador contra um perito: cada um leva o outro ao limite
Modelos de difusão
Aprenda mil pequenos passos de remoção de ruído e criará uma imagem a partir de ruído puro
Difusão latente e controle condicional
Fazer difusão não sobre pixels, mas dentro de um espaço semântico comprimido
Geração multimodal
Um único modelo que aprende a falar, desenhar, mover-se e até modelar o mundo 3D
Infraestrutura de treinamento e inferência
A memória decide o tamanho do modelo treinável; a comunicação, quanto tempo leva
Compressão de modelos
Tornar um modelo menor, mais rápido e mais barato quase sem perder precisão — mas raramente os três ao mesmo tempo
Otimização e serviço de inferência
O treino ocorre uma vez; a inferência, bilhões de vezes por dia — e o primeiro token e a vazão costumam se opor
Geração aumentada por recuperação
Em vez de espremer o conhecimento nos parâmetros, deixá-lo fora e consultá-lo sob demanda — como um exame com livro aberto
Agentes e uso de ferramentas
Que um modelo não só responda: pesquise, chame APIs, execute código — e decida o próximo passo a partir do resultado
Segurança, alinhamento e injeção de prompt
O modelo otimiza o proxy escrito na perda, nunca o que realmente queremos — essa lacuna é todo o problema de alinhamento