O Transformer foi apresentado em 2017 no artigo Attention Is All You Need, publicado por pesquisadores do Google Brain, e se tornou a base de grandes modelos de linguagem (LLMs), como o GPT. O artigo apresentou os fundamentos dessa arquitetura, mas compreender seu funcionamento exige um estudo mais aprofundado. Este livro percorre cada etapa para explicar como essa tecnologia funciona.
O autor é Oscar Gabriel Filho, engenheiro e doutor em Engenharia Elétrica pela UFRN. Ele foi finalista do Prêmio Jabuti Acadêmico 2024, na categoria Ciência da Computação, com o livro Inteligência artificial e aprendizagem de máquina: aspectos teóricos e aplicações. Nesta obra, ele parte dos fundamentos das redes neurais artificiais e do backpropagation e avança para a IA generativa e a arquitetura Transformer, incluindo sua estrutura de codificador e decodificador.
O destaque está nos mecanismos de Atenção (Attention) e Atenção Multicabeças (Multi-head Attention). Eles são apresentados com ilustrações e exemplos numéricos que permitem acompanhar os cálculos e compreender como o modelo processa as informações.
É indicado para profissionais de TI, estudantes e profissionais das ciências exatas e engenharias que desejam aprofundar seus conhecimentos sobre o funcionamento das redes neurais e da inteligência artificial generativa.