Esta disciplina oferece uma oportunidade de estudos nos temas mais atuais nos campos de Ciência de Dados e Inteligência Artificial.

O que vamos estudar?

Este ano, vamos focar em Grandes Modelos de Linguagem (LLMs) e temas relacionados, como: RAG, modelos pré-treinados, fine-tuning, entre outros.

O que esperar do curso?

• Conteúdo de Ponta: Abordaremos temas atuais e relevantes, frequentemente discutidos em conferências internacionais e artigos científicos.
• Discussões Dinâmicas: A sala de aula será um espaço para debates, troca de ideias e aprofundamento do conhecimento.
• Projetos Práticos: Colocaremos seus conhecimentos em prática através de projetos desafiadores.
• Pensamento Crítico: Desenvolveremos sua capacidade de analisar criticamente as novas tecnologias, avaliar seus impactos éticos e sociais, e tomar decisões informadas sobre como utilizá-las de forma responsável.

Bibliografia

• Deep learning book: https://www.deeplearningbook.org/
• The Little Book of Deep Learning: https://fleuret.org/francois/lbdl.html
• Mathematics of Machine Learning: https://mml-book.github.io/
• Build a Large Language Model (From Scratch): https://sebastianraschka.com/books/
• Artigos científicos publicados em conferências e periódicos relevantes (NeurIPS, ICML, ICLR, JMLR).

Material de aula

• Visão Geral do Curso: PDF - HTML
• Revisão de Deep Learning e Introdução aos LLMs: PDF - HTML
• Tokenizer: PDF - Jupyter Notebook