Conceptos y modelos de aprendizaje profundo

Presentaciones usadas en el curso

• Introducción a los modelos secuenciales y celdas LSTM

• Name-entity Recognition (NER) con LSTM

• Embeddings from Language Models (ELMo)

• Redes Siamesas y One shoot learning

• El mecanismo de atención y traductores con LSTM

• El modelo de transformadores (muy fea mis presentación pero no me alcanzó pa más el seso)

• Transfer learning y modelos preentrenados

• Tareas con secuencias largas

• LagChain: Get your LLM application from prototype to production, su documentación y si repositorio de GitHub

Explicaciones gráficas

• The Unreasonable Effectiveness of Recurrent Neural Networks (Karpathy, 2015)

• Recurrent Neural Networks cheatsheet (Amidi y Amidi, 2019)

• Using Triplet Loss and Siamese Neural Networks to Train Catalog Item Embeddings (Ramachandran, 2021)

• The Illustrated Transformer (Alammar, 2018)

• BERT 101 🤗 State Of The Art NLP Model Explained (Muller, 2022)

• A Visual Guide to Using BERT for the First Time (Alammar, 2019)

• The Illustrated GPT-2 (Visualizing Transformer Language Models) (Alammar, 2019)

• How GPT3 Works - Visualizations and Animations (Alammar, 2020)

• Recent Advances in Language Model Fine-tuning (Ruder, 2021)

• Understanding Locality Sensitive Hashing(LSH): A Powerful Technique for Similarity Search (Joshi, 2023)

• LSH Algorithm and Implementation (E2LSH)

• Intro to Large Language Models (Karpathy, 2023, youtube)

• LMM Visualization (Bycroft, 2023)

Artículos seminales

• Long Short-Term Memory (Hochreiter y Schmidhuber, 1997)

• Understanding LSTM – a tutorial into Long Short-Term Memory Recurrent Neural Networks (Staudemeyer y Morris, 2019)

• Neural Machine Translation by Jointly Learning to Align and Translate (Bhadanau et al, 2014)

• Attention Is All You Need (Vaswani et al, 2017)

• Deep contextualized word representations (Peters et al, 2018)

• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al, 2018)

• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (Raffel et al, 2019)

• Reformer: The Efficient Transformer (Kitaev et al, 2020)

• Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity (Fedus et al, 2022)

Sitios y herramientas interesantes

• La de base si estás en tensorflow: Keras

• Para NLP, está Keras NLP, la cual es una librería que funciona en forma nativa con Tensorflow, JAX y/o pyTorch. En general ayuda a establecer un flujo de trabajo tanto de entrenamiento como de puesta en producción de procesos de NLP. Muy pensada para el uso y ajuste fino de modelos preentrenados.

• Si estás haciendo PLN con modelos profundos, no es posible vivir sin conocer a fondo Hugging Face. Es una compañía que mantiene un entorno de desarrollo abierto, una colección de modelos preentrenados, y una librería (la librería de transformadores mñas importante al momento), así como facilidades para poner los modelos en producción.

• Para recursos específicos en español, Hugging Face mantiene una rama en los países que hablamos español, Somos NLP. Muy recomendable. Incluye una bolsa de trabajo (muy centrada en España por el momento, pero que esperamos crezca).

• La Sociedad Española para el Procesamiento del Lenguage Natural (SEPLN) es una de las organizaciones científicas en el área de informñatica más antiguas de España, y mantiene una revista desde 1983. Información interesante, acceso gratuito a la revista, congresos, hackatones. Todo muy español, pero con muchos lazos en Latinoamñerica y en espacial con México.

Filosofía, sociedad, implicaciones éticas y sociales

• Language models and linguistic theories beyond words

• GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models

• Yann LeCun and Andrew Ng: Why the 6-month AI Pause is a Bad Idea (Video)

• Consideraciones éticas del uso de LLM en medicina:
  • Attention is not all you need: the complicated case of ethically using large language models in healthcare and medicine
  • Ethics of large language models in medicine and medical research

• Generative Conversational AI And Academic Integrity: A Mixed Method Investigation To Understand The Ethical Use of LLM Chatbots In Higher Education

• Student Use Cases for AI: Start by Sharing These Guidelines with Your Class