Redes Neuronales

Curso Aprendizaje Automático Aplicado

Recursos generales y de consulta

  1. El libro Deep Learning de Ian Goodfellow, Yoshua Bengio y Aaron Courville gratuito en linea con material adicional.

  2. Un excelente curso de introducción al aprendizaje profundo del MIT con videos. transparencias y código.

  3. No se puede vivir y hacer deep learning si no utilizamos regularmente el sitio de papers with code. Código, tutriales, onjuntos de datos, modelos preentrenados,…

  4. NeurIPS, la conferencia más importante en redes neuronales y en general en aprendizaje automñatico.

  5. Journal of Machine Learning Research es una publicación libre muy completa sobre el último grito de la moda en ML. Muy buenos artículos, pero ya bastante más densos que en los otros recursos listados.

  6. Para usar transformadores, uno de los lugares con los mejores modelos preentrenados es la compañía Hugging Face. Muchos recursos en código abierto.

  7. Otras compañías con recursos en código abierto, modelos preentrenados, librerías y frameworks que vale la pena estar revisando son OpenAI (cada vez menos abierta y cada vez más for profit), Meta AI, ahora ya con licencias tipo MIT, y Google Research.

  8. Un listado de conjuntos de datosn que se utilizan muy intensivamente en tareas de aprendizaje profundo.

Redes neuronales: nociones básicas

  1. Una presentación sobre las nociones básicas de redes neuronales así como el importante algoritmo de backpropagation. También un video muy bueno sobre b-prop hecho por Dot CSV un youtuber muy recomendable que habla sobre redes neuronales profundas.

  2. An overview of gradient descent optimization algorithms de Sebastian Ruder.

  3. A Recipe for Training Neural Networks por Andrej Karpathy.

Redes Convolucionales

  1. Una presentación sobre redes convolucionales.

  2. Una muy buena presentación del curso del MIT sobre CNN para visión por computadora, así como un ejercicio en colab de autocodificadores variacionales, basado en éste artículo de ellos mismos.

  3. Una presentación sobre transferencia del aprendizaje (tambien en pdf). Tambien una entrada de Jordan Urías sobre NST muy bien explicado

  4. Un recurso que vale la pena darle una ojeada y ver que se puede replicar. Aquí la liga a el sistema, solo se necesita estar registrado en OpenAI y en HF Spaces.

Algunas libretas con ejemplos

  1. Un ejemplito de redes neuronales en pyTorch.

  2. Transferencia de aprendizaje simple con pyTorch

  3. Transferencia de estilo en imágenes con pyTorch

  4. Detección de objetos en pyTorch, Faster R-CNN y Mask R-CNN

  5. Otro modelo de detección de objetos, pero con el modelo más popular, YOLO.

Aprendizaje auto-supervisado (*Self supervised learning)

  1. Una presentación reciente muy orientada a visión por Justin Johnson de U. Mich.

  2. Otra presentación por Naiyan Wang. Las dos son bastante claras en las ideas sin ir al detalle.

  3. Word Embeddings (Algorithms for NLP)

  4. ¿Porque es tan importante el aprendizaje autosupervisado en NLP? Leer el artículo Language Models are Few-Shot Learners

  5. Una entrada de blog muy interesante de Yann LeCun: Self-supervised learning: The dark matter of intelligence

  6. Otra presentación muy extensa de Alex Vakanski. Solo si les interesa mucho el tema y se quieren mirar toda la presentación (básicamente lo mismo que la presentación 1 pero con lujo de detalle).