Ingesta de datos

Descargando archivos

Archivos de datos más comunes

• Archivos CSV
• Archivos JSON
• Archivos XML
• Archivos HDF
• Archivos Excel
• Archivos Parquet

Descargando archivos de manera sencilla

• Documentación de Pandas para entrada y salida
• Una libreta de ejemplo
• Un bonito acordeón de curl
• Libro gratuito Data Science at the Command Line, 2e
• Librería para descargar archivos públicos desde el Google Drive en forma programática (Gracias a Estephanía por compartirlo con todos)

Descargando de internet con RestAPI o Web scrapping

• Tutorial para el uso de Rest API en python
• Una libreta con el uso de una API mal documentada
• Y si quieres hacer tu propia Rest API, puedes hacerla con FastAPI
• Tutorial de Beautiful Soup 4

SQL

• Curso SQL for Data Analysis de Udacity
• SQLite
• DuckBD

En donde encontrar datos públicos

1. El INEGI y una herramienta de consulta en python
2. Plataforma DataMéxico y su interesante API
3. El portal de datos abiertos del gobierno de México
4. El portel de datos abiertos del gobierno de Sonora
5. Incidencia delictiva del secretariado ejecutivo nacional y un ejemplo de un explorador de datos delictivos de México desarrollado por Morlan.
6. CONEVAL y CONAPO
7. El portal de Datamx
8. Our World in Data y su repositorio base en GitHub
9. 7 portales de datos abiertos. Gracias, Malena, por compartirlo.
10. Kaggle
11. El UCI Machine Learning Repository (para los viejitos)
12. Google Dataset Search
13. Listado de algunas APIs abiertas y otro de APIs gratuitas algo desactualizado.

Calidad de datos

Aseguramiento de la calidad de los datos

1. Una presentación sobre calidad de los datos.
2. Pydantic, una librería para validar y serializar datos en Python; y su versión para datos en DataFramesde pandas, Pandantic.
3. Pandera, una librería basada en evaluar directamente los DataFrames, con una documentación bastante completa.
4. Great Expectations, una librería en python para asegurar la calidad de los datos. Y una libreta con un sobrevuelo rápido para su uso.

Auditabilidad de los datos

1. DVC o Data Version Control, una presentacioncita y un ejemplito de la documentación
2. El formato de tablas para analítica Apache Iceberg
3. Deltalake y el libro de O’Relly sobre Deltalake. Y en DataBricks free hay un minicurso introductorio que te enseña como funciona (si es que no está muy lento).
4. La alternativa a DeltaLake, la plataforma Apache Hudi.

Haciendo un proyecto de ciencia de datos en github

1. Plantilla genérica de un proyecto de ciencia de datos Cookiecutter Data Science (ccds) y algunos exjempls de los equipos del la generación 2025:
   1. Desigualdad Educativa en Sonora
   2. Accidentes Viales en Hermosillo
   3. Seguridad y desarrollo
   4. Índice Delictivo Hermosillo
   5. Análisis del Rol Hidrológico y Biológico de la Presa Abelardo L. Rodríguez
   6. Relacion Baches Accidentes HMO
2. Kedro, una herramienta para desarrollar proyectos de ciencia de datos, con una plantilla inspirada en ccds.
3. Un checklist de ética en el uso de ciencia de datos