read_csv a fondo

import pandas as pd

ARCHIVO = "clientes_crudos.csv"

por_defecto = pd.read_csv(ARCHIVO)
print("por defecto:", por_defecto.shape)
print(por_defecto.dtypes.to_string())

declarado = pd.read_csv(
    ARCHIVO,
    usecols=["id", "edad", "fecha_alta"],       # solo estas columnas
    dtype={"id": "str"},                        # y con este tipo
    na_values=["-", "N/A", "null"],             # ademas de los de siempre
)
print()
print("declarado:", declarado.shape)
print(declarado.dtypes.to_string())

print()
print("ausentes en edad, por defecto:", int(por_defecto["edad"].isna().sum()))
print("ausentes en edad, declarando :", int(declarado["edad"].isna().sum()))
print()
print("La diferencia es el guion. edad sigue siendo texto porque tambien")
print("hay una fila que dice 'treinta', y eso no es un ausente: es basura.")

import io

import pandas as pd

# Asi exporta Excel en una configuracion regional de espanol.
EUROPEO = """producto;unidades;precio
Teclado;3;1.234,50
Monitor;1;98.765,00
Webcam;12;1.099,90
"""

mal = pd.read_csv(io.StringIO(EUROPEO))
print("read_csv sin decir nada:")
print("forma:", mal.shape, "-> una sola columna")
print("columnas:", list(mal.columns))

print()
a_medias = pd.read_csv(io.StringIO(EUROPEO), sep=";", decimal=",")
print("con sep=';' y decimal=',' pero SIN thousands:")
print("dtype de precio:", a_medias["precio"].dtype)
print("suma:", a_medias["precio"].sum())
print("Quedo como texto, y sum() sobre texto CONCATENA. No da error.")

print()
bien = pd.read_csv(io.StringIO(EUROPEO), sep=";", decimal=",", thousands=".")
print("con sep=';', decimal=',' y thousands='.':")
print(bien.to_string(index=False))
print(bien.dtypes.to_string())

print()
print("total:", bien["precio"].sum())
print()
print("Si shape te devuelve (n, 1), el separador esta mal. Es el diagnostico")
print("mas rapido que hay, y por eso conviene mirar shape apenas se lee.")

import io

import pandas as pd

TEXTO = "ciudad,pais\nMalargue,Argentina\nMuenchen,Alemania\n"
CON_ACENTOS = TEXTO.replace("Malargue", "Malargüe").replace("Muenchen",
                                                            "München")

# El mismo contenido, guardado en dos codificaciones distintas.
como_utf8 = CON_ACENTOS.encode("utf-8")
como_latin1 = CON_ACENTOS.encode("latin-1")
print("bytes en utf-8  :", len(como_utf8))
print("bytes en latin-1:", len(como_latin1))
print("Los acentos ocupan 2 bytes en UTF-8 y 1 en latin-1: por eso difieren.")

print()
bien = pd.read_csv(io.BytesIO(como_utf8), encoding="utf-8")
print("utf-8 leido como utf-8:")
print(bien.to_string(index=False))

print()
try:
    pd.read_csv(io.BytesIO(como_utf8), encoding="latin-1")
    mal = pd.read_csv(io.BytesIO(como_utf8), encoding="latin-1")
    print("utf-8 leido como latin-1 (no falla, pero rompe los acentos):")
    print(mal.to_string(index=False))
except UnicodeDecodeError as error:
    print("UnicodeDecodeError:", error)

print()
try:
    pd.read_csv(io.BytesIO(como_latin1), encoding="utf-8")
except UnicodeDecodeError as error:
    print("latin-1 leido como utf-8 ->", type(error).__name__)
    print(str(error))

print()
print("El caso peligroso es el primero: NO da error y deja los acentos rotos.")
print("El segundo si falla, que es mas comodo. Todos los archivos de este")
print("curso estan en UTF-8.")

import io

import pandas as pd

ROTO = """id,producto,precio
1,Teclado,10.5
2,Monitor,20.0,SOBRA
3,Webcam
4,Mouse,5.25
"""

try:
    pd.read_csv(io.StringIO(ROTO))
except pd.errors.ParserError as error:
    print("por defecto ->", type(error).__name__)
    print(str(error).splitlines()[0])

print()
saltando = pd.read_csv(io.StringIO(ROTO), on_bad_lines="skip")
print('con on_bad_lines="skip":')
print(saltando.to_string(index=False))
print("Se salteo la fila 2 entera. La 3, a la que le FALTA una columna,")
print("no es una fila mala: pandas la completa con NaN.")

print()
print("Ojo con skip: descarta en silencio y no dice cuantas. Si el archivo")
print("tiene 500.000 filas y 300 estan rotas, nadie se entera.")
print("filas leidas:", len(saltando), "de 4 en el archivo")

import pandas as pd

# parse_dates convierte al leer, sin una linea aparte.
pedidos = pd.read_csv("tienda_pedidos.csv", parse_dates=["creado"])
print("dtype de creado:", pedidos["creado"].dtype)

print()
# nrows: mirar la punta de un archivo grande sin cargarlo entero.
punta = pd.read_csv("dw_hecho_ventas.csv", nrows=3)
print("nrows=3:")
print(punta.to_string(index=False))

print()
# chunksize: procesar por pedazos. Devuelve un iterador, no un DataFrame.
total, filas = 0.0, 0
for pedazo in pd.read_csv("dw_hecho_ventas.csv", chunksize=100):
    ingreso = pd.to_numeric(pedazo["ingreso"], errors="coerce")
    total += float(ingreso.sum())
    filas += len(pedazo)
print(f"leido de a 100 filas: {filas} filas, total {total:,.2f}")

entero = pd.read_csv("dw_hecho_ventas.csv")
print("de una sola vez     :", len(entero),
      f"filas, total {entero['ingreso'].sum():,.2f}")

print()
print("Con 500 filas no hace falta. Con 50 millones, chunksize es la")
print("diferencia entre que ande y que se quede sin memoria.")