CSV con el módulo csv

import csv

# newline="" no es un adorno: se lo pide la documentacion del modulo csv.
# El modulo maneja los finales de linea por su cuenta, y si open ademas
# los traduce, un campo con un salto adentro se parte al medio.
with open("tienda_clientes.csv", encoding="utf-8", newline="") as f:
    lector = csv.DictReader(f)
    print("columnas:", lector.fieldnames)
    filas = list(lector)

print("filas:", len(filas), "(la cabecera NO cuenta como fila)")
print()
print("la primera fila es un dict:")
print(" ", filas[0])
print()
print("y se accede por nombre de columna, no por posicion:")
print("  filas[0]['nombre'] ->", filas[0]["nombre"])
print("  filas[0]['alta']   ->", filas[0]["alta"])

print()
print("Todo llega como texto. SIEMPRE. Incluso lo que parece numero o fecha:")
print("  type(filas[0]['id']) ->", type(filas[0]["id"]).__name__)

print()
# Comparado con hacerlo a mano: split(",") no sabe nada de comillas.
with open("tienda_clientes.csv", encoding="utf-8") as f:
    lineas = f.read().splitlines()

print("la fila 35 del archivo, cruda:")
print("  ", lineas[35])
print("con split(',') el nombre queda: ", repr(lineas[35].split(",")[1]))
print("con csv el nombre queda:        ", repr(filas[34]["nombre"]))
print("Dos comillas seguidas adentro de un campo entrecomillado significan")
print("una comilla literal. csv lo sabe; split no.")

print()
# csv.reader acepta cualquier iterable de lineas, asi que se puede
# probar una fila suelta sin tocar el disco.
suelta = 'P900,"Teclado mecanico, retroiluminado",Perifericos,12,4.53'
print("un campo con una coma adentro:")
print("  split(',') ->", suelta.split(","))
print("  csv        ->", next(csv.reader([suelta])))

import csv
import tempfile
from pathlib import Path

carpeta = Path(tempfile.mkdtemp())

filas = [
    {"id": "1", "nombre": "Ximena Herrera", "ciudad": "Salta"},
    {"id": "2", "nombre": 'José "Pepe" Rodríguez', "ciudad": "San Juan"},
    {"id": "3", "nombre": "Ana O'Connor", "ciudad": "Mar del Plata, BA"},
]
COLUMNAS = ["id", "nombre", "ciudad"]

bien = carpeta / "bien.csv"
with open(bien, "w", encoding="utf-8", newline="") as f:
    escritor = csv.DictWriter(f, fieldnames=COLUMNAS)
    escritor.writeheader()
    escritor.writerows(filas)

print("escrito con newline='' :")
print(bien.read_text(encoding="utf-8"))

print("El modulo entrecomillo SOLO lo que lo necesitaba:")
print("  la comilla se duplico, la coma obligo a entrecomillar,")
print("  y el apostrofe no necesito nada.")

# Ahora lo mismo SIN newline="".
mal = carpeta / "mal.csv"
with open(mal, "w", encoding="utf-8") as f:
    escritor = csv.DictWriter(f, fieldnames=COLUMNAS)
    escritor.writeheader()
    escritor.writerows(filas)

print()
print("bytes con newline='' :", len(bien.read_bytes()))
print("bytes sin newline='' :", len(mal.read_bytes()))
print("finales CR CR LF     :", mal.read_bytes().count(b"\r\r\n"))
print()
print("csv escribe CR LF; sin newline='' open traduce ese LF a CR LF otra")
print("vez, y queda CR CR LF. Excel lo muestra con una fila vacia entre")
print("cada dos. Es el bug de CSV mas reportado, y son dos caracteres.")

print()
print("leido de vuelta, el que esta bien vuelve identico:")
with open(bien, encoding="utf-8", newline="") as f:
    vuelta = list(csv.DictReader(f))
print("  ", vuelta == filas, "->", vuelta[1]["nombre"], "|", vuelta[2]["ciudad"])

import csv

CABECERA = "isbn,titulo,autor,anio,precio"

# csv.reader y csv.DictReader aceptan cualquier iterable de lineas, no
# solo un archivo. Sirve para probar un caso raro sin tocar el disco.
raras = [
    CABECERA,
    "978-1000-001,Algoritmos vol. 1,Ximena Molina,2003,57.24",
    "978-1000-002,Grafos,Ana Diaz,2010",                       # falta precio
    "978-1000-003,Redes,Luis Paz,2011,40.00,EXTRA,OTRO",       # sobran dos
]

print("con csv.reader: listas, y cada una con el largo que vino")
for fila in csv.reader(raras):
    print("  ", len(fila), fila)

print()
print("con csv.DictReader: dicts, y la forma se completa o se junta")
for fila in csv.DictReader(raras):
    print("  ", fila)

print()
print("Lo que falta queda en None y lo que sobra en la clave None.")
print("Ninguna de las dos cosas levanta excepcion: hay que buscarlas.")

print()
# restval y restkey le ponen nombre a esas dos situaciones.
lector = csv.DictReader(raras, restval="", restkey="sobrante")
for fila in lector:
    faltan = [c for c, v in fila.items() if v == ""]
    sobra = fila.get("sobrante")
    if faltan or sobra:
        print("   fila irregular:", fila["isbn"],
              "| vacias:", faltan, "| de mas:", sobra)

print()
print("En el archivo real las 50 filas tienen las 5 columnas...")
with open("libros_catalogo.csv", encoding="utf-8", newline="") as f:
    filas = list(csv.DictReader(f, restkey="sobrante", restval=None))
irregulares = [x for x in filas if "sobrante" in x or None in x.values()]
print("   filas:", len(filas), "| irregulares:", len(irregulares))
print("...pero eso es sobre la FORMA. El contenido es otra historia:")

NULOS = {"", "-", "N/A", "NaN", "null", "NA"}
vacias = sum(1 for x in filas for v in x.values() if v.strip() in NULOS)
print("   celdas con un token de ausente:", vacias)
print("   isbn distintos:", len({x['isbn'] for x in filas}), "de", len(filas))

import csv
import tempfile
from pathlib import Path

NULOS = {"", "-", "N/A", "NaN", "null", "NA"}
SALIDA = ["isbn", "titulo", "autor", "anio", "precio"]
RECHAZOS = ["isbn", "columna", "motivo", "valor"]


def revisar(fila, vistos):
    """Devuelve (columna, motivo, valor) del primer defecto, o None."""
    if fila["isbn"] in vistos:
        return ("isbn", "duplicado", fila["isbn"])
    for columna in ("titulo", "autor"):
        if fila[columna].strip() in NULOS:
            return (columna, "ausente", fila[columna])
    if fila["anio"].strip() in NULOS:
        return ("anio", "ausente", fila["anio"])
    try:
        anio = int(fila["anio"])
    except ValueError:
        return ("anio", "no_numerico", fila["anio"])
    if not 1400 <= anio <= 2026:
        return ("anio", "fuera_de_rango", fila["anio"])
    if fila["precio"].strip() in NULOS:
        return ("precio", "ausente", fila["precio"])
    return None


with open("libros_catalogo.csv", encoding="utf-8", newline="") as f:
    filas = list(csv.DictReader(f))

buenas, malas, vistos = [], [], set()
for fila in filas:
    defecto = revisar(fila, vistos)
    if defecto is None:
        vistos.add(fila["isbn"])
        buenas.append(fila)
    else:
        columna, motivo, valor = defecto
        malas.append({"isbn": fila["isbn"], "columna": columna,
                      "motivo": motivo, "valor": valor})

carpeta = Path(tempfile.mkdtemp())
for nombre, columnas, datos in (("libros_validos.csv", SALIDA, buenas),
                                ("libros_rechazados.csv", RECHAZOS, malas)):
    with open(carpeta / nombre, "w", encoding="utf-8", newline="") as f:
        escritor = csv.DictWriter(f, fieldnames=columnas, extrasaction="ignore")
        escritor.writeheader()
        escritor.writerows(datos)

print("entrada :", len(filas), "filas")
print("validos :", len(buenas))
print("rechazos:", len(malas))
print("suma    :", len(buenas) + len(malas), "== entrada:",
      len(buenas) + len(malas) == len(filas))

print()
print(Path(carpeta / "libros_rechazados.csv").read_text(encoding="utf-8"))

print("Ese assert de la suma es la invariante mas util de todas: si no da,")
print("hay una fila que no fue ni aceptada ni rechazada, y se perdio callada.")