Atípicos: z-score e IQR

import csv

import numpy as np

NULOS = {"", "-", "N/A", "NaN", "null"}

with open("dw_hecho_ventas.csv", encoding="utf-8", newline="") as f:
    filas = list(csv.DictReader(f))


def a_numero(texto):
    crudo = texto.strip()
    if crudo in NULOS:
        return np.nan
    try:
        return float(crudo)
    except ValueError:
        return np.nan


costo = np.array([a_numero(x["costo"]) for x in filas])
validos = costo[~np.isnan(costo)]
print("columna costo:", validos.size, "valores validos de", costo.size)

q1, q3 = np.percentile(validos, [25, 75])
iqr = q3 - q1
print()
print("Los tres numeros que hacen falta:")
print(f"   Q1 (percentil 25) : {q1:>10.2f}")
print(f"   Q3 (percentil 75) : {q3:>10.2f}")
print(f"   IQR = Q3 - Q1     : {iqr:>10.2f}")
print("   Entre Q1 y Q3 esta la MITAD central de los datos.")

K = 1.5
bajo = q1 - K * iqr
alto = q3 + K * iqr
print()
print(f"Los limites, con k = {K} (la convencion de Tukey):")
print(f"   limite inferior = Q1 - {K} * IQR = {bajo:>10.2f}")
print(f"   limite superior = Q3 + {K} * IQR = {alto:>10.2f}")

atipicos = validos[(validos < bajo) | (validos > alto)]
print()
print("atipicos:", atipicos.size, "de", validos.size,
      f"({100 * atipicos.size / validos.size:.1f}%)")
print("los cinco mas grandes:", np.round(np.sort(atipicos)[-5:], 2))
print("por debajo del limite inferior:",
      int((validos < bajo).sum()), "(el limite es negativo y el costo no)")

print()
print("Por que 1.5 y no otro numero: es una convencion, no una ley.")
for k in (1.0, 1.5, 3.0):
    b, a = q1 - k * iqr, q3 + k * iqr
    cuantos = int(((validos < b) | (validos > a)).sum())
    print(f"   k = {k:<4} -> limites ({b:>9.2f}, {a:>9.2f}) -> "
          f"{cuantos:>3} atipicos")
print("   k = 1.5 marca 'sospechoso'; k = 3.0 marca 'muy lejos'. El")
print("   numero se declara en el enunciado, no se elige mirando cuantos")
print("   quedan.")

print()
print("La ventaja del IQR sobre la media y el desvio: los cuartiles no se")
print("mueven con los extremos, asi que el criterio no se contamina con")
print("lo mismo que intenta detectar.")

import csv

import numpy as np

NULOS = {"", "-", "N/A", "NaN", "null"}

with open("dw_hecho_ventas.csv", encoding="utf-8", newline="") as f:
    filas = list(csv.DictReader(f))


def a_numero(texto):
    crudo = texto.strip()
    if crudo in NULOS:
        return np.nan
    try:
        return float(crudo)
    except ValueError:
        return np.nan


costo = np.array([a_numero(x["costo"]) for x in filas])
validos = costo[~np.isnan(costo)]

# --- criterio IQR
q1, q3 = np.percentile(validos, [25, 75])
iqr = q3 - q1
por_iqr = (validos < q1 - 1.5 * iqr) | (validos > q3 + 1.5 * iqr)

# --- criterio z-score
media = validos.mean()
desvio = validos.std()
z = (validos - media) / desvio
por_z = np.abs(z) > 3

print(f"{'criterio':<12} {'marca':>6} {'umbral':<28}")
print("-" * 50)
print(f"{'IQR k=1.5':<12} {int(por_iqr.sum()):>6} "
      f"fuera de ({q1 - 1.5 * iqr:.0f}, {q3 + 1.5 * iqr:.0f})")
print(f"{'|z| > 3':<12} {int(por_z.sum()):>6} "
      f"fuera de ({media - 3 * desvio:.0f}, {media + 3 * desvio:.0f})")

print()
print("Los dos coinciden en:", int((por_iqr & por_z).sum()))
print("Solo el IQR marca  :", int((por_iqr & ~por_z).sum()))
print("Solo el z-score    :", int((~por_iqr & por_z).sum()))

print()
print("Por que difieren tanto: la media y el desvio SE MUEVEN con los")
print("extremos que intentan detectar. Los cuartiles, no.")
print(f"   media  : {media:>10.2f}")
print(f"   mediana: {np.median(validos):>10.2f}")
print(f"   desvio : {desvio:>10.2f}")
print(f"   IQR    : {iqr:>10.2f}")

print()
print("Se ve mejor agregando un valor absurdo a la columna:")
con_error = np.append(validos, 10_000_000.0)
q1b, q3b = np.percentile(con_error, [25, 75])
print(f"   {'':<10} {'sin el error':>14} {'con 10 millones':>18}")
print(f"   {'media':<10} {media:>14.2f} {con_error.mean():>18.2f}")
print(f"   {'desvio':<10} {desvio:>14.2f} {con_error.std():>18.2f}")
print(f"   {'Q1':<10} {q1:>14.2f} {q1b:>18.2f}")
print(f"   {'Q3':<10} {q3:>14.2f} {q3b:>18.2f}")
print("   La media y el desvio se multiplican; los cuartiles casi no se")
print("   mueven. Ese es todo el argumento a favor del IQR.")

z_error = (con_error - con_error.mean()) / con_error.std()
print()
print("Y el efecto practico sobre el z-score, que es contraintuitivo:")
print("   |z| del valor de 10 millones:", round(float(abs(z_error[-1])), 2))
print("   atipicos por |z| > 3, ahora:", int((np.abs(z_error) > 3).sum()))
print("   El unico valor absurdo ELEVA tanto el desvio que los 23 que")
print("   antes estaban lejos ya no lo parecen. Se llama enmascaramiento,")
print("   y es la razon por la que este curso usa IQR por defecto.")

import csv

import numpy as np

NULOS = {"", "-", "N/A", "NaN", "null"}

with open("dw_hecho_ventas.csv", encoding="utf-8", newline="") as f:
    filas = list(csv.DictReader(f))


def a_numero(texto):
    crudo = texto.strip()
    if crudo in NULOS:
        return np.nan
    try:
        return float(crudo)
    except ValueError:
        return np.nan


costo = np.array([a_numero(x["costo"]) for x in filas])
validos = costo[~np.isnan(costo)]
q1, q3 = np.percentile(validos, [25, 75])
iqr = q3 - q1
bajo, alto = q1 - 1.5 * iqr, q3 + 1.5 * iqr
es_atipico = (validos < bajo) | (validos > alto)
print("costo:", validos.size, "valores |", int(es_atipico.sum()), "atipicos")
print(f"limites: ({bajo:.2f}, {alto:.2f})")

print()
print("1. DESCARTAR: se van del calculo.")
sin_ellos = validos[~es_atipico]
print(f"   n      : {sin_ellos.size}")
print(f"   total  : {sin_ellos.sum():>12.2f}")
print(f"   media  : {sin_ellos.mean():>12.2f}")

print()
print("2. RECORTAR (clip): se los lleva al limite.")
recortados = np.clip(validos, bajo, alto)
print(f"   n      : {recortados.size}   <- no se pierde ninguno")
print(f"   total  : {recortados.sum():>12.2f}")
print(f"   media  : {recortados.mean():>12.2f}")
print("   Los 23 que estaban por encima ahora valen exactamente",
      round(float(alto), 2))
print("   valores distintos en el tope:",
      int((recortados == alto).sum()), " <- una barra artificial")

print()
print("3. CONSERVAR y marcar: quedan, y se informa cuales son.")
print(f"   n      : {validos.size}")
print(f"   total  : {validos.sum():>12.2f}")
print(f"   media  : {validos.mean():>12.2f}")
print("   mas una columna 'es_atipico' con", int(es_atipico.sum()), "True")

print()
print("Los tres totales, uno al lado del otro:")
print(f"   descartar : {sin_ellos.sum():>12.2f}")
print(f"   recortar  : {recortados.sum():>12.2f}")
print(f"   conservar : {validos.sum():>12.2f}")
diferencia = validos.sum() - sin_ellos.sum()
print(f"   La diferencia entre el primero y el ultimo es {diferencia:.2f},")
print(f"   o sea el {100 * diferencia / validos.sum():.1f}% del total.")

print()
print("Cual corresponde depende de POR QUE existe el valor extremo:")
print("   error de carga  -> descartar (o corregir, si se puede)")
print("   valor real raro -> conservar y marcar")
print("   no se sabe      -> conservar y marcar, y decirlo")
print()
print("Recortar es el que menos se usa y el que mas hay que justificar:")
print("inventa 23 valores identicos que no estaban en los datos. Sirve")
print("cuando un modelo no tolera extremos, no para informar un total.")

print()
print("Y el detalle que define la politica del curso: descartar SIN")
print("informar cuantos fueron es la unica de las tres opciones que")
print("esta mal, porque el resultado no se distingue de uno completo.")