Indice / Practicas / EJ-3.4

EJ-3.4 · Atipicos por IQR

Quinientas ventas, un criterio de tres números y quince filas que caen afuera. Una de ellas está a 2.279 IQR del tercer cuartil.

Qué hay que hacer

A partir de dw_hecho_ventas.csv (500 filas), aplicar el criterio de Tukey con k = 1.5 a la columna ingreso y producir dos archivos:

• limites_iqr.json - el criterio: cuartiles, IQR, los dos límites y cuántos quedan afuera.
• atipicos_ingreso.csv - las 15 filas marcadas, con de qué lado cayeron y a cuántos IQR están.

Por qué el criterio va en un archivo aparte

Lo que este ejercicio NO hace

Un ingreso negativo es imposible y hay que rechazarlo - pero eso es negativo_incoherente, y es la validación del ejercicio EJ-5.8. Acá el criterio es uno solo, el IQR, y hay que aplicarlo tal cual. Mezclar criterios sin declararlos es exactamente lo que el contrato existe para evitar.

Cómo saber si te salió

python comparar.py mis_limites.json limites_iqr.json
python comparar.py mis_atipicos.csv atipicos_ingreso.csv

Antes de arrancar, mirá los datos

El contrato de salida

limites_iqr.json · 9 filas

Orden de las filas: No hay filas: es un objeto. sort_keys=True fija el orden de las claves. Indice: no aplica: es un JSON, no una tabla. Con pandas la equivalencia seria to_csv(index=False)

atipicos_ingreso.csv · 15 filas

Orden de las filas: venta_id ascendente. Los 500 venta_id del archivo son distintos, asi que el orden es total. Indice: no se escribe: to_csv(index=False)

Que hacer con cada defecto

Conteos clave

Si estos numeros no te dan, algo se desvio antes de que llegues a comparar los archivos.

Invariantes

Comprobaciones que tu resultado tiene que cumplir. Corrilas vos mismo antes de comparar los archivos:

limites['n_validos'] == 500
limites['iqr'] == round(limites['q3'] - limites['q1'], 2)
abs(limites['limite_superior'] - (limites['q3'] + 1.5 * limites['iqr'])) < 0.01
abs(limites['limite_inferior'] - (limites['q1'] - 1.5 * limites['iqr'])) < 0.01
len(atipicos) == limites['n_atipicos'] == 15
atipicos['venta_id'].is_unique
atipicos['venta_id'].is_monotonic_increasing
not atipicos.isna().any().any()
set(atipicos['lado']) <= {'alto', 'bajo'}
(atipicos.loc[atipicos['lado'] == 'alto', 'ingreso'] > limites['limite_superior']).all()
(atipicos['distancia_iqr'] > 1.5).all()
atipicos['ingreso'].max() > 9000000

Así tienen que quedar

{
  "columna": "ingreso",
  "iqr": 4384.35,
  "k": 1.5,
  "limite_inferior": -5294.2,
  "limite_superior": 12243.21,
  "n_atipicos": 15,
  "n_validos": 500,
  "q1": 1282.33,
  "q3": 5666.68
}