Duplicados

import pandas as pd

pedidos = pd.DataFrame({
    "cliente": ["Ana", "Bruno", "Ana", "Ana"],
    "monto": [100, 250, 100, 300],
})
print(pedidos)

print()
print("duplicated() por fila entera:")
print(pedidos.duplicated().to_list(), "->", int(pedidos.duplicated().sum()), "duplicada")

print()
print("keep='last' marca la otra:")
print(pedidos.duplicated(keep="last").to_list())

print()
print("keep=False marca TODAS las del grupo repetido:")
print(pedidos.duplicated(keep=False).to_list())

print()
print("Por cliente, sin mirar el monto:")
print(pedidos.duplicated(subset=["cliente"]).to_list())

import pandas as pd

libros = pd.read_csv("libros_catalogo.csv")

print("filas totales          :", len(libros))
print("filas identicas enteras:", int(libros.duplicated().sum()))
print("isbn repetidos         :", int(libros.duplicated(subset=["isbn"]).sum()))

print()
repetido = libros[libros.duplicated(subset=["isbn"], keep=False)]
print("Las filas que comparten isbn:")
print(repetido.to_string(index=False))

print()
print("No son identicas: comparten la clave y difieren en lo demas.")
print("Por eso duplicated() sin subset no las encuentra.")

import pandas as pd

catalogo = pd.read_csv("catalogo_sistema_a.csv")
repetidos = catalogo[catalogo.duplicated(subset=["sku"], keep=False)]
print("Filas con sku repetido:")
print(repetidos.to_string(index=False))

print()
print("keep='first' se queda con la que aparece primero en el archivo:")
print(catalogo.drop_duplicates(subset=["sku"], keep="first")
      .query("sku in ['SKU002', 'SKU007']")[["sku", "precio", "actualizado"]]
      .to_string(index=False))

print()
print("Pero lo que queremos es la mas reciente. Hay que ordenar primero:")
por_fecha = catalogo.sort_values("actualizado", kind="stable")
print(por_fecha.drop_duplicates(subset=["sku"], keep="last")
      .query("sku in ['SKU002', 'SKU007']")[["sku", "precio", "actualizado"]]
      .to_string(index=False))

import pandas as pd

catalogo = pd.read_csv("catalogo_sistema_a.csv")
fecha = pd.to_datetime(catalogo["actualizado"], errors="coerce")
print("filas sin fecha de actualizacion:", int(fecha.isna().sum()))

ordenado = catalogo.assign(_f=fecha).sort_values(
    "_f", na_position="first", kind="stable")
unico = ordenado.drop_duplicates(subset=["sku"], keep="last").drop(columns="_f")

print("antes :", len(catalogo), "filas |", catalogo["sku"].nunique(), "sku distintos")
print("despues:", len(unico), "filas |", unico["sku"].nunique(), "sku distintos")

print()
print("Dos decisiones que hay que dejar por escrito:")
print("  na_position='first'  -> una fila sin fecha nunca le gana a una con fecha")
print("  kind='stable'        -> si empatan, gana la que estaba mas abajo")
print("Sin declararlas, dos personas correctas obtienen archivos distintos.")

import pandas as pd

catalogo = pd.read_csv("catalogo_sistema_a.csv")
antes = len(catalogo)

fecha = pd.to_datetime(catalogo["actualizado"], errors="coerce")
unico = (catalogo.assign(_f=fecha)
         .sort_values("_f", na_position="first", kind="stable")
         .drop_duplicates(subset=["sku"], keep="last")
         .drop(columns="_f")
         .sort_values("sku", kind="stable"))

quitadas = antes - len(unico)
print(f"entraron {antes} filas, salieron {len(unico)}, se quitaron {quitadas}")
print("sku que perdieron una fila:",
      sorted(catalogo.loc[catalogo.duplicated(subset=['sku'], keep=False), 'sku']
             .unique()))

assert unico["sku"].is_unique, "quedaron sku repetidos"
print()
print("El assert es barato y convierte un error silencioso en uno ruidoso.")