Seguimiento de precios de alimentos en Austria mediante scraping
(mastodon.gamedev.place)- En medio de una creciente presión por los precios de alimentos y energía en Austria, y tras el anuncio de una base de datos oficial de precios bastante limitada, Mario Zechner creó por su cuenta una plataforma para seguir precios basada en las tiendas online de las grandes cadenas
- El primer prototipo se hizo en 2 horas para cubrir todo el catálogo de dos grandes cadenas, y después se le agregaron datos de tiendas en Alemania y Eslovenia, normalización de categorías, emparejamiento de productos similares y herramientas de análisis
- Al sumar además datos aportados de forma anónima y recopilados desde 2017, se pudo ver incluso en la evolución histórica un patrón en el que los precios de productos de marca propia de dos grandes cadenas coinciden hasta el centavo
- En los datos históricos de precios aparecieron casos en los que los valores se alinean el mismo día o con 1–2 días de diferencia, además de shrinkflation y ejemplos de un mismo producto que cuesta hasta 40% más que en Alemania
- El mercado austríaco de alimentos tiene una proporción muy alta de productos en descuento, de alrededor del 40%, por lo que incluso cuando se anuncian rebajas del precio de lista, el gasto promedio real puede subir por la estructura de descuentos rotativos
El anuncio de una base de datos oficial y el inicio del proyecto personal
- Austria tiene una inflación por encima del promedio de la UE, con una presión especialmente fuerte en bienes básicos como la energía y los alimentos
- En mayo, el gobierno anunció que crearía una base de datos de precios de alimentos junto con las grandes cadenas de supermercados
- El ministro responsable dijo que, por la escala del trabajo, estaría lista hasta otoño
- El alcance quedaba limitado a 16 grupos de productos, como harina y leche
- La actualización estaba prevista con una frecuencia de una vez por semana
- Al enterarse, Mario Zechner creó en 2 horas un prototipo que cubría todos los productos de dos grandes cadenas
- La plataforma funciona rastreando las tiendas online de los supermercados
- La mayoría de las tiendas cuenta con API
- Los datos recolectados se normalizan para poder compararlos entre tiendas
- Luego se ofrecen en una forma que permite su publicación y análisis
Expansión de la plataforma y datos de precios desde 2017
- Después de la plataforma inicial, también se agregaron datos de tiendas de Alemania y Eslovenia
- Se incorporaron técnicas ligeras de ciencia de datos para normalizar categorías distintas entre tiendas y emparejar productos iguales o similares
- Un usuario anónimo de Twitter aportó datos recopilados desde 2017 en dos grandes cadenas
- Zechner integró esos datos en la plataforma y añadió herramientas de análisis
- Los primeros análisis arrojaron resultados que sugerían aumentos de precios considerables incluso tomando en cuenta el alza de los costos de energía
Coincidencia de precios entre cadenas y cambios simultáneos
- Antes de construir la plataforma, el primer análisis consistió en comparar manualmente los productos más baratos vendidos por dos grandes cadenas
- Los ejemplos incluían productos como leche o harina de marca propia de cada tienda
- Los precios de 40 pares de productos coincidían exactamente hasta el centavo
- Una ONG vio esto en Twitter e hizo el mismo análisis con 600 pares de productos, encontrando el mismo patrón
- Con la integración de los datos históricos, fue posible comparar el momento en que cambiaban los precios del mismo producto en ambas cadenas
- En productos económicos de marca propia aparecieron casos en los que el precio cambiaba en ambas cadenas el mismo día, o con 1–2 días de diferencia, hasta llegar al mismo precio
- Este patrón no solo se observó en las marcas propias económicas, sino también en productos de marca propia de precio medio
- Zechner ve la posibilidad de colusión tácita (tacit collusion), donde un oligopolio alinea precios sin coordinación explícita
- Según él, otras plataformas similares también observaron el mismo patrón
- También señaló que este patrón empezó a aparecer desde el periodo en que la inflación se disparó
Shrinkflation y diferencias de precio entre países
- El análisis de la plataforma también identificó casos de shrinkflation
- Es decir, cuando se reduce el contenido del producto pero el precio se mantiene igual o incluso sube
- Se menciona como ejemplo el detergente para ropa
- También aparecieron casos en los que el mismo producto era hasta 40% más barato en Alemania
- Alemania se presenta como un país con mayores ingresos promedio y un costo de vida más alto
- Incluso hay productos fabricados solo en Austria que resultan más baratos fuera de Austria
- Se menciona a Billa como la versión austríaca de REWEDE
- Incluso con la marca austríaca Red Bull, hubo casos en los que el precio con descuento en Austria era más alto que el precio normal en Alemania
La estructura de descuentos y el efecto real de las “bajas de precio”
- En el mercado austríaco de alimentos, la proporción de productos con descuento es particularmente alta
- En un mercado minorista de alimentos competitivo típico, se indica que en promedio alrededor de 10–20% de los productos está en descuento
- En Austria, esa proporción sería del 40%
- Los descuentos dificultan que el consumidor sepa cuánto paga realmente
- A menudo el consumidor no puede conocer el precio hasta ir a la tienda y ver las ofertas del día
- Las cadenas envían folletos de descuentos por correo y también usan sistemas de pegar stickers en los productos al pasar por caja
- También se menciona la app como un medio para obtener datos de los usuarios
- Tras la cobertura negativa, las cadenas de supermercados colocaron avisos en tienda diciendo que “ya bajaron el precio de 450 productos este año”
- El total de productos se sitúa en unos 22,000
- La cadena en cuestión también ofreció la lista de productos con precio reducido en un PDF legible por máquina
- Zechner emparejó los productos del PDF con su propia base de datos
- En la superficie, se confirmó que la afirmación sobre la baja de precios era cierta
- Sin embargo, algunos productos formaban parte de patrones cíclicos de precios que se repetían por años, por lo que no eran rebajas permanentes
- También aparecieron casos más sutiles
- Había productos cuyo precio de lista bajó, pero cuyo precio con descuento aplicado periódicamente subió
- Así, aunque la rebaja del precio de lista sea real, si un consumidor compra ese mismo producto cada semana, su gasto promedio puede terminar siendo mayor que antes debido al aumento del precio en oferta
1 comentarios
Comentarios de Hacker News
Viví en Austria y en Alemania, y que los precios de los supermercados austríacos son mucho más caros es 100% cierto, incluso para productos austríacos.
La razón es que los alemanes son extremadamente sensibles al precio y comparan todo el tiempo, mientras que los austríacos, en promedio, se preocupan menos, y los supermercados aprovechan eso. Austria tiene menor densidad de población y muchas tiendas de difícil acceso, como en zonas montañosas, por lo que los costos logísticos son más altos; el IVA también es un poco más alto, y los salarios de la mano de obra no calificada en supermercados y logística son algo mayores que en Alemania.
Además, incluso las tiendas de una misma empresa en Austria suelen verse mejor que en Alemania, con exhibiciones más ordenadas y filas de espera más cortas, lo que aumenta los costos operativos. En definitiva, si los consumidores valoraran los precios como en Alemania y les importara menos la estética, los precios bajarían; y si empezaran a caminar un poco más para buscar supermercados más baratos, los precios también podrían bajar.
En Austria, el transporte público y la bicicleta funcionan mucho mejor, así que la gente no se desvía a propósito para pasar por la tienda de comestibles más barata. En las zonas de Austria donde se usa auto, la densidad de población es tan baja que tampoco hay mucha competencia entre supermercados.
En parte se debe al IVA más alto en Países Bajos, pero creo que la mayor parte viene de que los neerlandeses simplemente pagan precios más altos que los alemanes.
Como desarrollador austríaco y consumidor, estuve siguiendo este tema de cerca durante todo el año, y es muy frustrante que nos estén sacando plata sin ninguna razón válida y aun así nada cambie y a nadie le importe.
Es realmente admirable que Mario siga insistiendo con este tema y no se haya cansado de esta locura irritante.
Para evitar que las empresas se comporten mal, hace falta un adulto en la sala. Se parte de la premisa de que, si no se las vigila, las empresas se comportan mal; más que una afirmación categórica, es una hipótesis a comprobar.
Al menos, cuando no hay consecuencias, las empresas se comportan peor; por eso antes no tenían una “buena razón” para subir precios, pero ahora la inflación se convirtió en una cobertura para los aumentos.
Este tipo de proyectos de datos de índices parece tener mucho potencial como campo, sobre todo ahora que los sistemas de inteligencia artificial y aprendizaje automático facilitan observar cambios y tendencias. La cuestión es cómo obtener conclusiones y observaciones lo bastante claras como para provocar una indignación de ciencias sociales que lleve a la gente a actuar.
O quizás simplemente tengamos que aceptar que las empresas usen esta tecnología para optimizarlo todo en contra del consumidor, y no usarla para una resistencia de tipo white hat frente a eso.
Dicho eso, si a todos les dan 500 euros más al año como Klima bonus, no sé qué esperaba la gente. No veo cómo eso iba a bajar la inflación, y parece que las cadenas de supermercados lo están aprovechando.
Da igual si el precio es alto o bajo: la razón siempre es la misma. Ese precio es el que genera más dinero.
Estas empresas se ponen realmente sensibles cuando algo empieza a afectar sus ganancias. Quizás no era Bournvita, sino algún aditivo similar para leche dirigido a niños.
Si es parecido al Reino Unido, hay tanta shrinkflation que para comparar precios hará falta el precio por gramo. Reducen el tamaño del producto y cambian ingredientes por otros más baratos: aunque el empaque parezca el mismo, aumenta el espacio con aire en los envoltorios de barras de chocolate, aparece un hueco de 1 cm bajo la tapa de los conos de helado, la base de los envases de mantequilla queda hundida, y los laterales de empaques que antes eran rectos ahora se estrechan.
Estos “trucos” existen desde hace tiempo, pero se usan cada vez más. Todos los supermercados tienen una base de datos completa de su inventario, así que podrían enviar una lista actualizada de precios de todos los productos cada 5 minutos prácticamente sin costo. Parece que los legisladores no buscan —o no tienen intención de buscar— asesoramiento experto, pero aun así, un comienzo es un comienzo.
El problema es que, si las tiendas de comestibles logran que la gente use tarjetas de “lealtad”, pueden convertir todo en “precio promocional” y así eludir el requisito de mostrar el precio unitario. Solo muestran el £/KG del precio original más alto, así que el consumidor no puede comparar fácilmente.
Se puede evitar comprando en Aldi o Lidl, pero no me sorprendería que pronto ellos también caigan en la tentación de los precios exclusivos con tarjeta de lealtad. Por supuesto, ellos también han hecho shrinkflation.
Ejemplo: https://www.tesco.com/groceries/en-GB/products/296117381 — “£3.00 / £10.71/kg”, pero el precio con Clubcard es £2.00
Como austríaco, me parece bueno el proyecto de comparación de precios, pero el elefante en la habitación es que los precios en los supermercados alemanes son 20 a 40% más bajos para los mismos productos.
Las explicaciones de las cadenas de supermercados son, en el mejor de los casos, sospechosas. Que hay más tiendas per cápita que en Alemania, o que tienen que comprarles a distribuidores austríacos más caros. También escuché una historia similar sobre que Bélgica es más cara que Francia.
Para cambiar la situación hace falta una comparación de precios a nivel europeo.
A las empresas pequeñas les cuesta entrar porque ni siquiera tienen margen para innovar en áreas como la libertad de selección de productos o los horarios de atención.
Cuando recopilas precios de servicios y productos en línea, aparecen muchísimas cosas interesantes, y por lo general son trucos pensados para perjudicar al cliente.
Creo que ya es hora de que la UE legisle para obligar a las empresas a ofrecer datos de precios mediante API estandarizadas. Así todos saldríamos ganando y se podrían frenar estos trucos.
De hecho, hice un scraper de paquetes vacacionales de Disney World, y también encontré formas de conseguir ofertas más baratas comprando boletos de hotel por separado solo para una parte de la estadía total. Algún día planeo convertirlo en un índice de inflación vacacional.
1 - https://mousetrack.co.uk
Fue un artículo realmente interesante. Es agotador evaluar los precios de los comestibles y ajustar las compras para optimizar tiempo y costo, pero con un dataset grande como este podría volverse mucho más fácil.
Me pregunto si existe un análisis de precios similar para Estados Unidos.
Claro que los márgenes varían por producto dentro de la tienda, pero casi todos los alimentos no preparados y con vida útil estable están entre los de margen más bajo.
Winco, Aldi y Lidl también son cadenas de comestibles conocidas por tener márgenes extremadamente bajos.
No sé cómo serán otros servidores de Mastodon, pero este está a años luz de Twitter en cuanto a facilidad de lectura.
Ojalá algún día alguien escriba un libro que exponga exactamente qué salió mal con esa empresa y su enfoque de diseño de producto.
La primera tiene más recursos, pero el segundo está más orientado por una misión.
También existe la “vista avanzada” multipanel, parecida a Tweetdeck.
Hay gente que prefiere el modo oscuro, pero en dispositivos de tinta electrónica es realmente horrible de leer. Como no se puede cambiar el tema sin iniciar sesión en una instancia específica, tengo abierto un issue relacionado.
Excelente hilo, y muestra el poder de los ciudadanos inteligentes y con capacidad técnica.
Mi predicción es que no va a pasar nada. Es probable que el regulador gubernamental que debería vigilar esto concluya que no hay problema. Porque, en mi opinión, ya están comprados para que, cuando terminen en la política, pasen a trabajar como lobistas o “consultores” de esos minoristas.
Hace unos 6 años, las tres principales empresas de telecomunicaciones de Austria subieron precios juntas exactamente al mismo tiempo, y la agencia gubernamental responsable cerró el caso diciendo que no había pruebas de que las tres hubieran conspirado para fijar precios y que podía ser una coincidencia.
Este país es tan corrupto que está podrido hasta la raíz. Como consumidor y contribuyente, me están desplumando legalmente por todos lados con la bendición del gobierno, y supongo que en muchos otros países pasa algo parecido.
Como austríaco, envié este enlace a varios periodistas y amigos. Me pregunto cómo convertir esto en acciones concretas para que la política se mueva y también ayude a los consumidores.