Es un servicio que recopila noticias del mercado bursátil de EE. UU. y resume por qué una acción subió o bajó.
Por ejemplo, en el caso más reciente, Netflix del 2022-10-21, ofrece un resumen como the company is reinvesting a huge chunk of its profits at a high rate of return junto con un enlace al artículo original de la noticia.
Me interesa mucho el mercado de acciones de EE. UU., pero me resultaba incómodo levantarme por la mañana y tener que buscar una por una las razones de por qué subían o bajaban, así que desarrollé este servicio. Lo comparto por si puede serle útil a alguien.
Técnicamente, es así.
- Construido como Fully Serverless (AWS Lambda + Cloudfront Lambda@Edge)
- Después de rastrear noticias relacionadas con acciones de EE. UU., infiere resultados con un modelo de machine learning llamado SQuAD (ej.
Why Nvidia stock goes up?)- El modelo usado está aligerado para poder ejecutarse suficientemente bien en Lambda (línea Distillation BERT)
- Todas las Lambda que generan los datos se procesan dentro del rango del AWS Free Tier, y los únicos costos adicionales son S3 y el dominio de Route 53 (actualmente alrededor de $2 al mes)
- Todos los datos se almacenan en S3 y no se usa una base de datos aparte
- SSR (NextJs) + Cloudfront Lambda@Edge (us-east-1)
Siempre los leo con gusto y agradezco mucho a todos. Escribí esto esperando que pueda ser de ayuda, aunque sea un poco, para quienes estén interesados. Gracias.
19 comentarios
Hola. Quería compartirles que hubo un gran cambio en el proyecto paralelo musn129 (meoseon129) en el que trabajé antes.
Antes que nada, quiero decirles que estoy muy agradecido por el gran interés y por quienes lo han usado de forma constante.
Antes, para optimizar costos, todo el procesamiento se hacía en AWS Lambda, y la inferencia del modelo resolvía la tarea SQuAD con Distillation BERT (por ejemplo, se le daba una pregunta como "¿por qué subió esta acción dentro del artículo?" y tenía que encontrar en qué "posición" del artículo estaba la respuesta), pero ahora se cambió al uso de la API paga de OpenAI. Los datos procesados con el nuevo modelo se aplicaron desde 2023. (2022 mantiene los datos anteriores)
Como no se pueden adjuntar imágenes, les dejo al final también el resultado de LUCID, que tuvo la mayor variación al día de hoy. (¡Pueden verlo en https://musn129.com/nasdaq/2023-01-27!)
¡Gracias!
Sería bueno poder crear una versión de crypto. El mercado cripto tiene una correlación muy positiva con las noticias.
Vaya... muchas gracias por este excelente servicio
Entre programas similares, creo que este tiene una interfaz de usuario cómoda y que es de lo mejor. He usado Yahoo Finance, Dow Jones, Bloomberg, etc. (aunque no hasta el punto de usar programas especializados, porque no trabajo en el sector y soy inversionista individual), y aquí es fácil ver los artículos relacionados. Eso sí, como cada persona tiene acciones de interés distintas, estaría bien poder marcar con estrella y seguir rastreando continuamente ciertos valores, aunque no sea necesario crear una cuenta para eso. Lo voy a usar bien. Gracias ^-^
Trabajo en una firma de corretaje. Quiero desarrollar esto como un servicio..??
Tengo una duda: si les envío un correo, ¿podrían responderme?? jaja
¡Hola! Gracias por su interés. Si nos deja cualquier duda, se la responderemos. Pero, si no incluye información personal, creemos que sería aún mejor que la dejara aquí para que también pueda compartirse con los demás. ¡Gracias!
Sí. Tengo muchísima curiosidad. :) Como no sé mucho de la parte técnica, se lo pregunto con toda confianza.
¿Creen que sería posible mejorar un poco más la precisión de este proyecto?
Parece que podría ir por el lado de aumentar la cantidad de noticias, mejorar la calidad de las noticias o subir la precisión del modelo.
Si se invirtieran más recursos, me da curiosidad hasta qué punto sería posible mejorar la precisión del servicio que compartieron. jaja
Sí, creo que se puede mejorar bastante. Lo hice de manera personal y, como (todavía) no genera ingresos, he estado muy enfocado en la eficiencia de costos, así que pienso que hay bastante espacio para mejorar en ese aspecto.
Como mencionas, primero que nada, probablemente lo más importante sea asegurar más datos de buena calidad. Hasta donde sé, en el tema de noticias hay muchos SaaS que han construido buenos conjuntos de datos mediante crawling, así que si fuera un proyecto y no algo a nivel personal, creo que se podría usar un SaaS externo de pago, por un precio razonable, para reunir artículos de noticias de buena calidad.
Después, en cuanto a la entrada y la salida del modelo actual, no he puesto demasiada atención al preprocesamiento y posprocesamiento, pero creo que si se ajusta eso con más cuidado viendo los resultados del modelo para obtener valores de mejor calidad, el resultado se vería mucho mejor desde la perspectiva del usuario. (Por ejemplo, en este momento dejé respuestas cortas que parecen no tener mucho significado, o respuestas que se ven como espacios en blanco, porque había pocos datos y... personalmente, cuando tenía curiosidad, quería poder hacer clic y verlas de todos modos. Pero si fuera a nivel de producción, creo que se podría ordenar mucho mejor ese tipo de cosas y ofrecer una experiencia de usuario mucho mejor).
Por último, también por un tema de costos, yo usé solo una vez un modelo bastante liviano, pero creo que se podría probar con un modelo más grande (que requiere más cómputo pero tiene un rendimiento relativamente mejor), y que no solo con el enfoque de Question Answering que utilicé, sino también con distintos métodos, se podrían obtener resultados más adecuados.
Se me fue haciendo largo mientras escribía, pero lo dejo aquí esperando que también le sirva a otras personas interesadas. ¡Gracias!
Está increíble. Qué fuerte;;
Si se pudiera elevar lo suficiente la precisión, creo que incluso se podría considerar implementarlo de inmediato como un producto real.
(Solo con la reacción en los comentarios de quienes vieron este servicio, parece que la validación como Preto-Type —protox, pretoo— ya está prácticamente terminada jaja).
Como planner, había dos grandes puntos de mejora que me preocupaban en el ámbito de las acciones extranjeras.
Uno eran los pain points físicos o técnicos.
-Por ejemplo, cosas como tener que operar por la noche / tener que hacer cambio de divisas / que te muestren el precio con 15 minutos de retraso / no poder ver el libro de órdenes / que no haya muchos países disponibles para operar: en otras palabras, cómo resolver las incomodidades que surgen por la brecha física entre el mercado local y el de origen.
Pero hoy en día esa parte ha mejorado mucho. Gracias al poder del capital... jaja.
Últimamente, el área que me interesaba era el tema de la información y el contenido.
De entrada, hay que saber bien inglés; e incluso sabiéndolo, explorar información del extranjero es difícil, y además hay tantísima que uno ni sabe qué ni cómo buscar. No hay tiempo, hay demasiado por ver, invertir es difícil y no hay nadie que te lo explique...
Por eso, lo que suelen hacer las corredoras es crear equipos de contenido, comprar contenido externo o ampliar la cobertura de research hasta acciones extranjeras, pero todavía falta mucho camino por recorrer. Además, todo requiere trabajo manual. Y por eso mismo también pierde actualidad...
Esa fue la razón por la que me impresionó tanto el servicio que desarrollaste.
Parece que este servicio podría mejorar muchísimo la experiencia diaria del usuario. Al final, lo que uno quiere saber es: ¿por qué subió? ¿por qué bajó?... creo que eso era lo importante jaja.
¡Muchas gracias por tu respuesta tan detallada! Creo que será de mucha ayuda. En especial, al compartir la perspectiva de alguien que está trabajando en el área, creo que será de gran ayuda no solo para mí, sino también para otras personas. ¡Muchas gracias! Jajaja
Gracias por el proyecto y también por los comentarios. ¡Creo que les va a servir mucho a otras personas!
¡Es un servicio increíble!
Aun cuando una acción llegó al límite superior, muchas veces no aparece bien la razón y solo hay noticias diciendo que subió hasta ese límite... Me da curiosidad cómo se podrían filtrar bien ese tipo de noticias.
¡Hola! Gracias por tu interés. Creo que hay dos grandes razones por las que la calidad baja. Una es que el contenido del artículo fuente en sí no incluye suficientemente la información que se quiere, y la otra es que el resultado de inferencia del modelo de machine learning no es bueno. (Por ahora está hecho de una forma bastante ingenua jaja..)
Actualmente, cuando hay varios artículos, se ordenan con el
model output score, pero creo que se podría mejorar rápido si se filtran oraciones demasiado cortas (por ejemplo, como las que se ven ahora, que están vacías o son demasiado breves) o si se aplican un poco más otras heurísticas. ¡Gracias por el buen feedback!Me pregunto qué dirán de las acciones coreanas jaja
También estaba pensando en las acciones coreanas, así que iré desarrollándolo poco a poco para agregarlo. Gracias por el interés jajaja
¡Guau! Qué servicio tan interesante. Me hace pensar que quizá también se podría analizar de esta manera cuando una canción de un artista en particular vuelve a subir en las listas musicales.
¡Gracias por la buena opinión! Con un enfoque similar, si hay suficientes datos, de verdad podría haber muchísimas cosas que se pueden aprovechar, ¿no?
Las acciones... ¿también suben...? Qué raro... las mías solo se la pasan bajando...
Por favor compártanlo en GeekNews antes de comprar nuevas acciones.