1 puntos por GN⁺ 2023-08-29 | 1 comentarios | Compartir por WhatsApp
  • A medida que crece la demanda de las empresas por desplegar ChatGPT de forma segura dentro de sus organizaciones, OpenAI lanzó ChatGPT Enterprise
  • Los datos empresariales y las conversaciones no se usan para entrenar el modelo, y ofrece cumplimiento con SOC 2, cifrado en reposo y en tránsito, consola de administración y SSO
  • Elimina los límites de uso de GPT‑4 e incluye un rendimiento de hasta 2 veces más rápido, contexto de 32k y análisis avanzado de datos ilimitado
  • A solo 9 meses del lanzamiento de ChatGPT, se confirmaron cuentas registradas con dominios de correo corporativo en más del 80% de las empresas Fortune 500
  • Próximamente se añadirán personalización con conexión a datos de la empresa, self-serve ChatGPT Business para equipos pequeños, mejoras en análisis y browsing para el trabajo, y herramientas por función

ChatGPT Enterprise, orientado al despliegue empresarial

  • OpenAI lanzó ChatGPT Enterprise
  • Reúne en un solo producto seguridad y privacidad empresariales, una experiencia de uso de ChatGPT más potente, una ventana de contexto para procesar entradas largas, análisis avanzado de datos y funciones personalizadas para la organización
  • El objetivo es ajustar un asistente de IA para el trabajo a cada organización mientras se protegen los datos de la empresa

Demanda confirmada en Fortune 500

  • En los 9 meses posteriores al lanzamiento de ChatGPT, se confirmaron cuentas registradas de ChatGPT en más del 80% de las empresas Fortune 500
    • Esta cifra se basa en cuentas vinculadas a dominios de correo corporativo
  • Los líderes empresariales venían pidiendo una forma más simple y segura de desplegar ChatGPT dentro de sus organizaciones
  • Entre las empresas usuarias iniciales se incluyen Block, Canva, Carlyle, The Estée Lauder Companies, PwC, Zapier
  • Los principales casos de uso incluyen redactar comunicaciones más claras, acelerar tareas de programación, explorar preguntas de negocio complejas y apoyar trabajo creativo
  • Klarna busca fortalecer la capacidad de sus empleados y la experiencia del cliente para atender a 150 millones de usuarios activos en todo el mundo mediante la integración de ChatGPT Enterprise

Seguridad, privacidad y funciones de administración

  • Las empresas son dueñas y controlan los datos de negocio en ChatGPT Enterprise
  • OpenAI no usa los datos de negocio ni las conversaciones de los clientes para entrenar sus modelos, y los modelos tampoco aprenden del uso
  • La configuración de seguridad incluye lo siguiente
    • Cifrado de datos almacenados: AES 256
    • Cifrado en tránsito: TLS 1.2+
    • Cumplimiento con SOC 2
  • La nueva consola de administración admite despliegues empresariales a gran escala
    • Gestión masiva de miembros
    • SSO
    • Verificación de dominio
    • Panel de análisis para insights de uso
  • Se puede consultar más información sobre el tratamiento de datos en la privacy page y el Trust Portal

GPT‑4, análisis de datos y funciones de flujo de trabajo

  • ChatGPT Enterprise elimina los límites de uso de GPT‑4
  • El rendimiento de GPT‑4 se ofrece con una velocidad de hasta 2 veces mayor
  • Con contexto de 32k, puede procesar entradas más largas, archivos y preguntas de seguimiento
    • OpenAI lo describe como la capacidad de manejar entradas o archivos 4 veces más largos
  • Se puede usar de forma ilimitada la función de análisis avanzado de datos
    • Esta función antes se conocía como Code Interpreter
    • Hay casos de uso como investigadores financieros procesando datos de mercado, especialistas en marketing analizando resultados de encuestas y científicos de datos depurando scripts de ETL
  • Se pueden usar plantillas de chat compartibles para flujos de trabajo personalizados de la organización
  • Si se necesita escalar OpenAI hacia una solución organizacional totalmente personalizada, el precio incluye créditos gratuitos para usar la API
  • Asana afirmó que con ChatGPT Enterprise el tiempo de investigación de sus equipos se redujo en promedio 1 hora al día
  • Canva mencionó diversos casos de uso, como resolución de bugs para ingenieros, clustering de datos de formato libre para analistas de datos y creación de fórmulas de hojas de cálculo para analistas financieros

Funciones disponibles y expansión prevista

  • ChatGPT Enterprise está disponible para clientes empresariales desde el día de su lanzamiento
  • Las funciones principales disponibles para todos los clientes enterprise son las siguientes
    • Los prompts de los clientes y los datos de la empresa no se usan para entrenar los modelos de OpenAI
    • Cifrado de datos en reposo y en tránsito
    • Cumplimiento con SOC 2
    • Consola de administración, gestión masiva de miembros, SSO, verificación de dominio y panel de análisis
    • Acceso ilimitado a GPT‑4
    • Rendimiento de GPT‑4 de hasta 2 veces más rápido
    • Análisis avanzado de datos ilimitado
    • Ventana de contexto de 32k tokens
    • Plantillas de chat compartibles para colaboración interna y creación de flujos de trabajo comunes
    • Créditos gratuitos de OpenAI API para ampliar hacia soluciones totalmente personalizadas
  • Las funciones en preparación son las siguientes
    • Customization: conectar aplicaciones que ya usan para ampliar de forma segura el conocimiento de ChatGPT con datos de la empresa
    • Availability for all team sizes: self-serve ChatGPT Business para equipos pequeños
    • Power tools: Advanced Data Analysis y browsing más potentes y optimizados para el trabajo
    • Solutions for your function: herramientas para funciones específicas como analistas de datos, especialistas en marketing y atención al cliente
  • OpenAI planea incorporar a tantas empresas como sea posible durante las próximas semanas
  • Las empresas que quieran comenzar pueden consultar más detalles y conectarse con el equipo comercial en el sitio web de ChatGPT Enterprise

1 comentarios

 
GN⁺ 2023-08-29
Opiniones de Hacker News
  • Si se declara explícitamente que no se entrenará con datos empresariales y se destaca el cumplimiento de SOC 2, a muchas empresas les resultará más fácil sentirse tranquilas y adoptar ChatGPT en sus procesos de trabajo.
    Al hablar con empresas para venderles una plataforma de apps LLM, se nota enseguida lo sensibles que son respecto de compartir datos. En organizaciones que no han bloqueado el acceso a ChatGPT, los empleados ya estaban pegando muchos datos sensibles, y también vi algunas empresas que desplegaron chatbot-ui con la oferta de OpenAI en Azure porque Azure afirma que no usa los datos de los usuarios (https://learn.microsoft.com/en-us/legal/cognitive-services/o...).
    Para abordar estas preocupaciones de privacidad de estas empresas, también agregamos soporte para Azure OpenAI a nuestra plataforma y publicamos el motor como open source para poder admitir despliegues on-premises (LLMStack - https://github.com/trypromptly/LLMStack).

    • Mi empresa está en Fortune 500 y tiene 80 mil empleados de tiempo completo, y hay una política que prohíbe el uso de herramientas de IA o LLM.
      La gran preocupación indicada en la política es que podríamos usar sin querer propiedad intelectual de terceros presente en los datos de entrenamiento. Nos preocupa que nuestros datos entren en la herramienta, pero también es un problema que terminemos usando sin autorización algo que la herramienta ya tiene dentro de sus datos. ¿Cómo se puede demostrar que eso nunca ocurre? La única forma que se me ocurre es que la herramienta proporcione una lista exhaustiva de todos los elementos con los que fue entrenada.
    • Me da curiosidad cómo planean comercializar el producto. Hay muchísimos proveedores de apps cloud tipo chatbot creadas sobre la API de ChatGPT o la API de Azure, y he visto casos en los que le piden al usuario que ingrese su clave de API.
      Las empresas seguirán siendo muy cautelosas a la hora de poner datos en estas plataformas multi-tenant. Siento que ni siquiera el cifrado sería suficiente. Para uso empresarial, parece necesario un stack LLM privado virtual completamente aislado.
    • Muchas empresas manejan datos de otras empresas, y como esas empresas no permiten compartir datos, hay una gran excepción a la idea de que las empresas adoptarán ChatGPT con tranquilidad.
    • En la empresa donde trabajo, ChatGPT, e incluso Bing, están bloqueados en el firewall. Ojalá ahora podamos usarlos.
    • He mantenido la certificación SOC 2 durante varios años y, en general, la veo más como algo para aparentar y no como un indicador efectivo de la postura de seguridad.
      El marco SOC 2 es complejo y costoso de cumplir, por lo que puede hacer que las organizaciones se enfoquen en marcar casillas en lugar de implementar controles de seguridad significativos. SOC 2 no es una buena medida universal para entender la cultura de seguridad de una organización, y da miedo que lo mejor que tengamos hoy sea esto.
  • No entrenar modelos con datos empresariales es un requisito básico en productos empresariales de machine learning. Por ejemplo, Google también lo hace.
    Para que sea considerado en industrias más reguladas, seguramente tendrán que subir más el nivel de cumplimiento. Parece que todavía no llega al cumplimiento de HIPAA, y el siguiente paso probablemente sea establecer límites geográficos en tránsito, de modo que el hardware usado por la institución tenga que estar dentro de una jurisdicción específica. Suena aburrido, pero es una forma fácil de ampliar el mercado accesible.
    Dicho eso, ahora mismo lo más probable es que simplemente haya falta de oferta. Solo con atender la primera ola ya se les llenará la capacidad. También me pregunto si lanzarán servicios de procesamiento por lotes que corran mientras los empleados de las empresas duermen.

    • OpenAI ofrece BAA a algunos clientes.
    • Tenía entendido que los datos de entrada de la API ya no se usan para entrenamiento. Según entendía, lo que se usaba para entrenamiento era solo el producto ChatGPT para consumidores, y la contribución de entradas de la API era mediante participación opcional.
      https://help.openai.com/en/articles/5722486-how-your-data-is...
      Aun así, si una empresa usa internamente el producto para consumidores, parece razonable pagar para excluirse y evitar que las entradas se usen para entrenamiento.
  • Creo que el modelo de ChatGPT básicamente violó todas las licencias open source. Incluso la licencia MIT exige atribución, así que antes de refutarlo me gustaría que mostraran aunque sea una sola atribución de licencia de un proyecto open source.
    Con el respaldo de Microsoft, no sé qué pasaría si incumplen su promesa y entrenan de forma selectiva con datos de competidores o de pequeñas empresas potenciales.
    ¿Qué podría detenerlos realmente? La mayoría de las empresas no tiene la potencia de fuego para pelear contra OpenAI respaldada por Microsoft. ¿Cómo se puede garantizar que no violen esto y, en la práctica, cómo se les puede exigir responsabilidad? Para mí es simplemente un “confía en nosotros”; ¿hay algún fundamento para verlo de otra forma?

    • Si lo que dices es que el modelo de ChatGPT violó todas las licencias open source porque usó material con copyright como datos de entrenamiento, creo que partes de una premisa equivocada.
      Corrígeme si me equivoco. Según lo último que sabía, el uso de datos con copyright es legalmente muy ambiguo y se mueve en una zona gris. Además, creo que muchas licencias open source ni siquiera prohíben explícitamente usar su código como datos de entrenamiento. El problema no se limita a que otras empresas no tengan recursos para pelear contra Microsoft/OpenAI; incluso si los tuvieran, no está claro que un tribunal determine que Microsoft/OpenAI actuó mal.
      No quiero decir que esté del lado de Microsoft/OpenAI en este debate, pero no creo que sea un asunto tan claro como lo planteas.
    • Microsoft, Amazon y Google ya tienen datos de sus competidores en la nube. También podrían falsear el cifrado para obtener acceso a los discos de sus clientes.
      Además, la mayoría de los empleados usa Google Workspace u Office 365 en la nube para almacenar y compartir archivos confidenciales. ¿Qué tiene OpenAI de distinto para que preocupe más?
    • Entiendo que ese tren ya partió. Será difícil frenarlo con una ley gris tan endeble.
  • Pensé que los puntos ofrecidos a clientes empresariales —es decir, no usar los prompts de los clientes ni los datos de la empresa para entrenar modelos de OpenAI, acceso ilimitado al análisis avanzado de datos (antes Code Interpreter) y una ventana de contexto de 32k tokens para entradas, archivos y preguntas de seguimiento 4 veces más largas— ya estaban disponibles para clientes no empresariales. Tal vez me equivoqué o algo cambió.

    • Creo que la verdadera función es esta parte: “No entrenamos con tus datos de negocio ni conversaciones, y nuestros modelos no aprenden de tu uso. ChatGPT Enterprise también cumple con SOC 2 y todas las conversaciones se cifran en tránsito y en reposo”.
    • Creo que se pasó por alto esta parte: ChatGPT Enterprise cumple con SOC 2 y todas las conversaciones se cifran en tránsito y en reposo. Una nueva consola de administración permite gestionar fácilmente a los miembros del equipo, y ofrece verificación de dominio, SSO e insights de uso para habilitar despliegues a gran escala a nivel empresarial.
      El encaje producto-mercado parece bastante sólido. El producto (ChatGPT) ya estaba listo, pero no para empresas, y ahora ya lo está. Probablemente genere muchos leads de ventas.
    • Tengo entendido que las completaciones de chat de la API ya garantizaban privacidad desde hace un tiempo. ChatGPT, la aplicación de chat que OpenAI opera sobre sus modelos de chat, se seguía usando para entrenamiento, y creo que por eso el precio para consumidores es bajo.
      Este anuncio permite que las empresas autoricen a sus empleados a usar ChatGPT y, al mismo tiempo, reduzcan las preocupaciones sobre privacidad de datos.
    • ¿Qué pasa con conservar durante varios días las entradas de prompts y las salidas de respuestas para monitorear abusos? ¿No lo hacen en la versión empresarial? En el servicio Microsoft Azure OpenAI hay que obtener una exención para que no se conserve nada.
    • Está bien que no usen los prompts de los clientes ni los datos de la empresa para entrenar modelos de OpenAI. Pero ¿pueden revender esos datos a brokers de datos?
  • Interesante, pero me decepciona un poco que este lanzamiento no incluya ajuste fino sobre el corpus de documentos de la empresa. Parece simplemente un ChatGPT un poco más cómodo y más amigable con la privacidad. ¿Me estoy perdiendo algo?

    • Está en la sección de próximos lanzamientos, al final: “Personalización para ampliar de forma segura el conocimiento de ChatGPT con los datos de tu empresa conectando las aplicaciones que ya usas”.
    • Para incorporar conocimiento al modelo no se hace ajuste fino con un corpus de documentos, se usa búsqueda.
      Subir documentos mediante Code Interpreter ya está soportado, y están agregando conectores para vincular las aplicaciones donde están los documentos. No sé bien qué más esperabas.
    • Vale la pena mirar la generación aumentada por recuperación. Hace una o tres semanas se publicó aquí una buena introducción.
  • El mensaje de este video, visto con el tiempo, claramente dejó de ser acertado: https://www.youtube.com/watch?v=smHw9kEwcgM
    En resumen, esto realmente pudo haber matado a muchísimas startups.

    • A mí también me vino a la mente ese video de Y Combinator. La predicción falló, y se está volviendo claro que OpenAI es, en la práctica, un competidor directo de la mayoría de las startups que usan su API. La mayoría de las startups del tipo “habla con mis datos” probablemente mueran con este movimiento.
    • Si toda la startup era solo una UI encima de la API de ChatGPT, probablemente no era tan valiosa desde el principio, y que cierre no sería una pérdida significativa para la industria en general.
    • Hay una intuición de negocio común según la cual una gran empresa dejará oportunidades a varias empresas satélite que adapten funciones derivadas de la propuesta de valor del producto a nichos específicos.
      Pero la mayoría se parece más a “API de OpenAI + prompt antepuesto + interfaz de usuario + marketing”. El problema, como se viene planteando desde el lanzamiento de la API de GPT-3 hace tres años, es que a cualquier startup le cuesta ofrecer un valor mucho mayor que el que aporta la propia API. Por eso, para OpenAI es relativamente fácil quedarse directamente con este negocio en comparación con casos del pasado donde modelos similares de startups sí funcionaron alrededor de otras grandes empresas.
    • Las startups que usan ChatGPT internamente están haciendo investigación de mercado gratis para OpenAI. Lo mismo ocurrió cuando la gente experimentaba con GPT-3 para completar código y poco después fue reemplazada por Copilot.
      Si vas a crear una startup de IA y necesitas un LLM, deberías usar Llama u otro modelo que puedas controlar y alojar por tu cuenta. Cualquier otra opción es básicamente casi un suicidio.
  • Dice “acceso ilimitado al análisis avanzado de datos (antes Code Interpreter)”, pero Code Interpreter era un nombre bastante malo. Para alguien que no estudió ciencias de la computación no significaba gran cosa.
    Pero ¿cuál es el nuevo nombre? “Análisis avanzado de datos” suena más a una descripción de función en una viñeta que a un nombre.

    • Una anécdota que escuché en internet, creo que en el Twitter de Ethan Mollick, decía que Code Interpreter era mejor que GPT-4 incluso en tareas que no eran interpretación de código. Algo así como que estaba más cerca de GPT-4.5.
      Tal vez era una vista previa experimental y ahora solo las empresas pueden usarlo. De todos modos, yo no tenía acceso.
    • En mi cuenta ahora aparece “Advanced Data Analysis” en lugar de “Code Interpreter”. Parece que ese es el nuevo nombre.
    • Antes veía el nombre anterior, pero al refrescar la página cambió al nuevo. Es un nombre realmente horrible. Debieron haberle pedido recomendaciones a ChatGPT.
  • ¿Tendrá algo que ver con que este repositorio haya desaparecido de repente?
    https://github.com/microsoft/azurechatgpt
    Discusión anterior:
    https://news.ycombinator.com/item?id=37112741

    • Parecía un gran proyecto. Ojalá vuelva
      Hay varios proyectos open source excelentes en este campo. No son exactamente iguales, y muchos se enfocan en LLM locales, como Llama2 o Code Llama, que salió la semana pasada
      https://github.com/jmorganca/ollama (descarga y ejecuta LLM localmente; yo soy el mantenedor)
      https://github.com/simonw/llm (acceso a LLM en la nube y locales desde la línea de comandos)
      https://github.com/oobabooga/text-generation-webui (UI web compatible con varios backends)
      https://github.com/ggerganov/llama.cpp (ejecutor rápido de LLM locales)
      https://github.com/go-skynet/LocalAI (ofrece una API compatible con OpenAI)
    • Toda la actividad se detuvo hace unas semanas. Antes de que lo borraran o lo pasaran a privado, estaba muy activo y tenía casi 5 mil eventos de estrellas y watch
      Lamentablemente no alcancé a indexar el código. Los insights se pueden ver en https://devboard.gitsense.com/microsoft/azurechatgpt
      Para ser transparente: es mi herramienta
    • Parece que lo trasladaron
      https://github.com/matijagrcic/azurechatgpt
    • No tiene relación. Ese proyecto era solo una implementación de referencia de “hablar con mis datos mediante la /chat API”, y el nombre realmente inducía a confusión
    • Viendo la discusión anterior, parece que lo eliminaron porque el nombre y la descripción eran demasiado engañosos. La gente le daba estrellas porque era un repositorio publicado por Microsoft llamado “azurechatgpt”, pero en realidad era solo una UI frontend de ejemplo para un chatbot que podía conversar con la API de OpenAI
  • Pensé que Microsoft estaba ocupado con el mercado empresarial, pero OpenAI anunció un producto para empresas. Me da la impresión de que no se llevan tan bien

    • ¿Están vendiendo el mismo producto bajo dos marcas al mismo tiempo?
      Es una estrategia de negocio óptima. Hace que parezca que hay más competencia y cambia la decisión de “¿uso ChatGPT?” a “¿qué proveedor de GPT uso?”
    • Microsoft es, básicamente, una empresa de mercado medio. Claro que también vende a empresas grandes, pero lo que realmente hace grande a Microsoft es su capacidad de vender, a una escala enorme, a todas las pymes del mundo mediante una vasta red de socios
      OpenAI es una empresa pequeña en comparación con Microsoft. No tiene margen para construir una enorme red de socios. Como mucho, puede ofrecer una línea de productos con soporte a nivel de foro para clientes pequeños y una línea empresarial con mucho soporte para clientes grandes. Pero el mercado intermedio lo ocupará Microsoft, como siempre
    • Es bastante interesante ver cómo las dos empresas se copian mutuamente. Bing Chat tiene GPT-4 with Vision, historial de conversaciones y otras funciones, y OpenAI se está expandiendo hacia B2B
    • En la empresa estamos usando un poco Bing Enterprise, que está basado en ChatGPT-4 y hace la misma promesa de mantener los datos privados. En mi opinión, Bing Chat es superior a ChatGPT-4 en varios aspectos
    • Tal vez recibieron presión para compensar más los costos operativos. Y creo que las empresas que ya pagan por productos de Microsoft estarán dispuestas a pagar también a OpenAI para irse por lo seguro
  • No termino de entender dónde termina el segmento de mercado de OpenAI y dónde empieza el de Azure

    • Es más fácil de entender si ves a OpenAI como un laboratorio de investigación y desarrollo de IA que Microsoft opera sin cargas políticas ni regulatorias. Desde ese punto de vista, en realidad todo es lo mismo. No se me ocurre otro desenlace final para OpenAI que no sea convertirse en parte de Microsoft
    • Habrá cierto solapamiento. Si eres cliente de Azure, usarás Azure; si no, usarás OpenAI, algo así