ChatGPT tiene enormes costes ocultos que podrían frenar el desarrollo de la IA

Apr 29, 2023

Los chatbots de IA tienen un problema: pierden dinero en cada chat.

El enorme costo de ejecutar los grandes modelos de lenguaje actuales, que sustentan herramientas como ChatGPT y Bard, está limitando su calidad y amenaza con estrangular el auge mundial de la IA que han provocado.

Su costo, y la disponibilidad limitada de los chips de computadora que requieren, también están restringiendo qué empresas pueden permitirse ejecutarlos y presionando incluso a las empresas más ricas del mundo para que conviertan los chatbots en generadores de dinero antes de lo que deberían.

"Los modelos que se están implementando en este momento, por impresionantes que parezcan, en realidad no son los mejores modelos disponibles", dijo Tom Goldstein, profesor de ciencias de la computación en la Universidad de Maryland. "Entonces, como resultado, los modelos que ve tienen muchas debilidades" que podrían evitarse si el costo no fuera un problema, como la propensión a escupir resultados sesgados o falsedades flagrantes.

¿Qué sucede cuando ChatGPT miente sobre personas reales?

Los gigantes tecnológicos que apuestan su futuro por la IA rara vez discuten el costo de la tecnología. OpenAI (el fabricante de ChatGPT), Microsoft y Google se negaron a comentar. Pero los expertos dicen que es el obstáculo más evidente para la visión de Big Tech de la IA generativa que se abre camino en todas las industrias, reduciendo el número de empleados y aumentando la eficiencia.

La informática intensiva que requiere la IA es la razón por la que OpenAI ha retenido su nuevo y poderoso modelo de lenguaje, GPT-4, de la versión gratuita de ChatGPT, que todavía ejecuta un modelo GPT-3.5 más débil. El conjunto de datos subyacente de ChatGPT se actualizó por última vez en septiembre de 2021, lo que lo hace inútil para investigar o discutir eventos recientes. E incluso aquellos que pagan $ 20 por mes por GPT-4 pueden enviar solo 25 mensajes cada tres horas porque es muy costoso de ejecutar. (También es mucho más lento para responder).

Esos costos también pueden ser una de las razones por las que Google aún tiene que construir un chatbot de IA en su motor de búsqueda insignia, que responde a miles de millones de consultas todos los días. Cuando Google lanzó su chatbot Bard en marzo, optó por no utilizar su modelo de lenguaje más grande. Dylan Patel, analista jefe de la firma de investigación de semiconductores SemiAnalysis, estimó que una sola conversación con ChatGPT podría costar hasta 1000 veces más que una simple búsqueda en Google.

En un informe reciente sobre inteligencia artificial, la administración Biden señaló los costos computacionales de la IA generativa como una preocupación nacional. La Casa Blanca escribió que se espera que la tecnología "aumente drásticamente las demandas computacionales y los impactos ambientales asociados", y que existe una "necesidad urgente" de diseñar sistemas más sostenibles.

Incluso más que otras formas de aprendizaje automático, la IA generativa requiere cantidades vertiginosas de poder computacional y chips de computadora especializados, conocidos como GPU, que solo las empresas más ricas pueden pagar. La batalla cada vez más intensa por el acceso a esos chips ha ayudado a convertir a sus principales proveedores en gigantes tecnológicos por derecho propio, brindándoles las claves de lo que se ha convertido en el activo más preciado de la industria tecnológica.

Por qué Nvidia es de repente una de las empresas más valiosas del mundo

Silicon Valley llegó a dominar la economía de Internet en parte al ofrecer servicios como búsqueda en línea, correo electrónico y redes sociales al mundo de forma gratuita, perdiendo dinero inicialmente pero finalmente obteniendo grandes ganancias en publicidad personalizada. Y es probable que los anuncios lleguen a los chatbots de IA. Pero los analistas dicen que los anuncios por sí solos probablemente no serán suficientes para que las herramientas de inteligencia artificial de vanguardia sean rentables en el corto plazo.

Mientras tanto, las empresas que ofrecen modelos de IA para uso del consumidor deben equilibrar su deseo de ganar participación de mercado con las pérdidas financieras que están acumulando.

También es probable que la búsqueda de una IA más confiable genere ganancias principalmente para los fabricantes de chips y los gigantes de la computación en la nube que ya controlan gran parte del espacio digital, junto con los fabricantes de chips cuyo hardware necesitan para ejecutar los modelos.

No es casualidad que las empresas que construyen los principales modelos de lenguaje de IA se encuentren entre los mayores proveedores de computación en la nube, como Google y Microsoft, o tengan asociaciones cercanas con ellos, como lo hace OpenAI con Microsoft. Las empresas que compran las herramientas de inteligencia artificial de esas empresas no se dan cuenta de que están atrapadas en un servicio fuertemente subsidiado que cuesta mucho más de lo que pagan actualmente, dijo Clem Delangue, director ejecutivo de Hugging Face, una empresa de inteligencia artificial de código abierto.

El director ejecutivo de OpenAI, Sam Altman, reconoció indirectamente el problema en una audiencia en el Senado el mes pasado, cuando el senador Jon Ossoff (D-Ga.) advirtió que si OpenAI intentara hacer que ChatGPT fuera adictivo de una manera que perjudique a los niños, el Congreso "lo mirará con mucha dureza". " en eso. Altman dijo que Ossoff no debe preocuparse: "Tratamos de diseñar sistemas que no maximicen la participación. De hecho, tenemos tan pocas GPU que cuanto menos personas usen nuestros productos, mejor".

El costo de los modelos de lenguaje de IA comienza con su desarrollo y entrenamiento, lo que requiere cantidades gigantescas de datos y software para identificar patrones en el lenguaje. Las empresas de inteligencia artificial también suelen contratar investigadores estrella cuyos salarios pueden competir con los de los atletas profesionales. Eso presenta una barrera inicial para cualquier empresa que desee construir su propio modelo, aunque algunas empresas emergentes bien financiadas han tenido éxito, incluida Anthropic AI, que los ex alumnos de OpenAI fundaron con el respaldo financiero de Google.

Luego, cada consulta a un chatbot como ChatGPT, Bing de Microsoft o Claude de Anthropic se enruta a los centros de datos, donde las supercomputadoras analizan los modelos y realizan numerosos cálculos de alta velocidad al mismo tiempo: primero, interpretan el aviso del usuario y luego trabajan para predecir el resultado. respuesta más plausible, un "token", o secuencia de cuatro letras, a la vez.

Ese tipo de poder computacional requiere GPU, o unidades de procesamiento de gráficos, que se crearon primero para los videojuegos, pero se descubrió que eran los únicos chips que podían manejar tareas informáticas tan pesadas como modelos de lenguaje grandes. Actualmente, solo una empresa, Nvidia, vende lo mejor de ellos, por lo que cobra decenas de miles de dólares. La valoración de Nvidia se disparó recientemente a $ 1 billón en las ventas anticipadas. La empresa con sede en Taiwán que fabrica muchos de esos chips, TSMC, también ha aumentado su valor.

"Las GPU en este punto son considerablemente más difíciles de conseguir que las drogas", dijo Elon Musk, quien recientemente compró unas 10,000 GPU para su propia puesta en marcha de IA, en una cumbre del Wall Street Journal el 23 de mayo.

Esos requisitos informáticos también ayudan a explicar por qué OpenAI ya no es la organización sin fines de lucro para la que se fundó.

Comenzó en 2015 con la misión declarada de desarrollar IA "de la manera que sea más probable que beneficie a la humanidad en su conjunto, sin las limitaciones de la necesidad de generar retorno financiero", para 2019, había cambiado a un modelo con fines de lucro para atraer inversores. , incluido Microsoft, que inyectó mil millones de dólares y se convirtió en el proveedor informático exclusivo de OpenAI. (Microsoft ha invertido desde entonces $ 10 mil millones más e integró la tecnología de OpenAI con Bing, Windows y otros productos).

Exactamente cuánto cuesta ejecutar chatbots como ChatGPT es un objetivo móvil, ya que las empresas trabajan para hacerlos más eficientes.

En diciembre, poco después de su lanzamiento, Altman estimó el costo de ChatGPT en "probablemente centavos de un solo dígito por chat". Puede que no parezca mucho, hasta que lo multiplique por más de 10 millones de usuarios por día, como han estimado los analistas. En febrero, SemiAnalysis calculó que ChatGPT le estaba costando a OpenAI unos $700 000 por día solo en costos de cómputo, según el procesamiento necesario para ejecutar GPT-3.5, el modelo predeterminado en ese momento.

Multiplique esos costos informáticos por los 100 millones de personas por día que usan el motor de búsqueda Bing de Microsoft o los más de mil millones que supuestamente usan Google, y uno puede comenzar a ver por qué los gigantes tecnológicos son reacios a poner a disposición del público los mejores modelos de IA. .

El nuevo Bing le dijo a nuestro reportero que 'puede sentir o pensar cosas'

"Esta no es una ecuación sostenible para la democratización o la amplia disponibilidad de IA generativa, la economía o el medio ambiente", dijo Sid Sheth, fundador y director ejecutivo de d-Matrix, una empresa emergente que trabaja para construir chips más eficientes para IA.

Google dijo en su anuncio de febrero de Bard que inicialmente se ejecutaría en una versión "liviana" del modelo de lenguaje LaMDA de la compañía porque requería "significativamente menos poder de cómputo, lo que nos permitiría escalar a más usuarios". En otras palabras, incluso una empresa tan rica como Google no estaba preparada para pagar la factura de poner su tecnología de inteligencia artificial más poderosa en un chatbot gratuito.

Perspectiva: lo que la nueva IA de Google hace bien, mal y raro.

La reducción de costos pasó factura: Bard tropezó con hechos básicos en su demostración de lanzamiento, recortando $ 100 mil millones del valor de las acciones de Google. Bing, por su parte, se descarriló desde el principio, lo que llevó a Microsoft a reducir tanto su personalidad como la cantidad de preguntas que los usuarios podían hacerle en una conversación determinada.

Dichos errores, a veces llamados "alucinaciones", se han convertido en una gran preocupación con los modelos de lenguaje de IA, ya que tanto las personas como las empresas confían cada vez más en ellos. Los expertos dicen que son una función del diseño básico de los modelos: están diseñados para generar secuencias probables de palabras, no declaraciones verdaderas.

Otro chatbot de Google, llamado Sparrow, fue diseñado por la subsidiaria DeepMind de la compañía para buscar en Internet y citar sus fuentes, con el objetivo de reducir las falsedades. Pero Google no lo ha lanzado hasta ahora.

ChatGPT 'alucina'. A algunos investigadores les preocupa que no sea reparable.

Mientras tanto, cada uno de los principales actores está compitiendo para encontrar formas de hacer que los modelos de lenguaje de IA sean más baratos.

Ejecutar una consulta en el nuevo y liviano modelo GPT-3.5 Turbo de OpenAI cuesta menos de una décima parte que su GPT-4 de primera línea. Google está fabricando sus propios chips de IA, que afirma son más eficientes que los de Nvidia, al igual que empresas emergentes como d-Matrix. Y numerosas empresas emergentes se están basando en modelos de lenguaje de código abierto, como LLaMA de Meta, para que no tengan que pagar a OpenAI o Google para usar el suyo, aunque esos modelos aún no funcionan tan bien y pueden carecer de medidas de seguridad. para prevenir el abuso.

El impulso por modelos más pequeños y más baratos marca un cambio repentino para la industria, dijo Goldstein de Maryland.

"Pasamos los últimos cuatro años tratando de hacer los modelos más grandes que pudimos", dijo. Pero fue entonces cuando el objetivo era publicar trabajos de investigación, no lanzar chatbots de IA al público. "Ahora, solo en los últimos meses, ha habido un cambio completo en la comunidad y, de repente, todos están tratando de construir el modelo más pequeño posible para controlar los costos".

Para los consumidores, eso podría significar que los días de acceso ilimitado a potentes modelos de IA de propósito general están contados.

Microsoft ya está experimentando con la creación de anuncios en sus resultados de Bing impulsados ​​por IA. En la audiencia del Senado, Altman de OpenAI no descartó hacer lo mismo, aunque dijo que prefiere un modelo de suscripción paga.

Ambas compañías dicen que confían en que la economía eventualmente saldrá bien. Altman le dijo al blog de tecnología Stratechery en febrero: "Hay tanto valor aquí, es inconcebible para mí que no podamos descubrir cómo hacer sonar la caja registradora".

Sin embargo, los críticos señalan que la IA generativa también tiene costos para la sociedad.

"Todo este procesamiento tiene implicaciones para las emisiones de gases de efecto invernadero", dijo Bhaskar Chakravorti, decano de negocios globales en la Escuela Fletcher de la Universidad de Tufts. La informática requiere energía que podría usarse para otros fines, incluidas otras tareas informáticas que están menos de moda que los modelos de lenguaje de IA. Eso "incluso podría ralentizar el desarrollo y la aplicación de la IA para otros usos más significativos, como la atención médica, el descubrimiento de fármacos, la detección del cáncer, etc.", dijo Chakravorti.

Según las estimaciones del uso y las necesidades informáticas de ChatGPT, el científico de datos Kasper Groes Albin Ludvigsen estimó que podría haber usado tanta electricidad en enero como 175 000 personas, el equivalente a una ciudad mediana.

Por ahora, los gigantes tecnológicos están dispuestos a perder dinero en un intento por ganar participación de mercado con sus chatbots de IA, dijo Goldstein. ¿Pero si no pueden hacerlos rentables? "Eventualmente llegas al final de la curva de exageración, y lo único que tus inversores van a mirar, en ese punto, es tu resultado final".

Aún así, Goldstein predijo que muchas personas y empresas encontrarán que las herramientas de IA generativa son difíciles de resistir, incluso con todos sus defectos. "Aunque es costoso", dijo, "sigue siendo mucho menos costoso que el trabajo humano".

Nitasha Tiku contribuyó a este despacho.