Hinteligencia Hartificial: EJH de las IAs

[wendigo]

Dicho esto, entendería que OpenAI se fuera a la mierda, entiendo algo menos lo de Nvidia, que en teoría pone el hardware que se necesita por debajo para todo modelo .

Creo que lo ha dicho golon, la historia aquí no es que DeepSeek sea mejor, sino que al parecer es mucho más eficiente, sobre todo a la hora de entrenarla. Si el resto de IAs siguen la tendencia de la IA china entonces las estimaciones de hardware necesario para entrenarlas en los próximos años imagino que habrán bajado significativamente.

También hay que decir que acaba de salir la nueva gama de gráficas Nvidia para consumidores y la verdad es que en cuestión de mejora, no han mejorado nada. Lo único que han hecho es sacar unas gráficas mucho más gordas, que consumen más, y evidentemente mejoran en rendimiento, pero no en eficiencia.

Encima ahora tienen en Intel un nuevo competidor serio, que ha sacado unas gráficas de gama media bien majas.

Desde el absoluto desconocimiento en este tema (os leo con interés), ¿creéis que llegará un momento en que obliguen a que los procesadores gasten menos y sean más eficientes, como ha pasado con los coches?

Quiero decir que todo el mundo está hablando de centros de datos gigantescos, que consumen trillones de kilowatios, y que el desarrollo de la IA requerirá mucha energía... ¿veremos dentro de X lustros como las administraciones públicas dicen "esto solo lo podéis hacer gastando tanto por bite procesado" o algo así?

Desde el niputaideismo, pregunto.

Entiendo la pregunta pero es que no es cuestión de la eficiencia de los chips porque la misma evolución de estos dicta que tiene que reducirse la temperatura por cojones para que el procesador rinda. Si está demasiado caliente, no funciona. Por eso los disipadores gigantes y tal.

Evidentemente ya vamos muy tarde para regular, pero el problema no es la eficiencia de los chips, los chips son una puta maravilla de la CENCIA.

El tema no es que existan motores de coches muy potentes para que los use la gente de la calle, el problema es que hay empresas que están usando cientos de lambos puestos en fila para calentar una pizza.

[M. Corleone]

Creo que lo ha dicho golon, la historia aquí no es que DeepSeek sea mejor, sino que al parecer es mucho más eficiente, sobre todo a la hora de entrenarla. Si el resto de IAs siguen la tendencia de la IA china entonces las estimaciones de hardware necesario para entrenarlas en los próximos años imagino que habrán bajado significativamente.

También hay que decir que acaba de salir la nueva gama de gráficas Nvidia para consumidores y la verdad es que en cuestión de mejora, no han mejorado nada. Lo único que han hecho es sacar unas gráficas mucho más gordas, que consumen más, y evidentemente mejoran en rendimiento, pero no en eficiencia.

Encima ahora tienen en Intel un nuevo competidor serio, que ha sacado unas gráficas de gama media bien majas.

Desde el absoluto desconocimiento en este tema (os leo con interés), ¿creéis que llegará un momento en que obliguen a que los procesadores gasten menos y sean más eficientes, como ha pasado con los coches?

Quiero decir que todo el mundo está hablando de centros de datos gigantescos, que consumen trillones de kilowatios, y que el desarrollo de la IA requerirá mucha energía... ¿veremos dentro de X lustros como las administraciones públicas dicen "esto solo lo podéis hacer gastando tanto por bite procesado" o algo así?

Desde el niputaideismo, pregunto.

Entiendo la pregunta pero es que no es cuestión de la eficiencia de los chips porque la misma evolución de estos dicta que tiene que reducirse la temperatura por cojones para que el procesador rinda. Si está demasiado caliente, no funciona. Por eso los disipadores gigantes y tal.

Evidentemente ya vamos muy tarde para regular, pero el problema no es la eficiencia de los chips, los chips son una puta maravilla de la CENCIA.

El tema no es que existan motores de coches muy potentes para que los use la gente de la calle, el problema es que hay empresas que están usando cientos de lambos puestos en fila para calentar una pizza.

Pues se me ocurren dos posibilidades (en un futuro lejano): que les prohiban usar tanta potencia de procesado de alguna manera, o que obliguen de alguna manera a investigar hacia chips que no se calienten, que ya sé que hoy en día es imposible y no hay tecnología para hacerlo, pero también era impensable hace años que un motor de combustión consumiera lo que consumen hoy, o que hubiera coches eléctricos.

No tengo ni idea de cómo funcionan esos disipadores, pero me imagino que será un puto refrigerador líquido bestial, o algo así (¿agua fría? ¿aire acondicionado a cholón?) y me imagino que ya se les habrá ocurrido lo de poner los centros de datos en Islandia o Noruega y aprovechar el frío. Qué nos deparará el futuro, qué interesante todo.

[Polina]

Interesante y acojonante de miedo.

[golondrino]

Desde el absoluto desconocimiento en este tema (os leo con interés), ¿creéis que llegará un momento en que obliguen a que los procesadores gasten menos y sean más eficientes, como ha pasado con los coches?

Quiero decir que todo el mundo está hablando de centros de datos gigantescos, que consumen trillones de kilowatios, y que el desarrollo de la IA requerirá mucha energía... ¿veremos dentro de X lustros como las administraciones públicas dicen "esto solo lo podéis hacer gastando tanto por bite procesado" o algo así?

Desde el niputaideismo, pregunto.

Entiendo la pregunta pero es que no es cuestión de la eficiencia de los chips porque la misma evolución de estos dicta que tiene que reducirse la temperatura por cojones para que el procesador rinda. Si está demasiado caliente, no funciona. Por eso los disipadores gigantes y tal.

Evidentemente ya vamos muy tarde para regular, pero el problema no es la eficiencia de los chips, los chips son una puta maravilla de la CENCIA.

El tema no es que existan motores de coches muy potentes para que los use la gente de la calle, el problema es que hay empresas que están usando cientos de lambos puestos en fila para calentar una pizza.

Pues se me ocurren dos posibilidades (en un futuro lejano): que les prohiban usar tanta potencia de procesado de alguna manera, o que obliguen de alguna manera a investigar hacia chips que no se calienten, que ya sé que hoy en día es imposible y no hay tecnología para hacerlo, pero también era impensable hace años que un motor de combustión consumiera lo que consumen hoy, o que hubiera coches eléctricos.

No tengo ni idea de cómo funcionan esos disipadores, pero me imagino que será un puto refrigerador líquido bestial, o algo así (¿agua fría? ¿aire acondicionado a cholón?) y me imagino que ya se les habrá ocurrido lo de poner los centros de datos en Islandia o Noruega y aprovechar el frío. Qué nos deparará el futuro, qué interesante todo.

Ahí está la supuesta gracia de la versión China, que de momento lo mejor que podemos hacer es mejorar la eficiencia para reducir gastos ya que si tu le dices "hoyga señor big tech, no gaste ni consuma tanto porque de lo contrario le voy a tener que regular"... se te echan todos encima porque a día de hoy es como si atentases contra el mercado y eso es tabú.

Imagina que te encuentras mirando un rascacielos de noche. Cuando le haces una pregunta al modelo chino, enciende las luces de la vivienda que trabaja sobre la cuestión que le has preguntado.

Si preguntas a ChatGPT u otro modelo amiricano, enciende las luces de toda la viviendas del edificio, la entrada y los ascensores para responder a la pregunta, esa es la diferencia de consumo energético de un modelo u otro.

Edito:

Los centros de datos contarán con estaciones de bombeo de agua y refrigeración de la misma, básicamente haces circular agua fría por un sistema que está pegado a lo que se calienta y por contacto, hay una transferencia de temperatura. Por el otro extremo de la manguera el agua sale caliente porque "ha robado" esa temperatura a lo que se está calentando, como un intercambiador de calor de los que yo utilizaba en la industria.

[rianxeira]

Pues se me ocurren dos posibilidades (en un futuro lejano): que les prohiban usar tanta potencia de procesado de alguna manera, o que obliguen de alguna manera a investigar hacia chips que no se calienten, que ya sé que hoy en día es imposible y no hay tecnología para hacerlo, pero también era impensable hace años que un motor de combustión consumiera lo que consumen hoy, o que hubiera coches eléctricos.

No tengo ni idea de cómo funcionan esos disipadores, pero me imagino que será un puto refrigerador líquido bestial, o algo así (¿agua fría? ¿aire acondicionado a cholón?) y me imagino que ya se les habrá ocurrido lo de poner los centros de datos en Islandia o Noruega y aprovechar el frío. Qué nos deparará el futuro, qué interesante todo.

El nuevo CPD de la Seguridad Social (creo) está en Soria
, en una decisión que me ultramaravilló por su racionalidad, ya que hicieron un estudio, salió la provincia mas fria de España y además dinamizaban un poco la economía local. Yo ahora mismo estoy encima del que quizás sea el mayor CPD del norte de España, que es una tontería de CPD comparado con los grandes de verdad, y tiene tres enfriadoras del tamaño de un coche pequeño cada una.

La solución es, efectivamente, mejorar eficiencia, y eso se consigue de dos formas:
-No sobredimensionar el hardware: caso de tener un procesador i9 para un ordenador que solo navega por internet, poniendo un ejemplo sencillo.
-Aumentar la eficiencia de los programas: esto es, de largo, mucho mas importante. Es agotador tener siempre las mismas discusiones con los programadores, que dicen que algo les va mal y lo primero que hacen es pedirte mas recursos, y como son "baratos" se les da, cuando lo que hay que hacer es ver por qué un simple gestor de contenidos con 3 páginas necesita un servidor con 20 procesadores y 128 GB de RAM, que resulta el 99% de las veces en que el desarrollador ha metido la pata.

Los nuevos lenguajes de programación mas asequibles al usuario también ayudan mucho a esto. Antes tenías que hacerlo en C o C++ y como metieras la pata con la gestión de memoria ibas jodido, luego vino Java, que gestionaba el la memoria a base de pillar un montón, y así un programa que en C consumía una mierdas al hacerlo en Java "para que fuese mas mantenible y multiplataforma" hacia que los viejos ordenadores fuesen directamente al chatarrero.

¿Se puede legislar esto? Dificil lo veo. En teoría el propio cliente debería buscar la eficiencia, mas eficiencia menos costes, pero muchas veces esto no es mas que un error de redondeo en algunos presupuestos y se evitan el problema, es raro encontrar alguien a quien le importe. Y por parte del estado, salvo algo tipo cartillas de racionamiento para informática, que sabemos a lo que lleva, no se me ocurre que mas podría hacer.

[wendigo]

Creo que no se sabe exactamente donde están entrenando OpenAi y otros modelos, seguramente al final estén desperdigados por los servidores Azure de microsoft. Al final estos centros tienen refrigeración a gran escala y en muchas ocasiones gastan una barbaridad de agua (dulce). Como dice Golon seguro que podrían buscarse alternativas más limpias pero al final lo que no puede hacer es frenar el PROGRESO (crear imágenes porno furry de Garfield).

Ya han dicho a cuatro vientos que si para que todo esto siga palante hay que cepillarse las leyes de copyright, de protección de datos y unos cuantos lagos por el camino, pues se va a hacer.

[Ruttiger]

El tema no es que existan motores de coches muy potentes para que los use la gente de la calle, el problema es que hay empresas que están usando cientos de lambos puestos en fila para calentar una pizza.

Qué bonita metáfora.

[Chino]

Desde la barra de bar, yo solo diré que hace unas cuantas décadas los primeros ordenadores ocupaban habitaciones enteras y su capacidad de proceso no era superior a un reloj calculadora de Casio.

Y ahora llevamos en el móvil una potencia de procesamiento que en los 70 solo se podía soñar.

Así que el problema actual de la IA, su consumo energético, sus necesidades de cómputo, lo mismo en 10 años resultan absurdos y podemos llevar en la muñeca un sistema con IA propia que no consuma más que una pila de botón.

Son problemas de la situación actual, que no tienen necesariamente que extrapolarse al futuro.

[rianxeira]

Desde barra de bar también, creo que antes había una razón para tirar por la eficiencia que ahora no hay. Lo ideal es mejo eficiencia combinada con mayor fuente de energía en tu caso, pero creo que la primera parte simplemente ya no se fomenta, se buscaran mejores fuentes de energía, pero no que los consumos sean mas eficientes.

[M. Corleone]

Cuánto se aprende en este nuestro foro, gracias @wendigo y @rianxeira.

Por cerrar mi niputaidéica incursión en el tema, entiendo entonces que lo que gasta electricidad ¿no es tanto los procesadores en sí como el sistema de refrigeración que necesitan? ¿O las dos cosas gastan muchísimo y es la combinación lo que da facturas de la luz superiores a un cultivador de marihuana en un sótano de Chiclana?