Hinteligencia Hartificial: EJH de las IAs

[rianxeira]

Update:

Pues me hice una instancia de ollama con open webui en una maquinita virtual en casa y ni tan mal. Lenta, pero es esperable. El caso es que lo comente en el trabajo y a los dos días me llaman de dirección y me dicen que por que no monto un piloto en la empresa a ver que tal, así que he montado lo mismo en un servidor viejo con 64 núcleos y medio tera de RAM... y va casi igual de lento. Tenemos unas gráficas viejas que creíamos que eran de ese servidor pero nop. Npo sabemos de donde han salido realmente ni donde ponemos enchufarlas, asi que voy haciendo mis pequeñas pruebas a ritmo de un par de preguntas cada media hora.

Mola, es complicado de instalar? Yo estay planificando hacer unas cuantas automatizaciones con Home Assistant en la casa nueva y de poner algún asistente de voz lo haría en local con un modelo ultraligero o algo así.

Sí, casi todas las aplicaciones de IA tiran principalmente de VRAM. Por eso me pillé la gráfica de intel que trae 16 gibas, En cuanto a las que tienes, depende de qué graficas sean y si merece la pena igual puedes mirar si existen adaptadores.

Dile a los de dirección que se estiren y pillen un par de A100 para ese servidor.

Acabo de salir de una reunión, porque resulta que había un departamento con un proyecto similar, y parece que vamos a comprar un servidor con una GPU para el piloto, nada de reutilizar material de hace 15 años.

Desplegar esto es muy muy sencillo, lo difícil es la continuación, entrenar la IA para tu objetivo. Es tan fácil que te lo puedes descargar todo de mano con un solo comando de docker, y ya te viene el ollama embebido en una interfaz open webui, que visualmente es como ponerte a trastear directamente con chatgpt. Hay otras opciones igual de fáciles pero yo me he lanzado ya por el camino de ollama.

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Aquí mas detallado https://github.com/open-webui/open-webui

Después te bajas los modelos que veas según tu capacidad y ya puedes empezar. Tiempo total de todo el proceso, sobre una hora, del cual 50 minutos serán esperar por las descargas. He probado con llama3.2 y mistral, ambos de 7B para no sobrecargar mucho.

Después, para entender un poco lo que quiero montar, encontré un este vídeo que explica bien los conceptos. Lo bueno empieza sobre el 10:30 (antes habla un poco de ias comerciales para mejorar videos y sacar transcripciones). El utiliza otro despliegue, pero los conceptos son los mismos.

[M. Corleone]

Update:

Pues me hice una instancia de ollama con open webui en una maquinita virtual en casa y ni tan mal. Lenta, pero es esperable. El caso es que lo comente en el trabajo y a los dos días me llaman de dirección y me dicen que por que no monto un piloto en la empresa a ver que tal, así que he montado lo mismo en un servidor viejo con 64 núcleos y medio tera de RAM... y va casi igual de lento. Tenemos unas gráficas viejas que creíamos que eran de ese servidor pero nop. Npo sabemos de donde han salido realmente ni donde ponemos enchufarlas, asi que voy haciendo mis pequeñas pruebas a ritmo de un par de preguntas cada media hora.

Mola, es complicado de instalar? Yo estay planificando hacer unas cuantas automatizaciones con Home Assistant en la casa nueva y de poner algún asistente de voz lo haría en local con un modelo ultraligero o algo así.

Sí, casi todas las aplicaciones de IA tiran principalmente de VRAM. Por eso me pillé la gráfica de intel que trae 16 gibas, En cuanto a las que tienes, depende de qué graficas sean y si merece la pena igual puedes mirar si existen adaptadores.

Dile a los de dirección que se estiren y pillen un par de A100 para ese servidor.

Acabo de salir de una reunión, porque resulta que había un departamento con un proyecto similar, y parece que vamos a comprar un servidor con una GPU para el piloto, nada de reutilizar material de hace 15 años.

Desplegar esto es muy muy sencillo, lo difícil es la continuación, entrenar la IA para tu objetivo. Es tan fácil que te lo puedes descargar todo de mano con un solo comando de docker, y ya te viene el ollama embebido en una interfaz open webui, que visualmente es como ponerte a trastear directamente con chatgpt. Hay otras opciones igual de fáciles pero yo me he lanzado ya por el camino de ollama.

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Aquí mas detallado https://github.com/open-webui/open-webui

Después te bajas los modelos que veas según tu capacidad y ya puedes empezar. Tiempo total de todo el proceso, sobre una hora, del cual 50 minutos serán esperar por las descargas. He probado con llama3.2 y mistral, ambos de 7B para no sobrecargar mucho.

Después, para entender un poco lo que quiero montar, encontré un este vídeo que explica bien los conceptos. Lo bueno empieza sobre el 10:30 (antes habla un poco de ias comerciales para mejorar videos y sacar transcripciones). El utiliza otro despliegue, pero los conceptos son los mismos.

Ahora explícanos PARA TONTOS lo que estás haciendo. ¿Meter una IA en algún programa en tu empresa para hacer algo? (NO DOY PARA MÁS).

[wendigo]

Bastante chulo el vídeo, el tipo explica bastante bien varios conceptos que veia en los modelos pero no terminaba de entender.

Imagino que no es remotamente parecido a lo que vas a hacer tú pero sobre lo de entrenar a un chatbot para dar información en plan soporte me ha recordado a lo que ya ha pasado con una aerolínea, canadiense si no recuerdo mal.

Llegó supongo que el vendedor de alguna empresa de estas adyacentes a las IA a la directiva de una aerolinea (canadiense si no recuerdo mal) y les dice: Tenemos un chatbot increíble al que le das los manuales de información que tienen vuestros teleoperadores y es capaz de dar soporte mejor que todos vuestros teleoperadores juntos.

Qué crees que hacen los jefazos?

A) utilizar esta increíble herramienta para aumentar la productividad de los agentes de soporte, implementandoles algún sistema de validación/corrección de las respuestas de la IA y así multiplicando por 4 o 5 la cantidad de contactos que pueden manejar por hora. O alguna cosa así.

B) Echar ipso-facto a todos los agentes de soporte y sustituirlos por el bot, provocando erecciones y chorrazos de placer en los accionistas por el dinero que se iba a ahorrar.

Efectivamente, se tiraron de cabeza a por la B y a las pocas semanas perdieron una demanda porque el botijo estaba dando informaciónque se había sacado de sus cojonazos morenos sobre políticas de devoluciones y tal y el juez les obligó a cumplir lo prometido por el bot, sentando precedente, por lo que tuvieron que retirar el botijo al poco tiempo.

:D

[rianxeira]

Ahora explícanos PARA TONTOS lo que estás haciendo. ¿Meter una IA en algún programa en tu empresa para hacer algo? (NO DOY PARA MÁS).

De momento evaluando su uso, para ver por dondne tiramos. En cristiano, y que podrías hacer tu en tu casa si quisieras, es descargar un par de programitas ya hehcos por alguien, que le puedes meter un modelo ya hehco también por algien. La gracia es que todo esto se ejecuta en tu propio ordenador, sin necesitar nada externo ni meterte en ninguna web.

La idea es, por ejemplo, te montas un repositorio de documentos con 1000 recetas, con una serie de comandos "relativamente sencillos" después le preguntas como hacer un bacalao al pil pil y te va dando los pasos, y correctamente entrenada le dices que modifiques la receta para x personas y te da la receta con las cantidades actualizadas. Y quien dice hacerlo con recetas, dice hacerlo con los manuales técnicos de 1000 máquinas distintas o con los expedientes de 100 victimas de malos tratos, que les puedes decir por ejemplo oye IA, sácame todos las víctimas de malos tratos de los últimos 5 años en el distrito tal, y ya te daría el resultado pertinente. Obviamente estos datos nos los puedes subir alegremente a chatgpt, porque no se esta seguro de que mantengan la privacidad y no le salga después a un maltratador haciendo una búsqueda la dirección actual de su víctima.

Wendy, lo que comentas es tal cual, aunque algunos jefes tienen dos dedos de frente y la esperanza es que sea una herramienta de ayuda muy util, que ya utilizamos nosotros por nuestra cuenta, con el peligro de que el gilipollas de RRHH suba todos los curriculums los datos de la nómina a chatgpt. No descarto que si funciona bien amortize algún puesto, pero de gente que ahora lo hace como el culo, y como le culo digo como el culo, que no saben ni leer ni contar.

[golondrino]

La gente no es consciente de que está volcando (en muchos casos) información sensible a IAs como la de ChatGPT y es lo primero que no hay que hacer.

Datos personales, de facturación, nóminas, etc. el horror.

[rianxeira]

Update del Update:

Este finde lo instalé en casa, solo el ollama sin interfaz, sobre el windows para que detectara la gráfica y la usara. Un mundo totalmente distinto, no acabo de hacer la pregunta y ya tengo la respuesta, nada de pasarse un buen rato esperando, y mi gráfica tampoco es una tope gama, que es una 3060.

Como curiosidad el viernes miamos un poco tarjetas e hice comparativas. Una GPU para servidor, con PEORES características que la tarjeta de mi casa, 2000 lerus, la mía pone que ahora está por 300. Lo de los precios no tiene ni pies ni cabeza.

https://technical.city/es/video/GeForce-RTX-3060-vs-A2

Miramos otras realmente potentes para servidor, una H100 27.000 lerus, una L40 5000 lerus en ebay.

[The last samurai]

Pues a mí se me está pinchando un poco el globo este de las IA; cuanto más he intentado hacer cosas bien con alguna de ellas (las dos gratuitas que tengo, Gemini y Copilot) más tuerzo el gesto ante la incapacidad que demuestran. Supongo que me falta entrenamiento para saber sacarles partido, pero yo todo esto me lo imagina más cuki, deverdá.

[rianxeira]

Hay un hype fomentado por las propias empresas, y no es como lo pintan ni de lejos. Entrenar un modelo para hacer cosas específicas no excesivamente complicadas... bien, ahí le sacas todo el jugo. Cuando te crees toda la publicidad y crees que va a ser como Cortana en Halo pincha vilmente. Los modelos dan para lo que dan y la cabrona, por mas parámetros que le metas para que no te mienta, en cuanto la sacas de su zona de confort acaba inventándose cosas para no quedar mal. Aparte de que realmente no razonan y, cuando vas a temas de programación por ejemplo, parece que viene de miles de ejemplos que tienen y te generan cosas ineficientes o directamente erróneas si se lo pones un poco difícil.

[golondrino]

Yo tengo un conocido que es programador Senior, el mismo me dice que esto de las IA es una burbuja que no va a ningún lado. En su trabajo están usando Copilot para los aspectos más repetitivos y tediosos, dice que funciona muy bien pero que hay que andar invirtiendo mucho tiempo en revisar lo que elabora pues puede equivocarse fuertemente cuando lo hace.

En el aspecto de las generativas de imágenes ya conozco (también) gente que se dedica a diseño/publicidad y la han probado. Aparte de que no tienen el tiempo y el personal para entrenar una IA no podrían hacerlo porque supondría hacerlo en un estilo de trabajo específico y eso te lo pueden hacer dos o tres empresas tordas que tienen su estilo gráfico y de ahí no los sacas. El resto tiene que tocar todos los palos gráficos y para eso la IA generativa al uso no sirve porque pasas más tiempo delante de ella metiendo tromps que trabajando en el proyecto por el que te han contratado.

A mi lo que me preocupa son los IA bros que venden en sus canales modelitos de GPT para llevar facturaciones, y otros aspectos de la gestión de empresas y ahí es cuando alguien debería decirles "Cabrones, lo último que tenéis que hacer es meter los datos de vuestros clientes en una IA, hijosdeputa"

[M. Corleone]

Yo tengo un conocido que es programador Senior, el mismo me dice que esto de las IA es una burbuja que no va a ningún lado. En su trabajo están usando Copilot para los aspectos más repetitivos y tediosos, dice que funciona muy bien pero que hay que andar invirtiendo mucho tiempo en revisar lo que elabora pues puede equivocarse fuertemente cuando lo hace.

En el aspecto de las generativas de imágenes ya conozco (también) gente que se dedica a diseño/publicidad y la han probado. Aparte de que no tienen el tiempo y el personal para entrenar una IA no podrían hacerlo porque supondría hacerlo en un estilo de trabajo específico y eso te lo pueden hacer dos o tres empresas tordas que tienen su estilo gráfico y de ahí no los sacas. El resto tiene que tocar todos los palos gráficos y para eso la IA generativa al uso no sirve porque pasas más tiempo delante de ella metiendo tromps que trabajando en el proyecto por el que te han contratado.

A mi lo que me preocupa son los IA bros que venden en sus canales modelitos de GPT para llevar facturaciones, y otros aspectos de la gestión de empresas y ahí es cuando alguien debería decirles "Cabrones, lo último que tenéis que hacer es meter los datos de vuestros clientes en una IA, hijosdeputa"

Eh, pero te saca a Ayuso con bikinis minúsculos: https://forocoches.com/foro/showthread. ... grok+ayuso