Imagen de la izquierda, avión Cessna 172 «visto» por ChatGPT (GPT-4 con DALL·E) y derecha la versión creada por Adobe Firefly (Con la herramienta «Text to image»), ambos usando el mismo prompt: «a picture of a cessna 172».
Resultados muy diferentes! ChatGPT deja evidente que tiene más claro que tipo de avión es una Cessna 172. Adobe Firefly por su parte inventa totalmente.
En Adobe Firefly el modelo generativo se ha entrenado usando principalmente el banco de imágenes de Adobe y esta claro que escasean los aviones y en concreto las Cessna, por lo que tiende a inventar mucho más que GPT-4 que ha ofrecido, en este caso, un resultado mucho más realista que nos da a entender que ha estado entrenado con más «libertad» de contenidos, accediendo a un numero mayor de imágenes ejemplo de aviones Cessna.
Este inocente prompt de «a picture of a cessna 172» aplicado a dos IA Generativas diferentes ya nos muestra dos cosas importantes a tener en cuenta:
- ¿Con que datos se ha entrenado el modelo de la herramienta que usamos?
- ¿Sabemos identificar si su respuesta tiene cierto criterio?, si por ejemplo no sabemos realmente como es una Cessna 172 puede que la versión de Firefly ya la demos por buena.
Seguimos, aprovecho y le pido a GPT-4 que añada el indicativo «EC-JTJ», lo entiende correctamente y pone la matrícula al avión:
Sigo «hablando» con Chat GPT y Adobe Firefly y les pido, por ejemplo, que revisen la imagen y «reparen» la hélice (por los fallos evidentes que tiene) GPT-4 que es más conversacional incluso me sugiere:
Pero Firefly tiene otro enfoque de uso y … sopresa!! empieza de nuevo con otra imagen.
Aunque no se puede negar que la calidad de persona «generada» por Firefly es muy buena, no es exactamente lo que le pedía, mi intención era clara, ver de nuevo la Cessna 172 pero con una helice «correcta». No un señor arreglando, algo parecido a, una hélice.
Por su parte GPT-4 haciendo casi un alarde de poderes telepáticos parece que si me ha «leído» la mente y con su propia sugerencia anterior genera:
¿Que ha ocurrido? pues que GPT-4 es una IA con una interfaz conversacional que mantiene un diálogo contigo y si no se despista, cosa que puede ocurrir a veces según como le pidas las cosas, va evolucionando las respuestas teniendo en cuenta lo que les has pedido momentos antes.
Adobe Firefly convierte texto en imágenes, pero no matinene un diálogo, si haces un nuevo prompt que no contenga elementos anteriores que quieras conservar, lo toma como una nueva imagen sin mucho que ver con todos tus intentos anteriores.
Y esto no es un problema en si, solo es un enfoque diferente de trabajo. Una interfaz de usuario planteada de otra manera.
GPT-4 se basa en un Chat, Adobe Firefly en un panel de control con el que ajustas los parámetros de la imagen que describes en texto … pero sin dialogar con el.
Bueno, sigo conversando un poco más con GTP-4 y consigo llegar a esto, que está bastante bien!:
Adobe Firefly por su parte aún sigue intentándolo:
Pero no esta todo perdido … cuando les pido a los dos «una pizza de pepperoni surfeando olas» la cosa ya esta más igualada (izquierda GPT-4, derecha Firefly)
Para rematar le paso a Firefly como imagen de referencia, la que ha generado antes GPT-4, buen resultado ha adaptado la imagen al estilo y colores de la suministrada por GPT-4:
Bueno, reconozco que he sido un poco malo con ellos con esta comparativa.
La realidad es que juegan en ligas diferentes, pero es un buen ejemplo de dos enfoques de IA Generativa, y como esos enfoques influyen en los resultados.
GPT-4 tiene las de ganar en cuanto a referencias a cualquier tipo de imagen y a mantener un diálogo que evoluciona acumulativamente los resultados.
Firefly saca ventaja en determinados tipos de imágenes, los ajustes a nivel de estilos y acabados gráficos, sobretodo por su interfaz de usuario, y en especial en el cuidado puesto por Adobe en generar imágenes originales y que no atenten a derechos de propiedad intelectual. En este sentido Firefly no se «inspira» en obras ajenas tanto como lo puede hacer GPT-4. Adobe ha puesto mucho énfasis en los temas legales.
Firefly es en realidad un conjunto de herramientas de IA Generativa muy orientado a la creación grafica y pensando en gente acostumbrada a productos típicos de Adobe, con interfaces de usuario que permiten controlar toda la edición de las imágenes.
GPT-4 es más generalista y basado en una interfaz conversacional, preparada para ayudarte en lo que necesites … es como una apisonadora que puede con casi todo.
Conclusiones
- La manera y contenidos en como se ha entrenado al modelo marca una diferencia evidente en los resultados.
- La interfaz de usuario elegida condiciona la manera en que podemos trabajar con la IA generativa, por lo que al diseñar una IA no solo es importante el modelo detras de la misma sino tambien una correcta interfaz de usuario para relacionarnos con ella.
- Las IA generativas tienden a «inventar» por lo que tienes que aplicar sentido crítico a sus resultados.
- Las IA generativas se «inspiran» a veces demasiado en contenidos originales, con derechos de autor o con estilos muy propios, sin tener en cuenta que la generación de obra derivada muy cercana a la de un autor concreto que puede derivar en un caso de plagio. Si te interesa profundizar en este tema te recomiendo este interesante vídeo de DotCSV: ¿La IA Generativa PLAGIA a los ARTISTAS?
- Las IA generativas marcan un antes y un después en la creación de contenidos. Han llegado como un terremoto pero a la vez casi sin darnos cuenta la revolución la tenemos tambien en la interfaz de usuario, en como nos comunicamos con ellas y en como vamos a hacerlo en los próximos años, meses o días! … que esto va muy rápido. Un ejemplo son las Apple Vision, más alla de lo espectacular de usar unas gafas virtuales el cambio de paradigma tambien esta en la interfaz de usuario.
- ¿Y todo esto cómo funciona, se matiene actualizado y evoluciona? … bueno esto nos abre las puertas a hablar de MLOps (Machine Learning Operations) pero esto ya será en próximos días.