Sitemarca – Noticias de Marcas Todas las novedades acerca de marcas, publicidad, marketing
¿PUEDE UNA IA REEMPLAZAR A UN JURADO CREATIVO?
Los Premios Epica lo intentaron con su Experimento del Jurado de Inteligencia Artificial.
<Spoiler: los periodistas son más duros…:)>
En una iniciativa de actualidad, los Premios Epica, conocidos desde hace más de 30 años como el premio creativo otorgado por periodistas, crearon «AIJE», su experimento del jurado de inteligencia artificial. El proyecto tenía como objetivo explorar el potencial de la IA para evaluar y comprender ideas creativas. Los resultados están disponibles aquí: https://aije.epica-awards.com/
Metodología
El experimento se llevó a cabo en paralelo al concurso de 2023 y su resultado no se incluyó en los premios principales, que son juzgados por un panel de más de 150 periodistas humanos.
Mark Tungate, director editorial de los premios Epica, comentó: “Nuestro jurado de prensa, interesado en documentar eventos de actualidad, reconoció la IA como un tema apremiante. Esto nos llevó a unirnos a la conversación con un experimento alegre pero que invita a la reflexión».
Aun así, el proceso de evaluación de la IA fue riguroso. Para esta primera versión, se basó únicamente en las descripciones textuales de las campañas proporcionadas por los participantes. También se limitó a las entradas preseleccionadas en categorías que se prestaban a una explicación textual. Se proporcionó a los participantes una herramienta de estandarización para ayudarles a sintetizar conceptos creativos en descripciones concisas que la IA pudiera procesar fácilmente.
Nicolas Huvé, director de operaciones de los Premios Epica y creador de AIJE; comentó: «Basarse únicamente en la descripción del texto tiene sus ventajas, ya que es algo más democrático. Después de todo, una buena idea debería poder resumirse como un ‘discurso de ascensor'».
Las descripciones de todas las entradas se agruparon por categoría y se enviaron a la última API GPT4-Turbo junto con un mensaje que incluía la descripción de la categoría, así como la escala de puntuación de los Premios Epica, que van desde 1 (Daño) a 10 (Golpiza mundial). Esto aseguró que las evaluaciones de la IA fueran consistentes con los criterios utilizados por los jurados humanos.
Luego, la IA generó puntuaciones y un texto que justifica su elección para cada entrada. Un proceso que se ejecutó no solo una vez, sino 80 veces, todas las cifras promediadas utilizando el rango intercuartil (IQR), un método que elimina los valores atípicos y captura la tendencia central de las puntuaciones. Las 80 justificaciones de texto también se sintetizaron para producir comentarios generales sobre cada campaña por parte de AI.
Resultados
El experimento AIJE reveló una modesta correlación con los patrones de votación humanos, como lo indica un coeficiente de correlación de aproximadamente 0,25.
Nicolas Huvé comentó: «Nuestras pruebas iniciales mostraron una correlación prometedora con las puntuaciones humanas, especialmente en el nivel inferior. Sin embargo, en el experimento en vivo, nos centramos sólo en el shortlist, lo que llevó a una discrepancia notable, aunque no sorprendente, ya que todas estas entradas ya fueron considerados de alta calidad por un jurado humano.»
Las puntuaciones de la IA fueron más altas, con un promedio de 7,45, en contraste con las puntuaciones humanas, que promediaron 6,60. Esta tendencia pone de relieve una diferencia fundamental en el enfoque de evaluación.
«Los periodistas, conocidos por su análisis crítico, son generalmente más duros en sus puntuaciones. En cambio, AIJE tendía a dejarse impresionar más fácilmente. En la sala del jurado, los periodistas podían identificar ideas que ya se habían hecho antes de alguna manera, mientras que AIJE percibía novedad, » señala Huvé.
Esta diferencia subraya la comprensión más profunda que tienen los periodistas a la hora de identificar la originalidad. Pero AIJE fue más imparcial.
Huvé añade: «AIJE parecía más eficiente a la hora de evaluar una campaña estrictamente dentro del alcance de su categoría. A diferencia de los jurados humanos, que pueden dar puntuaciones más altas o más bajas al trabajo que personalmente prefieren o no les gusta, AIJE no se vio influenciado por tales prejuicios humanos».
Para ilustrar el factor humano en la evaluación, Huvé cita el ejemplo de ‘The X-Tinction Timeline’ de McCann Worldgroup Alemania, una publicación inteligente que yuxtapone el cambio de nombre del pájaro de Twitter a «X» con la extinción animal.
AI comentó: «Una campaña poderosa y líder en el mercado que aprovecha inteligentemente la ola de un evento actual para abordar un problema global apremiante. El paralelo creativo establecido entre el cambio de marca de Twitter y la extinción de la vida silvestre combina efectivamente la cultura pop con el activismo ambiental».
Un miembro del jurado humano fue más matizado en la plataforma de votación: «Una manera muy inteligente de aprovechar y redirigir la indignación. Si ninguna RP es mala, entonces desafortunadamente también benefició a X. Con suerte, se convirtió en donaciones para WWF y no solo en atención a La arrogancia de Musk.»
El trabajo ganó Plata en la categoría Tópica y Tiempo Real en los Premios Epica (https://winners.epica-awards.com/2023/winners/28-02448-DIG/mccann worldgroup-germany/the-x- línea de tiempo de tinción).
El experimento proporciona información valiosa sobre el papel potencial de la IA en la evaluación de la creatividad. Las versiones posteriores de AIJE incluirán más categorías y elementos visuales.
«Ahora podemos hacer que no sólo mire imágenes, sino que mire e interprete vídeos completos de estudios de casos, lo que abre caminos prometedores para su futuro», comentó Huvé, «Aunque no excluimos el entrenamiento de un modelo exclusivamente en función de los resultados de los premios, preferiríamos dejar que AIJE se basa en una IA general, que es hacia donde creo que se dirige el campo, y que también está más en línea con el espíritu externo de los Premios Epica, manteniéndose alejado del «bucle de retroalimentación» de la industria creativa».
Para los Premios Epica 2024, los participantes serán automáticamente elegibles para participar en la próxima versión de AIJE.
