Los algoritmos de aprendizaje automático que generan un lenguaje fluido a partir de grandes cantidades de texto podrían cambiar la forma en que se hace ciencia, pero no necesariamente para mejor, dice Shobita Parthasarathy, especialista en gobernanza de tecnologías emergentes de la Universidad de Michigan. en Ann Arbor.
En un informe publicado el 27 de abril, Parthasarathy y otros investigadores tratan de anticipar los impactos sociales de las tecnologías emergentes de inteligencia artificial (IA) llamadas modelos de lenguaje extenso (LLM). Estos pueden producir una prosa sorprendentemente convincente, traducir entre idiomas, responder preguntas e incluso producir código. Las corporaciones que los crean, incluidas Google, Facebook y Microsoft, tienen como objetivo usarlos en chatbots y motores de búsqueda, y para resumir documentos. (Al menos una empresa, Debería, en San Francisco, California, está probando LLM en investigación; está construyendo una herramienta llamada 'Elicit' para responder preguntas utilizando la literatura científica).
Los LLM ya son controvertidos. A veces repiten errores o estereotipos problemáticos en los millones o miles de millones de documentos en los que están capacitados. Y a los investigadores les preocupa que los flujos de lenguaje aparentemente autoritario generado por computadora que no se distinguen de la escritura humana puedan causar desconfianza y confusión.
Parthasarathy dice que aunque los LLM podrían fortalecer los esfuerzos para comprender la investigación compleja, también podrían profundizar el escepticismo público sobre la ciencia. Habló con Nature sobre el informe.
¿Cómo podrían los LLM ayudar o dificultar la ciencia?
Originalmente pensé que los LLM podrían tener impactos democratizadores y de empoderamiento. Cuando se trata de ciencia, podrían capacitar a las personas para extraer rápidamente información de la información: consultando síntomas de enfermedades, por ejemplo, o generando resúmenes de temas técnicos.
Pero los resúmenes algorítmicos pueden cometer errores, incluir información desactualizada o eliminar matices e incertidumbres, sin que los usuarios se den cuenta. Si alguien puede usar LLM para hacer que la investigación compleja sea comprensible, pero corre el riesgo de obtener una visión simplificada e idealizada de la ciencia que está en desacuerdo con la desordenada realidad, eso podría amenazar el profesionalismo y la autoridad. También podría exacerbar los problemas de confianza pública en la ciencia. Y las interacciones de las personas con estas herramientas serán muy individualizadas, y cada usuario obtendrá su propia información generada.
¿No es un gran problema que los LLM se basen en investigaciones obsoletas o poco confiables?
Sí. Pero eso no significa que las personas no usarán LLM. Son atractivos y tendrán una apariencia de objetividad asociada con su producción fluida y su representación como nuevas tecnologías emocionantes. Es posible que el usuario promedio no reconozca el hecho de que tienen límites, que pueden basarse en conjuntos de datos parciales o históricos.
Es fácil para los científicos afirmar que son inteligentes y darse cuenta de que los LLM son herramientas útiles pero incompletas, por ejemplo, para comenzar una revisión de la literatura. Aún así, este tipo de herramienta podría reducir su campo de visión y podría ser difícil reconocer cuándo un LLM se equivoca en algo.
Los LLM pueden ser útiles en humanidades digitales, por ejemplo: para resumir lo que dice un texto histórico sobre un tema en particular. Pero los procesos de estos modelos son opacos y no proporcionan fuentes junto con sus resultados, por lo que los investigadores deberán pensar detenidamente cómo los van a utilizar. He visto algunos usos propuestos en sociología y me ha sorprendido lo crédulos que han sido algunos académicos.
¿Quién podría crear estos modelos para la ciencia?
Supongo que las grandes editoriales científicas estarán en la mejor posición para desarrollar LLM específicos de ciencia (adaptados de modelos generales), capaces de rastrear el texto completo patentado de sus artículos. También podrían buscar automatizar aspectos de la revisión por pares, como consultar textos científicos para averiguar quién debe ser consultado como revisor. Los LLM también pueden usarse para tratar de seleccionar resultados particularmente innovadores en manuscritos o patentes, y tal vez incluso para ayudar a evaluar estos resultados.
Los editores también podrían desarrollar software LLM para ayudar a los investigadores en países de habla no inglesa a mejorar su prosa.
Los editores pueden llegar a acuerdos de licencia, por supuesto, poniendo su texto a disposición de las grandes empresas para que lo incluyan en su corpus. Pero creo que es más probable que intenten mantener el control. Si es así, sospecho que los científicos, cada vez más frustrados por sus monopolios del conocimiento, lo cuestionarán. Existe cierto potencial para los LLM basados en documentos de acceso abierto y resúmenes de documentos de pago. Pero puede ser difícil obtener un volumen lo suficientemente grande de texto científico actualizado de esta manera.
¿Se podrían usar los LLM para hacer documentos realistas pero falsos?
Sí, algunas personas usarán LLM para generar documentos falsos o casi falsos, si es fácil y creen que les ayudará en su carrera. Aún así, eso no significa que la mayoría de los científicos, que quieren ser parte de las comunidades científicas, no podrán ponerse de acuerdo sobre las regulaciones y normas para el uso de LLM.
¿Cómo se debe regular el uso de los LLM?
Es fascinante para mí que casi ninguna herramienta de IA haya pasado por regulaciones sistemáticas o mecanismos de mantenimiento de estándares. Eso también es cierto para los LLM: sus métodos son opacos y varían según el desarrollador. En nuestro informe, hacemos recomendaciones para que los organismos gubernamentales intervengan con la regulación general.
Específicamente para el posible uso de los LLM en la ciencia, la transparencia es crucial. Aquellos que desarrollan LLM deben explicar qué textos se han utilizado y la lógica de los algoritmos involucrados, y deben ser claros acerca de si se ha utilizado software de computadora para generar un resultado. Creemos que la Fundación Nacional de Ciencias de EE. UU. también debería apoyar el desarrollo de un LLM capacitado en todos los artículos científicos disponibles públicamente, en una amplia diversidad de campos.
Y los científicos deben tener cuidado con las revistas o los patrocinadores que confían en los LLM para encontrar revisores pares o (posiblemente) extender este proceso a otros aspectos de la revisión, como la evaluación de manuscritos o subvenciones. Debido a que los LLM se desvían hacia los datos anteriores, es probable que sean demasiado conservadores en sus recomendaciones.
Este artículo se reproduce con permiso y se publicó por primera vez el 28 de abril de 2022.
