El modelo de inteligencia artificial GPT-4o de OpenAI define el conocimiento como un concepto multifacético, que generalmente se refiere a la comprensión o familiaridad adquirida a través de la experiencia, la educación o el aprendizaje, e identifica varios tipos: el factual, basado en información, hechos y datos, como los músicos de una banda de rock o la temperatura óptima del agua del mate; el procedimental, el “saber cómo” hacer algo siguiendo procesos o métodos específicos, por ejemplo resolver una ecuación o preparar una receta; el performativo, que es parecido al anterior pero demanda un entrenamiento práctico, como saltar en paracaídas o bailar un tango; y el experiencial, adquirido a través del ensayo y la experimentación, como conducir en una tormenta o ignorar un tuit ofensivo.
Más importante aún, también distingue entre conocimiento explícito, documentado y fácilmente comunicable a través de textos y bases de datos, y conocimiento tácito: habilidades e intuiciones adquiridas a través de la práctica, que no se transfieren fácilmente.
“Mi conocimiento es principalmente factual y explícito, ya que proviene de grandes cantidades de texto documentado y disponible públicamente. Aunque puedo replicar y describir procedimientos (conocimiento procedimental) y patrones implícitos, no tengo experiencias personales ni intuiciones, lo que limita mi acceso al conocimiento experiencial o tácito”. (GPT dixit.)
Pedirle a un gran modelo de lenguaje (LLM) como GPT-4 que describa el conocimiento es más que un fácil truco retórico: los LLM, y la IA generativa en general, cambian cualitativamente cómo pensamos sobre el conocimiento, su sustitución y su transferencia a terceros.
¿Cuánto del conocimiento es explícito y, por lo tanto, transferible, en contraposición al conocimiento implícito que se aprende directamente de la interacción personal? ¿En qué medida la IA, al minar un vasto corpus de documentos escritos y registros audiovisuales, subsume y acelera la transferencia, y en qué medida regurgita un conjunto limitado, y posiblemente sesgado, de información?
La paradoja de la transferencia de conocimiento. La IA está redefiniendo el modo en que abordamos el conocimiento y las competencias humanas. El conocimiento que puede traspasarse mediante el aprendizaje tradicional es también el que la IA más fácilmente sustituye; de hecho, la IA ya está utilizándolo para responder a nuestras consultas de manera más efectiva.
Sin embargo, tal vez paradójicamente, este conocimiento explícito representa solo una parte, a veces menor, del impacto final de las políticas públicas.
Dos ejemplos. En 2019, un programa piloto para la primera infancia se centró en los barrios vulnerables de Buenos Aires. El programa buscaba un triple impacto mediante la mejora de la calidad y la capacidad efectiva de los centros a través de mejoras físicas de bajo costo, la capacitación en cuidado infantil y la extensión de credenciales a los vecinos. Las mejoras en la educación y la salud infantil se combinarían con una reducción de la brecha de participación laboral de las mujeres (un centro con más capacidad cuidaría más chicos, dándoles a las madres la opción de buscar un empleo remunerado); y en la formación de nuevas cuidadoras, gracias a la capacitación y los certificados correspondientes.
Sin embargo, el gobierno de la provincia restringió la formación a los nuevos participantes porque, con la prohibición de nuevas contrataciones en el sector público y sin opciones de contratos temporales a la vista, preferían no crear falsas expectativas a las nuevas ingresantes. Así, dos de los tres objetivos del programa quedaron postergados por restricciones burocráticas que difícilmente serían reflejadas en un estudio de impacto.
Segundo ejemplo. También en 2019, la ciudad de Buenos Aires encargó el diseño de una trayectoria laboral para el quinto año, con el fin de integrar la formación profesional en el currículum, incluyendo prácticas certificadas y tuteladas en lugares de trabajo reales como parte del último año de secundaria, como una forma de aumentar la familiaridad y reducir la información asimétrica entre los nuevos ingresantes y los empleadores.
Dada la escasez de buenos puestos de formación reales en la ciudad, el diseño recomendó que el nuevo track fuera voluntario, para adecuar el número de participantes con la oferta de puestos de entrenamiento. Pero el gobierno se entusiasmó tanto con la nueva trayectoria que la convirtió en un requisito obligatorio, lo que llevó a un exceso de demanda –demasiados chicos para demasiado pocos puestos calificados– y a malas experiencias de formación, diluyendo su impacto.
¿Qué tienen en común estos dos casos? Primero, ilustran las complejidades y desafíos imprevistos que acompañan la implementación de políticas, siempre difíciles de anticipar y cuantificar, que son, en última instancia, esenciales para el éxito. Además, más en línea con el tema de este artículo, nos muestran cómo las evaluaciones de impacto –y las enseñanzas del caso– pueden no captar algunos aspectos críticos que socavan el impacto de una intervención que, en los papeles, se ve inteligente y bien pensada.
Aspectos que un profesional experimentado probablemente conozca, pero que encuentra difícil de comunicar en manuales, memos y workshops.
En suma, conocimiento tácito.
¿Por qué es tan difícil identificar lo que funciona? Si bien la incidencia de este conocimiento elusivo es, por definición, difícil de cuantificar, hay formas aproximadas en las que podemos estimar su importancia. Por ejemplo, por el tamaño de lo que las variables incluidas en las evaluaciones no llegan a explicar.
Motivados por los resultados mixtos reportados en metaanálisis previos sobre el tema, en el proyecto “Qué Funciona” del CEPE-Di Tella (Centro para la Evaluación de Políticas basadas en Evidencia), revisamos 102 evaluaciones de impacto (en rigor, ensayos aleatorios controlados, o RCT, por sus siglas en inglés) de Políticas Activas de Mercado Laboral (AMLP) ejecutadas en años recientes. Dado que cada política típicamente involucra más de una intervención, nuestra muestra incluyó un total de 668 impactos estimados, que agrupamos en las cuatro categorías básicas de las políticas pro empleo: intermediación laboral (bolsas de trabajo), apoyo a trabajadores independientes, formación profesional y subsidios salariales.
¿Qué encontramos? En una línea: ¡Impactos en promedio poco significativos y muy diversos! La misma intervención que fue efectiva en un contexto fue un fracaso en el otro. ¿Por qué es tan difícil encontrar patrones de impacto en las políticas públicas, remedios con efectos conocidos, previsibles y controlados?
Primero, lo obvio: las intervenciones están diseñadas e implementadas de maneras diferentes y son dirigidas a grupos demográficos distintos con efectividad variada. No existe un diseño óptimo que sea efectivo en cualquier contexto social, político o cultural. Por eso, cualquier evaluación que no considere el “espacio de diseño” y sus interacciones con el contexto y la población objetivo tendrá un uso práctico limitado.
Pero la respuesta a esta pregunta es bastante más compleja, y de naturaleza distinta.
Sistema 1 / Sistema 2. En nuestro estudio, para el caso de los programas de formación laboral (los más frecuentes en la muestra), controlamos por el tipo de formación, sus componentes (habilidades duras o blandas, mentorías, estímulos monetarios), su implementación (duración, cooperación público-privada), su población objetivo y el contexto macroeconómico. Un breve resumen de los resultados diría que el impacto está asociado positivamente al crecimiento y negativamente al desempleo; que apuntar la formación a actividades específicas mejora los resultados; que los incentivos monetarios y el seguimiento individualizado ayudan; o que los programas más largos tienen resultados más persistentes.
Pero todas estas variables (y muchas otras para las que no obtuvimos nada) explican apenas el 30% del impacto, un porcentaje aceptable para la academia, pero preocupante para el decisor de políticas.
¿Cómo podemos estar seguros de que algo que funcionó en un lugar y tiempo funcionará de nuevo en otro?
Más al punto de esta columna: ¿En qué medida ese 70% no explicado por el modelo está capturando un conocimiento tácito, similar a aquellas acciones que son más fáciles de realizar que de describir; es decir, una sabiduría práctica e intuitiva, de “sentido común”, difícil de documentar y transferir?
Parafraseando la distinción de Kahneman y Tversky, podríamos pensar en un sistema 1 y un sistema 2 del conocimiento. El sistema 2 puede ser transmitido en datos y documentos, aprendido en seminarios y bases de datos –y meta análisis. En cambio, el sistema 1, más experiencial, está incorporado en las prácticas y memorias de los expertos que pasaron por esas experiencias y no puede ser regurgitado y comunicado por un editor o por una plataforma de IA, porque es algo orgánico, inmune a la ingeniería inversa del investigador.
Escrito en el cuerpo. No es la primera vez que planteo en estas páginas que la sustitución del trabajo humano llevará más tiempo que una visión puramente tecnológica indicaría. Las barreras no tecnológicas son múltiples: desde la demanda por productos culturales originales hasta la responsabilidad comercial en ausencia de regulación apropiada (¿cuántas compañías aéreas o empresas farmacéuticas existirían sin organismos de control que asuman gran parte del riesgo?), pasando por restricciones de insumos (por ejemplo, si los usuarios empiezan a restringir –o a cobrar– por sus preciados datos) o la incertidumbre que tarde o temprano limitará la cantidad de información personal y decisiones que delegamos en un programa (a merced de los hackers).
El conocimiento tácito, que actualmente solo puede ser transferido en el campo por los propios expertos, introduce una barrera adicional: para que pueda ser aprendido y compartido (e incluso utilizado) por la IA, es necesario extraerlo y expresarlo verbalmente, es decir, hacerlo explícito. Solo de este modo podría ser añadido al corpus de conocimiento en base al cual la IA analiza y, en última instancia, estima la mejor respuesta a una pregunta práctica.
La literatura empírica sugiere que el conocimiento tácito, tan difícil de identificar en meta-análisis y en las búsquedas en LLM, es crucial para el éxito y el impacto de las intervenciones humanas. La lógica actual de al IA –en esencia, un gran modelo predictivo calibrado con datos del pasado– la inhibe de capturar este conocimiento que para ella permanece oculto.
La IA concuerda con esta conclusión: “Para aprender del conocimiento tácito, yo, como modelo de lenguaje, no tengo experiencias directas ni puedo observar el mundo de la misma manera que una persona lo haría. Mi aprendizaje se basa en analizar patrones y estructuras en grandes cantidades de datos textuales que incluyen descripciones de experiencias, estudios de casos, ejemplos prácticos y discusiones sobre temas específicos. Aunque no tengo acceso directo al conocimiento tácito en su forma más pura, puedo aprender sobre él en la medida en que esté descrito o mencionado en el texto. Esto significa que, aunque puedo ayudarte a entender y reflexionar sobre conceptos relacionados con el conocimiento tácito, no tengo la capacidad de adquirirlo o aplicarlo de la misma manera que una persona lo haría a través de la práctica y la experiencia directa”. (Nuevamente, ChatGPT.)
Hasta tanto encontremos la manera de explicitar estos saberes, este conocimiento basado en personas seguirá requiriendo la presencia de personas. Tal vez en un futuro encontremos la manera de contarlo todo, de tokenizar la intuición y el juicio de valor y el discernimiento fruto de la experiencia práctica, de modo de sumarlo al kit de entrenamiento de los LLM.
Hasta tanto esto suceda, esta parte esencial del conocimiento seguirá de este lado de la frontera del trabajo humano.
El modelo de inteligencia artificial GPT-4o de OpenAI define el conocimiento como un concepto multifacético, que generalmente se refiere a la comprensión o familiaridad adquirida a través de la experiencia, la educación o el aprendizaje, e identifica varios tipos: el factual, basado en información, hechos y datos, como los músicos de una banda de rock o la temperatura óptima del agua del mate; el procedimental, el “saber cómo” hacer algo siguiendo procesos o métodos específicos, por ejemplo resolver una ecuación o preparar una receta; el performativo, que es parecido al anterior pero demanda un entrenamiento práctico, como saltar en paracaídas o bailar un tango; y el experiencial, adquirido a través del ensayo y la experimentación, como conducir en una tormenta o ignorar un tuit ofensivo.
Más importante aún, también distingue entre conocimiento explícito, documentado y fácilmente comunicable a través de textos y bases de datos, y conocimiento tácito: habilidades e intuiciones adquiridas a través de la práctica, que no se transfieren fácilmente.
“Mi conocimiento es principalmente factual y explícito, ya que proviene de grandes cantidades de texto documentado y disponible públicamente. Aunque puedo replicar y describir procedimientos (conocimiento procedimental) y patrones implícitos, no tengo experiencias personales ni intuiciones, lo que limita mi acceso al conocimiento experiencial o tácito”. (GPT dixit.)
Pedirle a un gran modelo de lenguaje (LLM) como GPT-4 que describa el conocimiento es más que un fácil truco retórico: los LLM, y la IA generativa en general, cambian cualitativamente cómo pensamos sobre el conocimiento, su sustitución y su transferencia a terceros.
¿Cuánto del conocimiento es explícito y, por lo tanto, transferible, en contraposición al conocimiento implícito que se aprende directamente de la interacción personal? ¿En qué medida la IA, al minar un vasto corpus de documentos escritos y registros audiovisuales, subsume y acelera la transferencia, y en qué medida regurgita un conjunto limitado, y posiblemente sesgado, de información?
La paradoja de la transferencia de conocimiento. La IA está redefiniendo el modo en que abordamos el conocimiento y las competencias humanas. El conocimiento que puede traspasarse mediante el aprendizaje tradicional es también el que la IA más fácilmente sustituye; de hecho, la IA ya está utilizándolo para responder a nuestras consultas de manera más efectiva.
Sin embargo, tal vez paradójicamente, este conocimiento explícito representa solo una parte, a veces menor, del impacto final de las políticas públicas.
Dos ejemplos. En 2019, un programa piloto para la primera infancia se centró en los barrios vulnerables de Buenos Aires. El programa buscaba un triple impacto mediante la mejora de la calidad y la capacidad efectiva de los centros a través de mejoras físicas de bajo costo, la capacitación en cuidado infantil y la extensión de credenciales a los vecinos. Las mejoras en la educación y la salud infantil se combinarían con una reducción de la brecha de participación laboral de las mujeres (un centro con más capacidad cuidaría más chicos, dándoles a las madres la opción de buscar un empleo remunerado); y en la formación de nuevas cuidadoras, gracias a la capacitación y los certificados correspondientes.
Sin embargo, el gobierno de la provincia restringió la formación a los nuevos participantes porque, con la prohibición de nuevas contrataciones en el sector público y sin opciones de contratos temporales a la vista, preferían no crear falsas expectativas a las nuevas ingresantes. Así, dos de los tres objetivos del programa quedaron postergados por restricciones burocráticas que difícilmente serían reflejadas en un estudio de impacto.
Segundo ejemplo. También en 2019, la ciudad de Buenos Aires encargó el diseño de una trayectoria laboral para el quinto año, con el fin de integrar la formación profesional en el currículum, incluyendo prácticas certificadas y tuteladas en lugares de trabajo reales como parte del último año de secundaria, como una forma de aumentar la familiaridad y reducir la información asimétrica entre los nuevos ingresantes y los empleadores.
Dada la escasez de buenos puestos de formación reales en la ciudad, el diseño recomendó que el nuevo track fuera voluntario, para adecuar el número de participantes con la oferta de puestos de entrenamiento. Pero el gobierno se entusiasmó tanto con la nueva trayectoria que la convirtió en un requisito obligatorio, lo que llevó a un exceso de demanda –demasiados chicos para demasiado pocos puestos calificados– y a malas experiencias de formación, diluyendo su impacto.
¿Qué tienen en común estos dos casos? Primero, ilustran las complejidades y desafíos imprevistos que acompañan la implementación de políticas, siempre difíciles de anticipar y cuantificar, que son, en última instancia, esenciales para el éxito. Además, más en línea con el tema de este artículo, nos muestran cómo las evaluaciones de impacto –y las enseñanzas del caso– pueden no captar algunos aspectos críticos que socavan el impacto de una intervención que, en los papeles, se ve inteligente y bien pensada.
Aspectos que un profesional experimentado probablemente conozca, pero que encuentra difícil de comunicar en manuales, memos y workshops.
En suma, conocimiento tácito.
¿Por qué es tan difícil identificar lo que funciona? Si bien la incidencia de este conocimiento elusivo es, por definición, difícil de cuantificar, hay formas aproximadas en las que podemos estimar su importancia. Por ejemplo, por el tamaño de lo que las variables incluidas en las evaluaciones no llegan a explicar.
Motivados por los resultados mixtos reportados en metaanálisis previos sobre el tema, en el proyecto “Qué Funciona” del CEPE-Di Tella (Centro para la Evaluación de Políticas basadas en Evidencia), revisamos 102 evaluaciones de impacto (en rigor, ensayos aleatorios controlados, o RCT, por sus siglas en inglés) de Políticas Activas de Mercado Laboral (AMLP) ejecutadas en años recientes. Dado que cada política típicamente involucra más de una intervención, nuestra muestra incluyó un total de 668 impactos estimados, que agrupamos en las cuatro categorías básicas de las políticas pro empleo: intermediación laboral (bolsas de trabajo), apoyo a trabajadores independientes, formación profesional y subsidios salariales.
¿Qué encontramos? En una línea: ¡Impactos en promedio poco significativos y muy diversos! La misma intervención que fue efectiva en un contexto fue un fracaso en el otro. ¿Por qué es tan difícil encontrar patrones de impacto en las políticas públicas, remedios con efectos conocidos, previsibles y controlados?
Primero, lo obvio: las intervenciones están diseñadas e implementadas de maneras diferentes y son dirigidas a grupos demográficos distintos con efectividad variada. No existe un diseño óptimo que sea efectivo en cualquier contexto social, político o cultural. Por eso, cualquier evaluación que no considere el “espacio de diseño” y sus interacciones con el contexto y la población objetivo tendrá un uso práctico limitado.
Pero la respuesta a esta pregunta es bastante más compleja, y de naturaleza distinta.
Sistema 1 / Sistema 2. En nuestro estudio, para el caso de los programas de formación laboral (los más frecuentes en la muestra), controlamos por el tipo de formación, sus componentes (habilidades duras o blandas, mentorías, estímulos monetarios), su implementación (duración, cooperación público-privada), su población objetivo y el contexto macroeconómico. Un breve resumen de los resultados diría que el impacto está asociado positivamente al crecimiento y negativamente al desempleo; que apuntar la formación a actividades específicas mejora los resultados; que los incentivos monetarios y el seguimiento individualizado ayudan; o que los programas más largos tienen resultados más persistentes.
Pero todas estas variables (y muchas otras para las que no obtuvimos nada) explican apenas el 30% del impacto, un porcentaje aceptable para la academia, pero preocupante para el decisor de políticas.
¿Cómo podemos estar seguros de que algo que funcionó en un lugar y tiempo funcionará de nuevo en otro?
Más al punto de esta columna: ¿En qué medida ese 70% no explicado por el modelo está capturando un conocimiento tácito, similar a aquellas acciones que son más fáciles de realizar que de describir; es decir, una sabiduría práctica e intuitiva, de “sentido común”, difícil de documentar y transferir?
Parafraseando la distinción de Kahneman y Tversky, podríamos pensar en un sistema 1 y un sistema 2 del conocimiento. El sistema 2 puede ser transmitido en datos y documentos, aprendido en seminarios y bases de datos –y meta análisis. En cambio, el sistema 1, más experiencial, está incorporado en las prácticas y memorias de los expertos que pasaron por esas experiencias y no puede ser regurgitado y comunicado por un editor o por una plataforma de IA, porque es algo orgánico, inmune a la ingeniería inversa del investigador.
Escrito en el cuerpo. No es la primera vez que planteo en estas páginas que la sustitución del trabajo humano llevará más tiempo que una visión puramente tecnológica indicaría. Las barreras no tecnológicas son múltiples: desde la demanda por productos culturales originales hasta la responsabilidad comercial en ausencia de regulación apropiada (¿cuántas compañías aéreas o empresas farmacéuticas existirían sin organismos de control que asuman gran parte del riesgo?), pasando por restricciones de insumos (por ejemplo, si los usuarios empiezan a restringir –o a cobrar– por sus preciados datos) o la incertidumbre que tarde o temprano limitará la cantidad de información personal y decisiones que delegamos en un programa (a merced de los hackers).
El conocimiento tácito, que actualmente solo puede ser transferido en el campo por los propios expertos, introduce una barrera adicional: para que pueda ser aprendido y compartido (e incluso utilizado) por la IA, es necesario extraerlo y expresarlo verbalmente, es decir, hacerlo explícito. Solo de este modo podría ser añadido al corpus de conocimiento en base al cual la IA analiza y, en última instancia, estima la mejor respuesta a una pregunta práctica.
La literatura empírica sugiere que el conocimiento tácito, tan difícil de identificar en meta-análisis y en las búsquedas en LLM, es crucial para el éxito y el impacto de las intervenciones humanas. La lógica actual de al IA –en esencia, un gran modelo predictivo calibrado con datos del pasado– la inhibe de capturar este conocimiento que para ella permanece oculto.
La IA concuerda con esta conclusión: “Para aprender del conocimiento tácito, yo, como modelo de lenguaje, no tengo experiencias directas ni puedo observar el mundo de la misma manera que una persona lo haría. Mi aprendizaje se basa en analizar patrones y estructuras en grandes cantidades de datos textuales que incluyen descripciones de experiencias, estudios de casos, ejemplos prácticos y discusiones sobre temas específicos. Aunque no tengo acceso directo al conocimiento tácito en su forma más pura, puedo aprender sobre él en la medida en que esté descrito o mencionado en el texto. Esto significa que, aunque puedo ayudarte a entender y reflexionar sobre conceptos relacionados con el conocimiento tácito, no tengo la capacidad de adquirirlo o aplicarlo de la misma manera que una persona lo haría a través de la práctica y la experiencia directa”. (Nuevamente, ChatGPT.)
Hasta tanto encontremos la manera de explicitar estos saberes, este conocimiento basado en personas seguirá requiriendo la presencia de personas. Tal vez en un futuro encontremos la manera de contarlo todo, de tokenizar la intuición y el juicio de valor y el discernimiento fruto de la experiencia práctica, de modo de sumarlo al kit de entrenamiento de los LLM.
Hasta tanto esto suceda, esta parte esencial del conocimiento seguirá de este lado de la frontera del trabajo humano.
La IA generativa actúa con la suma de todo lo documentado, pero hay un saber práctico e intuitivo derivado de la experiencia concreta de los seres humanos que le es esquivo Read More