Pilotear proyectos de aprendizaje automático a través de vientos en contra con fuerza

Transcripción

Kathleen Walch: Hola a todos, y bienvenidos a este seminario web, "Cómo mover su proyecto de aprendizaje automático Pilot Pilot."Esta será una descripción general de la metodología para hacer proyectos de IA, claro, vamos a hablar sobre, ya sabes, por qué usar IA y luego algunas dificultades para evitar.Esto es presentado por los analistas de Cognilytica Kathleen Walch y Ron Schmelzer.

Entonces, un poco sobre Cognilytica en caso de que no esté familiarizado con nosotros: Cognilytica es una firma de investigación y educación cognitiva centrada en la tecnología y cognitivo.Producimos investigación de mercado, aviso y orientación sobre inteligencia artificial, aprendizaje automático y tecnología cognitiva.También producimos el popular podcast AI Today.Lo hemos estado haciendo durante unos cuatro años, por lo que es posible que nos haya escuchado allí.También tenemos una serie de infografías, papel blanco y otro contenido popular también en nuestro sitio web..Estamos enfocados en la adopción empresarial y del sector público de IA, y también estamos contribuyendo a los escritores tanto a Forbes como a TechTarget.

Ron Schmelzer: Sí.Así que con suerte, has leído muchos de nuestros artículos sobre los temas de la IA y el aprendizaje automático.Y el objetivo aquí para nosotros ahora es ayudarlo, si está trabajando con el proyecto de aprendizaje automático, superar algunas de las luchas que podría tener para hacer realidad esos proyectos de aprendizaje automático..Entonces, pasemos ahora a nuestra próxima diapositiva aquí.

Y creo que uno de los obstáculos más grandes para muchas personas que intentan avanzar sus proyectos de aprendizaje automático se asegura de que están resolviendo el problema correcto..Muchas veces, ya sabes, uno de los problemas más fundamentales con la IA es que las personas están tratando de aplicar la IA a un problema para el que realmente no es muy adecuado para.Y una de las cosas que podemos ver a medida que avanzamos, ¿para qué es AI realmente bien adecuado?Una cosa de la que hablamos en nuestra investigación son estos siete patrones de IA porque el problema con la IA es que es un pequeño término general..Y el desafío es que cuando dos personas diferentes están hablando de IA, es posible que no estén hablando de lo mismo.

En general, sin entrar en detalles, tenemos estos patrones.Puede tener sistemas de IA que sean buenos para clasificar o identificar sistemas, el patrón de reconocimiento, o el uso de procesamiento de lenguaje natural para realizar sistemas de conversación.¿Aprovecha los big data y encuentra ambos patrones en esos big data, o anomalías en los big data, o lo ayuda a hacer mejores predicciones con análisis predictivos?También podemos tener sistemas de aprendizaje automático que puedan ayudarnos a hacer cosas que los humanos harían con sistemas autónomos..O tal vez encuentre la solución óptima para un rompecabezas o un juego o algo así, o algún escenario, que se llama sistemas basados en objetivos.O bien, podríamos hacer que nuestros sistemas de aprendizaje automático de IA masticen enormes cantidades de datos para ayudar a crear un perfil de un individuo.Lo que todos estos comparten en común es que estamos utilizando datos para obtener ideas.Y, por eso, no es como si estuviéramos escribiendo reglas, por lo que estamos usando probabilidad, estamos usando estadísticas.Y si no podemos escribir una regla para un sistema, pero necesitamos que la máquina haga algo, entonces es una buena señal de que el aprendizaje automático de IA podría ser una buena solución para eso..Si es probabilístico, que es lo que son los sistemas de aprendizaje automático, entonces debemos usar un modelo de aprendizaje.Eso es aprendizaje automático.

Walch: Correcto.Por lo tanto, es importante entender cuándo usar IA, y también es importante comprender para qué no es adecuado.Entonces, si tiene una tarea de automatización determinista repetitiva, no utilice inteligencia artificial y aprendizaje automático.Si tiene análisis de fórmula, continúe y hágalo.Además, los sistemas que requieren una precisión del 100%.Debido a que es probabilístico y no determinista, nunca puede obtener una precisión del 100%, y si eso es lo que necesita, la inteligencia artificial y el aprendizaje automático no es la herramienta adecuada para esto.Situaciones con muy pocos datos de capacitación: ya sabes, la pregunta siempre es ¿cuántos datos de entrenamiento realmente necesito?Y decimos que depende del patrón que estés tratando de hacer.Pero en general, si no tiene muchos datos de entrenamiento, ya sabes, es muy, muy mínimo, probablemente no sea una buena opción para la IA y las tecnologías cognitivas.Además, situaciones en las que contratar a una persona puede ser más fácil, más barata y más rápida..Sabes, lleva tiempo construir estos sistemas, no puedes simplemente agarrarlo y comenzar a usarlo.Entonces, si va a ser un proyecto pequeño, o algo en lo que solo contratar a un humano es más fácil, esa podría ser una mejor solución.Y tampoco hagas AI solo para hacer IA porque es un factor genial o una palabra de moda, la gente está hablando de eso.Asegúrese de que realmente esté proporcionando valor y ser utilizado en la situación correcta.Entonces, como Ron mencionó anteriormente, si es probabilístico, continúe con AI;Si es determinista, use un enfoque de programación en su lugar.

Schmelzer: Correcto.Entonces, ahora, sé que muchos de ustedes podrían discutir con algunos de estos puntos y decir: "Espera un segundo, ¿no estamos tratando de construir sistemas de IA que puedan usar una pequeña cantidad de datos de entrenamiento, tal vez sin datos de entrenamiento, la visión de¿Qué se llama aprendizaje de disparo cero, o incluso el uso de sistemas basados en la nube que tienen un modelo enorme que quizás podamos volver a entrenar o extender el aprendizaje de transferencia, algunas de estas cosas de visión en la nube? "La respuesta es, sí, es cierto;Aunque algunos de esos puntos en realidad están comenzando a desaparecer, lo que significa que estamos ampliando el alcance de la IA y el aprendizaje automático se pueden aplicar a situaciones con datos de entrenamiento más bajos, o situaciones en las que tal vez tengamos un humano haciendo una tarea y tal vez elSistema de inteligencia artificial ahora, justo, el costo y la complejidad se han reducido considerablemente.

La única razón por la que mencionamos es porque a veces esos problemas son un factor.Y se convierten en un factor cuando miras algo llamado decisión de AI Go/No-Go, que es algo que realmente Intel y otros han popularizado y es parte de una metodología para hacer bien los proyectos de aprendizaje automático de IA.En cuyo caso, debe hacerse estas preguntas, y estas son las preguntas que lo ayudarán a identificar si los proyectos de aprendizaje automático de IA son posibles, dados los problemas que está tratando de resolver..Uno, ¿tienes una definición de problema que sea clara?¿Sabes qué problema estás tratando de resolver?Si no, eso es como el mayor No-Go, ¿verdad?¿Tienes personas en tu organización que están dispuestas a cambiar lo que estén haciendo ahora?Si la respuesta es no, entonces no tiene sentido construir una prueba de concepto y ni siquiera puede hacer realidad al piloto.Y luego, por supuesto, el problema es que esto tendrá algún impacto?Esas son preguntas de visibilidad empresarial.

Luego tenemos estas preguntas de datos, que se remontan a algunos de los puntos de los que Kathleen estaba hablando antes.¿Tenemos incluso datos que midan lo que nos importa?Incluso si es una pequeña cantidad, ¿incluso mide lo que queremos?¿Tenemos suficiente?Bueno, ya sabes, aunque es posible.Puede ser posible en situaciones en las que tenemos un modelo de petróleo grande, como la visión por computadora, pero puede que no sea posible para análisis predictivos, patrones y anomalías, donde un pequeño, no querrás detectar un patrón, cuando túSolo tienen cinco o seis ejemplos de ese patrón.Todo depende del patrón que estés tratando de resolver.Finalmente, por supuesto, tenemos problemas de calidad de datos.Ya sabes, la basura es basura.Ese es definitivamente el caso con el aprendizaje automático.Entonces, tenemos esos problemas.Esos son todos los problemas de datos.

Y luego, en el lado de la ejecución, el problema es que podemos construir la tecnología que queremos?¿Tenemos la infraestructura tecnológica que necesitamos?¿Tenemos la pila de desarrollo de aprendizaje automático que queremos?¿Podemos incluso, si construimos este modelo, podemos incluso hacerlo dentro del tiempo que se requiere?Un problema es que puede tomar mucho tiempo entrenar, ¿tenemos?¿Qué tal el tiempo de ejecución del modelo?¿Es muy lento?Estas son preguntas que debemos hacer.

Y, por supuesto, este último punto es, ¿podemos usar el modelo donde incluso queremos usar el modelo?¿Es posible usar el modelo si tenemos que usarlo, como, en un dispositivo de borde, o en una nube o en un entorno local?¿Podemos incluso hacer eso?Si la respuesta a alguna de estas preguntas es no, eso hace que su proyecto sea muy difícil o casi imposible.Si todas las respuestas a estas preguntas son sí, puede imaginarlas como un banco de semáforos: si todas las luces son verdes, entonces nuestro proyecto puede avanzar.Sabes, no resuelve todos los problemas, pero nos hace saber cómo podemos avanzar nuestro proyecto..Y esa es una especie de clave para este desafío.

WALCH: Y eso es lo que es realmente importante es asegurarse de que el equipo correcto esté en su lugar, y que los roles correctos estén y se utilicen para el proyecto también..Entonces siempre, ya sabes, digamos la pregunta: "¿Está el equipo de IA correcto en su lugar?"Y hay algunas áreas diferentes en las que puedes concentrarte.Entonces, el lado comercial, ya sabes, ¿quieres tener una línea de negocios disponible?Analistas de negocios, arquitectos de soluciones, científicos de datos: muchas veces, los científicos de datos caen dentro de esa línea de negocios.Entonces, ya sabes, ¿tienes los roles correctos y los conjuntos de habilidades en su lugar allí?Entonces, la ciencia de datos en sí misma, ya sabes, ¿tienes un científico de datos en tu equipo?¿Tienes un especialista en dominio?Y luego hablamos sobre problemas de datos y problemas de calidad de datos.Entonces, si es necesario, tiene etiquetado externo o contribuyentes para que pueda obtener sus datos, especialmente en el aprendizaje supervisado que necesita datos buenos, limpios y bien marcados..¿Tiene soluciones de etiquetado, ya sabes?También hablamos sobre el rol de ingeniería de datos.Dentro de este rol, y ya sabe, tiene ingeniería de datos, ingenieros de sistemas, un equipo de datos y también un equipo de nube que está utilizando para este proyecto y este equipo.Y luego operacionalización.Entonces, es cuando realmente quieres usar el modelo en producción..Es posible que necesite desarrolladores de aplicaciones, administradores de sistemas y nubes.Por lo tanto, estos son todos roles diferentes que se requieren para que su equipo de proyecto de IA sea un éxito.Y debes hablar de esto y decir, ya sabes, ¿necesito todos los roles?¿Tengo posiciones?Y, ya sabes, ¿los tengo en general para poder aplicarlos cuando sea necesario?

Schmelzer: Sí, y creo que el desafío con esto es que puede o no como una organización, puede ser una pequeña empresa.Puede ser solo un puñado de personas en su organización, o podría ser una organización muy grande..Y podrías pensar en esto como "Oh, Dios mío, tengo que contratar a todas estas personas."Y la respuesta es, bueno, no necesariamente necesitas contratarlos como individuos.Solo necesitan existir como roles, y si no tiene estos roles en la organización, hace que sea mucho más difícil superar la fase del proyecto piloto, de lo que se trata este seminario web..

Ahora, sí, hay compañías que construyen herramientas que son democratizantes, por así decirlo, la ciencia de datos para ponerla en manos de más personas..Hay herramientas que están ayudando con la ingeniería de datos y hacen que sea una tarea mucho más realista con un pequeño número de personas..Y también están sucediendo cosas en el lado de la operacionalización, con este espacio en evolución de MLOPS y ML de gestión, ML de gobernanza.Y, pero creo que el punto es que debes asegurarte de que esto se aborde de alguna manera.Se dirige con una persona, se aborda con un rol o se aborda con una herramienta.Si no se aborda con ninguna de esas cosas, y tienes un montón de personas que quieren hacer que las cosas sucedan, pero muy pocas personas que puedan hacer que suceda, entonces encontrarás que te encontrarás con este obstáculo.

Entonces, parte del camino para evitar estos obstáculos es, por supuesto, como el gran mantra, que es "Piense en grande, comience pequeño e itere a menudo."Pero eso básicamente se relaciona con cada uno de estos desafíos de proyectos de IA particulares, ¿verdad? Y podemos pasar por ellos.Y en realidad hemos estado hablando de algunos de ellos a lo largo de este seminario web, parte de los cuales es que si tiene problemas de calidad de datos y tiene problemas de cantidad de datos, ese es un obstáculo potencial, y debe averiguar: "Do yo¿Necesito resolver todo a la vez? ¿O puedo resolver un poco? "Eso es de nuevo, aplique "Piense en grande, comience a poco e itera a menudo" a cada una de estas balas..Y tal vez pueda comenzar con un problema más pequeño que requiere datos más pequeños que requieran una cantidad menor de pasos que puede usar para abordar los problemas de calidad de los datos.

Walch: Correcto.También hay problemas de canalización de ingeniería de datos y problemas del equipo de ciencia de datos.Sabes, hablamos de ¿tienes los roles correctos en su lugar?Y si no lo haces, entonces, sabes, piensa en cómo puedes conseguir eso.Sabes, ¿hay otra solución que pueda obtener?¿Puedo contratar a alguien para este papel?¿Puedo entrenar a alguien en este papel?Y si la respuesta es no, entonces eso puede ser un problema, ese puede ser un obstáculo que tiene.

Schmelzer: Lo mismo con las operaciones, podemos pensar en las cosas que debemos hacer con las operaciones.¿Cómo voy a la versión de mi modelo?¿Cómo voy a iterar mi modelo?¿He construido una tubería de reciclaje?Si la respuesta es no, entonces puedo, en lugar de abordarla nuevamente, morder más de lo que puedo masticar, ¿puedo iterar?Comience con un modelo pequeño;versión que un modelo;Descubra cómo volver a entrenar ese modelo, un modelo pequeño;luego muévase a dos modelos o un modelo más grande.Sabes, podemos hacerlo de esa manera.Así es como abordamos el obstáculo.Lo mismo con el ROI: si dicen: "Mira, no, ya sabes, no voy a invertir x millones de dólares en esta enorme solución, que no tengo idea de cuál es el ROI.¿Puedo comenzar a poco?¿Hay alguna manera de comenzar con un proyecto más pequeño con un ROI más pequeño e iterar a una mejor solución? "Lo mismo con los patrones, ya sabes.Tal vez estoy tratando de hervir el océano aquí y hacer tres o cuatro o cinco patrones de IA a la vez: un sistema de reconocimiento de conversación que realiza análisis predictivos de análisis y patrones y anomalías de manera autónoma.Eso podría ser algo muy, muy difícil de hacer.Entonces, ¿puedo dividir este proyecto en fases más pequeñas y tal vez solo abordar la parte de conversación, solo abordar la parte de reconocimiento o algo más, y luego construirlo con el tiempo?

Creo que lo siguiente que es preocupante es que hay una diferencia entre un piloto y una prueba de concepto, ¿verdad?A veces se usan indistintamente, pero no deberían.Una prueba de concepto es, ¿puedo experimentar con esta tecnología?¿Puedo hacer incluso lo que quiero hacer?Sabes, ¿es, es como, ya sabes, ¿tengo las habilidades específicas?Sabes, estoy experimentando con esto, ¿puedo construir como un llamado proyecto de juguete solo para ver si funciona?Mientras que se supone que un piloto es un problema real en un entorno real con datos reales con problemas reales.Y creo que, creo que si puedes abordar esos problemas, de nuevo, podríamos comenzar, podríamos pensar en grande, comenzar a poco e iterar a menudo, con un pequeño piloto que realmente va a ser útil, no algún tipo de cosa que seani siquiera va a ser útil.¿Derecha?

Walch: Correcto.Otra cosa que hemos visto es, ya sabes, no compre aceite de serpiente del proveedor.Por lo tanto, hay mucha exageración de marketing y giro y emoción en torno a algunas de estas empresas, y algunas herramientas y ofertas que las empresas dicen que pueden proporcionar.Intenta evitarlos, esas trampas.Porque eso será un obstáculo.Sabes, si una empresa dice que puede hacer, ya sabes, cinco, 10, 15 cosas diferentes y realmente no pueden, asegúrese de que entiendas eso.Además, ¿estás abordando primero los problemas de IA más difíciles?Sabes, Ron sigue diciendo, y en Cognilytica, seguimos diciendo, piensa en grande.Entonces, piense en esos problemas difíciles, pero luego comience a poco e itera a menudo.Si está abordando los problemas de IA más difíciles primero, debería venir como, ya sabes, muy poco sorprendente que sea un proyecto increíblemente difícil y lo más probable es que falle.Si comienza a poco y continúa iterando, tiene muchas más posibilidades de éxito y que el proyecto continuará avanzando.Además, ¿estás resolviendo un problema comercial real?Sabes, esto se remonta a la pregunta de ROI también.¿Estás resolviendo un problema comercial real real, o solo estás construyendo ese pequeño proyecto de juguete del que Ron habló?Y luego, ¿está realmente proporcionando un ROI real que es medible y tiene un impacto en la empresa?

Schmelzer: Sí, y finalmente, ya sabes, otro desafío que podrías enfrentar si estás llegando a un obstáculo piloto, ¿dónde está ejecutando el proyecto AI?¿Se ejecuta dentro de la organización de TI, por lo que se trata como una cosa tecnológica?¿O está dentro de la línea de negocios, que se trata como un negocio?Por supuesto, nuestra perspectiva es que los productos de IA son transformadores y deberían ser parte del negocio.No es cosa de TI, a pesar de que hay un componente tecnológico.Pero al igual que no le pide a su organización de TI que reúna hojas de cálculo y gráficos de Excel para su negocio, eso generalmente es parte de cualquier línea de negocios, funciones, ventas, marketing, finanzas, operaciones, lo que sea, lo mismo con AI.AI no es una función de la tecnología;Es una función del papel comercial y, por lo tanto, el negocio debe estar a cargo de eso y debe poseer eso.

Entonces, una de las cosas de las que hablamos mucho en Cognilytica es que hay una metodología para hacer proyectos de aprendizaje automático de IA con más éxito..Se llama CPMAI, gestión de proyectos cognitivos para AI si desea saber qué representa, y se basa en una metodología de décadas llamada CRISP DM, que originalmente se centró solo en el almacén de datos y la gestión de datos, proyectos de minería de datos, proyectos de minería de datos., que es la parte de DM de Crisp DM.Y es básicamente una metodología iterativa para comenzar con la comprensión del negocio, pero luego pasar por estas otras fases de comprensión de datos: preparación de datos, modelado de datos, evaluación del modelo y finalmente, operacionalización del modelo.Y lo que hace CPMAI es agrega los requisitos específicos de AI sobre el desarrollo del modelo y la evaluación del modelo.Y, mira, Crisp DM realmente no habla sobre la operacionalización del modelo.Entonces, eso es algo completamente nuevo.Y la otra cosa que hace CPMAI es traer en metodología ágil, que realmente no fue muy popular cuando salió crujiente DM por primera vez.Y esa es la metodología aceptada, que es ¿podemos hacer sprints de dos semanas para proyectos de IA donde realmente podemos lograr algo realmente útil?¿Un proyecto de aprendizaje automático real en un sprint corto?La respuesta es, por supuesto, usted, y de eso se trata la metodología de CPMAI.Se trata de lograr el éxito haciendo lo que Agile ha demostrado, que es, nuevamente, pensar en grande, comenzar pequeño y iterar a menudo.Y de eso se trata esta metodología.

Walch: Correcto.Así que gracias a todos, por unirse a nosotros para esta presentación..Y si tiene alguna pregunta, siempre puede comunicarse con nosotros en Cognilytica.Nuestra información está a continuación.