Comment Claude Shannon a aidé à lancer l'apprentissage automatique

Parmi les grands ingénieurs du 20e siècle, qui ont le plus contribué à nos technologies du 21e siècle?Je dis: Claude Shannon.

Shannon est surtout connue pour établir le domaine de la théorie de l'information.Dans un article de 1948, l'un des plus grands de l'histoire de l'ingénierie, il a trouvé un moyen de mesurer le contenu de l'information d'un signal et de calculer le taux maximum auquel les informations pourraient être transmises de manière fiable sur toute sorte de canal de communication.L'article, intitulé «Une théorie mathématique de la communication», décrit la base de toutes les communications modernes, y compris l'Internet sans fil sur votre smartphone et même un signal vocal analogique sur une ligne fixe téléphonique à paire torsadée.En 1966, l'IEEE lui a décerné le plus grand prix, la médaille d'honneur, pour ce travail.

Si la théorie de l'information avait été la seule réalisation de Shannon, cela aurait été suffisant pour sécuriser sa place dans le panthéon.Mais il a fait beaucoup plus.

Une décennie auparavant, tout en travaillant sur la thèse de sa maîtrise au MIT, il a inventé la porte logique.À l'époque, les relais électromagnétiques - les appareils qui utilisent le magnétisme pour ouvrir et fermer les interrupteurs électriques - ont été utilisés pour construire des circuits qui acheminent des appels téléphoniques ou des machines complexes contrôlées.Cependant, il n'y avait pas de théorie cohérente sur la façon de concevoir ou d'analyser ces circuits.La façon dont les gens y pensaient était en termes de bobines de relais étant sous tension ou non.Shannon a montré que l'algèbre booléenne pouvait être utilisée pour s'éloigner des relais eux-mêmes, dans une compréhension plus abstraite de la fonction d'un circuit.Il a utilisé cette algèbre de logique pour analyser, puis synthétiser, changer de circuits et prouver que le circuit global fonctionnait comme souhaité.Dans sa thèse, il a inventé le et, ou, et non les portes logiques.Les portes logiques sont les éléments constitutifs de tous les circuits numériques, sur lesquels l'ensemble de l'édifice de l'informatique est basé.

En 1950, Shannon a publié un article dans Scientific American et également un article de recherche décrivant comment programmer un ordinateur pour jouer aux échecs.Il est entré en détail sur la façon de concevoir un programme pour un ordinateur réel.Il a expliqué comment les structures de données seraient représentées dans la mémoire, estimaient combien de bits de mémoire seraient nécessaires pour le programme et divisent le programme dans des choses qu'il a appelées subsrogrammes.Aujourd'hui, nous appellerions ces fonctions ou procédures.Certains de ses sous-programmes devaient générer des mouvements possibles;Certains devaient donner des évaluations heuristiques de la qualité d'une position.

Tout en travaillant sur sa thèse de maître au MIT, Shannon a inventé la porte logique.

Shannon a fait tout cela à un moment où il y avait moins de 10 ordinateurs dans le monde.Et ils étaient tous utilisés pour des calculs numériques.Il a commencé son document de recherche en spéculant sur toutes sortes de choses que les ordinateurs pourraient être programmées pour faire au-delà des calculs numériques, notamment la conception du relais et de la commutation, la conception de filtres électroniques pour les communications, la traduction entre les langues humaines et la réduction logique.Les ordinateurs font toutes ces choses aujourd'hui.Il a donné quatre raisons pour lesquelles il avait d'abord choisi de travailler sur les échecs, et un important était que les gens pensaient que jouer aux échecs nécessitait «penser."Par conséquent, a-t-il pensé, ce serait un excellent cas de test pour savoir si les ordinateurs pourraient être faits pour penser.

Shannon a suggéré qu'il pourrait être possible d'améliorer son programme en analysant les jeux auxquels il avait déjà joué et en ajustant les termes et coefficients dans ses évaluations heuristiques des forces des positions du conseil d'administration qu'il avait rencontrées.Il n'y avait pas d'ordinateurs facilement accessibles à Shannon à l'époque, donc il ne pouvait pas tester son idée.Mais cinq ans plus tard, en 1955, Arthur Samuel, un ingénieur IBM qui avait accès aux ordinateurs lorsqu'ils étaient testés avant d'être livrés aux clients, exécutait un programme de jeu de dames qui utilisait la méthode exacte de Shannon pour améliorer son jeu.Et en 1959, Samuel a publié un article à ce sujet avec «Machine Learning» dans le titre - la toute première fois que cette phrase est apparue sur papier.

Alors, récapitulons: théorie de l'information, portes logiques, programmation informatique non numérique, structures de données et, sans doute, apprentissage automatique.Claude Shannon n'a pas pris la peine de prédire l'avenir - il est juste allé de l'avant et l'a inventé, et a même vécu assez longtemps pour voir l'adoption de ses idées.Depuis son décès il y a 20 ans, nous n'avons vu personne comme lui.Nous ne le ferons probablement plus jamais.

Cet article apparaît dans le numéro d'impression de février 2022 sous le nom de «Claude Shannon’s Greatest Hits."