Sarah Cen se souvient que l'étudiante du laboratoire pour l'information et les systèmes de décision (LIDS) se souvient de la conférence qui l'a envoyée sur la voie à une question en amont.
Lors d'une conférence sur l'intelligence artificielle éthique, l'orateur a évoqué une variation du célèbre problème de chariot, qui décrit un choix philosophique entre deux résultats indésirables.
Le scénario de l'orateur: disons qu'une voiture autonome voyage dans une ruelle étroite avec une femme âgée marchant d'un côté et un petit enfant de l'autre, et aucun moyen de se débarrasser des deux sans décès.À qui la voiture devrait-elle frapper?
Puis l'orateur a dit: prenons un pas en recul.Est-ce la question que nous devrions même poser?
C'est à ce moment que les choses ont cliqué pour Cen.Au lieu de considérer le point d'impact, une voiture autonome aurait pu éviter de choisir entre deux mauvais résultats en prenant une décision plus tôt - l'orateur a souligné qu'en entrant dans la ruelle, la voiture aurait pu déterminer que l'espace était étroit etralenti à une vitesse qui garderait tout le monde en sécurité.
Reconnaissant que les approches de sécurité de l'IA d'aujourd'hui ressemblent souvent au problème du chariot, en se concentrant sur la réglementation en aval telle que la responsabilité après que quelqu'un ne soit pas de bons choix, Cen s'est demandé: si nous pouvions concevoir de meilleures garanties en amont et en aval à de tels problèmes?Cette question a informé une grande partie du travail de Cen.
«Les systèmes d'ingénierie ne sont pas divorcés des systèmes sociaux sur lesquels ils interviennent», dit Cen.Ignorer ce fait risque de créer des outils qui ne sont pas utiles lorsqu'ils sont déployés ou, plus inquiétants, qui sont nocifs.
Cen est arrivé chez les couvercles en 2018 via un itinéraire légèrement rond-point.Elle a d'abord goûté à la recherche lors de son diplôme de premier cycle à l'Université de Princeton, où elle s'est spécialisée en génie mécanique.Pour sa maîtrise, elle a changé de cap, travaillant sur des solutions radar en robotique mobile (principalement pour les voitures autonomes) à l'Université d'Oxford.Là, elle a développé un intérêt pour les algorithmes d'IA, curieux de savoir quand et pourquoi ils se comportent mal.Elle est donc venue au MIT et aux couvercles pour ses recherches doctorales, en travaillant avec le professeur Devavrat Shah au Département de génie électrique et d'informatique, pour une mise à la terre théorique plus forte dans les systèmes d'information.
Audit des algorithmes de médias sociaux
Avec Shah et d'autres collaborateurs, CEN a travaillé sur un large éventail de projets pendant son séjour chez les couvercles, dont beaucoup sont directement liés à son intérêt pour les interactions entre les humains et les systèmes informatiques.Dans un de ces projets, CEN étudie les options de régulation des médias sociaux.Ses travaux récents fournissent une méthode pour traduire les réglementations lisibles par l'homme en audits implémentables.
Pour avoir une idée de ce que cela signifie, supposons que les régulateurs exigent que tout contenu de santé publique - par exemple, sur les vaccins - ne soit pas très différent pour les utilisateurs politiquement à gauche et à droite.Comment les auditeurs devraient-ils vérifier qu'une plate-forme de médias sociaux est conforme à ce règlement?Une plate-forme peut-elle être faite pour se conformer au règlement sans endommager son résultat net?Et comment la conformité affecte-t-elle le contenu réel que les utilisateurs voient?
La conception d'une procédure d'audit est difficile en grande partie car il y a tellement de parties prenantes en ce qui concerne les médias sociaux.Les auditeurs doivent inspecter l'algorithme sans accéder à des données utilisateur sensibles.Ils doivent également contourner des secrets commerciaux délicats, ce qui peut les empêcher de jeter un œil de près sur l'algorithme même qu'ils audit parce que ces algorithmes sont légalement protégés.D'autres considérations entrent également en jeu, comme équilibrer la suppression de la désinformation avec la protection de la liberté d'expression.
Pour relever ces défis, CEN et Shah ont développé une procédure d'audit qui n'a pas besoin de plus que l'accès à la boîte noire à l'algorithme des médias sociaux (qui respecte les secrets commerciaux), ne supprime pas le contenu (qui évite les problèmes de censure) et ne nécessite pasAccès aux utilisateurs (qui préserve la confidentialité des utilisateurs).
Dans leur processus de conception, l'équipe a également analysé les propriétés de leur procédure d'audit, constatant qu'elle garantit une propriété souhaitable qu'ils appellent la robustesse de la décision.Comme une bonne nouvelle pour la plate-forme, ils montrent qu'une plate-forme peut passer l'audit sans sacrifier les bénéfices.Fait intéressant, ils ont également constaté que l'audit incite naturellement la plate-forme à montrer aux utilisateurs un contenu divers, qui est connu pour aider à réduire la diffusion de la désinformation, à contrer.
Qui obtient de bons résultats et qui obtient de mauvais?
Dans une autre ligne de recherche, CEN examine si les gens peuvent recevoir de bons résultats à long terme lorsqu'ils non seulement rivalisent pour les ressources, mais ne savent pas non plus quelles ressources sont les mieux pour eux.
Certaines plateformes, telles que les plateformes de recherche d'emploi ou les applications de covoiturage, font partie de ce qu'on appelle un marché de correspondance, qui utilise un algorithme pour correspondre à un ensemble de personnes (comme les travailleurs ou les cavaliers) avec un autre (comme les employeurs ou les conducteurs).Dans de nombreux cas, les individus ont des préférences de correspondance qu'ils apprennent par essais et erreurs.Sur les marchés du travail, par exemple, les travailleurs apprennent leurs préférences sur les types d'emplois qu'ils souhaitent, et les employeurs apprennent leurs préférences sur les qualifications qu'ils recherchent auprès des travailleurs.
Mais l'apprentissage peut être perturbé par la compétition.Si les travailleurs ayant une formation particulière se voient refuser à plusieurs reprises des emplois dans la technologie en raison de la forte concurrence pour les emplois technologiques, par exemple, ils peuvent ne jamais obtenir les connaissances dont ils ont besoin pour prendre une décision éclairée pour savoir s'ils veulent travailler dans la technologie.De même, les employeurs de la technologie peuvent ne jamais voir et apprendre ce que ces travailleurs pourraient faire s'ils étaient embauchés.
Le travail de CEN examine cette interaction entre l'apprentissage et la concurrence, en étudiant s'il est possible pour les individus des deux côtés du marché de correspondance pour s'en sortir heureux.
La modélisation de ces marchés de correspondance, CEN et Shah ont constaté qu'il est en effet possible de parvenir à un résultat stable (les travailleurs ne sont pas incités à quitter le marché de contrepartie), avec un faible regret (les travailleurs sont satisfaits de leurs résultats à long terme), l'équité (l'équité (Le bonheur est réparti uniformément) et un bien-être social élevé.
Fait intéressant, il n'est pas évident qu'il est possible d'obtenir une stabilité, un faible regret, une équité et un bien-être social élevé simultanément.Ainsi, un autre aspect important de la recherche a été de découvrir lorsqu'il est possible d'atteindre les quatre critères à la fois et d'explorer les implications de ces conditions.
Quel est l'effet de X sur Y?
Pendant les prochaines années, cependant, CEN prévoit de travailler sur un nouveau projet, en étudiant comment quantifier l'effet d'une action X sur un résultat quand il est coûteux - ou impossible - de mesurer cet effet, se concentrant en particulier sur les systèmes qui ontcomportements sociaux complexes.
Par exemple, lorsque les cas Covid-19 ont augmenté dans la pandémie, de nombreuses villes devaient décider quelles restrictions à adopter, telles que les mandats de masque, les fermetures d'entreprises ou les commandes de séjour à domicile.Ils ont dû agir rapidement et équilibrer la santé publique avec les besoins communautaires et commerciaux, les dépenses publiques et une foule d'autres considérations.
En règle générale, afin d'estimer l'effet des restrictions sur le taux d'infection, on pourrait comparer les taux d'infection dans les zones qui ont subi différentes interventions.Si un comté a un mandat de masque, alors que son comté voisin ne le fait pas, on pourrait penser que la comparaison des taux d'infection des comtés révélerait l'efficacité des mandats de masque.
Mais bien sûr, aucun comté n'existe dans le vide.Si, par exemple, des gens des deux comtés se réunissent pour regarder un match de football dans le comté sans masque chaque semaine, les gens des deux comtés se mélangent.Ces interactions complexes sont importantes, et Sarah prévoit d'étudier des questions de cause à effet dans de tels contextes.
"Nous sommes intéressés par la façon dont les décisions ou les interventions affectent un résultat d'intérêt, comme la façon dont la réforme de la justice pénale affecte les taux d'incarcération ou comment une campagne publicitaire pourrait changer les comportements du public", dit Cen.
CEN a également appliqué les principes de promotion de l'inclusivité à son travail dans la communauté du MIT.
En tant que l'un des trois co-présentants du groupe d'étudiants Graduate Women in MIT EECS, elle a aidé à organiser le premier Sommet de recherche GW6 avec la recherche des femmes diplômées - non seulement pour présenter des modèles positifs aux étudiants, mais aussi pour mettre en évidence les nombreux succèsles femmes diplômées du MIT qui ne doivent pas être sous-estimées.
Que ce soit dans l'informatique ou dans la communauté, un système prenant des mesures pour résoudre les biais est celui qui jouit de la légitimité et de la confiance, dit Cen.«La responsabilité, la légitimité, la confiance - ces principes jouent des rôles cruciaux dans la société et, finalement, détermineront quels systèmes perdurent avec le temps."
