14/03/2019

Vote électronique Scytl/La Poste: c’est bien pire qu’une « simple » faille

Hier, une faille importante a été révélée dans le logiciel de vote électronique de La Poste. Ce n’est hélas pas un énième problème de sécurité informatique. C’est bien pire. Car, en plus de la faille elle-même (qu’un expert à qualifié de « stupéfiante » et qu’un autre a considéré comme relevant « d’une programmation négligente »), ce sont les circonstances de sa découverte et la réaction tant de La Poste que des autorités qui doivent fortement nous inquiéter. 

1. La faille n’aurait jamais dû être ni trouvée, ni révélée
Si les conditions imposées par La Poste pour tester la sécurité de son système de vote électronique avaient été respectées, la faille n’aurait jamais été découverte, ni rendue publique. En effet, la faille a été découverte hors du périmètre du test. Si quelques spécialistes beaucoup plus inspirés par l’intérêt général que La Poste n’avaient pas publié la totalité du code (ce que La Poste a condamné), personne n’aurait pu découvrir le problème. Et si les participants au test avaient respecté les incompréhensibles clauses de confidentialité imposées par La Poste (qui avait décidément peur que quelqu’un trouve un problème et en parle), le problème n’aurait jamais pu être rendu public. Le vote électronique serait resté vulnérable à l’insu de tout le monde. Cela démontre que ce test d’intrusion n’est qu’une vaste opération de relations publiques et que l’objectif de La Poste n’est pas de trouver d’éventuels problèmes, mais plutôt de faire croire qu’on a pu (un peu) les chercher.
Mais il n’y a pas que le test public qui a été volontairement restreint. Le Prof. Haenni de la HES bernoise (pourtant favorable au e-voting!), relève que les tests préliminaires menés par l’EPFZ, l’Université de Cambridge et KPMG auraient pu et dû trouver cette faille… si on les avait laissé chercher au bon endroit. Or, là aussi, La Poste a limité le périmètre d’investigation. C’est un peu comme partir à la recherche des cités perdues des Incas sans fouiller la Cordillère des Andes*. M. Haenni en conclut qu’il y a probablement d’autres failles aussi importante cachées à d’autres endroits du code. Pas rassurant.

2. Scytl et La Poste savaient dès 2017, mais Scytl n’a pas corrigé le problème
Tout aussi grave: La Poste a dû admettre que le problème était connu depuis longtemps, qu’elle avait demandé à Scytl de le corriger, mais que cela n’avait été fait que « partiellement ». On croit rêver devant tant d’amateurisme et d’incompétence. Ce n'est d'ailleurs pas la seule cachotterie de Scylt, qui a prétendu que le système en question n'avait pas été utilisé dans l'Etat australien de Nouvelles-Galles-du-Sud. Ça aussi ce n'est pas vrai.

3. Cette faille confirme qu’une seule personne suffit pour manipuler un scrutin par vote électronique
Lorsque les adversaires du vote électronique avancent qu’un vote par Internet est beaucoup plus facile à frauder qu’un vote sur papier (ce qui nécessite beaucoup de logistique et de complices pour être efficace), on leur rit au nez. Certains prétendent même la bouche en coeur que le e-voting est « plus sûr que le vote sur papier ». Or, cette faille est, selon Matthew Green, professeur de cryptographie à la John Hopkins University, la preuve qu’une seule personne bien placée peut falsifier la totalité des résultats sans que personne ne s’en aperçoive. Pis, les votes en questions seraient considérés comme ayant été « vérifiés ». Certes, cette personne doit se trouver à l’interne de l’autorité qui organise le scrutin, mais, une fois que l’on a trouvé comment la corrompre, la faire chanter (ou tout simplement la convaincre par un autre moyen de modifier le résultat), cette unique personne suffit à organiser une fraude portant sur la totalité du résultat (et non pas sur quelques votes éparse comme lors d’une fraude « papier »). M. Green conclut: « Lors d’une élection, il ne devrait jamais y avoir une seule personne qui soit en mesure d’organiser un fraude invisible. Or, le système de vote électronique Scytl/La Poste permet cela ». Sarah Jamie Lewis, l’experte canadienne en cryptographie qui a découvert la faille, considère en outre qu’aucun système de vote électronique ne devrait contenir pareille porte dérobée.

4. Le futur système de vote électronique ne remplit pas les garanties légales
Rarement un communiqué de la Chancellerie fédérale n’aura été aussi sévère, surtout avec son enfant chéri qu’est la généralisation coûte que coûte du vote électronique. Selon la Chancellerie, « La présence de cette faille empêche le système de répondre aux exigences légales pertinentes ». Voilà qui est dit. Mais malgré tout, on continue comme si de rien était. La preuve que, lorsque Berne dit qu’en matière de vote électronique, « la sécurité passe avant la précipitation », c’est du vent.

5. KPMG a certifié que le système était sûr… mais c’était faux
Là encore, un couac majeur. L’entreprise de consulting KPMG a certifié que le système de vote électronique remplissait les conditions légales…. malgré l’existence de la faille qui a conduit la Chancellerie a conclure que le système ne remplit pas les exigences légales. Cette certification est donc le fruit d’incompétents, incompétence le cas échéant légèrement atténuée par le fait que La Poste a interdit de chercher au bon endroit. Toutefois, s’ils avaient été compétents, ces experts n’auraient jamais dû se contenter de chercher uniquement là où on leur a dit de le faire. La Chancellerie fédérale a d’ailleurs déjà tiré des conséquences et va revoir sa procédure de certification (Comment? On n’en sait rien…).

6. Le système utilisé actuellement n’offre pas les mêmes garanties… mais reste en fonction
Autre point intéressant: la faille majeure concerne la « vérifiabilité individuelle ». Derrière ce concept un peu barbare se cache l’idée que les citoyens puissent contrôler après avoir voté que leur vote a bel et bien été enregistré (enfin, c’est ce qui s’affichera sur leur écran, car en réalité, il ne pourront pas vérifier si le vote est bel et bien dans l’urne et s’il sera compté correctement). Ce concept doit être, selon la Chancellerie fédérale, le grand progrès qui rendra le vote électronique digne de confiance. Or, cette fonction n’est pas encore en vigueur. Le vote électronique tel qu’il existe actuellement dans certains cantons ne prévoit pas la vérifiabilité individuelle. Il est donc, du point de vue des partisans du vote électronique eux-même, nettement moins sûr que le futur système. Mais ce système actuel reste pourtant en vigueur, malgré le fait que le futur système qui doit être plus sûr ne l’est finalement pas tant que ça.

7. Il est impossible d’exclure que des scrutins aient été manipulés en Suisse
Même si le système de vote électronique où cette faille a été trouvée n’est pas encore en fonction dans notre pays, La Poste et Scytl sont incapable de démontré que leur système actuellement en service n’a pas permis de falsifier des scrutins ayant déjà eu lieu. Comme la programmation de leur futur système qui doit être « sûr, vérifiable, inattaquable » etc. a été descendue en flamme par les experts, le risque est que les systèmes actuels ne soient pas de meilleure facture. Donc bourrés de failles. Dont personne ne remarquerait l’utilisation. De quoi jeter le discrédit sur la légitimité de nombreux scrutins.

Si vous êtes aussi effrayé que moi, soutenez l’initiative pour un moratoire sur le vote électronique, qui sera lancée ce samedi!

 

 

* Oui, je viens de re-regarder l’intégrale des « Cités d’or »

06/11/2018

Le « dilemme du véhicule autonome », ou comment les techs enfument le débat de la responsabilité des IA et des robots

Récemment, la revue scientifique « Nature » a publié les résultats d’une étude du MIT (l’étude en Anglais) sur le « dilemme du véhicule autonome » (version actualisée du « dilemme du tramway »). C’est-à-dire comment devrait réagir l’intelligence artificielle (IA) aux commandes d’un tel véhicule face à un accident imminent qu’on ne peut éviter qu’en causant d’autres dommages (y compris aux occupants du véhicule). 

capture-decran-2018-11-06-a-11-03-24

 

 

 

 

 

 

Par exemple, écraser une grabataire pour éviter de renverser un jeune papa et son bébé dans une poussette. Ou alors une jeune cadre dynamique à la place d’une grand-mère poussant la poussette précédemment citée. Ou alors un trentenaire à la mine patibulaire portant son joli petit chaton au lieu d’un garçonnet à l’air espiègle dont le lance-pierre dépasse du pantalon. Ou encore un mignon petit caneton tout doux à la place d’un gros pitbull baveux dont on sait qu’il procure compagnie et joie à une charmante vieille dame. Voire le plus beau massif de fleur de la ville au lieu de la devanture d’une chaîne de restauration rapide appartenant à une caisse-maladie. Etc. etc.

Cette étude devait d’une part montrer les « différences de sensibilité » entre les genres, les classes sociales les peuples et les cultures. Dans quelle région commanderait-t-on à l’IA, par exemple, de ne surtout pas écraser la jeune maman et son bébé (« pensez donc, il a toute la vie devant lui ! ») ou alors de sauver impérativement la personne âgée (« il faut respecter les anciens, leur savoir et leur expérience ») ? Et quand on a le choix entre un groupe de 60 retraités et une seule jeune mère et son seul bébé, faut-il faire le choix du nombre ou de l’âge ? Comment un jeune informaticien programmerait-il l’IA et en quoi cette base d’apprentissage serait-elle différente si elle venait d’une retraitée ? Les résultats sont présentés comme rassurants : plus il y de (jeunes) vies humaines en jeu, plus les gens interrogés ont tendance à les épargner, quitte à pour cela écraser vieux schnoques, bébés phoques et mobilier urbain. De telles études sur les dilemmes moraux sont d’ailleurs légion (cf. ce florilège en Allemand).

Mais cette étude devait surtout montrer que les concepteurs de véhicules autonomes les concevaient de telle manière que, en cas de drame inévitable, l’IA ferait tout pour limiter les dégâts, tant au niveau physique (« surtout, limitons le nombre de blessés ! ») qu’éthique (« quitte à écraser quelqu’un, autant épargner le bon ! »). Le grand public n’aurait donc rien à craindre des véhicules autonomes, et par extension des IA en général, car leurs concepteurs aussi géniaux que visionnaires leur ont donné les moyens de penser à tout, y compris aux problèmes éthiques les plus trapus, même s’ils sont hautement improbables.

Disons-le tout net : C’est de l’enfumage. D’une part, parce que ce sont des questions certes intéressantes pour un débat éthique, mais qui restent purement théoriques. Certes, en théorie, la probabilité existe qu’un accident ne puisse être évité qu’au prix d’un autre dégât (y compris qu’une vie ne puisse être sauvée qu’au prix d’une autre), mais aucune des situations décrites dans le « dilemme » n’est amenée à se reproduire en vrai dans la vraie vie. Lorsque vous êtes au volant, avez-vous déjà été confronté au choix de devoir écraser un bébé et un chaton pour épargner l’autostoppeur désagréable du siège passager ? Moi, jamais.

Par ailleurs, si les IA des véhicules autonomes sont bien conçues, elles ne doivent pas se mettre dans une situation où un danger imminent ne peut être écarté qu’au prix d’un autre danger. Par exemple, au moment d’arriver dans une rue où gambadent des enfants, traversent des piétons, roulent des poussettes, trottinent des personnes âgées et ronronnent des chatons, un véhicule autonome bien conçu devra ra-len-tir. Et non pas maintenir une vitesse qui lui ferait risquer d’avoir comme unique choix d’écraser les enfants pour épargner le chaton (ou l’inverse).

Mais c’est surtout de l’enfumage parce que ce genre d’études a pour unique effet que de détourner le débat public des vraies questions. La vraie question en matière d’accidents causés par des véhicules autonomes pilotés par des IA apprenantes est : qui est responsable ? Peu importe de savoir si l’IA en question, si ce cas s’était présenté, aurait choisi, pour des raisons éthiques ou que sais-je, d’écraser un pépé en fin de cycle pour épargner une fillette qui respire la joie de vivre. Ce qui compte, c’est que, s’il y a de vrais dégâts, quelqu’un paie. Le tout est de déterminer qui : le constructeur du véhicule ? son propriétaire ? le programmeur de l’IA ? le passager du véhicule qui se trouvait le plus près du bouton « stop » (s’il existe) ? le piéton écrasé parce qu’il n’aurait pas respecté les règles de sécurité ? le propriétaire du chaton ? le constructeur de la route ou la commune où elle se trouve, parce qu’ils n’auraient pas veillé à ce que la signalisation soit compréhensible par l’IA ? L’entreprise qui a construit la route et ne l’a pas fait assez plate ? Celle qui a installé la signalisation ? Celle qui fournit les données GPS ? Le bébé qui a hurlé, perturbant ainsi les capteurs sonores de l’IA qui n’aurait pas entendu les pas feutrés du chaton ? Et, une fois que le ou les responsables sont établis, quelle règle de responsabilité va-t-on appliquer ? Une responsabilité causale comme celle du propriétaire d’un immeuble ? Une responsabilité partagée en fonction du niveau de risque ou de la possibilité d’influencer et/ou de contrôler l‘IA et son apprentissage ? Une responsabilité analogue à celle de celui qui met sur le marché des produits dangereux ?

Toutes ces questions se posent en cas de dommage causé par des robots ou par des objets pilotés par des IA. Et ce qu’il faut éviter, c’est que cela aboutisse à une situation où personne n’est responsable, par exemple parce que le concepteur prétend que l’IA, en apprenant, a évolué d’une manière qu’il ne pouvait prévoir et que le propriétaire avance que l’IA a agi d’une façon qu’il ne pouvait prévoir au moment d’acheter l’objet.

Un autre problème avec cette étude, c’est qu’elle sous-entend que l’on pourrait laisser les algorithmes décider tout seul, y compris pour des questions de vie ou de mort. Et ça, c’est la fin de la responsabilité individuelle. Car une personne qui doit prendre une décision et qui suit aveuglément un algorithme ne décide plus rien ; elle obéit.

Le législateur doit donc fixer des règles. Mais il ne doit pas se laisser détourner du sujet par des questions du type « la responsabilité du concepteur de l’IA est-elle réduite parce qu’il l’a programmé pour écraser les mémés avant les enfants ? ». Or, en imposant un débat public sur ces questions qui n’ont qu’un intérêt théorique, les « techs » nous font croire que c’est aux scientifiques qu’il revient de déterminer ce qui est bien ou mal et nous détournent des vraies questions sur la responsabilité des IA et des robots. Si elles font cela, c’est dans le but de réduire leur propre responsabilité. Parce qu’une personne qui fait tout pour éviter qu’un mignon chaton ne se fasse brutalement écraser ne saurait être fondamentalement mauvaise, n’est-ce pas ?

12/07/2017

Défendons la neutralité du net

Aujourd’hui, la Toile se mobilise pour défendre la neutralité du net (net neutrality). En effet, la commission fédérale étatsunienne des communications (FCC) a décidé d’annuler sa précédente décision de principe instaurant ce principe vital. Mais qu’est-ce qui se cache derrière ce sabir technique que sont les termes « neutralité du Net » ? Rien de moins qu’un Internet libre, démocratique et innovant.

La neutralité du Net, que l’on peut résumer par la formule-choc lincolnienne « tous les bytes sont créés égaux en droits », c’est la garantie que toutes les données soient acheminées à la même vitesse par les fournisseurs d’accès à Internet. Corollaire, ceux-ci ne peuvent privilégier certains contenus par rapport à d’autres, par exemple parce que les éditeurs des premiers paient plus que ceux des seconds. Ils ne peuvent pas non plus bloquer des contenus légaux. Ainsi, il ne doit pas être possible d’accorder un meilleur débit à un service (p. ex. le moteur de recherche de Google) au détriment de ses concurrents (p. ex. celui de Yahoo). Si tel n’était pas le cas, un service privilégié par un fournisseur d’accès obtiendrait un avantage décisif sur des concurrents devenus moins attrayants car beaucoup plus lents. C’est un peu comme si, sur les autoroutes, seuls les véhicules de certaines marques avaient le droit de rouler à 120 km/h, alors que les autres étaient limité à 90. Nul doute que les premiers nommés ne tarderaient pas à évincer rapidement leurs concurrents. Récemment, Netflix a avoué que, sans neutralité du net, jamais ses services n’auraient pu percer et se faire une place sur le marché de la vidéo à la demande. Mais, aujourd’hui, après avoir acquis une position quasi-dominante sur ce marché, Netflix estime ne plus avoir besoin de neutralité. C’est un comportement qui caractérise bon nombre de ceux qui se disent « libéraux » : ils ne sont favorables au libre marché et à la concurrence que jusqu’à ce qu’ils ont obtenu un monopole, qu’ils tentent ensuite de défendre bec et ongle, même si c’est au prix du reniement de leurs idéaux libéraux.

Empêcher une sélection des contenus, c’est garantir un Internet libre et démocratique. Aucun fournisseur d’accès ne pourrait privilégier un contenu et en réduire d’autres au silence, p. ex. pour des raisons idéologiques ou politiques. Toutes les idées exprimées sur le Net auraient la chance d’être entendues… mais aussi de percer sur les marchés. Car la neutralité du Net, c’est aussi la garantie du bon fonctionnement de la concurrence. Internet est en effet l’instrument qui a permis à de petits challengers innovants de supplanter des prédécesseurs bien établis qui se reposaient sur leurs lauriers. Sur Internet, avoir une bonne idée peut suffire pour connaître le succès et les quasi-monopoles des grandes entreprises y sont encore moins gravés dans le marbre que dans l’économie « réelle ». Mais, sans neutralité du Net, plus besoin de veiller à rester innovant et compétitif : il suffit de payer les cablo-opérateurs pour que ces derniers privilégient les offres en place et ralentissent, voire bannissent celles d’un nouveau venu. Les entreprises à succès pourraient donc se maintenir au sommet non pas en continuant à innover, mais en payant pour barrer l’accès à de nouveaux concurrents. Voilà qui serait incompatible avec la notion même de concurrence. Quel tollé, par exemple, si Swisscom ou Cablecom ralentissaient le débit de Netflix dans le but de diriger les consommateurs vers leurs propres offres de vidéos à la demande !

Mais ne serait-il pas possible de forcer un fournisseur dominant le marché de faire une place à ses concurrents grâce à la loi sur les cartels ? En théorie oui, mais seulement en théorie. La disparition du navigateur Netscape montre les limites de l’exercice. Précurseur de la navigation sur Internet, Netscape a été tué par Microsoft, qui a abusé de sa position dominante sur les logiciels d’exploitation pour imposer Explorer, son propre navigateur. Quand les tribunaux antitrust ont condamné Microsoft (dont la taille lui permet de se rire du montant des amendes, même s’il paraît colossal au commun des mortels), Netscape avait disparu.

Les fournisseurs d’accès s’opposent à la neutralité du Net en arguant que cela nuirait aux investissements dans leurs réseaux. Certes, l’absence de neutralité leur permettrait d’arrondir leurs profits, mais la neutralité ne les priverait pas de la possibilité de faire payer l’accès aux réseaux aux usagers et donc de rentabiliser leurs investissements. Par ailleurs, vu son importance, l’accès aux réseaux doit être considéré comme un service public, ce qui légitime une régulation dans l’intérêt général.

Dans notre pays, la neutralité du Net n’est pas encore garantie. Une motion approuvée par le Conseil national a été rejetée par le Conseil des Etats. Or, il existe déjà de nombreuses tentatives des opérateurs de favoriser certains contenus, par exemple en forçant leurs abonnés à acheter des services supplémentaires (p. ex. TV à la demande) pour bénéficier de l’accès rapide à Internet, ce qui les avantage indument par rapport aux offres concurrentes. Les fournisseurs d’accès ont certes convenu d’un « code de conduite », mais il n’est pas contraignant… et rien ne garantit qu’il perdure à l’avenir, car une telle démarche dépend toujours du bon vouloir d’acteurs privés. Il convient donc de garantir rapidement ce principe essentiel au bon fonctionnement non seulement des télécommunications, mais aussi de la démocratie. Certes, il faut y fixer quelques limites, par exemple en faveur des services d’urgence ou pour bloquer des contenus illégaux (p. ex. pornographie infantile), mais il est capital qu’un pays ouvert, innovant et démocratique comme le nôtre fasse en sorte que tous les contenus aient la même chance d’être lus. Ensuite, aux citoyens de faire leur choix !

 

(Version actualisée d’un texte paru dans « Le Temps » et sur ce blog le 13 mars 2015)