Malgré leurs couleurs pastels et leurs courbes douces, de nombreuses frictions empêchent une interaction fluide entre les systèmes d’assistance et leurs utilisateurs. Cette recherche de simplicité de forme et d’usage ne joue pas qu’un rôle fonctionnel, mais sert avant tout les intérêts commerciaux des constructeurs. Grâce à leurs méthodes centrées utilisateurs, les designers peuvent jouer un rôle intéressant dans une conception plus respectueuse des libertés des utilisateurs.

Les assistants personnels joue le rôle ambigu de système d’exploitation des nombreux contenus et services accessibles à travers eux sur demande, par la mise en relation des utilisateurs avec différents fournisseurs partenaires. Malgré des contenus et modes d’expression différenciés pour chacun d’eux, l’assistant centralise l’ensemble des requêtes des utilisateurs, qui transitent par les serveurs de son constructeur, permettant à ce dernier de les stocker et de les utiliser pour ses propres intérêts.

Les chercheurs Kate Crawford et Vladan Joler ont réalisé “ Anatomy of an AI System ”, une cartographie du fonctionnement du Amazon Echo, incluant l’ensemble du travail humain, des données et des ressources naturelles nécessaires à sa fabrication, sa diffusion et son fonctionnement. Celle-ci met en évidence les très nombreuses connexions de ces systèmes avec d’autres, invisibilisées par les constructeurs qui véhicule une image “ magique ” de l’objet.

Alors que la majorité des utilisateurs n’auront probablement pas leur mot à dire sur les formes matérielles et immatérielles que prendront ces systèmes, à moins de refuser de les utiliser, ce rôle moral fort revient à leurs concepteurs et aux législateurs. Ces derniers devront s’assurer que le design des assistants ne favorise pas l’hyper-stimulation, le désengagement, la manipulation ou la surveillance de leurs utilisateurs, et réguler voire sanctionner en conséquence ces pratiques.