Reproductions autorisées par l'Université de Kutztown (sauf indication contraire)

À l'Université de Kutztown, Alexa Amazon communique avec les systèmes audiovisuels Extron dans le cadre d'un projet universitaire

Nous avons pu mener à bien notre projet CT‑Toolbox grâce en partie à nos cours d'informatique. La facilité d'utilisation de Global Scripter Extron et d'Alexa Skills Kit a été d'une grande aide, tout comme le support constant offert par nos conseillers, parmi lesquels Extron.

Justin Harris, William Henry, Hanna Moyer
Étudiants à l'origine du projet CT‑Toolbox
Université de Kutztown en Pennsylvanie

L'Université de Kutztown en Pennsylvanie a été fondée en 1866 sous le nom de Keystone State Normal School pour former les futurs professeurs chargés à l'époque d'instruire les ouvriers du comté de Berks, une région fortement industrialisée, située à 80 km au nord‑ouest de Philadelphie. Au cours des 150 années qui ont suivi, elle est devenue l'un des principaux établissements d'enseignement supérieur de la région, offrant 130 programmes de premier cycle et 31 programmes de deuxième cycle pour environ 8 000 étudiants. Trois de ces étudiants et leurs conseillers pédagogiques ont récemment achevé un projet surnommé « CT‑Toolbox » qui connecte l'assistant Alexa Amazon au contrôle Extron pour assurer le contrôle par la voix des systèmes audiovisuels pour salles de classe Extron installés dans l'université.

Enjeux

En vue de choisir un travail de fin d'études, Justin Harris, William (Billy) Henry, et Hannah Moyer, des étudiants en filière informatique, ont fait équipe pour monter un projet pilote dont l'objectif était de promouvoir le ferme engagement de l'établissement envers l'Americans with Disabilities Act, la loi protégeant les personnes en situation de handicap. Le Classroom Technology Toolbox, ou CT‑Toolbox, soutient cet engagement en permettant de contrôler les systèmes audiovisuels pour salles de classe à l'aide de commandes vocales. Donna DeMarco, Professeur d'informatique, est à l'origine de ce projet. Elle a également co‑fondé une société proposant des formations en ligne et des solutions de développement aux entreprises.

Solution

Le groupe d'étudiants a été supervisé par Ty Schwab, Responsable des technologies pour salles de classe de l'université, qui a fourni les ressources matérielles et logicielles, et trouvé une salle de classe pour le développement du projet. Il a partagé ses fonctions de superviseur avec Troy Weidner, son prédécesseur qui a récemment pris sa retraite après 35 années de service. Ingénieur en systèmes de diffusion et de contrôle à l'Université voisine de Scranton, Robert Kennedy a par ailleurs partagé son expérience acquise dans le cadre de son projet de contrôle vocal avec Alexa et Extron, apportant ses connaissances afin que les étudiants développent à leur façon leur projet. Jason Bond et Peter Knapp, Responsables Ventes et Marketing chez Extron, ont contribué au projet en suggérant l'utilisation des drivers de systèmes de contrôle et du logiciel de programmation Global Scripter® Extron.

Un pupitre audiovisuel avec des équipements Extron comme plateforme d'essai pour le CT‑Toolbox

L'Université de Kutztown dispose de 235 salles équipées de systèmes audiovisuels connectés au réseau de l'établissement. Ces systèmes offrent la même conception. Pour le projet CT‑Toolbox, le système comprend un pupitre dont le composant central est un PC de bureau avec un moniteur local et un sélecteur de présentation avec scaler à huit entrées IN1608 xi IPCP Extron. Le sélecteur supporte un vaste éventail de sources audiovisuelles et d'écrans, et intègre un processeur de contrôle audiovisuel ainsi qu'un amplificateur stéréo 50 W. Les sources incluent un PC, une caméra document, et un lecteur Blu‑ray. La vidéo est diffusée depuis un projecteur avec entrée HDMI tandis que l'audio est lu à travers des enceintes plafond. Un clavier de commande eBUS EBP 200 permet de sélectionner une source, de contrôler le projecteur, et de régler le volume. Dans les plus grandes salles, une grille de commutation avec scaler 8x4 DTP CrossPoint 84 4K est associée à un processeur de contrôle IPCP Pro 550 et à un écran tactile TouchLink Pro.

Le projet a démarré par une lecture intensive de la documentation relative à AWS Alexa Amazon et à Global Scripter Extron. Côté développement, à chaque étudiant sa fonction : Justin, le chef d'équipe, s'occupait des équipements, des drivers, et du codage du contrôleur sur Global Scripter ; Billy était affecté aux services de cloud AWS Amazon et au codage pour l'intégration d'Alexa. Quant à Hanna, elle couvrait les phases de conception et de test de l'UX.

L'Alexa Skills Kit et Global Scripter Extron, des outils essentiels pour le développement du CT‑Toolbox

Dans cet article, le schéma opérationnel représenté dans la barre latérale de droite montre deux services logiciels : Alexa Skill et le client Toolbox, mettant en œuvre le processus de contrôle par la voix. Les membres de l'équipe ont utilisé l'Alexa Skills Kit (ASK) pour développer un environnement sur mesure permettant de contrôler les équipements du pupitre audiovisuel. L'utilisateur énonce une commande en utilisant le mot déclencheur « Toolbox » dans l'appareil Echo™. Sur le cloud Amazon Web Services (AWS), Alexa Skill traduit le discours sur une chaîne de données JavaScript Object Notation (JSON) qui est transmise au code d'application Skill, appelé fonction Lambda. Cette fonction analyse les données JSON dans les parties nécessaires au déclenchement des actions matérielles souhaitées, selon une liste de fonctions Lambda composée de dix à vingt mots énoncés qu'un utilisateur pourrait utiliser pour signaler une « intention ». L'équipe a écrit les fonctions Lambda en Python en utilisant Global Scripter Extron. Le code est exécuté sur le service de cloud AWS Lambda.

Le cloud Amazon communique avec le processeur de contrôle Extron

Les commandes analysées sont fournies au client Toolbox depuis le cloud, via Amazon Simple Queue Service (SQS), un service de file d'attente de messagerie géré. Le client Toolbox, qui lance le logiciel Global Scripter sur le processeur de contrôle Extron du pupitre audiovisuel signale au processeur d'envoyer la commande matérielle requise à l'appareil concerné (ex. : « allumer le projecteur »). L'appareil doit indiquer l'état requis via un code de driver matériel communiquant à travers le port du processeur de contrôle approprié pour l'appareil auquel on envoie une commande (ex. : RS‑232 série, USB, Ethernet). Tout le processus est inversé afin de traduire l'état de l'appareil contrôlé en confirmation verbale par Alexa indiquant que la commande a été exécutée.

Résultats

À la fin du mois de novembre 2020, les étudiants du projet CT‑Toolbox et leurs conseillers se sont réunis à l'occasion du « Demo Day », journée durant laquelle les premiers ont présenté les résultats de leur projet de fin d'études. Ils ont réussi à prouver qu'il était possible de contrôler vocalement et sans contact manuel les systèmes audiovisuels pour salles de classe standard de l'établissement. Vous découvrirez dans la barre latérale de cet article un extrait vidéo de la présentation donnée lors du Demo Day. Des aspects d'ordre pratique sont toutefois à revoir avant tout déploiement sur le campus : la sécurité du système basé sur le cloud, l'hébergement du client Toolbox sur le réseau plutôt que sur les pupitres audiovisuels, et la prudence face à un assistant Alexa « toujours obéissant ». Cela dit, Ty Schwab affirme qu'il appuierait très certainement une requête se rapportant à l'ADA d'un professeur pour mettre en œuvre le CT‑Toolbox dans une salle de classe. Au terme du Demo Day, le CT‑Toolbox a reçu un avis favorable. Les trois étudiants ont obtenu leur diplôme et débutent aujourd'hui leur carrière professionnelle.

Obligatoire