SpixForMemo: générer un compte-rendu libre et structuré par la voix

Introduction

Dans un objectif de traçabilité totale de l’information, les industriels de la santé et de la pharmacie ce lancent dans une digitalisation accélérée. Cet effort de traçabilité des données se heurte à la réalité des métiers manuels qui ont les mains et les yeux occupés à leurs tâches: isolateurs, boite à gants, produits dangereux, salles blanches, … La génération de compte-rendus d’intervention est compliquée pour les opérateurs terrain de l’industrie.

La solution SpixForMemo consiste en un assistant vocal intelligent dédié aux professionnels pour les aider à générer un compte rendu d’intervention librement par la voix, en conservant les mains et les yeux libres.

La Voix et les IA génératives: innovation de rupture

 La Solution SpixForMemo regroupe trois types de technologies vocales complémentaires :

  • Une technologie de reconnaissance vocale robuste capable de traduire la voix en texte dans des environnements professionnel de façon la plus performante possible,
  • Une technologie d’assistance vocale également appelé agent dialoguant ou interface conversationnelle qui permet d’aller au-delà de la simple reconnaissance vocale et d’amorcer un véritable dialogue intelligent entre l’assistant et un utilisateur.
  • Un LLM (Large Language Model) dédié à la structuration de l’énoncé de l’opérateur et l’extraction des concepts clés recherchés dans son compte-rendu d’intervention. En sortie, l’industriel dispose du compte-rendu textuel complet de l’opérateur en texte, ainsi que d’un résumé structuré en fonction de critères pré-sélectionnés.

L’objectif est de permettre aux opérateurs manuels de la santé et de la pharmacie de bénéficier de la puissance de la voix pour les aider à compléter des comptes rendus d’intervention par la voix, en conservant les mains libres.

L’idée de cette innovation de rupture est de changer radicalement l’expérience utilisateur, et de les réconcilier avec leur environnement numérique en intégrant la voix et une assistance intelligente métier pour vraiment réussir la transformation digitale en cours dans l’industrie.

Fonctions de transcription et de structuration

Les fonctions remplies par SpixForMemo sont de plusieurs types.

Fonctions embarquées

  • Configuration et diffusion en continu de la voix
  • Fonctions d’assistance : rembobinage, relecture, éléments manquants, détails manquants, …
  • Visualisation et validation des résultats

Fonctions on-premise (no cloud)

  • Réception du flux de données vocales
  • Transcription de la voix en texte
  • Génération d’un résumé structuré
  • Extraction des concepts clé
  • Exportation du résultat vers l’opérateur pour validation

SpixForMemo peut être utilisé avec ou sans retour visuel, en mode embarqué ou on-premise (installation sur serveurs client).

Illustrations et cas d’usages

Deux exemples pour illustrer la plus value de la mise en oeuvre de SpixForCheck pour les industriels de la santé et de la pharmacie.

Compte rendu d’intervention maintenance et inspection de sites industriels

Situation: Un opérateur qualité doit inspecter des sites industriels et faire le compte rendu de son inspection. Un opérateur de maintenance doit faire un compte-rendu de son intervention.

Problème: L’opérateur bouge beaucoup, se déplace, il a des gants. Il n’arrive pas à taper son compte-rendu sur la tablette dont il dispose en temps réel. Il pose la tablette et complète à postériori l’information requise.

Solution SpixForMemo: L’opérateur dispose d’un casque et d’un micro. Il parle librement et complète un compte rendu en texte libre. Ce compte rendu est analysé automatiquement et les concepts clé de son intervention de maintenance ou d’inspection sont extraits. Il accède instantanément au compte rendu de sa manipulation, en gardant les mais libres.

Illustration: opérateur d’inspection de site industriel qui génère son compte-rendu de suivi d’inspection par la voix en gardant les mains libres.
Bénéfices observés: amélioration de la traçabilité des opérations, réduction du temps d’inspection, amélioration du confort opérateur.

Cahier de laboratoire, boite à gants ou isolateur

Situation: Un opérateur manipule des produits dangereux sous isolateur, en boite à gants, ou en salle blanche. Il doit compléter son cahier de laboratoire avec une description détaillée de ses étapes de travail et de son sompte-rendu.

Problème: L’opérateur a des gants, l’environnement impose des contraintes quants aux surfaces qui peuvent être touchées. Il ne peut donc pas utiliser d’écran tactile ou de clavier pendant sa manipulation.

Solution SpixForMemo: L’opérateur dispose d’un casque et d’un micro. Il parle librement et complète un compte rendu en texte libre. Ce compte rendu est analysé automatiquement et les concepts clé de son intervention sont extraits. Il accède instantanément au compte rendu de sa manipulation, en gardant les mais libres et sans toucher de surface tierces.

Illustration: opérateur en boite à gants chez Orano qui complète son cahier de laboratoire par la voix en gardant les mains libres.
Bénéfices observés: réduction des bris de gants, amélioration de la traçabilité des opérations, amélioration du confort de l’opérateur.

Permettre au professionnels de générer des compte-rendus complet et structurés, par la voix, permet d’améliorer la traçabilité des processus terrain, de simplifier la vie des opérateurs.

Retours sur Investissement

Les Retours sur Investissement (ROI) d’une innovation de rupture comme l’assistance vocale sont souvent associés à des « observables » ou des KPIs (Key Points of Interest) qui sont mesurables. La classification des ROI en fonction d’observables permet d’évaluer l’impact d’une solution nouvelle sur un processus industriel.

Les ROI et les observables associés à l’utilisation d’un assistant vocal peuvent être décrits de la manière suivante:

Amélioration de la traçabilité des opérations

  • Amélioration de la « Qualité de l’information saisie en temps réel »
  • Augmentation de la « Quantité d’information remontée proche du terrain »
  • Amélioration du « Suivi des consignes spécifiques qualité »  

Réduction de la non-qualité

  • Amélioration de la « Qualité de l’information saisie en temps réel »
  • Augmentation de la « Quantité d’information remontée proche du terrain »
  • Amélioration de la « Compréhension des consignes spécifiques »

Gain de temps sur la réalisation d’une tâche
Réduction des temps à faible valeur ajoutée

  • Simplification de l’« Accessibilité de l’information proche du terrain »
  • Réduction des « Marcher entre le poste de travail et le poste informatique »
  • Réduction des « Temps d’accès à l’information proche du terrain »
  • Réduction des « Temps de saisie d’information proche du terrain »  

Amélioration du confort de travail des opérateurs

  • Réduction des « Marcher entre le poste de travail et le poste informatique »
  • Simplification de l’« Accessibilité de l’information proche du terrain »
  • Renforcement de la « Formation continue proche du terrain »

Augmentation de la sécurité des personnes et des biens

  • Réduction des « Marcher entre le poste de travail et le poste informatique »
  • Meilleur suivi des consignes de « Sécurité des opérateurs (consignes, étapes) »  

Les technologies mises en œuvre sont robustes et déjà utilisées dans un contexte industriel (nucléaire, environnement, défense) pour le remplissage de formulaires de contrôle qualité, d’inspection de systèmes ou de sites, ou pour la complétion des obligations règlementaires. Pour remplir cet objectif, des stratégies de dialogue homme-machine en langage naturel, et d’interfaces multimodales sont mises en oeuvre par SpixForMemo afin de maximiser le recueil d’information structurée de l’opérateur, au plus proche du poste de travail.

Publications projet Voice Experience

Vidéo de référence

Les vidéos présentées sont issues de l’expérience industrielle de SPIX industry. Cette expérience opérationnelle de mise en oeuvre de solutions d’assistance vocale dans des environnements complexes est mise à profit par SPIX healthcare pour les industriels de la santé et de la pharmacie.