Übung der Bundeswehr: Ein Soldat simuliert die Verletzung und liegt auf dem Boden, während sich zwei weitere um ihn kümmern.

Spracherkennung und automatisierten Patientendokumentation

KI-Spracherkennung stärkt die Digitalisierung der Rettungskette

Bei der medizinischen Erstversorgung verwundeter Soldaten kommt es nicht nur auf jede Minute an, sondern auch auf eine möglichst präzise Dokumentation der Behandlungsschritte – eine Herausforderung auf dem Gefechtsfeld. Ein Projektteam der BWI hat hierzu eine künstliche Intelligenz (KI)-Anwendung zur Spracherkennung und automatisierten Patientendokumentation entwickelt. Dieser Prototyp wurde bereits erfolgreich getestet.

Die Erstversorgung verwundeter Soldaten auf dem Gefechtsfeld und der anschließende Transport erfolgen unter schwierigsten Rahmenbedingungen: Zeitdruck, schlechte Lichtverhältnisse, Platzmangel oder blutige Handschuhe erschweren eine handschriftliche Erfassung von Daten, die erheblich für die weitere Behandlung sind. Oftmals ist aus diesen Gründen eine unmittelbare Dokumentation nicht möglich.

Für diese speziellen Anforderungen auf dem Gefechtsfeld hat ein Projektteam der BWI die Idee entwickelt, mittels einer notfallmedizinisch trainierten Spracherkennung auf Basis künstlicher Intelligenz gesprochene Informationen automatisiert zu erfassen, zu transkribieren und strukturiert in die medizinische Standard-Dokumentation zu übertragen. Der Vorteil dieser Speech-to-Structure-Lösung: Während die KI die Spracheingaben automatisiert in eine strukturierte Datei überführt, kann der Einsatzersthelfer beide Hände für die Versorgung der Verwundeten einsetzen.

Spracherkennung durch eine speziell trainierte KI

Da eine solche Lösung aktuell auf dem Markt noch nicht verfügbar ist, entwickelte die BWI im Rahmen eines Experiments einen ersten Prototyp. Der inhaltliche Fokus lag hierbei auf dem Einsatzersthelfer am Ort der Verwundung bis zur Übergabe an den ersten medizinischen Experten. Hierfür trainierte die BWI eine KI und verfeinerte die Spracherkennungstechnologie dahingehend, dass sie auch unter Stress und hoher Gefechtslautstärke undeutlich gesprochene Worte des Ersthelfers im richtigen Sinnzusammenhang erkennt.

00:00

00:00 / 00:00

Mobile Nutzung ganz vorne in der Rettungskette

Die KI-Anwendung ist auf dem Standard Mobile Device installiert, das der Soldat ohnehin schon mit sich trägt. Es ist zusammen mit einem Headset an der Ausrüstung des Soldaten befestigt und beeinträchtigt die Beweglichkeit des Trägers somit nicht. Die Anwendung funktioniert im Offline-Betrieb des Mobile Devices – auch aufgrund der taktischen Erfordernisse auf dem Gefechtsfeld. Sobald das Gerät eingeschaltet ist, erkennt die KI die medizinischen Sprachspezifika, etwa in der Unterhaltung des Einsatzersthelfers mit seinem Begleitsoldaten.

Automatisiert werden diese gesprochenen Informationen erfasst, transkribiert und strukturiert in die medizinische Standard-Dokumentation übertragen. Hierbei werden auch Zeitstempel – etwa bei der Verabreichung von Morphin – sowie die GPS-Positionsdaten automatisiert dokumentiert. Zusätzlich werden die Daten mit GPS-Positionsdaten angereichert. Diese Informationen erleichtern dem übernehmenden sanitätsdienstlichen Teil der Rettungskette die Beurteilung über die weiter zu treffenden medizinischen Maßnahmen.

Erfolgreiche Erprobung

In verschiedenen Szenarien wurde der Prototyp gemeinsam mit dem Sanitätsdienst der Bundeswehr erfolgreich getestet: Dabei zeigte sich, dass die medizinische Spracherkennung in Form von Speech-to-Text auch unter Feldbedingungen sowie unter Gefechtslärm funktioniert, und ein vollständiger Offline-Betrieb realisierbar ist.