Anwendungspotentiale von intelligenten Audioanalyse ...

https://www.tu-chemnitz.de/informatik/mc/Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko

Roadshow@HoCare 2.0: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“

Anwendungspotentiale von intelligenten Audioanalyse-Algorithmen für den Bereich assistiertes Wohnen und Pflege

Jun.-Prof. Dr. rer. nat. Danny Kowerko

Technische Universität Chemnitz

Fakultät für Informatik

Juniorprofessur „Media Computing“

Straße der Nationen 62

09111 Chemnitz

Tel.: +49 (0)371 531-35660

Forschung: https://www.tu-chemnitz.de/informatik/mc/research.php

E-Mail: [email protected]

Klinisches Ökosystem Chemnitz: https://medien.informatik.tu-chemnitz.de/ehealth

https://www.tu-chemnitz.de/informatik/mc/research.php#ophthalvis

mailto:[email protected]

https://medien.informatik.tu-chemnitz.de/ehealth

https://www.tu-chemnitz.de/informatik/mc/2Chemnitz ∙ 01. Dezember 2021 ∙ Jun.-Prof. Dr. Danny Kowerko

Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse im Bereich assistiertes Wohnen“

Forschungsfrage im Rahme von HoCare2.0:

Wo und wie kann intelligente Audioanalyse in der Pflege sinnvoll eingesetzt werden?

Lösungsansatz:

Co-Creation und Entwicklung mit Endnutzenden



Entwicklungsprozesskette

2020

Kickoff

•Bewerbung

•Projektvorstellung

03/2021

1. Workshop

•Vorstellung der Technologie: Geräuscherkennung mit KI

•Priorisierung von Geräuschen

•Priorisierung von Geräte-Lösungen

05/2021

2. Workshop

•Vorstellung ähnlicher Apps

•Nutzenden-Feedback zu Apps

09/2021Praxistest

•Funktionaler Prototyp in Workshop in Dresden vorgestellt und getestet

11/12 2021

•Labor-Prototyp mit Fernzugriff (Dezember)

•Überarbeiteter Prototyp für daheim / Minimal Viable Product (Dezember/Januar)

Anfang 2022•Projektende mit evaluiertem MVP

Demonstrator zur Geräusch-Erkennung

(ACM 2019, [1])

Geräusche

[1] A. Sampath Kumar, R. Erler, and D. Kowerko, ‘A Real-Time Demo for Acoustic Event

Classification in Ambient Assisted Living Contexts’, in Proceedings of the 27th ACM

International Conference on Multimedia - MM ’19, Nice, France, 25.10 2019, pp. 2205–

2207, doi: 10.1145/3343031.3350600. https://www.youtube.com/watch?v=PpiL89t9_kY

https://doi.org/10.1145/3343031.3350600

https://www.youtube.com/watch?v=PpiL89t9_kY



Ergebnisse 1. Workshop: Essentials

Geeignete Hardware/Mikrofone:

1. Smartphones

2. Hörgeräte

3. Tablets/Tablet-PCs

Einschränkungen:

- Billige Smartphones

- USB-Mikros

IphoneHuwai

Smartphone (M

ob. Cynus F9)

MiniPC (Nuc) m

it USB-M

ikro

Surface-B

luetooth-Hansatio

n

Surface-In

ternes Mikro

0

10

20

30

40

50

60

70

80

90

F1 s

core

Gerät

Lautstärke 50%

Klassifikation Original-Dateien

Interessante Hardware

Kompakte/vorhandene Geräte:

• Smartphone/Smart Watch

• Hörgerät

• Surface Tablet-PC

Relevante Klassen:

• Gefahrenerkennungsrelevanz

• Gesundheitsassoziierte Geräusche



Ergebnisse 2. Workshop: Feedback zu vorgestellten Smartphone-Apps

1. BirdNet: Vogelstimmenerkennung

2. SnoreLab: Schnarcherkennung

3. Live Transcribe: Transkription/Geräuscherkennung

• Gute Bedienbarkeit

• Überraschungseffekt: Neue

Arten

• Import vom Dateien gewünscht

• Anbindung an andere Apps

• Gute Bedienbarkeit

• Klanglandschaften überflüssig

• Personenzuordnung gewünscht

• Kern/Nebenaufgaben abgrenzen

• Drucken/Arztbesuch

• Funktion zum Beenden fehlt

• Trennung Betreuende/Nutzende

• Personenzuordnung/Richtung

• Pegelanzeige gewünscht

• Kern/Nebenaufgaben abgrenzen



Ergebnisse 3. Workshop: Feedback zur Nutzeroberfläche

Ziel:

• Überarbeitung / Vorbereitung einer einfach bedienbaren und funktionalen Browseranwendung

→ Feldstudie mit Demonstrator bei Ü60-Nutzenden

Work in Progress :

• Modularer Aufbau mit

• Live Stream

• Zeitreihen

• Statistiken

• Alarmfunktionen

• Kalender

• Nutzung als Labor-Demo auch auf Smartphone

• GUI via Webpage link: https://indoorsoundclassification.informatik.tu-chemnitz.de/demo

• Audio via Webroom: https://webroom.hrz.tu-chemnitz.de/gl/aru-gjv-s2s-pgv

https://indoorsoundclassification.informatik.tu-chemnitz.de/demo

https://webroom.hrz.tu-chemnitz.de/gl/aru-gjv-s2s-pgv



Ergebnisse 3. Workshop: Feedback zur NutzeroberflächeNutzung als Labor-Demo auch auf dem Smartphone

Audio via Webroom:

https://webroom.hrz.tu-

chemnitz.de/gl/aru-gjv-s2s-

pgv

Demo-Webseite (GUI):

https://indoorsoundclass

ification.informatik.tu-

chemnitz.de/demo




Nächste Schritte:

• Feldstudie mit Demonstrator bei Ü60-Nutzenden

• Online

• Lokal mit Surface Tablet

Nach der Studie:

• Debugging

• Optimieren

• GUI

• Klassengenauigkeit

• Art der Klassen

Langzeit-Ziel:

• Finden konkreter nutzenbringender Anwendungen in häuslicher Umgebung: Anwendungs-/Aufstellungsort

• nutzenbringender Anwendungen in anderen Domänen


Ausblick auf dem Weg zum Produkt: die Hardware

Tablet-PC mit Tastatur


• Ihnen für Ihr Interesse

• Corina Röllig, Carus Consilium

• Dr. Olaf Müller, Carus Consilium

Fakultät für Informatik/Juniorprofessur Media Computing Kurztitel: „Anwendungspotentiale von Audioanalyse in Bereich assistiertes Wohnen“

Danksagung

B. Sc. Arunodhayan Sampath-Kumar, KI-Entwickler

Studiengang: „Automotive Software Engineering“

TU Chemnitz

Nutzung als Labor-Demo auch auf dem Smartphone

Audio via Webroom:

https://webroom.hrz.tu-

chemnitz.de/gl/aru-gjv-s2s-

pgv

Demo-Webseite (GUI):

https://indoorsoundclass

ification.informatik.tu-

chemnitz.de/demo



Anwendungspotentiale von intelligenten Audioanalyse ...

Documents

Transcript of Anwendungspotentiale von intelligenten Audioanalyse ...