Studenci z Politechniki Wrocławskiej pracują nas wykorzystaniem EEG i AI w komunikacji bez użycia głosu i gestów

Okazuje się, że do komunikacji mogą wystarczyć fale mózgowe, które przy użyciu zaawansowanych algorytmów AI zostają przekształcone w słowa. Nad takim rozwiązaniem pracują studenci z Politechniki Wrocławskiej.

Kluczowym elementem projektu „EEG2Text” jest wykorzystanie elektroencefalografii (EEG). To nieinwazyjna, całkowicie bezpieczna metoda diagnostyczna oceniająca czynność bioelektryczną mózgu. Wykorzystuje się w niej elektrody umieszczone na skórze głowy, które rejestrują sygnały neuronów. W medycynie jest ona stosowana m.in. do diagnostyki padaczki czy zaburzeń snu.

Studenci z Koła Naukowego Neuron na Wydziale Informatyki i Telekomunikacji Politechniki Wrocławskiej

Okazuje się jednak, że fale mózgowe można również wykorzystać do komunikacji. Pracują nad tym studenci z Koła Naukowego Neuron, które działa na Wydziale Informatyki i Telekomunikacji oraz Tymon Drop, tegoroczny maturzysta. Ich projekt „EEG2Text”, choć jest dopiero na bardzo wczesnym etapie realizacji, zakwalifikował się do krajowego finału globalnego programu Red Bull Basement 2026.

Jak wyłapać elektryczny szept?

Pomysł studentów zakłada wykorzystanie sztucznej inteligencji do przetwarzania danych pozyskanych w trakcie EEG, które pozwoliłyby na pewien stopień komunikacji. Takie rozwiązanie, niewymagające użycia głosu ani żadnych gestów, pozwoliłoby na kontakt z otoczeniem osobom zmagającym się na przykład z całkowitym paraliżem.

– W naszych badaniach wykorzystujemy czepki 32-elektrodowe, które pozwalają na prowadzenie dość zaawansowanych analiz. Największym wyzwaniem w całym projekcie jest niezwykle niski stosunek odbieranego sygnału neuronów do towarzyszącego mu szumu elektrycznego – mówi Kamil Wróbel, lider sekcji AI w KN Neuron.

Projekt „EEG2Text” realizowany przez studentów z Politechniki Wrocławskiej

Okazuje się, że nasz mózg generuje nieustanny szum elektryczny, wynikający z procesów fizjologicznych, emocji czy bodźców zewnętrznych. Sygnał odpowiadający konkretnej myśli o słowie jest w tym gąszczu informacji niezwykle subtelny i trudny do wyłapania.

– Ludzki umysł rzadko skupia się na jednej rzeczy. Nawet jeśli próbujemy „pomyśleć” konkretne słowo, w tle mogą pojawiać się refleksje na przykład o planowanym obiedzie czy wydarzeniach minionego dnia. Zadaniem sztucznej inteligencji w tym projekcie jest odfiltrowanie tego informacyjnego chaosu i dostrzeżenie schematów, których ludzkie oko nie jest w stanie wyłapać na wykresie – wyjaśnia Kamil Wróbel.

Myśli jak odciski palców

Fascynującym, ale i problematycznym elementem w projekcie jest to, że sygnały EEG są unikalne dla każdego człowieka – podobnie jak linie papilarne. Sposób, w jaki nasz mózg „koduje” pojęcia, jest niepodrabialny, a wynika to z różnic w budowie anatomicznej oraz indywidualnych procesów poznawczych.

Projekt „EEG2Text” realizowany przez studentów z Politechniki Wrocławskiej

– Oznacza to, że nie można stworzyć jednego, uniwersalnego modelu AI, który od razu działałby u każdego i wyłapywał sygnał elektryczny przechodzący przez neurony z szumu. Konieczne jest jego dostosowanie i odpowiednia kalibracja. Każdy nowy użytkownik musiałby przejść krótki proces „uczenia” systemu , podczas którego myślałby o konkretnych słowach, pozwalając algorytmowi dostosować się do specyfiki jego własnych fal mózgowych – tłumaczy student.

Kolejną kwestią do rozwiązania jest sam sposób, w jaki formujemy myśli. Naukowcy wyróżniają kilka podejść, które są obecnie przedmiotem analizy badaczy z całego świata. Są to:

• inner speech (mowa wewnętrzna): kiedy „słyszymy” słowa w swojej głowie,
• imagine speech (wyobrażona artykulacja): wyobrażanie sobie ruchu języka i mięśni twarzy niezbędnych do wypowiedzenia słowa,
• visual imagery (obrazy wizualne): wyobrażanie sobie konkretnego obiektu, np. walizki.

Projekt „EEG2Text” realizowany przez studentów z Politechniki Wrocławskiej

– Problem polega na tym, że każdy z nas może robić to inaczej. Co więcej, o ile „walizkę” łatwo zwizualizować, o tyle pojęcia abstrakcyjne wymagają już innego podejścia, prawdopodobnie opartego na wyobrażonej artykulacji. Spójność instrukcji dla osób badanych jest tu kluczowa, aby nie wprowadzać dodatkowego błędu do i tak już skomplikowanych danych – dodaje Kamil Wróbel.

Dwie drogi do celu

Projekt „EEG2Text” można by więc rozwijać dwutorowo. Pierwsza ścieżka – najbardziej ambitna – to bezpośrednie tłumaczenie myśli na słowa. Zespół testował już modele na publicznie dostępnych zbiorach danych, osiągając obiecujące wyniki rzędu 70-80% skuteczności przy słowniku obejmującym cyfry, litery i podstawowe obiekty.

– W tym wypadku musimy się jednak mierzyć z problemem wycieku danych (data leakage), który podważa rzetelność wielu publikowanych wyników naukowych dotyczących odczytywania sygnałów EEG – wyjaśnia student.

Druga ścieżka jest bardziej pragmatyczna. Wykorzystuje ona fakt, że sygnał EEG generowany podczas wyobrażania sobie ruchu (np. prawej lub lewej dłoni) jest znacznie silniejszy i łatwiejszy do odczytania niż sygnał czystej myśli o słowie.

– System mógłby zatem działać na zasadzie wirtualnej klawiatury, gdzie użytkownik „klika” litery lub wybiera kierunki za pomocą intencji ruchu, co wspierane przez autouzupełnianie AI, pozwoliłoby na sprawne budowanie zdań. Nawet jeśli byłaby to metoda wolniejsza, to dla osób pozbawionych innej formy kontaktu ze światem, stanowiłaby bezcenny pomost komunikacyjny – zaznacza Kamil Wróbel.

Projekt „EEG2Text” realizowany przez studentów z Politechniki Wrocławskiej

Pomysł „EEG2Text” zakwalifikował się do etapu krajowego programu Red Bull Basement 2026 i choć nie zdobył głównej nagrody, to jednak zespół z KN Neuron nie zamierza przerywać prac. Studenci chcą nie tylko stworzyć działający prototyp, ale przede wszystkim przeprowadzić rzetelne badania.

– Obecnie sporym utrudnieniem w dziedzinie EEG jest brak dużej ilości danych wysokiej jakości. Chcielibyśmy przeprowadzić badania na szerszą skalę, aby zgromadzić możliwie dużą bazę sygnałów EEG, która pozwoli na lepszą generalizację modeli AI – zapowiada Kamil Wróbel.

Choć projekt koncentruje się na komunikacji tekstowej, potencjał technologii badanych w KN Neuron jest znacznie szerszy. Rozpoznawanie emocji, sterowanie protezami czy nowoczesne systemy zabezpieczeń biometrycznych to tylko niektóre z kierunków, w których może ewoluować ta dziedzina.

Źródło: Politechnika Wrocławska