Język: Polski | English
W wypadku problemów: kliknij tutaj

Translator i Słownik Polskiego Języka Migowego

O systemie THETOS

Projekt wykonany na Politechnice Śląskiej, finansowany przez Komitet Badań Naukowych i Ministerstwo Edukacji i Nauki w ramach projektów badawczych 8 T11C 007 17 oraz 4 T11C 024 24. Copyright (c) 1999-2010 by Silesian University of Technology.
Celem projektu THETOS jest wykonanie systemu tłumaczącego teksty w języku polskim na polski język migowy (a ściślej – na pewien jego dialekt). Przetłumaczony przekaz migowy jest prezentowany przez wirtualnego, animowanego tłumacza.
Obecnie dostępne są następujące elementy:

  • działający prototyp systemu (tylko do użytku wewnętrznego),
  • uproszczona wersja demonstracyjna

Nowa wersja systemu THETOS dostępna jest również poprzez przeglądarkę WWW w postaci apletu Unity3D. Zastosowana technologia pozwala na przetłumaczenie zdań i tekstów o dowolnej złożoności. Słowa, których system nie zna, są automatycznie literowane. Wszystkie obliczenia dokonywane są w czasie rzeczywistym, dzięki czemu system jest w pełni interaktywny. Na stronie zamieszczamy aplet na żywo prezentujący znaki języka migowego odpowiadające zadanym słowom i ciągom słów. W wersji demonstracyjnej dostępny jest tylko nieduży zbiór znaków. Zarazem jest podana obszerniejsza (lecz niepełna) lista słów, których odpowiedniki migowe występują w pełnej wersji.

 

Cel i uzasadnienie projektu

Problemy osób głuchych są bardzo często niedoceniane, gdyż na ogół sądzimy, że mogą one swobodnie posługiwać się słowem pisanym. Tymczasem bardzo często ludzie głusi od urodzenia nie potrafią pisać ani czytać, lub mają poważne z tym problemy. Dlatego zastosowanie ich podstawowego i naturalnego środka komunikacji, jakim jest język migowy, jest tak ważne. Główne cele, jakie postawiliśmy sobie w projekcie THETOS, to:

  • wspomaganie komunikacji pomiędzy osobami słyszącymi i niesłyszącymi,
  • wspomaganie osób niesłyszących w nauce języka mówionego (fonicznego),
  • wspomaganie kształcenia nauczycieli i tłumaczy polskiego języka migowego (słyszących jak i niesłyszących)

System THETOS pozwala na wpisanie zdania (lub ciągu zdań) w języku polskim, a następnie tłumaczy je na przekaz w języku migowym. Rozwiązanie uwzględnia specyficzną składnię i gramatykę polskiego języka migowego, znacząco odmienną od języka fonicznego. Przekaz, sprowadzony do ciągu gestów, jest w końcowej fazie tłumaczenia prezentowany przez animowaną, wirtualną postać.

System uzupełniono ponadto o animowany słownik Polskiego Języka Migowego.



Działanie i budowa systemu THETOS

System THETOS składa się z dwóch głównych części: lingwistycznej i multimedialnej.


Część lingwistyczna przekształca tekst wejściowy na ciąg słów, reprezentujących znaki odpowiadającej mu wypowiedzi wyjściowej, skonstruowany zgodnie z regułami języka migowego. Wypowiedź wejściowa jest poddawana analizie morfologicznej, składniowej i semantycznej. Przy tej ostatniej są uwzględniane wybrane powiązania anaforyczne występujące w tekście. Przeanalizowana wypowiedź jest przedstawiana w reprezentacji predykatowo-argumentowej, spełniającej rolę reprezentacji semantycznej. Transfer (tłumaczenie) odbywa się na poziomie tej reprezentacji. Wykorzystuje się przy nim ograniczoną, większą niż w wersji prototypowej liczbę relacji semantycznych. Procesory lingwistyczne wraz z bazą słownikową, używane przez część lingwistyczną w trakcie analizy i tłumaczenia, są zebrane na serwerze LAS. Serwer ten jest dostępny dla wszystkich zainteresowanych użytkowników Internetu pod adresem http://las.aei.polsl.pl/las2/.


W części multimedialnej systemu słowa wypowiedzi wyjściowej są przedstawiane jako znaki-gesty przez specjalnie opracowaną postać wirtualną – awatara. Do r. 2006 część multimedialna była realizowana w oparciu o platformę FreeWill+. W r. 2007 nastąpiło przejście na platformę FRS. W wersji FeeWill+ ruchy składające się na gesty opisano w notacji gestograficznej SiGN B. Szczepankowskiego. Procedury interpretujące opisy gestów – m.in. – automatycznie uzupełniały niejawne informacje o położeniu części ciała postaci i eliminowały niespójności opisu. Wyeliminowano większość kolizji części ciała. Uwzględniono też animację ruchu warg postaci, wypowiadającej słowa odpowiadające pokazywanym znakom. Prezentacja jest płynna i odbywa się w czasie rzeczywistym. W wersji FRS zrezygnowano z notacji SiGN ze względu na trudności z uzyskaniem w oparciu o nią satysfakcjonującej precyzji ruchów. Zamiast tego mechanizm animacji korzysta z zakodowanych szczegółowych opisów ruchów awatara, zarejestrowanych podczas sesji bezpośredniego modelowania tych ruchów przez grafika. Animacja ruchu warg na razie nie została zaimplementowana.


Zakres tłumaczonych tekstów jest limitowany zawartością stworzonych słowników dla języka wejściowego i wyjściowego. Słowniki systemu THETOS 3.0 po stronie wejściowej zawierają opis około 75'000 wyrazów sprowadzonych do formy podstawowej. Po stronie wyjściowej słownik dla wersji korzystającej z platformy FreeWill+ obejmuje ok. 1400 znaków języka migowego, w tym wszystkie obowiązujące kandydatów na tłumaczy języka przy egzaminie pierwszego stopnia. Duża liczba znaków odnosi się do spraw pierwszej pomocy medycznej, z myślą o których była skonstruowana wersja prototypowa systemu. Słownik dla wersji korzystającej z platformy FRS obejmuje około 1000 znaków.



THETOS w mediach

System THETOS wzbudził zainteresowanie mediów, w tym telewizji (regionalnej i ogólnopolskiej) i prasy. Wspominano o nas między innymi:

  • w ogólnopolskim programie edukacyjnym "Laboratorium" (TVP1),
  • w ogólnopolskim programie informacyjnym Panorama (TVP2),
  • w wiadomościach na antenie lokalnej "Trójki" (Aktualności - TVP3),
  • w audycji popularno-naukowej Polskiego Radia Bis,
  • w relacji z Pikniku Naukowego Polskiego Radia (30.05.2009) (PR3),
  • w lokalnym dodatku "Gazety Wyborczej",
  • w lokalnym Dzienniku Zachodnim,
  • w kilku serwisach internetowych (między innymi Onet)

Wkrótce postaramy się zamieścić więcej materiałów na ten temat.

 

Materiały do pobrania

Program jest na etapie ciągłego rozwoju. Obecnie trwają prace nad dostrojeniem ruchu animowanej postaci. Nie wszystkie gesty są podobne do prawdziwych znaków języka migowego, i nie wszystkie wyglądają naturalnie. Materiały, które można pobrać poniżej, dobrze ilustrują bieżący stan prac.

Animacja

Przykładowy przekaz migowy wygenerowany za pomocą starej wersji systemu THETOS.

Otwórz animację (Zewnętrzne okno)

Wersja demo

Pozwala na odtwarzanie predefiniowanego zestawu zdań. Zablokowano pełną analizę lingwistyczną i ograniczono zakres haseł słownikowych

Pobierz wersję demo

Publikacje

J. Romaniuk, N. Suszczańska (2009)
Studies on Emotions Translation in the Thetos System.
In: GESPIN Conference, Poznań, Poland, CD ISBN 978-83-926446-7-5.

N. Suszczańska, P. Szmal, K. Simiński (2009)
The Deep Parser for Polish. In: Z. Vetulani, H. Uszkoreit,
"Responding to Information Society Challenges: New Advances in Human Language Technologies". LNAI 5603, Springer, pp. 205-211.

N. Suszczańska (2008)
System LIANA wspomagania projektowania systemów informatycznych.
In: B. Hnatkowska, Z. Huzar (eds.) "Inżynieria oprogramowania – metody i narzędzia wytwarzania oprogramowania", Wydawnictwo Naukowe PWN, Warszawa, pp. 146-159.

Pełna lista publikacji

THETOS online

Wpisz słowo do przetłumaczenia:

Możesz także wybrać słowo z listy: