Mgr inż. Maciej Szymkowski jest asystentem naukowo-dydaktycznym w Katedrze Mediów Cyfrowych i Grafiki Komputerowej Wydziału Informatyki Politechniki Białostockiej. Jako student tego wydziału zainteresował się biometrią. Był jednym z założycieli Studenckiego Koła Naukowego Biometrii, Analizy i Przetwarzania Obrazów i Sygnałów. Po studiach postanowił kontynuować swoją pasję już jako nauczyciel akademicki w Politechnice Białostockiej.
– Dotyk można przekazać przy pomocy dwóch elementów – wyjaśnia mgr inż. Maciej Szymkowski. – Potrzebne są technologie haptyczne, które będą generowały poprzez odpowiednie fale odczucia takiego dotyku na naszej dłoni. Mówimy o pewnych modelach charakterystyczny dla niektórych materiałów, czy też nawet dla niektórych zachowań.
Do tego dochodzą pewne emocje, które naukowcy też chcą przekazywać.
– Drugim elementem jest uczenie maszynowe, czy też modele sztucznej inteligencji, które pozwalają na to, aby móc wygenerować odczucie pewnego materiału, czy też pewnego rodzaju elementów – dodaje Szymkowski.
Do przesyłania dotyku potrzebny jest komputer, dzięki któremu będziemy mieli połączenie z urządzeniem haptycznym, a drugim jest swoisty pulpit haptyczny. To niewielkie urządzenie. Trzymając nad nim dłoń jesteśmy w stanie taki sygnał odczuć.
– Myślę, że w najbliższym czasie stanie się to coraz bardziej powszechną technologią, ponieważ już teraz dostępne urządzenia haptyczne możemy podłączyć przez port USB i tak naprawdę to też gwarantuje nam dostępność takich urządzeń – przekonuje Szymkowski.
Do uzyskania efektu potrzebna jest wiedza dotycząca sztucznej inteligencji – nie tylko o podstawowych modelach jak na przykład sztuczne sieci neuronowe czy konwolucyjne sieci neuronowe, ale również o bardziej zaawansowanych zagadnieniach jak na przykład hybrydowa sztuczna inteligencja.
– To rozwiązania, które będą analizowały nie tylko dane, które dostarczymy, ale również będą starały się umiejscowić je w pewnym kontekście (decyzja będzie podejmowana również w oparciu o czynniki zewnętrzne, nie tylko zaistniałą przesłankę) – wyjaśnia znaczenie sztucznej inteligencji młody naukowiec.
Z sztuczną inteligencją wiąże się też pełna wiedza dotycząca modeli matematycznych, programowania oraz wiedza w zakresie fizyki.
– Moglibyśmy przygotować i opracować odpowiednie modele, natomiast sam sposób fizycznego generowania sygnału musi zostać przygotowany przez specjalistów w dziedzinie fizyki, w dziedzinie sygnału – objaśnia znaczenie różnych dziedzin wiedzy w projekcie Szymkowski. To powiązanie informatyki z fizyką. Sam projekt Touchless AI pozwolił białostockiemu naukowcowi na współpracę z ekspertami w całej Europie.
– Współpracujemy z University College London, jedną z najbardziej renomowanych uczelni w Wielkiej Brytanii – mówi Szymkowski. – To zespół profesora Patricka Haggarda, który zajmuje się modelami neurokognitywistycznymi, ale również jest to zespół profesora Srirama Subramaniana oraz profesor Marianny Obrist którzy zajmują się rozwiązaniami haptycznymi. Dzięki temu projektowi ściśle współpracujemy też z Universidad Pública de Navarra z Pampeluny, a dokładniej z zespołem doktora Asiera Marzo, który jest fizykiem. Jego zespół jest głównie odpowiedzialny za przygotowanie urządzenia. Uniwersytet, jak i całe konsorcjum, dosyć ściśle współpracuje z firmą UltraLeap, która jest odpowiedzialna za samo urządzenie. Tam kierownikiem jest doktor Orestis Georgiou. W konsorcjum znajduje się też Uniwersytet Kopenhaski, który jest odpowiedzialny za przygotowanie biblioteki różnego rodzaju sygnałów z różnego rodzaju odczuć oraz firma Crowdhelix, która jest odpowiedzialna za promocję projektu.
Technologie haptyczne mogą być pomocne w stworzeniu na przykład wirtualnej przymierzalni ubrań.
– Już teraz zespół z University of Glasgow, pracuje nad tym, aby wykorzystać technologie haptyczne w hologramach – zdradza mgr inż. Maciej Szymkowski. – Wydaje mi się, że w krótkim czasie będziemy w stanie przekuć to w bardziej konwencjonalne zastosowania, chociażby w ramach sklepów czy pewnego rodzaju widowisk.
Dzięki haptyce na przykład będziemy mogli lepiej poczuć muzykę. Zamiast wybierać się na koncert, będziemy mogli nie tylko usłyszeć, nie tylko zobaczyć, ale też odczuć muzykę. Będzie to także rozwiązanie dla osoby niesłyszącej.
– Szczególnie, że w przypadku, kiedy jeden zmysł nie pracuje, inne zwykle są wyostrzone – zauważa Szymkowski. – Odczucie na dłoni czy na skórze na pewno pozwoli w pewien sposób odebrać takiej osobie muzykę czy pewne rytmy. Wydaje mi się, że te technologie będą rozwijane w tym kierunku.
Młody naukowiec z Politechniki Białostockiej w tym projekcie rozwija metody sztucznej inteligencji, także hybrydowej, ale też opracowuje modele uczenia maszynowego, które pozwolą chociażby na rozpoznawanie emocji, na ich opis.
– Chcielibyśmy zintegrować te narzędzie z urządzeniem, dzięki któremu będziemy generować sygnał, który ma zasymulować emocje – zapowiada Szymkowski.
Pierwsza prezentacja efektów pracy całego międzynarodowego zespołu jak najszerszej publiczności jest planowana pod koniec roku 2022.
– Będzie to oczywiście rozwiązanie umożliwiające poczucie drugiej osoby – zapewnia Szymkowski.
Wirtualny dotyk może z czasem stać się standardem, niesie jednak ze sobą pewne obawy.
– Według psychologów, stwarza to pewne zagrożenie, bo możemy zbyt mocno wsiąknąć w świat wirtualny – mówi Szymkowski. – Mimo wszystko nasze działania to pewnego rodzaju symulacja. Staramy się zasymulować pewien dotyk, pewne ruchy, natomiast nie zastąpi to obecności drugiego człowieka. Myślę, że standardem w spotkaniach biznesowych czy nawet pomiędzy bliskimi sobie osobami, będziemy możliwość usłyszenia, zobaczenia i poczucia dotyku drugiej osoby.
Naukowcy zdają sobie sprawę ze swoich ograniczeń i ograniczeń sprzętu, jaki jest do dyspozycji przeciętnego Kowalskiego.
– Wciąż jeszcze nie jestem przekonany, że będzie to dokładny ekwiwalent obecności drugiego człowieka, choćby ze względu na same relacje międzyludzkie, psychikę człowieka – zastanawia się Szymkowski. – Oczywiście będziemy dążyć do tego, aby ta symulacja była jak najbardziej rzeczywista, aby jak najdokładniej oddawała drugą osobę, aczkolwiek myślę, że to jest jeszcze perspektywa kilku kolejnych lat.
Na razie międzynarodowy zespół pracuje nad zintegrowaniem swojego rozwiązania z platformą Zoom, tak byśmy mogli poprzez platformę się spotkać i wirtualnie podać sobie dłoń i poczuć dłoń drugiej osoby.
– Pracujemy również nad tym, aby sygnały haptyczne były jak najbardziej personalizowane – zdradza Szymkowski. – Aby na przykład uścisk dłoni nie był dla każdej osoby taki sam, aby wynikało to z emocji, które chcemy przekazać, ale również z psychiki tej drugiej osoby, z którą się komunikujemy.
Kolejnym kierunkiem rozwoju badań jest możliwość skorzystania z haptycznych hologramów.
– Jesteśmy w trakcie bardzo wstępnych rozmów z przedstawicielami University of Glasgow, natomiast planujemy, aby nasze rozwiązania bazujące na emocjach były również wykorzystywane w ich hologramach – ujawnia Szymkowski. Naukowcy nie zamierzają na tym poprzestać.
– Przesyłanie zapachu jest jednym z aspektów, które planujemy na przyszłość – zapowiada naukowiec z Politechniki Białostockiej. – Na razie chcielibyśmy przygotować pierwsze rozwiązanie.
Z nauczycielem akademickim od kilku lat współpracuje Krzysztof Trusiak, dziś student piątego roku Wydziału Informatyki Politechniki Białostockiej.
– Na trzecim semestrze mgr inż. Szymkowski prowadził zajęcia z Przetwarzania Sygnałów i Architektury Komputerów – wspomina Krzysztof Trusiak. – Przykładałem się i mnie zauważył. Rozpoczęliśmy współpracę, najpierw przy projekcie dotyczącym rozwiązań inteligentnych w zastosowaniach komercyjnych, a teraz przy Touchless AI. Student piątego roku, dzięki współpracy naukowej ma już stałą, bardzo interesująca pracę.
– Od pół roku pracuję w firmie SoftServe jako Junior Research and Development – zdradza Trusiak. – Współpracujemy z różnymi uczelniami, w tym z University College London, Universidad Pública de Navarra, uniwersytetem w Kopenhadze i kilkoma innymi. Współpracujemy też z innymi firmami na przykład UltraLeap, która jest odpowiedzialna za urządzenie do przekazywania dotyku.
Wcześniej student był w SoftServe na umowie stażowej i po pewnym czasie zaproponowano mu umowę juniorską.
– W tym projekcie z panem magistrem Szymkowskim zajmujemy się na przykład badaniem emocji, poziomu skupienia człowieka, badaniem jego energii ruchów – opowiada o współpracy przy Touchless AI. – Dużo pracujemy z obrazami, z danymi – na przykład z nagrań wideo z kamer, kiedy nagrywamy siebie i chcemy coś zbadać. Pracujemy za sztuczną inteligencją, ale też opracowujemy klasyczne algorytmy przetwarzania obrazu. Jeżeli chcemy poczuć dotyk na odległość, dobrze by było też znać jakiś stan emocjonalny tego człowieka, czy jest zły, czy jest wesoły. My to widzimy, ale komputer tego nie umie rozpoznać, dlatego naszym zadaniem jest nauczenie tego maszyny.
Znając nieświadome reakcje ludzi na pewne stany emocjonalne chcą też nauczyć sztuczną inteligencję rozpoznawania fałszywych emocji.
– Na razie to technologia przyszłości, ale w domyślnej wersji najlepiej, żeby to było rozwiązanie działające bardzo szybko, przy tym było tanie i dostępne dla każdego – prognozuje Trusiak. Uważa, że praca w tym projekcie i w firmie SoftServe daje mu spore możliwości i samorozwoju, i rozwoju stricte zawodowego.
– Mam określoną ścieżkę kariery i mogę awansować – wymienia Trusiak. – Dla studenta to jest bardzo fajna opcja. Nie dość, że poszerzamy swoją wiedzę, to jeszcze możemy się rozwijać zawodowo.
Krzysztof Trusiak ceni sobie czas spędzony na studiach na Wydziale Informatyki.
– Studia w Politechnice Białostockiej są wartościowe, ponieważ dają ogólny pogląd na dziedzinę, którą studiujemy – sumuje Trusiak. – Jeżeli chcemy się specjalizować tylko jednej gałęzi tej dziedziny, to znajomość innych też sporo pomaga.
I dodaje, że warto się przykładać do studiowania, bo „czasami jest szansa, że ktoś cię wyłapie, da szansę zrobienia czegoś fajnego, także pod kątem przyszłej pracy”.
– Przychodząc na studia planowałem, że zostanę typowym programistą, gdzie będzie praca w korpo, pisanie aplikacji internetowych, a tutaj moje plany się trochę zmieniły – wyznaje Krzysztof Trusiak. – Oczywiście nadal lubię projektować i budować strony internetowe, ale tutaj moja kariera skręciła w ścieżkę naukową, gdzie można robić fajne i ciekawe rzeczy, poznawać nowych ludzi i zwiedzić wiele ciekawych miejsc.
(as)
