Projekty R&D.
Rozwijamy się wraz z rozwojem technologii

ESA Space App Camp to jeden z najciekawszych cyklicznych, międzynarodowych hackatonów, organizowany przez Europejską Agencję Kosmiczną - Centre for Earth Observation z siedzibą we Frascati pod Rzymem. Norbsoft nie mogło tam zabraknąć. W jednej z edycji tego wydarzenia brał udział nasz przedstawiciel.

Motywem przewodnim wydarzenia jest wykorzystywanie w aplikacjach mobilnych danych satelitarnych pozyskiwanych w ramach programu Copernicus.

W ramach międzynarodowego, multidyscyplinarnego zespołu przygotowany został prototyp aplikacji asystenta rolnika opartej o interfejs czatbota. Użytkownik po zaznaczeniu na mapie lokalizacji posiadanych przez siebie upraw, mógł zadawać pytania, zarówno w formie tekstowej jak i głosowo oraz uzyskiwać niezbędne informacje.

Na potrzeby interfejsu konwersacyjnego wykorzystane zostało rozwiązanie Google Dialogflow dostarczające narzędzi i algorytmów rozumienia języka naturalnego (Natural Language Understanding, NLU) a także wbudowane w system Android mechanizmy Speech Recognition i Text-to-speech.

Jedną z funkcji było także rozpoznawanie potencjalnych chorób roślin na podstawie zdjęć liści wykonanych przy pomocy aplikacji. Odpowiedni model AI został przygotowany przy pomocy rozwiązania Tensor Flow z użyciem frameworku Keras, a następnie uruchomiony bezpośrednio na telefonie z systemem Android, dzięki bibliotece TensorFlow Lite.

Model oparty został na zbiorze danych Plant Village, składającym się z ponad 50 tysięcy zdjęć liści zdrowych i chorych roślin.

Informacje pochodzące z danych satelitarnych pobierane były z użyciem REST API i mobilnego Software Development Kit (SDK) Ramani, przygotowanych przez holenderskie Ujuizi Lab’s.

Kanadyjska agencja Mosaic, zwróciła się do Norbsoft z potrzebą stworzenia, w krótkim czasie promocyjnej aplikacji mobilnej na potrzeby kampanii związanej z premierą nowego typu telewizora firmy Samsung. The Frame TV to urządzenie o designerskim wyglądzie, które oprócz typowych funkcji znanych ze smart tv, pozwala także na prezentację dzieł sztuki lub własnych zdjęć, gdy urządzenie jest wyłączone, a użytkownik znajduje się w jego pobliżu.

Idea aplikacji promocyjnej polegała na umożliwieniu użytkownikom odtworzenia ich własnych zdjęć z użyciem stylu znanych malarzy i zaczerpnięta została z niezwykle popularnej w tamtym czasie aplikacji Prisma.

W ciągu niespełna dwóch tygodni powstało rozwiązanie, które pozwala na zebranie od użytkownika danych kontaktowych, wykonanie przez niego zdjęcia i przesłanie go na serwer, gdzie po przetworzeniu przy pomocy wyspecjalizowanych algorytmów było odsyłane jako załącznik do wiadomości e-mail.

Przy pomocy biblioteki PyTorch stworzona została sieć neuronowa do transferu stylu obrazu, która została następnie wytrenowana dla dzieła The Starry Night Vincenta van Gogha z użyciem zbioru MS COCO (Microsoft Common Objects in Context).

Operacja stylizacji wiąże się z olbrzymim zapotrzebowaniem na moc obliczeniową, której brakuje urządzeniom mobilnym, a nawet standardowym serwerom. W ramach wdrożenia w Norbsoft zastosowaliśmy chmurę firmy Amazon z instancjami wyposażonymi w GPU (Elastic Compute Cloud g2.2xlarge).

Niezależnie od prac rozwojowych planowanych i zlecanych przez naszego Klienta - Empik Foto Sp. z o.o., zespół Norbsoft zaangażowany w projekt prowadził własne, niezależne eksperymenty, mające na celu analizę możliwości technologicznych wdrożenia nowych, unikalnych funkcji do produktu.

Aplikacja Empik Foto pozwala na zamówienie fizycznych produktów, spersonalizowanych z użyciem zdjęć użytkownika. Wśród oferowanych produktów znaleźć można m.in. kubki.

Wykorzystując możliwości Apple ARKit przygotowaliśmy POC (proof of concept) wizualizacji kubka ze zdjęciem użytkownika w rozszerzonej rzeczywistości.

W 2012 roku reprezentanci Norbsoft wzięli udział w hackathonie Isobar Create London. W trakcie weekendu spędzonego w stolicy Albionu przygotowany został prototyp piłkarskiej, kolekcjonerskiej gry karcianej wykorzystującej technologię NFC.

Fizyczne karty reprezentujące zawodników zawierały w sobie tagi, które rozpoznawane były przez dedykowaną aplikację mobilną. Przy jej pomocy można było toczyć pojedynki zgodnie z zasadami gry czy przeprowadzać transakcje wymiany.

Aplikacja zawierała także elementy Augmented Reality, prezentując dodatkowe animacje po skierowaniu aparatu na daną kartę.

W 2011 roku, na zaproszenie operatora sieci komórkowej Plus (Polkomtel Sp. z o.o.) Norbsoft wziął udział w 15. Pikniku Naukowym Polskiego Radia. W ramach stoiska sieci zaprezentowaliśmy możliwości technologii Augmented Reality.

Przy pomocy Qualcomm AR Software Development Kit, stworzyliśmy eksperymentalną implementację wykorzystującą wirtualne przyciski - aparat telefonu komórkowego wykrywał przesłonięcia wybranych fragmentów predefiniowanej grafiki. W naszym przypadku obrazem tym było wydrukowane zdjęcie klawiatury fortepianowej, a przyciskami konkretne klawisze. Naciśnięcie klawisza związane było z odegraniem odpowiedniego dźwięku przez aplikację w telefonie.

creativeBox był to działający pod kontrolą systemu przygotowanego przez Norbsoft, energo-oszczędny i tani mikrokomputer Raspberry Pi®, który wyposażyliśmy dodatkowo w moduły łączności radiowej Bluetooth Low Energy oraz Wi-Fi. Pozwalał on na tworzenie rozwiązań opartych na interakcjach z aplikacją mobilną w urządzeniu użytkownika, która zachodziła wyłącznie w wybranym, fizycznie dostępnym miejscu wewnątrz budynków.

Po podłączeniu do zasilania (standardowy zasilacz ze złączem micro-USB) oraz Internetu (przewodowe połączenie Ethernet) otrzymywaliśmy urządzenie, które mogło pracować jako nadajnik zgodny ze standardem Apple iBeacon (np. informować aplikację, że użytkownik znajduje się blisko interesującego punktu wewnątrz budynku).

creativeBox mógł także analizować komunikację Wi-Fi zachodzącą w jego pobliżu, w celu odnalezienia urządzeń, na których zainstalowano aplikację, z zerowym wpływem tej aplikacji na czas życia baterii.

creativeBox posiadał także wyjście HDMI, pozwalające na wizualną komunikację z użytkownikami, za pośrednictwem podłączonego ekranu (TV, projektor) – np. powitanie użytkownika znajdującego się w salonie, w obrębie strefy creativeBox przy pomocy jego imienia, czy też wyświetlanie dodatkowej zawartości stanowiącej uzupełnienie treści widocznych w dedykowanej sekcji w aplikacji.

creativeBox mógł pracować także w trybie ograniczonego hotspota – udostępniając użytkownikom dostęp do sieci wyłącznie w zakresie pozwalającym na działanie aplikacji.

Konfiguracja urządzenia odbywała się za pośrednictwem usługi działającej w chmurze.