Wizja maszynowa to zbiór technologii, które zapewniają automatycznym urządzeniom wysoki poziom zrozumienia bezpośredniego otoczenia na podstawie obrazów. Bez oprogramowania do wizji maszynowej obrazy cyfrowe byłyby niczym więcej niż prostymi, niepowiązanymi zbiorami pikseli. Wizja maszynowa pozwala komputerom wykrywać krawędzie i kształty w obrazach, aby procedury przetwarzania wyższego poziomu mogły identyfikować z góry określone obiekty będące przedmiotem zainteresowania. W tym sensie obrazy nie muszą ograniczać się do tych fotograficznych w widmie widzialnym. Mogą również obejmować obrazy uzyskane za pomocą sygnałów podczerwieni, lasera, promieni rentgenowskich i ultradźwięków.

Wizja maszynowa zapewnia systemom wysoki poziom zrozumienia otoczenia na podstawie obrazów. Źródło: DigiKey

Obecnie jednym z powszechnych zastosowań wizji maszynowej w środowisku przemysłowym jest identyfikacja konkretnej części w pojemniku zawierającym losowo ułożoną mieszankę. W tym przypadku wizja maszynowa może pomóc robotom typu „pick-and-place” w automatycznym podnoszeniu właściwej części. Oczywiście rozpoznawanie takich części za pomocą obrazowania byłoby stosunkowo proste, gdyby wszystkie były starannie ułożone i zorientowane w ten sam sposób na tacy. Jednak solidne algorytmy wizji maszynowej mogą rozpoznawać obiekty znajdujące się w różnych odległościach od kamery, a także w różnych orientacjach.

Najbardziej zaawansowane systemy wizji maszynowej umożliwiły powstanie nowatorskich projektów, znacznie bardziej zaawansowanych niż wybieranie elementów z pojemników.

Technologie wizji maszynowej

Termin „wizja maszynowa” jest czasami zarezerwowany dla bardziej ugruntowanych i wydajnych metod matematycznych służących do pozyskiwania informacji z obrazów. Natomiast termin „wizja komputerowa” zazwyczaj opisuje bardziej nowoczesne i wymagające obliczeniowo systemy — w tym podejścia typu „czarna skrzynka” wykorzystujące uczenie maszynowe lub sztuczną inteligencję (AI). Jednak termin „wizja maszynowa” może również służyć jako ogólny, obejmujący wszystkie metody pozyskiwania informacji wysokiego poziomu z obrazów.

Skanery 3D rejestrują obrazy 2D obiektu, aby stworzyć jego model 3D. W niektórych przypadkach modele cyfrowe są następnie wykorzystywane do drukowania kopii w 3D. Źródło: DogiKey

Technologie służące do pozyskiwania informacji wysokiego poziomu z obrazów stają się coraz bardziej powszechne. W środowisku naukowym są często traktowane jako odrębne od wizji maszynowej. Jednak w praktyce wszystkie one stanowią różne sposoby osiągnięcia wizji maszynowej i w wielu przypadkach nakładają się na siebie.

• Cyfrowe przetwarzanie obrazu

Obejmuje poprawę jego jakości, odnawiania, kodowania i kompresji. W porównaniu z analogowym przetwarzaniem obrazu, jego zaletą jest zminimalizowany poziom szumów i zniekształceń, a także dostępność znacznie większej liczby algorytmów. Cyfrowa poprawa jakości obrazu często polega na zwiększeniu kontrastu oraz korektach geometrycznych dotyczących kąta widzenia i odkształceń obrazu pochodzących z obiektywu. Kompresja jest zazwyczaj osiągana poprzez aproksymację złożonego sygnału do kombinacji funkcji cosinusowych.

• Fotogrametria

Wykorzystuje pewnego rodzaju identyfikację cech w celu uzyskania pomiarów z obrazów. Pomiary te mogą obejmować informacje 3D, gdy wiele obrazów tej samej sceny zostało uzyskanych z różnych pozycji. Najprostsze systemy fotogrametryczne mierzą odległość między dwoma punktami na obrazie przy użyciu skali. W tym celu zazwyczaj wymagane jest umieszczenie na obrazie znanego odniesienia skali.

• Wykrywanie cech

Pozwala komputerom identyfikować krawędzie i rogi lub punkty na obrazie. Jest to pierwszy wymagany krok w fotogrametrii, podobnie jak identyfikacja obiektów i ruchu. Wykrywanie plam pozwala identyfikować obszary o krawędziach zbyt gładkich.

• Rozpoznawanie wzorców

Służy do identyfikacji określonych obiektów. W najprostszym przypadku może to oznaczać poszukiwanie konkretnej, dobrze zdefiniowanej części mechanicznej na przenośniku.

• Rekonstrukcja 3D

Określa trójwymiarową formę obiektów na podstawie obrazów 2D. Można ją uzyskać za pomocą metod fotogrametrycznych, w których wysokość wspólnych cech (zidentyfikowanych na obrazach z różnych punktów obserwacyjnych) jest określana za pomocą triangulacji. Rekonstrukcja 3D jest również możliwa przy użyciu pojedynczego obrazu 2D.

Jak są porządkowane zadania wizji maszynowej?

Wiele systemów wizji maszynowej stopniowo łączy powyższe techniki, zaczynając od operacji niskiego poziomu, a następnie przechodząc kolejno do operacji wyższego poziomu. Na najniższym poziomie wszystkie piksele obrazu są przechowywane jako dane o dużej przepustowości. Następnie każda operacja w sekwencji identyfikuje cechy obrazu i przedstawia interesujące informacje przy użyciu stosunkowo niewielkiej ilości danych.

Czujniki obrazu mogą identyfikować elementy obrabiane według typu, rozmiaru, położenia, orientacji i koloru.

Najpierw wykonywane są operacje niskiego poziomu, takie jak poprawianie i przywracanie obrazu, a następnie wykrywanie cech. W przypadku stosowania wielu czujników, operacje niskiego poziomu mogą być wykonywane przez procesy rozproszone, dedykowane dla poszczególnych czujników. Po wykryciu cech w poszczególnych obrazach, można przeprowadzić pomiary fotogrametryczne wyższego poziomu, a także identyfikację obiektów lub inne zadania oparte na połączonych danych z wielu obrazów i czujników.

Bezpośrednie obliczenia i algorytmy uczenia się

Bezpośrednie obliczenia w kontekście widzenia maszynowego to zestaw funkcji matematycznych, które są ręcznie definiowane przez programistę. Przyjmują one dane wejściowe, takie jak wartości pikseli obrazu, aby uzyskać dane wyjściowe, takie jak współrzędne krawędzi obiektu. Natomiast algorytmy uczenia się nie są bezpośrednio pisane przez ludzi, ale są trenowane za pomocą przykładowych zestawów danych, które kojarzą dane wejściowe z pożądanymi danymi wyjściowymi. Funkcjonujące jak czarne skrzynki, uczenie maszynowe wykorzystuje obecnie głębokie uczenie oparte na sztucznych sieciach neuronowych do wykonywania obliczeń.

Proste uczenie maszynowe do zastosowań przemysłowych jest często bardziej niezawodne i mniej wymagające obliczeniowo, jeśli opiera się na obliczeniach bezpośrednich. Oczywiście istnieją ograniczenia co do tego, co można osiągnąć za pomocą bezpośrednich obliczeń. Na przykład bezpośrednie obliczenia nie pozwalają na wykonanie zaawansowanego rozpoznawania wzorców wymaganego do identyfikacji osób na podstawie ich twarzy, zwłaszcza na podstawie obrazu wideo z zatłoczonej przestrzeni publicznej. Natomiast uczenie maszynowe zręcznie radzi sobie z takimi zastosowaniami. Nic więc dziwnego, że uczenie maszynowe jest coraz częściej wykorzystywane do operacji wizji maszynowej niższego poziomu, w tym poprawy jakości obrazu, przywracania obrazu i wykrywania cech.

Wizja maszynowa dla bezpieczeństwa przemysłowego

Wizja maszynowa nie jest już technologią niszową. Przeżywa największy wzrost zastosowań w przemyśle. Najbardziej spektakularnym osiągnięciem jest to, że uzupełnia obecnie systemy bezpieczeństwa zakładów przemysłowych, które uruchamiają alarmy lub emitują komunikaty dźwiękowe, gdy pracownicy zakładu wchodzą do strefy roboczej bez kasku, maski lub innego odpowiedniego sprzętu ochronnego. Wizja maszynowa może również uzupełniać systemy, które ostrzegają, gdy maszyny mobilne, takie jak wózki widłowe, zbliżają się zbytnio do ludzi.

Te i podobne systemy wizji maszynowej mogą czasami zastąpić twarde osłony wokół robotów przemysłowych, umożliwiając bardziej wydajną pracę. Mogą one również zastąpić lub ulepszyć systemy bezpieczeństwa oparte na osłonach świetlnych, które po prostu zatrzymują maszyny, gdy pracownik zakładu wejdzie do komory roboczej. Gdy wizja maszynowa monitoruje halę fabryczną wokół komory roboczej, roboty w takich komorach mogą stopniowo zwalniać, gdy zbliżają się ludzie.

Projekty obiektów przemysłowych ewoluują, aby dostosować się do robotów współpracujących i innych urządzeń komórek roboczych, które są bezpieczne dla personelu zakładu, nawet podczas pracy tych urządzeń. Te i inne systemy oparte na wizji maszynowej staną się znacznie bardziej powszechną częścią procesów fabrycznych.

Dzięki zrozumieniu, jak projektować i wdrażać inteligentne systemy wizyjne, inżynierowie i producenci mogą w inteligentny sposób integrować narzędzia inteligencji wizualnej na hali produkcyjnej, zwiększając bezpieczeństwo i wydajność. Wraz z szybkim rozwojem technologii firma DigiKey oferuje innowacyjne rozwiązania automatyzacyjne, od IoT po sztuczną inteligencję i wizję maszynową.