Baza wiedzy: Wyzwania techniczne w zakresie wizji maszynowej

Wdrożenie systemów wizji maszynowej w przemyśle wiąże się z szeregiem praktycznych wyzwań technicznych. Poniżej przedstawiamy przegląd najczęstszych problemów oraz sposobów ich rozwiązywania w praktyce.

Złe oświetlenie

PROBLEM: Niewystarczające lub niestabilne oświetlenie to najczęstsza przyczyna niepowodzeń systemów wizyjnych. Nawet zaawansowana kamera i oprogramowanie nie są w stanie skompensować złych warunków oświetleniowych. Przy słabym lub zmiennym oświetleniu spada kontrast istotnych cech obiektu, a w obrazie pojawia się niepożądany szum. Niewłaściwie dobrane oświetlenie może również powodować refleksy lub cienie zasłaniające kluczowe detale. 

ROZWIĄZANIE: Odpowiednie zaprojektowanie oświetlenia stanowi nawet 80% sukcesu aplikacji wizji maszynowej, dlatego poświęca się mu szczególną uwagę. W praktyce nacisk kładzie się na stabilne, kontrolowane oświetlenie sceny. Celem jest maksymalne zwiększenie kontrastu istotnych cech i wyeliminowanie wszystkiego, co zbędne.

Obejmuje to dobór odpowiedniej techniki oświetlenia w zależności od powierzchni i kształtu obiektu. Na przykład podświetlenie od tyłu w celu uzyskania wyraźnego konturu, boczne światło pod kątem do uwydatnienia krawędzi i faktury lub światło rozproszone, które równomiernie oświetla zakrzywione, błyszczące powierzchnie i eliminuje ostre refleksy.

Kluczowa jest również spójność oświetlenia, czyli eliminacja wpływu światła otoczenia (np. światła dziennego lub migotania świetlówek) poprzez zastosowanie osłon i stabilnych przemysłowych źródeł LED. Jeśli wymagany jest bardzo krótki czas ekspozycji (np. ze względu na ruch obiektu), stosuje się światła błyskowe (stroboskopy), które intensywnym, krótkim impulsem oświetlają scenę. Dzięki temu obraz zostaje „zamrożony” nawet przy szybkich ruchach, co jednak wymaga synchronizacji światła z momentem wykonania zdjęcia.

Niski kontrast i rozpraszające tło

PROBLEM: Nawet przy właściwie dobranym oświetleniu może wystąpić problem, jeśli kontrast między kontrolowanym obiektem a jego otoczeniem jest zbyt niski. Gdy produkt ma podobny kolor lub jasność jak tło, kamera ma trudności z rozpoznaniem krawędzi i detali. Przykładem może być jasnoszary element na jasnoszarym przenośniku. Obraz się zlewa, a standardowe algorytmy przetwarzania zawodzą. Problemem może być również złożone lub wzorzyste tło, które wprowadza zakłócenia.

ROZWIĄZANIE: Kluczem jest zwiększenie kontrastu między obiektem docelowym a jego tłem. W praktyce stosuje się takie oświetlenie i konfigurację, które maksymalnie „odseparują” obiekt od tła. Na przykład oświetlenie tylne tworzy sylwetkę obiektu na ciemnym tle i zapewnia maksymalny kontrast krawędzi.

Jeśli zmiana tła nie jest możliwa, pomocne mogą być filtry optyczne i specjalistyczne źródła światła. Zastosowanie światła o wąskim spektrum i odpowiedniego filtra kolorystycznego może zredukować wpływ tła i uwydatnić obiekt. Aby podkreślić różnice, stosuje się również światło spoza widzialnego zakresu. Na przykład podczerwień może ujawnić różnice w materiałach lub fakturach, które są niewidoczne w świetle widzialnym.

Jeśli kontrolowany produkt ma inne właściwości termiczne niż tło, skutecznym rozwiązaniem może być obrazowanie termiczne. Kamery termowizyjne pozwalają wiarygodnie odróżnić obiekt na podstawie temperatury tam, gdzie klasyczna kamera zawodzi z powodu zbyt podobnych kolorów. Ta metoda sprawdza się np. przy wykrywaniu jasnych wyrobów gumowych na jasnym przenośniku, gdy wykorzystuje się resztkowe ciepło produktów w kontraście do chłodniejszej taśmy.

Odbicia i powierzchnie refleksyjne

PROBLEM: Błyszczące i refleksyjne powierzchnie stanowią szczególne wyzwanie. Gdy światło pada na gładki, lśniący element pod nieodpowiednim kątem, może odbić się bezpośrednio do obiektywu kamery i spowodować odbłysk, czyli prześwietlony, „wyblakły” obszar obrazu. W rezultacie tekstury lub krawędzie na danym fragmencie mogą zostać całkowicie zakryte. Zamiast szczegółów kamera widzi w tym miejscu jedynie nasycone światło.

Taka sytuacja często występuje przy użyciu bezpośredniego oświetlenia pierścieniowego umieszczonego wokół obiektywu w przypadku błyszczących materiałów. Dodatkowo, lustrzane powierzchnie mogą powodować wielokrotne odbicia wewnątrz optyki, co również obniża jakość obrazu.

ROZWIĄZANIE: Główna strategia polega na odpowiednim ustawieniu geometrii oświetlenia w taki sposób, aby odbicie światła nie trafiało do kamery. W praktyce oznacza to zmianę kąta padania światła: zamiast oświetlenia osiowego stosuje się światło padające pod kątem. Źródła światła są rozmieszczane tak, aby odbłysk odbił się poza pole widzenia kamery.

Jeśli pozwala na to aplikacja, bardzo skuteczne jest zastosowanie dyfuzyjnego oświetlenia kopułowego (tzw. dome light), które równomiernie oświetla obiekt ze wszystkich stron i eliminuje ostre refleksy. Błyszczący obiekt nie tworzy wówczas pojedynczego odbicia zwierciadlanego, a jedynie równomierny delikatny połysk.

Pomocne są także filtry polaryzacyjne. Światło odbite od metali czy szkła jest częściowo spolaryzowane, dlatego użycie spolaryzowanego światła wraz z odpowiednim filtrem na obiektywie pozwala znacznie zredukować odbicia. W przypadku powierzchni refleksyjnych sprawdza się również oświetlenie koaksjalne (światło wprowadzane w osi kamery przez półprzepuszczalne lustro). Dzięki temu płaskie, błyszczące powierzchnie wydają się ciemne, a elementy rozpraszające światło (np. oznaczenia) pozostają dobrze widoczne.

W praktyce często łączy się kilka technik jednocześnie. Ważne jest również wyeliminowanie zakłóceń świetlnych z otoczenia, które mogą niespodziewanie odbijać się w błyszczących powierzchniach (np. należy wyłączyć lub zasłonić intensywne oświetlenie hali w pobliżu stanowiska inspekcyjnego). Prawidłowo dobrane oświetlenie i filtry optyczne znacząco minimalizują problem odbić.

Ostrość i głębia ostrości

PROBLEM: Kamera zawsze jest optymalnie ustawiona na ostrość tylko w określonej odległości. Jeśli kontrolowane obiekty nie znajdują się dokładnie w jednej płaszczyźnie albo mają trójwymiarową strukturę z różnicami wysokości, część obrazu może być nieostra. W przemyśle jest jednak zupełnie powszechne, że odległość między kamerą a obiektem się zmienia: na przykład kontrolowany element może mieć kilka poziomów znajdujących się w różnych odległościach od kamery, albo wysokość produktów może się różnić w zależności od sztuki.

We wszystkich tych scenariuszach ograniczona głębia ostrości stanowi wyzwanie. Części obiektu poza płaszczyzną ostrości mogą pozostać niewykryte. Do rozmycia przyczynia się również ruch w osi Z (zbliżanie/oddalanie się podczas ekspozycji). Niewystarczająca głębia ostrości szczególnie utrudnia kontrolę drobnych detali na różnych poziomach, ponieważ to, co jest ostre w jednej płaszczyźnie, jest rozmazane w innej.

ROZWIĄZANIE:  Projektowanie systemu musi uwzględniać wymaganą głębię ostrości i zapewnić, aby wszystkie istotne elementy obiektu mieściły się w tym zakresie. Istnieje kilka rozwiązań tego zagadnienia:

Pierwszym podejściem jest przymknięcie przysłony obiektywu (zwiększenie liczby przysłony f/#), co zwiększa głębię ostrości. Taki krok jednak ogranicza ilość światła docierającego do sensora, dlatego konieczna jest kompensacja, poprzez silniejsze oświetlenie lub zastosowanie bardziej czułej kamery.

Alternatywą są obiektywy telecentryczne, które zaprojektowano tak, aby zachowywały ostrość i skalę obrazu niemal niezależnie od odległości obiektu w pewnym zakresie. Taka optyka eliminuje zniekształcenia perspektywiczne i umożliwia dokładne pomiary obiektów znajdujących się w różnych odległościach od kamery z zachowaniem jednakowej skali. Wadą jest wyższy koszt i ograniczone pole widzenia, ponieważ telecentryczne obiektywy trudniej przystosować do szerokiego kadru.

Innym podejściem jest automatyczne ustawianie ostrości lub przełączanie ostrości w zależności od odległości obiektów. Niektóre systemy inspekcyjne potrafią dynamicznie przeostrzać pomiędzy kolejnymi zdjęciami lub używać zmiennej optyki do szybkiej zmiany punktu ostrości.

W warunkach laboratoryjnych czasem stosuje się technikę składania ostrości (focus stacking), która polega ona na wykonaniu serii zdjęć z ostrością ustawioną na różne głębokości i ich połączeniu w jeden obraz. Jednak tego typu rozwiązanie najczęściej nie jest możliwe w aplikacjach czasu rzeczywistego.

Najprostszym sposobem bywa ograniczenie zmienności odległości: zadbanie o to, aby wszystkie kontrolowane elementy znajdowały się w tej samej płaszczyźnie albo ustawienie kamery w większej odległości, co naturalnie zwiększa głębię ostrości.

Ruch i rozmycie obrazu

PROBLEM: Jeśli obiekt jest w ruchu podczas ekspozycji kamery, dochodzi do tzw. „motion blur”, czyli rozmycia obrazu. Zjawisko to występuje najczęściej na szybkich liniach produkcyjnych, gdy kontrolowany element nie pozostaje całkowicie nieruchomy w czasie rejestracji obrazu. Przy dłuższym czasie naświetlania punkt na poruszającym się obiekcie przemieszcza się w polu widzenia kamery, co prowadzi do jego „rozciągnięcia” na kilka pikseli i utraty ostrości.

Rozmyty obraz utrudnia lub wręcz uniemożliwia prawidłową analizę, ponieważ drobne szczegóły lub defekty mogą pozostać niezauważone. Do rozmycia przyczyniają się również wibracje kamery lub wstrząsy maszyny (zob. Czynniki środowiskowe poniżej), które z punktu widzenia kamery mają podobny efekt jak ruch obiektu.

ROZWIĄZANIE: Główną zasadą jest skrócenie efektywnego czasu, w którym światło pada na sensor podczas ruchu obiektu. Można to osiągnąć na dwa sposoby: za pomocą szybszej kamery oraz silniejszego oświetlenia. Współczesna praktyka wykorzystuje kamery o wysokiej częstotliwości rejestrowania klatek i z migawką globalną (global shutter), które umożliwiają bardzo krótką ekspozycję (rzędu milisekund lub mniej), eliminując zniekształcenia ruchomych obiektów.

Skrócenie czasu ekspozycji wymaga intensywniejszego oświetlenia. Dlatego stosuje się mocne oświetlenie LED w trybie impulsowym (stroboskopowym). Stroboskopy emitują krótkie błyski zsynchronizowane z wyzwoleniem kamery, co pozwala „zamrozić” ruch obiektu na obrazie. Wysoka jasność impulsu zapewnia odpowiednią ilość światła nawet przy ekspozycji trwającej mikrosekundy.

Istotne jest również prawidłowe taktowanie i sterowanie: system musi wykonać zdjęcie w odpowiednim momencie. Czasami do precyzyjnego uruchomienia kamery wykorzystuje się enkodery optyczne lub czujniki położenia. Alternatywnie, jeśli proces na to pozwala, można na moment zatrzymać poruszający się element podczas wykonywania zdjęcia. Ogólnie rzecz biorąc, połączenie szybkiej kamery i zsynchronizowanego oświetlenia pozwala na niezawodną inspekcję nawet na bardzo szybkich liniach produkcyjnych.

Zmienność kształtu i wyglądu elementów

PROBLEM: W praktyce kontrolowane elementy często nie są całkowicie identyczne. Mogą wykazywać naturalne odchylenia produkcyjne, różnice w fakturze powierzchni, kolorze lub kształcie. Tradycyjne algorytmy systemów wizyjnych są w stanie tolerować tylko ograniczoną zmienność (np. zmiany skali, rotację lub przesunięcie). Większe różnice w wyglądzie stanowią jednak poważny problem: system może nie być w stanie rozpoznać, czy dany przypadek to jeszcze dopuszczalna wariacja, czy już defekt. Na przykład obiekty odkształcalne lub nieregularne są trudne do analizy dla klasycznych metod porównywania wzorców. Te działają dobrze w przypadku kontrastowych i spójnych obiektów, ale zawodzą przy zmiennych kształtach.

ROZWIĄZANIE: W praktyce stosuje się dwa podejścia: ograniczenie zmienności lub zwiększenie odporności algorytmu. Pierwsze polega na przykład na mechanicznym unieruchomieniu pozycji i kształtu elementu albo na sortowaniu produktów na kategorie o mniejszej wewnętrznej zmienności. Drugie opiera się na zaawansowanych algorytmach systemów wizyjnych, które uczą się na podstawie przykładów i potrafią uogólniać. Należą do nich zwłaszcza metody głębokiego uczenia (deep learning), które lepiej niż reguły oparte na sztywnym programowaniu rozpoznają nawet bardzo odmienne czy niestandardowe wariacje obiektów.

Podejścia oparte na sztucznej inteligencji znajdują zastosowanie przede wszystkim tam, gdzie tworzenie reguł dla wszystkich wyjątków byłoby zbyt złożone lub niepraktyczne. W praktyce często łączy się oba podejścia: jeśli zmienności nie da się całkowicie wyeliminować, wykorzystuje się adaptacyjne oprogramowanie trenowane na reprezentatywnej próbce wariantów danego elementu, aby niezawodnie rozróżniało egzemplarze OK i NOK.

Niekonsekwentna orientacja i pozycja elementów

PROBLEM: Systemy wizyjne zakładają, że poszukiwany obiekt znajduje się w polu widzenia w oczekiwanej pozycji. W praktyce jednak elementy mogą pojawiać się w różnych orientacjach lub przesunięte – na przykład obrócone pod innym kątem, przewrócone lub losowo rozmieszczone na przenośniku.

Niejednolita orientacja znacznie utrudnia rozpoznanie, ponieważ obraz analizowanego obiektu różni się od wzorca odniesienia. Systemy wrażliwe na pozycję mogą błędnie ocenić poprawny element jako niezgodny, tylko ze względu na jego obrót. Niestabilna pozycja elementów obniża więc niezawodność detekcji, ponieważ zmiany orientacji mogą całkowicie zdezorientować system, jeśli nie jest na nie przygotowany.

ROZWIĄZANIE: Najprostszym rozwiązaniem jest zapewnienie jednolitej pozycji elementów za pomocą mechaniki. W praktyce stosuje się urządzenia orientujące, podajniki wibracyjne z torami prowadzącymi, uchwyty i przyrządy ustalające pozycję każdego elementu przed wykonaniem zdjęcia. W ten sposób problem zostaje przeniesiony z poziomu oprogramowania na poziom mechaniczny. Nie zawsze jest to jednak możliwe lub opłacalne, zwłaszcza w przypadku obiektów o losowej orientacji (np. w masie sypkiej) lub tam, gdzie wymagana jest elastyczność. Wtedy wkraczają rozwiązania programowe: algorytmy odporne na zmianę orientacji.

Klasycznym podejściem jest dopasowywanie wzorców (pattern matching) z uwzględnieniem rotacji i skalowania obrazu. Nowsze metody wykorzystują uczenie maszynowe, które pozwala systemowi rozpoznać obiekt niezależnie od jego orientacji. Istotne jest również odpowiednio duże pole widzenia i głębia ostrości, aby element, nawet jeśli jest przesunięty lub pochylony, nadal był w całości widoczny i ostry. W praktyce stosuje się też kombinacje wielu kamer lub obiektywy szerokokątne, aby objąć cały możliwy zakres położeń.

Jeśli system nadal ma trudności z wykrywaniem elementów w nietypowych pozycjach, konieczne może być dokładniejsze prowadzenie mechaniczne lub udoskonalenie algorytmu (np. poprzez dodanie nowych wariantów do treningu). Zapewnienie spójnej orientacji znacznie zwiększa niezawodność analizy obrazu, dlatego jeśli nie da się jej zapewnić fizycznie, należy ją uwzględnić w oprogramowaniu.

Wpływy środowiskowe (pył, wibracje, temperatura)

PROBLEM: Środowisko przemysłowe bywa wyjątkowo nieprzyjazne dla systemów optycznych. Pył, drgania maszyn, wahania temperatury czy wilgotność mogą znacząco wpływać na działanie systemu wizyjnego. Zanieczyszczenia mogą osadzać się na soczewkach lub źródłach światła i pogarszać jakość obrazu. Wibracje linii produkcyjnych lub pras przenoszą się na kamerę i powodują rozmycie obrazu, podobnie jak ruch. W takiej sytuacji trudno jest rozpoznać drobne detale.

Temperatura otoczenia wpływa zarówno na elektronikę kamer, jak i na właściwości obiektywów: w skrajnych upałach może dochodzić do rozogniskowania (dylatacja, przesunięcie ogniska) lub czasowego „oślepienia” sensora, a w niskich temperaturach kamera może całkowicie odmówić działania. Wahania temperatury zakłócają też kalibrację. Na przykład precyzyjny pomiar 3D może ulegać dryfowi pod wpływem nagrzewania, zanim system osiągnie stabilność. Wysoka wilgotność może prowadzić do parowania elementów optycznych, a nawet do korozji styków. Tego typu czynniki środowiskowe często pogarszają jakość obrazu lub prowadzą do awarii systemu, jeśli nie zostaną odpowiednio uwzględnione.

ROZWIĄZANIE: Do zastosowań przemysłowych wybiera się kamery i komponenty o podwyższonej odporności, a jednocześnie stosuje się środki ochrony systemu przed wpływem środowiska. Przed pyłem i zanieczyszczeniami chronią szczelne obudowy (IP65 lub wyższe) dla kamer i oświetlaczy, a także nadciśnieniowy nadmuch filtrowanego powietrza na przednią soczewkę, zapobiegający osadzaniu się cząsteczek. Konieczna jest także regularna konserwacja i czyszczenie optyki, ponieważ nawet cienka warstwa kurzu może zmniejszyć kontrast i prowadzić do błędów.

Aby zredukować wpływ drgań, kamery montuje się na uchwytach antywibracyjnych lub elementach tłumiących, które izolują wstrząsy od wrażliwej optyki. Zaleca się również możliwie najkrótszy czas ekspozycji, aby ewentualne mikroruchy nie zdążyły wpłynąć na obraz (zob. „Ruch i rozmycie obrazu”). Stabilność temperaturową można osiągnąć przez umieszczenie kamer poza strefami ekstremalnych temperatur lub zastosowanie aktywnego chłodzenia/ogrzewania: kamery mogą być zamknięte w obudowie z chłodzeniem lub grzałką, ewentualnie z modułem termoelektrycznym.

Ważne jest przestrzeganie temperatur roboczych określonych przez producenta. Na przykład niektóre precyzyjne kamery 3D wymagają po uruchomieniu osiągnięcia i utrzymania temperatury roboczej, aby zagwarantować prawidłowe działanie. W środowiskach o wysokiej wilgotności stosuje się zabezpieczenia przeciw parowaniu soczewek.

Pytania?

Jesteśmy tutaj, aby pomóc Państwu znaleźć optymalne rozwiązanie.