O imagine a unui obiect este într-adevăr o sursă valoroasă de informații despre acel obiect. În acest context, dispozitivul imagistic este senzorul, iar imaginea constituie datele sesizate. În funcție de dispozitivul de imagistică, o imagine poate fi de multe soiuri, cum ar fi optică, termică sau în infraroșu, raze X, în ultraviolet, acustică, ultrasonică și așa mai departe. Deoarece metodele de procesare a imaginilor sunt destul de similare între aceste dispozitive de imagistică, vom considera doar camera digitală ca senzor. Acesta este un dispozitiv de imagistică optică foarte popular, care este utilizat într-o varietate de aplicații mecatronice, cum ar fi robotica ghidată de vedere.

6.15.1 Procesarea imaginii și Computer Vision

O imagine poate fi procesată (analizată) pentru a obține o imagine mai rafinată din care pot fi determinate informații utile, cum ar fi margini, contururi, arii și alte informații geometrice. Aceasta se numește procesare de imagini. Computer vision depășește procesarea imaginii și efectuează operațiuni precum recunoașterea obiectelor, recunoașterea și clasificarea modelului, abstractizarea și luarea deciziilor bazate pe cunoștințe folosind informațiile extrase prin procesarea imaginilor. Rezultă că vederea artificială implică operațiuni la nivel superior procesării imaginilor și este similară cu ceea ce oamenii deduc în funcție de ceea ce văd.

6.15.2 Sistem senzorial bazat pe imagini

Un sistem senzorial complet bazat pe imagini este format dintr-o cameră foto (de exemplu, camera CCD), un sistem de achiziție a datelor (de exemplu, captura de cadre), un computer și software asociat. Un astfel de sistem este arătat schematic în figura 6.62. Nu sunt incluse în figură alte componente utile, cum ar fi o sursă de iluminat structurată, care poate fi necesară pentru a capta imagini clare și de bună calitate, fără umbre și așa mai departe.

FIGURA 6.62 Un sistem senzorial bazat pe camere

6.15.2.1 Cameră foto

Aparatul foto are un șir sau o matrice de elemente semiconductoare care sunt sensibile la luminozitatea luminii provenite de la un obiect (prin obiectivul camerei). O cameră CCD are un CCD ca element de detectare. Există și alte tipuri de camere al căror element senzor poate fi un dispozitiv de injectare a sarcinii (CID) sau un dispozitiv complementary metal-oxide-semiconductor (CMOS). Cele mai frecvente și relativ ieftine sunt camerele CCD.

Să presupunem că un fascicul 2D de lumină provenit de la obiectul detectat este direcționat de lentila camerei către matricea CCD (de exemplu, 4000 × 4000) situată pe planul focal al obiectivului din spatele camerei. Fiecare element generează o sarcină care este proporțională cu luminozitatea luminii. O placă de circuit imprimat din cameră citește aceste nivele de sarcină rând pe rând (de la rândul de jos la rândul de sus, secvențial) printr-o operație de schimbare de rând controlată și sincronizată de un tact și alt hardware. Semnalul analogic de la fiecare element CCD este digitalizat și reprezentat ca un „element de imagine” sau pixel. Numărul de biți dintr-un pixel este reprezentativ pentru numărul de nivele de gri pe care le poate stoca. De exemplu, un pixel pe 4 biți poate reprezenta 2⁴ = 16 nivele de gri de la 0 la 15 (negru la alb). Această procedură de generare a pixelilor unei imagini 2D este arătată în figura 6.63.

6.15.2.2 Achiziționarea cadrului de imagine

Pixelii de imagine din memoria tampon a camerei CCD sunt aranjați într-un cadru de imagine cu date digitale și sunt furnizați computerului de procesare a imaginilor. Acest dispozitiv de achiziție a datelor (hardware) poate fi numit „placă de prindere cadru”, care poate fi plasat în card cage a computerului de procesare a imaginilor în sine. Software-ul de driver asociat este, de asemenea, localizat în computer.

6.15.2.3 Imagini color

O imagine de scală gri poate fi reprezentată de un singur cadru de imagine. Cel puțin trei cadre de imagine sunt necesare pentru a reprezenta o imagine color. De exemplu, în modelul RGB, se formează o imagine roșie (R), o imagine verde (G) și o imagine albastră (B) folosind filtre de roșu, verde și albastru. Cele trei cadre de imagine separate pot fi combinate pentru imaginea color originală. Chiar dacă ochiul uman este destul de sensibil la culorile R, G și B, oamenii nu pot în mod normal percepe/descrie imagini vizuale în funcție de componentelor lor RGB. În ceea ce privește percepția/descrierea umană a unei imagini vizuale, un model mai adecvat este modelul HIS. În acest model nuanța (H) este reprezentativă pentru culoarea dominantă din imagine, saturația (S) reprezintă gradul de lumină albă amestecată cu o culoare dominantă în imagine, iar intensitatea (I) reprezintă nivelul de luminozitate al imaginii. Există relații analitice care convertesc un model RGB într-un model HIS.

6.15.3 Procesarea imaginii

Există un element de prelucrare a imaginilor „analogice” efectuat de electronica din cameră (de exemplu, filtrare și amplificare analogică), dar acum se concentrează pe procesarea imaginii „digitale” realizată de computer. Obiectivul procesării imaginii digitale este de a elimina elementele nedorite și zgomotul din imagine, sporirea caracteristicilor importante și extragerea informațiilor geometrice necesare din datele procesate. Câteva operații utile de prelucrare a imaginilor sunt enumerate mai jos.

1. Filtrare (pentru eliminarea zgomotului și îmbunătățirea imaginii), inclusiv filtrarea direcțională (pentru îmbunătățirea marginilor, pentru detectarea marginilor)

2. Segmentare (pentru a subdiviza o imagine îmbunătățită, pentru a identifica forme/obiecte geometrice și pentru a capta proprietăți, cum ar fi aria și dimensiunile entităților geometrice identificate)

3. Impunerea unui prag (pentru a genera o imagine alb-negru pe două nivele în care nivelele gri de deasupra unui prag stabilit sunt alocate alb, iar cele sub prag sunt alocate negru. Impunerea pragului este de obicei pasul anterior segmentării unei imagini )

4. Prelucrarea morfologică (îngustare secvențială, filtrare, întindere etc. pentru a elimina componentele nedorite ale imaginii și extragerea celor importante)

5. Scăderea (de exemplu, scade fundalul din imagine)

6. Potrivirea șabloanelor (pentru a potrivi o imagine procesată cu un șablon - utilă pentru detectarea obiectelor)

7. Compresie (pentru a reduce cantitatea de date necesare pentru a reprezenta informațiile utile ale unei imagini)

6.15.4 Unele aplicații

Aplicațiile senzorilor bazate pe imagini sunt numeroase. Unele dintre acestea sunt prezentate în această carte în aplicații și studii de caz mecatronice. Câteva sunt enumerate mai jos.

1. Măsurarea locației unui obiect pentru tăiere, prindere, manipulare etc.

2. Măsurarea/estimarea dimensiunii, formei, greutății, culorii, texturii, fermității etc. pentru evaluarea calității sau clasificarea unui produs.

3. Visual servoing. Aici se măsoară poziția reală a unui obiect (folosind imagini de cameră) și este comparată cu poziția unui efector robotic final (dispozitiv de prindere, mână, unealtă etc.). Diferența (eroare) este utilizată pentru a genera o comandă de mișcare pentru robot, astfel încât efectorul final să ajungă la obiect.

4. Recunoașterea obiectelor în diverse aplicații de securitate, siguranță și prelucrare automată.

6.16 Probleme