Hyperspectrale imaging in veel markten van toegevoegde waarde

27 januari 2023 redactie AutomationNL Imec

Imec, het Leuvense onderzoeks- en innovatiecentrum op het gebied van nano-elektronica, heeft een hyperspectraal camerasysteem ontwikkeld dat zowel het visuele als het rode/nabij-infrarode spectrale bereik dekt, en daarnaast beschikt over een RGB-sensor met hoge resolutie.

De hyperspectrale snapshot-camera’s van Imec hebben een specifiek spectraal bereik – van het visuele (VIS) over het nabij-infrarood (NIR) tot het kortegolf-infrarood (SWIR) bereik, terwijl ze tegelijkertijd in realtime data kunnen vastleggen, zelfs in beweging. De nieuwe Imec multishot VNIR+RGB camera beschikt over een multi-sensorsysteem dat het VIS tot NIR spectrale bereik dekt, aangevuld met een hoge-resolutie RGB-sensor.

Wouter Charle, programmamanager van Imecs spectrale imaging on-chip activiteiten, beschrijft in een interessant artikel op de website Laserfocusworld.com de achtergrond van de in Leuven ontwikkelde hyperspectrale camera’s. “De on-chip technologie op het gebied van hyperspectrale imaging (HSI) biedt een gebruiksvriendelijke, goedkope en compacte oplossing voor de industrie.”

“Het samenbrengen van kennis van eindgebruikers tot hardware is essentieel om de markt volwassen te maken”, zegt Charle. “Er ontstaan nieuwe hyperspectrale toepassingen en aangrenzende softwarebedrijven op het gebied van onder meer precisielandbouw, ecosysteembescherming, corrosiedetectie en -behandeling, mijnbouw, voedselinspectie en gaslekdetectie. Een veelbelovende technologie is in al deze sectoren van toegevoegde waarde.”

Kennis delen met camerabouwers

Wouter Charle: “We weten dat er veel belangstelling is voor dit soort oplossingen. Maar tot nu toe heeft de onderliggende complexiteit de industrie ervan weerhouden een volledig functionele multi-sensor hyperspectrale camera te bouwen. De rol van Imec ligt in het verkennen van de vereiste componenten en het bouwen van prototypes. We helpen de industrie om alle gerelateerde hindernissen te overwinnen. Als volgende stap zijn we klaar om onze lessen en een complete ontwikkelingskit te delen met camerabouwers en systeembedrijven om de verdere commercialisering van het systeem te ondersteunen.”

Hieronder een samenvatting van het artikel ‘Hyperspectral video: the fast track to scalable solutions.’

Spectrale signatuur

Hyperspectrale camera's splitsen het licht dat door een object wordt gereflecteerd op in vele smalle spectrale bandbreedtes, die ze afzonderlijk vastleggen en verwerken om een spectrale signatuur vast te leggen voor elke pixel in een scène. Deze signatuur is veel rijker dan het rood-groen-blauwe beeld dat onze ogen vastleggen. Het kan het materiaal op de foto uniek identificeren, aangezien elk molecuul op een specifieke manier met licht interacteert, wat resulteert in een spectrale vingerafdruk.

Deze unieke vingerafdrukken zijn van grote waarde voor het identificeren en classificeren van allerlei materialen en objecten; ze zijn essentieel voor verdere automatisering in industriële processen. Hiermee kunnen we bijvoorbeeld de corrosie op de structurele elementen van een brug blootleggen.

De meest gebruikelijke toepassing van deze camera's wordt een ‘push broom' genoemd, die een scène regel voor regel scant en enkele seconden of zelfs minuten duurt. Bovendien worden deze camera's met de hand samengesteld uit verschillende componenten, waaronder dure en zware precisie-optieken in het glas. Het vereist een zorgvuldige uitlijning en kalibratie. Alleen experts op het gebied van hyperspectrale imaging kunnrn de hyperspectrale gegevens kalibreren, corrigeren en interpreteren in daadwerkelijke industriële oplossingen.

Push brooms doen het uitstekend in een lopende bandsituatie, maar hebben moeite met een camera of scène in vrije beweging. Denk aan een inspectiecamera in een sonderobot of een vrij vliegende drone. Als een robot bijvoorbeeld willekeurige items uit een prullenbak haalt, moet hij permanent foto's maken om na elke actie nieuwe beslissingen te nemen. Wanneer het beeld wordt ververst met een snelheid van 30 frames per seconde, resulteert dit in een hyperspectrale video. Tegenwoordig is hyperspectrale video klaar voor gebruik in een breed scala aan industriële toepassingen, van kwaliteitsinspectie en sortering tot materiaaldetectie. Kort gezegd is deze ontwikkeling te danken aan chiptechnologie.

Hyperspectrale imaging op geïntegreerde chip

Met behulp van CMOS-gebaseerde infrastructuur en procestechnologie in een cleanroom, ontwikkelde Imec een chip met geïntegreerde hyperspectrale functionaliteit door op interferentie gebaseerde optische filters op waferniveau te bouwen, ze direct op de beeldsensorpixels te deponeren en van patronen te voorzien. Deze benadering brengt belangrijke voordelen met zich mee: de geïntegreerde imagers kunnen in massa worden geproduceerd tegen vergelijkbare kosten als gewone computerchips. Ze zijn ook klein genoeg om ze in een gewone camera met standaardlenzen te plaatsen. Zo'n camera is geschikt voor het monteren van een drone of een kleine robot.

De hyperspectrale chip combineert de nauwkeurigheid van traditionele scantechnologie met meer gemak en levert snelle vernieuwingsfrequenties van de scène. De chip kan tot 2.880 lijnen per seconde scannen en het gezichtsveld bedekken met 2048 × 1088 pixels met een snelheid van ongeveer 30 fps bij daglicht en tot 340 fps bij hogere verlichtingsniveaus, zoals gebruikelijk is in machine vision-toepassingen. De mogelijkheid om extreem compacte, betrouwbare en kostenefficiënte hyperspectrale functionaliteit op een chip te fabriceren, is de sleutel om dit type imaging op de markt te brengen.

Mozaïekpatroontechnologie (© Imec)

Figuur 1. HSI-chip met filters per pixel die een mozaïek van 4 x 4 pixels vormen (foto: Imec). Tekst gaat verder onder de foto.

Mozaïekpatroontechnologie

Mozaïekpatroontechnologie wordt gebruikt om hyperspectrale imaging in videomodus te bereiken. De pixels zijn gegroepeerd in 3 × 3, 4 × 4 of 5 × 5 arrays. Bovenop elke groep van bijvoorbeeld 16 pixels in het 4 × 4 mozaïekpatroon worden 16 smalbandfilters verwerkt, waardoor filters ter grootte van één beeldpixel worden gemaakt (zie figuur 1). Met dit mozaïekontwerp is er geen aparte duplicator of beamsplitting-hardware meer nodig.

Voor industriële toepassingen is een wetenschappelijk niveau van datavolume niet nodig. Het verkrijgen van de juiste spectrale bandbreedtes die nodig zijn voor de toepassing is essentieel. Aan de toepassingsspecificaties kan worden voldaan door de juiste beeldsensor te selecteren met de specifieke snelheid, gevoeligheid of het aantal pixels.

Verbeteringen in het ecosysteem

Naast chipintegratie is samenwerking in de hele waardeketen nodig om de kloof te dichten tussen een veelbelovende technologie en de toepassing ervan in de industrie: van fabrikanten van camerahardware tot eindgebruikers. In die context werkten onderzoekers van Imec samen met Photonfocus om lichtgewicht camera's rond de geïntegreerde chips te bouwen. Daarnaast valideren de Imec-onderzoekers de spectrale prestaties van elke camera en krijgen de eindgebruikers rechtstreekse ondersteuning en toegang tot software. Het resultaat? Ongekende systeemprestaties terwijl de acceptatiedrempel aanzienlijk wordt verlaagd.

Het jongste lid van de hyperspectrale camerafamilie is de 10 GigE-serie van Photonfocus (zie figuur 2). Deze camera's maken overdracht van beeldgegevens mogelijk met 1,1 Gbit/s en bieden sterkere oplossingen voor toepassingen die een hoge bandbreedte vereisen voor langeafstandstransmissie tot 100 m met een enkele kabel. Ze zullen hun kracht tonen in snelle processen zoals bewegingsanalyse en virtual reality-toepassingen.

Nieuwe camera Photonfocus (© Imec)

Figuur 2. De 10GigW-camera’s van Photonfocus maken overdracht van beeldgegevens mogelijk met 1,1 Gbit/s (foto: Imec). Tekst gaat verder onder de foto.

Over hardware gesproken: een goed multispectraal beeld begint bij de juiste belichting. Na grondig onderzoek van verschillende lichtbronnen, bijvoorbeeld LED, halogeen en gloeilampen, begonnen Imec-onderzoekers samen met Effilux te innoveren. Continue feedback over het spectrale bereik, vermogen en stabiliteit leverde de perfecte match op met de geïntegreerde sensoren.

Aan de andere kant van de waardeketen is de grootste uitdaging voor de eindgebruiker het kunnen interpreteren van hyperspectrale gegevens zonder een expert te hoeven zijn in machine learning of hyperspectrale imaging. Twee softwarebedrijven, perClass en Luxflux, hebben er een softwaresuite voor gebouwd, voortbouwend op Imecs API's, software en de algoritmen voor dataverwerking erachter, waardoor de toegangsdrempel voor hyperspectrale inzichten wordt verlaagd.

Markt wordt volwassen

Deze verbeteringen in de hele waardeketen hebben de R&D-fase voor klanten binnen de industrie bijna weggenomen, waardoor de kloof tussen een probleem en de bijbehorende hyperspectrale imaging oplossing is gedicht.

Het samenbrengen van kennis van eindgebruikers tot hardware is essentieel om de markt volwassen te maken. Er ontstaan nieuwe hyperspectrale toepassingen en aangrenzende softwarebedrijven op het gebied van onder meer precisielandbouw, ecosysteembescherming, corrosiedetectie en -behandeling, mijnbouw, voedselinspectie en gaslekdetectie. Een veelbelovende technologie is in al deze sectoren van toegevoegde waarde.

Geen nieuws meer missen van AutomationNL? Schrijf je dan in voor de nieuwsbrief en ontvang elke week het laatste nieuws over industriële automatisering.

Inschrijven Nieuwsbrief

 

 

Altijd op de hoogte blijven?