Bilderegistrering

PET / CT: venstre CT, midtre PET, høyre resultat av en registrering (med falsk fargedisplay )

Bilderegistrering er en viktig prosess i digital bildebehandling og brukes til å bringe to eller flere bilder av samme scene, eller i det minste lignende scener, i samsvar med hverandre så godt som mulig. Ett av bildene er satt som et referansebilde , de andre kalles objektbilder. For å optimalisere dette til referansebildet, beregnes en kompenserende transformasjon . Bildene som skal registreres skiller seg fra hverandre fordi de ble tatt opp fra forskjellige posisjoner, til forskjellige tider eller med forskjellige sensorer.

Bilderegistreringsprosesser er spesielt vanlige i medisinsk bildebehandling. Bildene som er tatt opp med forskjellige bildebehandlingsprosesser ( modaliteter ) blir justert til hverandre for å få bedre kunnskap fra deres kombinasjon. Er z. B. MR-bilder som viser bløtvev eller hjernestrukturer godt, lagt med PET-bilder som gjør visse metabolske prosesser synlige, man kan forstå i hvilke hjerneområder visse metabolske prosesser finner sted. Overlegget er også kjent som bildefusjon .

Et annet applikasjonseksempel er sammenslåing av flere satellittbilder til et stort kart. Siden jordoverflaten er buet og satellittens posisjon endres fra bilde til bilde, er det små forvrengninger i bildene, som kan justeres til hverandre ved hjelp av registreringsprosesser - se også bildekorrelasjon .

Målet med bilderegistrering er å finne den transformasjonen T som bringer et gitt kildebilde (objektbilde) F i samsvar med et målbilde (referansebilde) G så godt som mulig . For dette formålet er et mål D karakterisert for likhet eller ulikhet i bildene. Bilderegistrering er således et optimaliseringsproblem der D (T (F), G) må minimeres (hvis D måler ulikheten) eller maksimeres (hvis D måler likheten).

oversikt

Som det fremgår ovenfor, kan applikasjonen av bilderegistrering deles inn i følgende områder:

  • Ulike kameraposisjoner: Bildene som skal registreres viser samme objekt eller samme scene, men ble tatt opp fra forskjellige kameraposisjoner (se parallaks ). Registreringen kan deretter brukes til å oppnå et større todimensjonalt synsfelt eller også for 3D-rekonstruksjon.
  • Ulike tidspunkter: Bildene som skal registreres viser det samme objektet eller den samme scenen, men på forskjellige tidspunkter. Endringer som har oppstått over tid kan nå bestemmes ved hjelp av registrering ( tidsserie-analyse ).
  • Ulike sensorer : Bildene som skal registreres inneholder samme objekt eller scene, men ble tatt opp med forskjellige sensorer, dvs. H. med forskjellige kameraer eller forskjellige bildemetoder . Målet med bilderegistrering her er å få mer og mer detaljert informasjon fra bildene.
  • Scene-til-modell-registrering: Ett eller flere bilder av et objekt eller en scene registreres med en modell av objektet eller scenen. De registrerte bildene kan deretter sammenlignes med den gitte modellen.

På grunn av det brede spekteret av mulige applikasjoner og forskjellige typer bilder, er det ingen registreringsprosess som kan brukes universelt. Snarere er registreringsprosedyrer spesielt utviklet for forskjellige applikasjoner som de deretter fungerer optimalt for. Allikevel kan de fleste registreringsprosedyrer deles inn i fire hovedtrinn:

  • Utvinning av funksjoner: Funksjoner, som f.eks. B. hjørner, kanter , konturer eller lignende oppdaget manuelt eller automatisk.
  • Funksjonstilpasning: Korrespondansen til de ekstraherte funksjonspunktene er etablert.
  • Transformasjonsberegning: En passende transformasjonstype, f.eks. B. affinert, prosjektivt eller lignende, valgt og transformasjonsparametrene beregnet.
  • Transformasjon: Objektbildet transformeres med transformasjonen beregnet i forrige trinn. Interpolasjonsteknikker brukes også her.

Funksjonsekstraksjon

Registreringsprosedyrer kan klassifiseres i to kategorier, funksjonsbaserte og områdebaserte prosedyrer. Med de områdebaserte metodene blir registreringen utført direkte med intensitetsverdiene; ingen funksjoner må ekstraheres. Trinn for utvinning av funksjoner er utelatt med disse metodene.

Den andre kategorien er den funksjonsbaserte metoden der et visst, vanligvis relativt lite, antall funksjoner blir hentet fra bildene. Dette gjøres enten manuelt eller automatisk. Med manuell funksjonsutvinning er betydelige punkter markert i bildene av en person. Med automatiske prosesser blir bildene søkt etter særpreg som finnes i alle bilder. De valgte funksjonene skal fordeles så langt som mulig over hele bildet og ikke konsentrere seg om spesifikke regioner. Registreringen skjer da ved at de valgte funksjonene bringes i korrespondanse. De individuelle gruppene av egenskaper er forklart mer detaljert nedenfor:

  • Regioner: Områder i bildet som tydelig skiller seg ut fra områdene rundt dem er egnet som regionale trekk. Dette kan gjøres i satellittbilder f.eks. B. være innsjøer. Regioner er vanligvis representert med fokus og kan oppdages ved hjelp av segmenteringsmetoder .
  • Linjer: Linjer eller kanter kan være til stede i bildet som konturer av regioner eller som selve linjer. De kan representeres av parene til endepunktene eller midtpunktet og ekstraheres ved hjelp av kantdeteksjon .
  • Poeng: Poeng kan gis på bildet som kryss av linjer eller hjørner av konturer. De kan ekstraheres av hjørnedetektorer.

Fordelen med den funksjonsbaserte metoden sammenlignet med den områdebaserte metoden er på den ene siden den generelt lavere beregningsinnsatsen for funksjonstilpasningen, siden antall funksjoner ikke er valgt for stort, og på den annen side den lavere følsomheten for støy, siden registreringen ikke utføres direkte med intensitetsverdiene. Ulempen er imidlertid selve funksjonsutvinning, som representerer et ekstra behandlingstrinn. Med automatisk funksjonsutvinning er det ofte ikke lett å velge funksjoner som lett finnes i alle bilder, eller å holde antall funksjoner så lite som mulig. Av denne grunn bør funksjonsbaserte metoder kun velges hvis det kan forventes at det vil være få funksjoner som er jevnt fordelt over bildet og lett kan tas ut i alle bilder.

Funksjonsjustering

Arealbaserte metoder

I den områdebaserte metoden blandes trinnet med funksjonsutvinning med trinnet for tilpasning av funksjoner, siden her, i en viss forstand, er hver piksel et funksjonspunkt. Produksjonen av korrespondansen mellom objektbildet og referansebildet kan skje gjennom vinduer av en viss størrelse, slik at korrespondansen etableres vindu for vindu. Imidlertid kan hele bildet også brukes. For registreringen brukes enten en funksjon som indikerer forskjellen mellom objektbildet og referansebildet eller en funksjon som indikerer samsvaret mellom objektbildet og referansebildet. Denne funksjonen må deretter minimeres eller maksimeres tilsvarende.

Korrelasjonsmetoder

En utbredt tilnærming i områdebaserte metoder er krysskorrelasjonsfunksjonen . Dette brukes vanligvis til malmatching eller mønstergjenkjenning . La f og g være to bildesnitt av samme dimensjon fra objektet eller referansebildet. Bruke den normaliserte krysskorrelasjonsfunksjonen

det beregnes en verdi som ligger i området [0..1] og representerer likheten mellom f og g . Jo høyere verdi, desto likere er bildeseksjonene. Denne graden av likhet beregnes nå for par bildesnitt fra objektet og referansebildet. Bildedelene med høyest verdi defineres deretter som de tilsvarende. Denne metoden fungerer bare hvis forskjellen mellom objektbildet og referansebildet består av oversettelser . Ved rotasjon , skalering eller andre deformasjoner mislykkes prosessen i denne formen.

Fourier-metoder

Hvis bildene inneholder frekvensavhengig støy, tilbyr Fourier-metodene en bedre løsning enn korrelasjonsmetodene. I tillegg kan beregningstiden reduseres sammenlignet med korrelasjonsmetodene. Oversettelse , rotasjon og skalering har sine tilsvarende kolleger i frekvensdomenet og kan derfor implementeres ved hjelp av disse metodene. Beregningen av Fourier-koeffisientene til et bilde kan realiseres effektivt, enten ved implementering i maskinvare eller ved å bruke den raske Fourier-transformasjonen (FFT) .

En mulighet for å registrere to bilder som bare skiller seg fra hverandre ved en oversettelse, er fasekorrelasjonen. Fasekorrelasjonen er basert på skiftsetningen.

La to bilder f og g gis, som skiller seg ved en oversettelse (u, v) , dvs. f (x, y) = g (x + u, y + v) . Deretter avhenger deres Fourier-transformasjoner av hverandre som følger:

.

Den Fourier-transformasjonen av bilder f og g varierer bare i en faseforskyvning som er direkte relatert til den oversettelse . Ved hjelp av krysseffektspekteret til bildene f og g

man kan beregne faseskiftet . For å gjøre dette, en ser etter maksimum i den inverse Fourier-transformasjonen av den krysseffektspektrum . Plasseringen av maksimumet gir deretter oversettelsesparametrene.

Metoder basert på transinformasjon

Metoder som bruker transinformasjon av bildene viser gode resultater, spesielt med bilder der intensitetsverdiene varierer sterkt. Denne variasjonen forekommer f.eks. B. på bilder som ble tatt opp med forskjellige sensorer, for eksempel MR og CT.

Entropi er viktig for forklaringen av gjensidig informasjon

,

der X er en tilfeldig variabel , er x en diskret verdi av den tilfeldige variabelen X og p er en sannsynlighetstetthet . Når det gjelder bilderegistrering, er det naturlig at den tilfeldige variabelen X representerer intensitetsverdiene til et bilde. Den entropien er da et mål på en bildeforstyrrelse. Hvis alle intensitetsverdiene til et bilde er like sannsynlige, er entropien størst. Hvis bildet bare inneholder en enkelt intensitetsverdi, er entropien null. For bilderegistrering trenger du imidlertid delt entropi av to tilfeldige variabler X og Y

,

siden minst to bilder må sammenlignes med hverandre. Hvis dette tiltaket er minimalt, er bildene i best mulig avtale. Men den vanlige entropien avtar ikke bare når bildene blir bedre tilpasset hverandre, men også når entropien til et av bildene avtar. Derfor bør et mål på avtalen også ta hensyn til entropiene til de enkelte bildene. den transinformation

,
Representasjon av entropien (venstre), felles entropi (sentrum) og transinformasjonen (høyre) som Venn-diagrammer.

er et slikt tiltak. Den transinformation er maksimal når den felles entropi avtar. Bildet til høyre viser Venn-diagrammer som viser de forskjellige dimensjonene. Der kan det også sees igjen at transinformasjonen er maksimal når den felles entropien er minimal. Når du registrerer deg med transinformasjon, er målet å maksimere den, dvs. at bildene passer best mulig når transinformasjonen er på sitt maksimale. For å få gode estimater for transinformasjonen er det nødvendig å ha et godt estimat for sannsynlighetstettheten p . Så mange piksler som mulig må derfor inkluderes, noe som også er en ulempe siden registreringen derfor er veldig kompleks.

Funksjonsbaserte prosedyrer

La to sett med funksjoner gis. Den ene inneholder funksjonene i objektbildet, den andre funksjonene i referansebildet. Funksjonene er representert av såkalte kontrollpunkter. Dette kan være selve funksjonene, hvis funksjonene er punkter, eller sluttpunkter på linjer, fokuspunkter i regioner eller lignende. Målet med funksjonsjusteringen er å etablere den sammenkoblede korrespondansen mellom funksjonene til objektbildet og referansebildet.

Metoder som bruker romlige forhold

Med disse metodene brukes informasjonen om avstanden mellom kontrollpunktene og deres romlige fordeling for å etablere samsvaret mellom kontrollpunktene til objektbildet og referansebildet.

En måte å gjøre justeringen på er som følger. Det er n valgte kontrollpunkter i objektbildet. Deretter er n kontrollpunkter definert i referansebildet som de som tilsvarer de valgte kontrollpunktene i objektbildet. Transformasjonen beregnes og utføres på grunnlag av denne korrespondansen. Deretter sjekkes det hvor mange av de gjenværende kontrollpunktene som er oppå hverandre eller i det minste tilstrekkelig nær hverandre. Hvis prosentandelen av de gjenværende kontrollpunktene som ligger ovenpå hverandre er under en viss terskelverdi, må to nye kontrollpunkter bestemmes i referansebildet og prosessen gjentas.

Metoder som bruker uforanderlige beskrivelser

En annen metode for å etablere samsvar mellom funksjonene er å bruke visse egenskaper som kjennetegner funksjonene. Disse egenskapene kalles deskriptorer og bør være så uforanderlige som mulig med hensyn til de forventede bildeforvrengningene. Beskrivelsene skal oppfylle følgende betingelser:

  • Invariance: Beskrivelsene av de tilsvarende funksjonene til objektbildet og referansebildet skal være de samme.
  • Unikt: To forskjellige egenskaper skal ha forskjellige beskrivelser.
  • Stabilitet: Beskrivelsene av en funksjon som er deformert, skal være lik de for den udeformerte funksjonen.
  • Uavhengighet: Hvis beskrivelsene er en vektor, bør elementene være funksjonelt uavhengige av hverandre.

Imidlertid kan ikke alle disse vilkårene alltid være oppfylt samtidig. Så et passende kompromiss må finnes i valg av deskriptorer. Valget av beskrivelsene avhenger av egenskapene til funksjonene og den forventede deformasjonen mellom objektbildet og referansebildet. Er funksjonene f.eks. B. Regioner, og hvis deformasjonen bare består av translasjon og rotasjon, kan området til en region velges som deskriptor, siden dette forblir det samme for rotasjon og oversettelse. Imidlertid, hvis skalering legges til, er den valgte egenskapen ikke lenger invariant med hensyn til transformasjonen. Under funksjonstilpasningen bestemmes funksjonene fra objektbildet og referansebildet hvis beskrivelser er mest like.

Invariant-deskriptorer kan også brukes hvis funksjoner ikke har blitt eksplisitt ekstrahert på forhånd, men et vindu går over hele bildet og invarianter beregnes for dette vinduet.

Transformasjonsberegning

Etter at samsvaret mellom funksjonene ble etablert i den siste delen, beskriver denne delen hvordan transformasjonen er konstruert som objektbildet transformeres for å tilpasse den til referansebildet. Korrespondansen mellom kontrollpunktene til objektbildet og referansebildet, samt kravet om at de tilsvarende kontrollpunktene skal transformeres så tett som mulig til hverandre, strømmer inn i transformasjonen.

Oppgaven som skal løses er valg av en familie av funksjoner og beregning av parametrene til kartfunksjonen. Funksjonsfamilien må velges med hensyn til forventede forskjeller i bildet og den nødvendige nøyaktigheten av transformasjonen. Det enkleste tilfellet er en oversettelse . Bare to parametere må beregnes. Mer komplekse er f.eks. B. affine eller perspektivtransformasjoner. Jo mer kompleks familie av funksjoner, jo større antall parametere som skal beregnes. Årsaken til forskjellen i bildene har også innflytelse på valg av familie av funksjoner. Så er z. B. når det gjelder perspektivforvrengning på grunn av forskjellige kameraposisjoner, er valg av familie av funksjoner som perspektivtransformasjon åpenbart.

Transformasjonene kan deles inn i to brede kategorier, avhengig av datamengden som brukes. Globale transformasjoner bruker alle kontrollpunkter for å beregne et sett med parametere for hele bildet. En global transformasjon består således av en enkelt funksjon som brukes på hver piksel. Med de lokale transformasjonene er bildet delt inn i flere områder - i ekstreme tilfeller er hver piksel et eget område. Deretter beregnes parametrene for hvert område. Dette betyr at lokale forskjeller i styrkene til bildene også kan behandles. En lokal transformasjon består av flere funksjoner, hver for et område.

Globale transformasjoner

En av de utbredte globale transformasjonsmodellene bruker bivariate polynomer med lav, vanligvis første grad. Den likheten transformasjon er den enkleste modellen. Følgende ligninger kartlegger punktet (x, y) til punktet (x ', y') :

,

der rotasjonsvinkelen, s er skaleringsfaktoren og og er oversettelsesparametrene. Denne transformasjonen kalles også formbevarende, da det betyr at vinkler , avstander og lengdeforhold forblir uendret. En fordel er at bare to kontrollpunkter kreves her. Ulempen er imidlertid at bare rotasjon , oversettelse og skalering kan implementeres på denne måten.

En mer generell modell er affinetransformasjonen . Punktet (x, y) tilordnes til punktet (x ', y') som følger :

,

hvor og er skaleringsfaktorene, og er skjærfaktorene og og er oversettelsesparametrene. Her kreves tre kontrollpunkter, men skjæringen kan også implementeres.

Hvis det kan forventes perspektivforvrengning i bildene som skal registreres, perspektivtransformasjon

,

bli brukt. Her kreves det nå fire kontrollpunkter.

Hvis man kan forvente mer komplekse forvrengninger i bildene, kan polynomer av andre eller tredje grad også brukes. Polynomer av høyere orden brukes vanligvis ikke. Som regel brukes imidlertid flere kontrollpunkter for registreringen enn minimumsantallet som er angitt her. Parametrene til den valgte transformasjonen blir deretter vanligvis beregnet ved å bruke metoden med minste kvadrat , slik at transformasjonsligningene minimerer summen av kvadratfeilene til kontrollpunktene. Som et resultat kan det imidlertid skje at kontrollpunktene ikke transformeres nøyaktig oppå hverandre, men bare så nær hverandre som mulig.

Lokale transformasjoner

Triangulering for implementering av stykkevis interpolasjon.

På grunn av globale transformasjoner kan lokale forskjeller i varierende størrelse bare justeres dårlig eller slett ikke i bildene. Lokale transformasjoner er bedre egnet for dette. Transformasjonen består av flere funksjoner. Alle kontrollpunkter brukes da ikke lenger for en funksjon, men hver funksjon har sine kontrollpunkter.

En metode som realiserer lokale transformasjoner er stykkevis interpolasjon. En funksjon blir bestemt som interpolerer mellom de matchede kontrollpunktene til objektbildet og referansebildet. En mulighet er triangulering. Bildet til høyre viser hvordan et bilde kan deles inn i trekantede områder ved hjelp av kontrollpunktene. Trekantene på bildet til høyre har forskjellige farger for å gjøre de tilsvarende trekantene lettere å se. Flere funksjoner brukes i transformasjonen, som hver er gyldige i en trekant. For å oppnå tilstrekkelig gode resultater med denne prosedyren, må ikke hjørnepunktene i hver trekant være for langt fra hverandre, dvs. det må være et tilstrekkelig antall kontrollpunkter. Siden antallet nødvendige kontrollpunkter er veldig høyt, er beregningsinnsatsen tilsvarende høy.

Radiale basisfunksjoner

De radiale basisfunksjonene tilhører de globale transformasjonene, men er også i stand til å tilpasse lokale forskjeller. Enhver funksjon f som har følgende egenskaper er en radial basisfunksjon:

,

hvor c er sentrum for funksjonen f . Når du registrerer deg med radiale basisfunksjoner, er hvert kontrollpunkt sentrum for en basisfunksjon. Hele transformasjonen er da en lineær kombinasjon av alle disse radiale basisfunksjonene pluss et lavgradig polynom . La N kontrollpunkter gis, koordinatene til det i te kontrollpunktet og vekter som angir hvor sterkt funksjon hvis sentrum er det i kontroll-punkt er inkludert i den generelle transformasjon. Pikselet (x, y) overføres deretter til pikselet (x ', y') som følger :

.

Kontrollpunktene blir matchet ved hjelp av polynomet i ligningene ovenfor, og de gjenværende bildepunktene mellom kontrollpunktene blir deretter interpolert ved hjelp av de radiale basisfunksjonene.

Det mest brukte skjemaet for registrering med radiale grunnleggende funksjoner er tynnsplatene. Den radiale basisfunksjonen f er definert som følger:

.

Registreringen med tynnplatesplines kan være svært tidkrevende hvis det brukes mange kontrollpunkter.

Elastiske modeller

En annen tilnærming til å registrere bilder som har svært komplekse lokale forvrengninger er registrering ved hjelp av elastiske modeller. Registreringen skjer vanligvis iterativt ved å minimere en energifunksjonell form

med det funksjonelle som beskriver ulikheten i bildene, den bilineære formen som beskriver en passende straffebegrensning (også reguleringsperiode), og en positiv reguleringsparameter . Den bilineære formen er ofte gitt av den elliptiske operatøren

med Neumann grenseforhold og elastisitetskonstantene og gitt. Registreringen fungerer ved iterativt å løse Euler-Lagrange-ligningene

.

Som et resultat er bildene modellert som elastiske overflater eller tyktflytende væsker som ytre krefter virker på og derved deformerer dem. Deformasjonen påvirkes av de indre kreftene og skaleres riktig av parameteren . Trinnene for å tilpasse funksjonene og beregne transformasjonen sammenfaller her.

transformasjon

De beregnede transformasjonene brukes nå til å transformere objektbildet og dermed til å registrere bildene. Transformasjonen kan utføres fremover eller bakover. Hvis den utføres fremover, beregnes en ny posisjon for hvert bildepunkt av objektbildet ved hjelp av transformasjonsfunksjonene. Denne tilnærmingen har imidlertid avgjørende ulemper. På den ene siden kan flere bildepunkter av objektbildet transformeres til ett og samme nye bildepunkt, og på den andre siden kan det oppstå hull i det transformerte bildet. Et hull opprettes når det er et punkt (x, y) i det transformerte bildet som ingen piksler av objektbildet blir transformert til.

Hvis transformasjonen utføres bakover, beregnes intensitetsverdien på posisjonen (x, y) i det transformerte bildet som følger. Først starter, fra posisjonen (x, y), en rutenettposisjon (x ', y') i objektbildet ved hjelp av den inverse transformasjonen . Deretter beregnes intensitetsverdien i det transformerte bildet ved interpolasjon fra (x ', y') omkringliggende piksler. Ofte brukte interpolasjonsteknikker er f.eks. B. bilineær eller bikubisk interpolasjon. På denne måten beregnes en intensitetsverdi for hver piksel av det transformerte bildet.

litteratur

  • R. Bajcsy, S. Kovacic: Multiresolution elastisk matching, Computer Vision, Graphics and Image Processing , Vol. 46, 1989, s. 1-21
  • Jan Modersitzki: Numeriske metoder for registrering av bilder , Oxford University Press, 2004.
  • M. Bro-Nielsen, C. Gramkow: Rask væskeregistrering av medisinske bilder , i visualisering i biomedisinsk databehandling. 4. internasjonale konferanse, VBC '96 Proceedings , 1996, s. 267-276
  • FL Bookstein: Principal Warps: Thin Plate Splines and the Decomposition of Deformations , IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 11, No. 6, 1989, s. 567-585
  • RN Bracewell: The Fourier Transform and Its Applications , McGraw-Hill, New York, 1965
  • LG Brown: A Survey of Image Registration Techniques , ACM Computing Surveys, Vol. 24, No. 4, 1992, s. 325-376
  • Stefan Henn, Florian Jarre og Kristian Witsch: Matematisk bildebehandling - En oversikt over forskjellige modeller og metoder for registrering av digitale bildedata , Yearbook of Heinrich Heine University Düsseldorf 2002, s. 178–188: http: //dup.oa.hhu. de / 64/1 / pagesjarre.pdf
  • Stefan Henn, Kristian Witsch: Iterative Multigrid Regularization Techniques For Image Matching , SIAM Journal on Scientific Computing (SISC), 23 (4) (2001), 1077-1093.
  • B. Zitova, J. Flusser: Bilderegistreringsmetoder : en undersøkelse, Elsevier. Image and Vision Computing , Vol. 21, 2003, s. 977-1000
  • Boris Peter Selby, Georgios Sakas, Uwe Stilla et al. En radiometri-tolerant metode for direkte 3D / 2D-registrering av datatomografidata til røntgenbilder: Overfør funksjonsuavhengig registrering. Bildebehandling for medisin (BVM) 2010: http://www.selbytec.de/publications/
  • A. Sotiras, C. Davatzikos, N. Paragios: Deformable Medical Image Registration: A Survey , IEEE Transactions on Medical Imaging, Vol. 32, No. 7, 2013, s. 1153-1190

weblenker

Commons : Bilderegistrering  - samling av bilder, videoer og lydfiler