Optimalisering (matematikk)

Feltet med optimalisering innen anvendt matematikk er opptatt av å finne optimale parametere for et - for det meste komplekst - system. “Optimal” betyr at en objektiv funksjon minimeres eller maksimeres. Optimaliseringsproblemer oppstår i bedriftsmatematikk , statistikk , operasjonsforskning og generelt i alle vitenskapelige disipliner som jobber med ukjente parametere, som fysikk , kjemi og meteorologi . Ofte er en analytisk løsning av optimaliseringsproblemer ikke mulig, og numeriske metoder må brukes.

Eksempel på et enkelt optimaliseringsproblem

Det enkleste optimaliseringsproblemet er å finne et minimum eller maksimum av en differensierbar endimensjonal funksjon , som vanligvis oppnås ved å finne nullene til det første derivatet . ${\ displaystyle f (x)}$

Eksempler på optimaliseringsproblemer

Bedriftsmatematikk

Den objektive funksjonen representerer her stort sett fortjenesten eller omsetningen til et selskap; Parametere er råvarer, bruk av personell, maskiner, priser osv. Den objektive funksjonen bør maksimeres. I utgangspunktet er det en forenklet formalisering av et grunnleggende styringsproblem. Det får sitt systematiske grunnlag i Operations Research .

Statistikk , datautvinning

Statistiske modeller inneholder åpne parametere som er estimert. Et parametersett er optimalt hvis den tilknyttede modellforekomsten representerer dataforholdene optimalt, dvs. H. avvikene fra de modellerte dataene (i betydningen en passende kvalitetsfunksjon) fra de empiriske dataene er så små som mulig, dvs. optimale. Den objektive funksjonen kan velges annerledes her, for eksempel som en sum av kvadrater eller som en sannsynlighetsfunksjon .

Klimaforskning

Klimamodeller representerer forenklede numeriske systemer for de faktiske hydrodynamiske prosessene i atmosfæren. Innenfor rutenettcellene må interaksjonene tilnærmes med ligninger. Ligningene kan enten være avledet fra grunnleggende hydrodynamiske lover eller empiriske ligninger brukes, dvs. i utgangspunktet statistiske modeller hvis parametere må optimaliseres slik at klimamodellene representerer de faktiske prosessene så godt som mulig.

Spill teori

Kommer en spillerpopulasjon til et populasjonsoptimum i et superspill? Eller i det minste et Pareto-optimum ? Er denne likevekten stabil?

fysikk

Evaluering av målekurver ved å variere parameterverdiene til en teorifunksjon ("optimalisering i parameterrommet", se også kompensasjonsberegning ("montering")) slik at teorifunksjonen samsvarer med målekurven så tett som mulig. Fysiske systemer streber alltid etter et energiminimum ; mange problemer er nettopp å finne dette energiminimumet.

Avgrensning

Området tilnærming i numerikk er relatert til optimalisering . Omvendt kan man si: Et tilnærmingsproblem er problemet med å minimere avstanden ( metrikken ) mellom to funksjoner.

Vilkår: objektiv funksjon, begrensninger, tillatt sett, lokal og global optimalisering

La oss påta oss en minimeringsoppgave i det følgende. Det som skal optimaliseres, for eksempel en avstand, kalles en objektiv funksjon . Det som er variert er parametrene eller variablene til objektivfunksjonen. I tilfelle en todimensjonal optimaliseringsoppgave (dvs. to uavhengige parametere), kan målfunksjonen forestilles romlig av parametrene som strekker seg over lengde- og dybdeaksene. Høyden er da den objektive funksjonsverdien. I den rene intuisjonen opprettes et "fjellkjede" med fjell og daler (i det minste med kontinuerlige funksjoner).

Hvis optimaliseringsoppgaven faktisk er et tilnærmelsesproblem , blir “fjellkjeden” noen ganger også referert til som fit topologien . I dette tilfellet, i de aller fleste tilfeller, brukes summen av kvadrater som den objektive funksjonen , se detaljer i artikkelen Least Squares Method .

Siden den objektive funksjonen representerer et “fjellkjede”, skal optimaliseringsproblemet sidestilles med å finne den dypeste dalen (minimering) eller den høyeste toppen (maksimum) i denne fjellkjeden. Innsatsen for å løse oppgaven avhenger avgjørende av formen på "fjellet". Et ekstremt eksempel på en minimeringsoppgave vil være et helt flatt plan hvor individuelle nåleformede punkter stikker ut ved tilfeldige punkter. I dette tilfellet hjelper ingen søkealgoritme, du kan bare søke tilfeldig ( Monte Carlo-metoden ) eller systematisk skanne hele overflaten. Et av de enkleste tilfellene av en todimensjonal optimaliseringsoppgave er når fjellet har form av en parabel som er symmetrisk rundt høydeaksen og hvis toppunkt kan bli funnet.

Hvis optimaliseringsoppgaven består i å finne neste relative (lokale) minimum eller maksimum i nabolaget fra et gitt punkt i fjellet, så snakker man om lokal optimalisering . Hvis oppgaven er å finne det absolutte minimum eller maksimum i hele fjellkjeden, snakker man om global optimalisering . De to oppgavene har svært forskjellige vanskelighetsgrader: Det er mange metoder for lokal optimalisering, som alle fører til målet mer eller mindre raskt i alle ikke altfor vanskelige tilfeller med stor sikkerhet. Med global optimalisering avhenger løseligheten av oppgaven innenfor et gitt eller realiserbart databudsjett veldig mye av målfunksjonstopologien.

Ofte er man bare interessert i verdier for parametrene som oppfyller ytterligere begrensninger (NB). (Hvis disse begrensningene bare gjelder i utkanten av definisjonsområdet for funksjonen, kalles de også begrensninger. ) De kan gis i form av ligninger eller ulikheter, eller eksplisitt beskrive et sett (for eksempel bare heltalløsninger). Settet med alle parameterverdier som oppfyller alle NB kalles det tillatte settet . Når det gjelder fjellene, ville NL begrense området der søket utføres. Optimaliseringsproblemet som blir vurdert kalles tillatt hvis det tillatte settet, dvs. området som skal søkes, ikke er tomt. Det skilles mellom aktive og passive sekundære forhold: En NB av formen er aktiv når det optimale ligger på kanten av det tillatte området og derfor er likt . Hvis NB var passivt, ville det ikke representere en begrensning i det optimale, så det optimale ligger i området og ikke på kanten. En NB på skjemaet er alltid aktiv. ${\ displaystyle g (x) \ leq 0}$${\ displaystyle g (x) = 0}$${\ displaystyle h (x) = 0}$

klassifisering

Skalaroptimaliseringsproblemer

Et skalaroptimaliseringsproblem kan matematisk uttrykkes som

"Minimer / maksimer under sekundære forhold "${\ displaystyle f (x)}$ ${\ displaystyle x \ i X}$

representere; her er en virkelig verdsatt funksjon og . Det tillatte beløpet er ofte gitt indirekte av en funksjon, vanligvis standardisert i form ${\ displaystyle f \ colon V \ to \ mathbb {R}}$${\ displaystyle X \ subseteq V}$ ${\ displaystyle X}$

${\ displaystyle X = \ {x \ i V: g (x) \ leq 0 \}}$med en vektors funksjon (sammenligningen betyr: ingen komponenter av kan være positive).${\ displaystyle g \ colon V \ to \ mathbb {R} ^ {m}}$${\ displaystyle g (x)}$

Avhengig av form for , kan skalaroptimaliseringsproblemer klassifiseres som følger: ${\ displaystyle V, X, f, g}$

• Variasjonsproblem : er uendelig dimensjonal, spesielt et funksjonsrom.${\ displaystyle V}$
• Optimalt kontrollproblem : Klassisk variasjonsproblem med differensialligningsbegrensninger
• Lineært program (LP): hvor er affinert, er lineært.${\ displaystyle V = \ mathbb {R} ^ {n}, g = Ax-b}$${\ displaystyle A \ in \ mathbb {R} ^ {m \ times n}}$${\ displaystyle f = c ^ {T} x}$
• Kvadratisk program (QP): som ovenfor er bare en kvadratisk funksjon.${\ displaystyle f}$
• Kvadratisk program med kvadratiske begrensninger (QCQP)
• Ikke-lineært program : er noen funksjoner ( antas vanligvis å være kontinuerlig differensierbare ; i nærheten av et optimalt, kan en kvadratisk tilnærming ofte brukes, noe som fører til noen av de praktiske metodene.)${\ displaystyle f, g}$
• Heltallsprogram (også diskret program ): I tillegg er de tillatte verdiene begrenset til heltall eller mer generelt diskrete verdier.${\ displaystyle x}$
• Stokastisk program : noen parametere i beskrivelsen av er ukjente (men deres tilfeldige fordeling er kjent).${\ displaystyle f, g}$
• Konveks program : er konveks og er konveks (konkav) hvis minimert (maksimert). Konvekse programmer er inkludert som spesialtilfelle ${\ displaystyle X}$${\ displaystyle f}$
  • Koniske programmer : Generelle ulikheter brukes, ellers er alle funksjoner affine. Koniske programmer har i sin tur tre underområder:
    • Semidefinite-programmer bruker kjeglen til positive semidefinite matriser, så de har en matrise som en variabel.
    • De SOCPs ( Second Order Cone Program ) bruke den andre-ordens kjegle, som også kalles den Lorentz kjegle .
    • Lineære optimaliseringsproblemer kan også formuleres som koniske programmer.
  • Under visse forhold faller kvadratiske programmer og kvadratiske programmer med kvadratiske begrensninger også under konveks optimalisering.
  • Geometriske programmer er ikke konvekse i seg selv, men kan konverteres til et konveks problem.

Hvert av disse delområdene for optimalisering har løsningsprosedyrer som er spesielt skreddersydd til problemets struktur.

Merknad om terminologi: "Program" skal forstås som et synonym for "optimaliseringsproblem" (og ikke som "dataprogram"). Bruken av begrepet “program” er historisk basert: De første optimaliseringsapplikasjonene var militære problemer som man kunne finne et handlingsprogram for .

Problemer med optimalisering av vektorer

Et optimaliseringsproblem fra vektoroptimalisering (også kalt Pareto-optimalisering ) er derimot et problem der verdiene til flere objektive funksjoner må optimaliseres samtidig. Dette kan formaliseres ved å optimalisere en vektordefinert objektivfunksjon . Løsninger som fører alle komponentene til den objektive funksjonen til et optimalt samtidig, er vanligvis ikke tilgjengelige; snarere er det generelt et større sett med løsninger som for eksempel et enkelt optimalt punkt kan velges ved en skalering (vekting av de enkelte komponentene i den objektive funksjonen). ${\ displaystyle f \ colon V \ to \ mathbb {R} ^ {n}}$

Lineær og heltalloptimalisering

Et viktig spesialtilfelle er lineær optimalisering . Her er den objektive funksjonen lineær, og begrensningene kan representeres av et system med lineære ligninger og ulikheter. Hvert lokalt optimum er automatisk også et globalt optimalt, siden det tillatte området er konveks. Det er svingemetoder for å beregne det globale optimale nøyaktig, i prinsippet, hvorav de mest kjente er simpleksmetodene (ikke å forveksle med downhill simplex-metoden nedenfor). Siden 1990-tallet har det imidlertid også vært effektive innvendige punktmetoder som kan være konkurransedyktige med simpleksmetoden for visse typer optimaliseringsproblemer.

En begrensning til heltallvariabler gjør problemet mye vanskeligere, men utvider samtidig de mulige applikasjonene. Denne såkalte integral lineær optimalisering blir brukt, for eksempel i produksjonsplanlegging , i planlegging , i ruteplanlegging eller i planleggingen av telekommunikasjons eller transportnettverk.

Ikke-lineær optimalisering

Metoder for lokal ikke-lineær optimalisering med begrensninger

Tilfellet med ikke-lineær optimalisering, der den objektive funksjonen, begrensningene (NB) eller begge er ikke- lineære, er vanskeligere enn lineær optimalisering . Løsningen oppnås ved å redusere problemet til optimalisering av en hjelpefunksjon uten NB. Metodene for ikke-lineær optimalisering uten NB nedenfor kan deretter brukes på dette nye problemet. Fremgangsmåten bør forklares ved hjelp av et kontaktproblem: To kuler i et trau prøver å oppta lavest mulig punkt, men må ikke trenge gjennom hverandre. Den objektive funksjonen er derfor kulenes posisjonelle energi og antar et minimum i likevekt. Den sekundære tilstanden her ville være penetrering av kulene, og med negativ penetrasjon som betyr en positiv avstand. Det er fem metoder for å konstruere hjelpefunksjonen: ${\ displaystyle g (x, y) \ leq 0}$${\ displaystyle x}$${\ displaystyle y}$

1. Lagrange-multiplikatorer : NB multipliseres med reelle faktorer, Lagrange-multiplikatorer, og legges til objektivfunksjonen. Faktorene blir introdusert i problemet som ukjente og må også bestemmes (i samsvar med Karush-Kuhn-Tucker-forholdene ). Når det gjelder kuler, er Lagrange-multiplikatorene nettopp kontaktkreftene som kulene utøver på hverandre når de berører, slik at de ikke trenger gjennom hverandre.
2. Strafffunksjoner: NB er representert med straffefunksjoner som forsvinner i definisjonsområdet og er negative hvis NB brytes. Straffefunksjonene multipliseres med straffeparametere og legges til den objektive funksjonen (når du maksimerer, ellers trekker fra), slik at brudd på NB blir straffet, derav navnet. Aktive NB kan bli brutt her, og løsningen må godtas. I kulebildet tilsvarer straffefunksjonen den virkelige penetrasjonen , som derfor forsvinner med en positiv avstand, og straffeparameteren tilsvarer en fjærstivhet. Våren prøver å trekke gjennomtrengende punkter tilbake til overflaten. Jo stivere våren er, desto mindre blir penetrasjonen.${\ displaystyle \ min (0, g (x, y))}$
3. Barrierefunksjoner: Barrierefunksjonene brukes som straffefunksjonene. Imidlertid har de allerede negative verdier når de nærmer seg grensen for domenet og vokser til uendelig på grensen. I det sfæriske bildet vil kulene ha en mer eller mindre tykk jakke som blir mer og mer stiv, jo mer den blir komprimert når den berøres. Et brudd på NL forhindres til den prisen at selv det å nærme seg kanten straffes.
4. Augmented Lagrange Method: Dette er en kombinasjon av de tidligere metodene. Lagrange-multiplikatoren bestemmes iterativt basert på brudd på NB.
5. Avgjørende, men verdt å nevne, er at aktiv NB kan brukes til å eliminere parametere for objektivfunksjonen. Parametrene er satt til verdier slik at et brudd på NB nå er umulig. I sfærebildet ville kontaktpunktene til kulene være koblet til hverandre (likestille koordinatene deres) slik at penetrasjon (der) ikke lenger kan finne sted.

Metoder for lokal ikke-lineær optimalisering uten begrensninger

Når det gjelder lokal optimalisering, avhenger valg av metode av det nøyaktige problemet: Er det en målfunksjon som vilkårlig bestemmes? (Dette er ofte ikke tilfelle med stokastiske objektive funksjoner.) Er den objektive funksjonen i miljøet strengt ensformig, bare monoton eller kan det til og med være små relative ekstremer "på vei"? Hva koster det å bestemme en gradient?

Eksempler på metoder:

Derivatfrie metoder

• Halveringsmetode , metode for gyldne snitt og andre metoder for optimalisering av endimensjonale funksjoner eller til linjesøket (sekvensielt søk) i flerdimensjonale funksjoner.
• Downhill simplex-metode
• Tillit regionprosedyre

Disse metodene koster mange iterasjoner, men er (delvis) relativt robuste med hensyn til problemer i den objektive funksjonen, for eksempel lite relativt ekstrem, og de krever ikke beregning av en gradient. Sistnevnte kan være svært kostbart hvis man bare søker et relativt upresist resultat.

Prosedyrer som det første derivatet kreves for

• Secant-metode (for å bestemme null på det første derivatet)
• Gradientmetode og konjugert gradientmetode .
• Quasi-Newton-metoden

Disse metodene er raskere enn de derivatfrie metodene så lenge en gradient kan beregnes raskt, og de er like robuste som de derivatfrie metodene.

Prosedyrer som det andre derivatet kreves for

• Newton-metoden eller Newton-Raphson-metoden.

Newton-metoden er kjent som en metode for å bestemme null og krever det første derivatet. Følgelig kan den også brukes på avledningen av en objektiv funksjon, siden optimaliseringsoppgaven tilsvarer å bestemme nullene til det første derivatet. Newton-metoden er veldig rask, men ikke veldig robust. Hvis du ikke er sikker på "godartethet" i optimaliseringsproblemet, må du også bruke globaliseringsstrategier som trinnstørrelsessøk eller prosedyrer for tillitsregion .

For de problemene som ofte oppstår i praksis, der den objektive funksjonen som skal minimeres, har den spesielle formen til standardkvadraten til en vektors funksjon (metode med minste kvadrater, "minste kvadrater"), er Gauss-Newton-metoden tilgjengelig , som i prinsippet kan brukes, benytter seg av det faktum at for funksjoner av denne formen, under visse tilleggsforutsetninger, kan det dyre andre derivatet ( hessisk matrise ) tilnærmes veldig bra uten eksplisitt beregning som en funksjon av Jacobi-matrisen . På denne måten oppnås en superlinjær konvergenshastighet som ligner på Newtons metode nær målet . Siden denne metoden har arvet stabilitetsproblemene til Newton-metoden, kreves det også her såkalte globaliserings- og stabiliseringsstrategier for å kunne garantere konvergens i det minste til neste lokale minimum. En populær variant her er Levenberg-Marquardt-algoritmen .

Metoder for global ikke-lineær optimalisering

I motsetning til lokal optimalisering er global optimalisering et nesten uløst problem i matematikk: Det er praktisk talt ingen metoder som i de fleste tilfeller resulterer i et punkt som med sikkerhet eller til og med med stor sannsynlighet representerer det absolutte ekstreme.

Alle metoder for global optimalisering har til felles at de gjentatte ganger ser etter lokale minima / maksima i henhold til et bestemt system.

Evolusjonsalgoritmer brukes oftest her . Disse gir et godt resultat, spesielt når arrangementet av relative minima og maxima viser en viss regelmessighet, som kunnskap om kan arves. En veldig god metode kan også være å tilfeldig velge utgangspunkt for søket etter lokale minima / maksima for deretter å undersøke søkeresultatene for regelmessigheter ved hjelp av statistiske metoder.

I praksis reflekteres imidlertid det faktiske søkekriteriet ikke tilstrekkelig. Så det er ofte mye viktigere å ikke finne det globale optimale, men et parameterområde der det er så mange relative minima som mulig. Metoder for klyngeanalyse eller nevrale nettverk er egnet her .

Ytterligere metoder for ikke-lineær global optimalisering:

• Optimaliseringsprosesser analoge med naturen
  • Flomalgoritme ( stor flomalgoritme )
  • Simulert annealing ( simulert annealing )
  • Metropolis-algoritme
  • Aksept terskel ( terskel godtar )
  • Ant algoritme ( maur koloni optimalisering )
  • Optimalisering av partikelsverm
• Andre prosedyrer
  • Hill Climb ( Hill Climb )
  • Stokastisk tunneling ( Stokastisk tunneling )
  • RANSAC-algoritme for bedre håndtering av måledata med avvikere
  • Primal-Dual-Active-Set-algoritme for løsning av et kvadratisk optimaliseringsproblem over en konveks delmengde av et Hilbert-rom over settet${\ displaystyle S}$ ${\ displaystyle V}$${\ displaystyle \ Omega}$

Ytelsen til optimaliseringsalgoritmer blir ofte analysert på grunnlag av testproblemer med en kompleks struktur av minima eller maksima som den nøyaktige løsningen er kjent for. Et eksempel på en slik testfunksjon er rastriginfunksjonen .

Teoretiske utsagn

Når du optimaliserer en (differensierbar) funksjon uten begrensninger, er det kjent at minima / maxima bare kan være på punkter . Denne tilstanden brukes i konstruksjonen av mange løsningsmetoder. I tilfelle optimalisering med begrensninger, er det analoge teoretiske utsagn: dualitet og Lagrange-multiplikatorer . ${\ displaystyle f (x)}$${\ displaystyle \ nabla f (x) = 0}$

Konvekse problemer

I tilfelle konvekse problemer er området som skal søkes og objektivfunksjonen konveks. Når det gjelder et konvekt område, er alle punkter på linjen som forbinder to punkter i området også helt i området. Matematisk:

${\ displaystyle \ lambda \ i [0,1] \ Rightarrow x + \ lambda (yx) \ i X \ quad \ forall x, y \ i X}$

Eksempler på konvekse områder er sirkler, ellipser, trekanter og firkanter.

Objektivfunksjonen er konveks hvis alle verdiene til objektivfunksjonen til punkter på den rette linjen som forbinder to punkter i området, ligger under denne rette linjen. Matematisk:

${\ displaystyle \ lambda \ i [0,1] \ Rightarrow f (x + \ lambda (yx)) \ leq f (x) + \ lambda (f (y) -f (x)) \ quad \ forall x, y \ i X}$.

Det parabolske optimaliseringsproblemet vist i begynnelsen av denne artikkelen har en konveks objektiv funksjon.

Ved konvekse problemer er hvert lokale minimum også et globalt minimum. Hvis poengene er optimale, er alle punktene "mellom" disse punktene optimale. Matematisk: ${\ displaystyle x_ {i} \ ,, \; i = 1, \ dotsc, n}$

${\ displaystyle \ alpha _ {1}, \ alpha _ {2}, \ dotsc, \ alpha _ {n} \ in [0,1] \; \ wedge \; \ sum _ {i = 1} ^ {n } \ alpha _ {i} = 1 \ quad \ Rightarrow \ quad f \ left (\ sum _ {i = 1} ^ {n} \ alpha _ {i} x_ {i} \ right) = f _ {\ text {opt}}}$.

dualitet

Det ene optimaliseringsproblemet som er knyttet til (Lagrange) dobbeltproblem er ${\ displaystyle \ min \; f (x): \; g (x) = 0}$

${\ displaystyle \ max _ {\ lambda} \ min _ {x} {\ mathcal {L}} (x, \ lambda)}$

hvor er den tilhørende Lagrange-funksjonen. De varme her Lagrange-multiplikatorene , eller doble variable eller skyggepriser . Brudd på sekundære forhold er tydelig tillatt, men straffes i den objektive funksjonen med merkostnader per krenket enhet. En løsning som det ikke er verdt å bryte med begrensningene, løser det dobbelte problemet. For konvekse (spesielt lineære) problemer er verdien av det doble problemet lik verdien av det opprinnelige problemet. For lineære og konvekse kvadratiske problemer kan den indre minimeringen løses i lukket form, og det dobbelte problemet er igjen et lineært eller konvekt kvadratisk problem. ${\ displaystyle {\ mathcal {L}} (x, \ lambda) = f (x) + \ lambda ^ {T} g (x)}$${\ displaystyle \ lambda}$${\ displaystyle \ lambda}$${\ displaystyle \ lambda}$

Lagrange-multiplikatorer

Lagrange-multiplikatorsetningen sier at løsninger på det begrensede optimaliseringsproblemet bare kan finnes på steder der det er Lagrange-multiplikatorer som tilfredsstiller betingelsen ${\ displaystyle \ min _ {x} \, f (x): \, g (x) = 0}$${\ displaystyle x}$ ${\ displaystyle \ lambda _ {i}}$

${\ displaystyle \ nabla _ {x} {\ mathcal {L}} (x, \ lambda) = \ nabla f (x) + \ sum _ {i} \ lambda _ {i} \ nabla g_ {i} (x ) = 0}$

innfri. Denne tilstanden er den direkte generaliseringen av avledningsbetingelsen ovenfor. Som dette gir Lagrange-multiplikator-setningen en nødvendig forutsetning for et minimum eller maksimum. En tilstrekkelig tilstand kan oppnås ved å vurdere de andre derivatene.

Lagrange-multiplikator-teoremet gjelder bare hvis begrensningene er gitt av ligninger. Generaliseringen til ulikheter er gitt av Karush-Kuhn-Tucker-teoremet . ${\ displaystyle \ min _ {x} \ {f (x): g (x) \ leq 0 \}}$

Straffefunksjoner

I grensen for straffeparametrene som nærmer seg uendelig, endres løsningen som finnes med straffefunksjonene til løsningen som er funnet med Lagrange-multiplikatorene.

Utvidet Lagrange-metode

I grensen for uendelig mange iterasjoner, løser løsningen funnet med den utvidede Lagrange-metoden også mot løsningen som er funnet med Lagrange-multiplikatorene.

Individuelle bevis

1. ↑ Far til lineær programmering ( Memento fra 11. november 2009 i Internet Archive ) I: informs.org

litteratur

• Walter Alt: Ikke-lineær optimalisering - En introduksjon til teori, prosedyrer og applikasjoner . Vieweg, 2002, ISBN 3-528-03193-X .
• Yonathan Bard: Ikke-lineær parameterestimering . Academic Press, New York 1974, ISBN 0-12-078250-2 .
• Hans Benker: Matematisk optimalisering med datamaskinalgebra-systemer. Springer-Verlag, Berlin / Heidelberg / New York 2003.
• S. Boyd, L. Vandenberghe: Konveks optimalisering . Cambridge University Press, 2004. (online)
• W. Domschke, A. Drexl: Introduksjon til operasjonsforskning. 7. utgave. Springer, Berlin 2007, ISBN 978-3-540-70948-0 .
• R. Fletcher: Praktiske metoder for optimalisering . Wiley, 1987, ISBN 0-471-91547-5 .
• U. Hoffmann, H. Hofmann: Introduksjon til optimalisering: med applikasjonseksempler fra kjemisk ingeniørfag . Verlag Chemie, Weinheim 1971, ISBN 3-527-25340-8 .
• R. Horst, PM Pardalos (red.): Håndbok for global optimalisering . Kluwer, Dordrecht 1995, ISBN 0-7923-3120-6 .
• F. Jarre, J. Stoer: Optimalisering . Springer, 2004, ISBN 3-540-43575-1 . begrenset forhåndsvisning i Google Book-søk
• J. Nocedal, SJ Wright: Numerisk optimalisering . Springer, Berlin 1999, ISBN 0-387-98793-2 .
• C. Geiger, C. Kanzow: Teori og numerikk av begrensede optimaliseringsoppgaver . Springer, 2002, ISBN 3-540-42790-2 . begrenset forhåndsvisning i Google Book-søk
• C. Grossmann, J. Terno: Numerics of Optimization . Teubner Study Books, 1997, ISBN 3-519-12090-9 . begrenset forhåndsvisning i Google Book-søk

weblenker

• Litteratur for optimalisering i katalogen til det tyske nasjonalbiblioteket
• Generell lenkeside global optimalisering (Engl.)
• Innføring i numerisk optimalisering
• NEOS Guide Optimization (Engl.)
• Decision Tree for Optimization Software (Engl.)
• Global Optimization Algorithms - Theory and Application (engelsk; PDF-fil; 13,14 MB)