Hvordan fungerer interaksjonen – og hva skjer med tegningen din?

Hvordan utstillingen bruker kunstig intelligens (KI)

Når du lager en tegning i Edvard Munch: Der strekene møtes, sammenligner systemet tegningen din med mer enn 7 000 digitaliserte tegninger fra MUNCHs samling.

Kunstig intelligens (KI) hjelper systemet med å identifisere forbindelser mellom tegningen din og Edvard Munchs tegninger. KI-modeller er datasystemer som er trent til å gjenkjenne mønstre og sammenhenger i og mellom bilder og tekst. I stedet for å forstå kunst på en menneskelig måte, finner de likheter og forbindelser i store mengder informasjon.

Før utstillingen åpnet, ble MUNCHs tegningsarkiv analysert ved hjelp av flere KI-modeller.

• CLIP (Contrastive Language–Image Pretraining) er en KI-modell utviklet av OpenAI som analyserer visuelle egenskaper som linjer, former, komposisjoner og strukturer.
• GPT (Generative Pre-trained Transformer) er en språkmodell utviklet av OpenAI. I denne utstillingen hjelper GPT med å generere korte beskrivelser av tegninger og identifisere mulige motiver, temaer og emner.
• Embedding-modeller omgjør visuell og tekstlig informasjon til søkbare representasjoner som gjør det mulig å identifisere relasjoner på tvers av tusenvis av tegninger.

For å gjøre tegningene søkbare omgjøres både de visuelle analysene og tekstbeskrivelsene til digitale representasjoner som kan sammenlignes på tvers av hele arkivet.
 
Til sammen skaper disse analysene et digitalt kart over visuelle og tematiske forbindelser mellom tusenvis av tegninger i MUNCHs samling.
 
KI-en genererer ikke nye kunstverk og etterligner ikke Edvard Munchs stil. Formålet er å hjelpe besøkende med å oppdage tegninger og forbindelser i MUNCHs samling som ellers kunne ha forblitt skjulte. 

Hvordan matching-prosessen fungerer?

Når du lager en tegning analyserer en visuell KI-modell hvordan tegningen ser ut, mens en språkmodell genererer en kort beskrivelse av hva tegningen ser ut til å forestille. Disse formene og representasjonene sammenlignes med MUNCHs tegninger.

Systemet identifiserer deretter de nærmeste treffene basert på både visuelle likheter og tematiske eller motiviske forbindelser. Det leter ikke etter eksakte kopier. I stedet søker det etter tegninger som har former, motiver, komposisjoner, stemninger eller andre visuelle og innholdsmessige kjennetegn til felles med din.

Resultatet er en liste med Munch-tegninger som systemet vurderer som relevante forbindelser til tegningen du har laget. Munch-treffene vises på iPaden din, slik at du kan utforske uventede forbindelser med Edvard Munchs arkiv.

DIN TEGNING

↓

VISUELL KI (CLIP)
 Hvordan ser den ut?
 Linjer • Former • Komposisjon

↓

SPRÅKMODELL (GPT)
 Hva kan den forestille?
 Motiver • Temaer • Emner

↓

SØKESYSTEM
 Sammenligner med
 7 000+ Munch-tegninger

↓

OPPDAGER FORBINDELSER

↓

VISER MUNCH-TREFF
 

Hva skjer med tegningen din?

Hvis du velger å sende den til skjermene i utstillingen, lagres dine tegninger på MUNCHs egne servere.

Selve tegningen lagres ikke permanent hos eksterne KI-leverandører. MUNCH beholder kontrollen over de besøksgenererte dataene som samles inn gjennom utstillingen.

Tegningen din kan vises i utstillingen som en del av det kollektive skjerm-galleriet med publikumstegningene, sammen med Munch-tegningene den har blitt koblet til.

Hjelp oss å skape et nytt kulturelt datasett

Når du sender inn tegningen din og de tilhørende Munch-treffene til skjermene i utstillingsrommet, har du muligheten til å samtykke til at tegningen din lagres og deles som del av et datasett for forskning og andre ikke-kommersielle formål. Intensjonen vår med et slikt datasett er å opprette et unikt og samtykkebasert datasett som kan deles etter utstillingen gjennom initiativer som Mozilla Data Collective og andre plattformer for deling av data til samfunnsnyttige formål.

Vi mener at dette materialet kan ha verdi utover selve utstillingen. Det kan støtte forskning på kreativitet, læring, tegning, menneske-maskin-interaksjon og kulturell deltakelse. Det kan også hjelpe kunstnere, pedagoger, forskere og kulturinstitusjoner med å utvikle alternative tilnærminger til kunstig intelligens basert på åpenhet, samtykke og samfunnsnytte.

De fleste KI-systemer i dag er basert på datasett som er kommersielt kontrollerte og i stor grad utilgjengelige for offentligheten. Som museum er MUNCH interessert i å utforske hvordan kulturinstitusjoner kan bidra til å skape mer åpne og mangfoldige kunnskapsressurser som støtter forskning, utdanning og innovasjon.

Det er helt frivillig å gi samtykke, og valget påvirker ikke opplevelsen din av utstillingen. All eventuell fremtidig deling av data vil være basert på samtykke, åpenhet og ansvarlig forvaltning.

Hvorfor bruker MUNCH kunstig intelligens?

MUNCH forvalter mer enn 27 000 kunstverk av Edvard Munch, inkludert over 7000 tegninger. Mange av disse tegningene er skjøre og kan bare vises i begrenset grad.

Gjennom Edvard Munch: Der strekene møtes utforsker MUNCH hvordan teknologi kan hjelpe flere med å oppdage, engasjere seg i og lære av denne i stor grad skjulte delen av samlingen.

KI-ens rolle i utstillingen er ikke å erstatte menneskelig tolkning eller å skape nye kunstverk. I stedet hjelper den besøkende med å navigere i et omfattende tegningsarkiv og oppdage uventede forbindelser som ellers kunne ha forblitt usynlige.

For MUNCH er prosjekter som Der strekene møtes også en mulighet til å utforske hvordan museer kan bruke kunstig intelligens på en ansvarlig, transparent og samfunnsnyttig måte.