Cultor College

 

Il Progetto
L'uomo ha sempre cercato l'estetica. In questo studio proponiamo un nuovo approccio che cerca di ridefinire l'immagine fotografica, secondo diverse linee guida utilizzate dai fotografi professionisti per comporre immagini con alto contenuto estetico.
Attuando una valutazione dell'immagine originale, si procede al taglio e riposizionamento dell'inquadratura per avvicinarla al punteggio estetico ottimale.
Una serie di numerose prove e verifiche ha dimostrato l'applicabilità e l'efficacia di questo algoritmo.
Queste ricerche ci portano nel futuro degli editor d'immagine come Photoshop.

I Ricercatori
Questo progetto è stato realizzato dal prof. Ligang Liu con Renjie Chen dell'Università di Zhejiang in Cina e dai professori Lior Wolf e Daniel Cohen-Or del dipartimento di scienza del computer all'Università di Tel Aviv.

 

 

 

 

 

 

Alcuni esempi di ottimizzazione estetica: sopra la foto originale, sotto quella trattata con il procedimento automatico

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

 

 

 

 

Composizione estetica

Figura 9: Risultati diversi della composizione estetica utilizzando differenti linee guida.
Colonna di sinistra: (a) l'immagine originale; (b) ottimizzazione usando la regola dei terzi; (c) risultato della composizione con la regola dei terzi e la dominanza della diagonale.
Colonna di destra: (a) l'immagine originale, (b) ottimizzazione usando le linea guida della regola dei terzi; (c) il risultato della composizione con la regola dei terzi e dell'equilibrio visivo

 


 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 


 

 

 

 

Composizione fotograficaoriginale

Composizione fotograficaimmagine ottimizzata

 

 

 

 



Ottimizzare automaticamente
la composizione estetica delle fotografie - 2

di Ligang Liu, Renjie Chen, Lior Wolf, Daniel Cohen-Or

Universita Tel Aviv

1- Introduzione

Gli esseri umani cercano di conseguire l'estetica non solo nell'arte. Questo obiettivo però è elusivo poiché non vi è un generale consenso su ciò che, ad esempio, rende un'opera d'arte più estetica di un'altra.
Infatti, il giudizio estetico è soggettivo e coinvolge i sentimenti e il gusto personale [Martinez e Block 1998].
Nonostante queste sfide, sta emergendo un nuovo campo di ricerca chiamato "Estetica computazionale" che si occupa dello studio per predire, con l'utilizzo del computer, la risposta emotiva a un'opera d'arte, e sviluppare metodi per suscitare e valorizzare tali impressioni [Peters, 2007; Rivotti e altri 2007].

In questo lavoro, ci concentriamo sulle proprietà estetiche della composizione di un'immagine e sulle regole utilizzate dai fotografi professionisti per produrre immagini di elevata qualità estetica.
Queste regole sono sistematicamente insegnate nei corsi professionali e nei libri di testo [Grill e Scanlon 1990; Krages 2005] e sono universalmente riconosciute come linee guida per aumentare l'estetica delle fotografie.

Dopo lo scatto, attualmente, si può migliorare la composizione dell'inquadratura, senza laboriose elaborazioni digitali. Utilizzando strumenti come Photoshop, è possibile ritagliare l'immagine, estrarre e spostare oggetti nell'immagine. Questa è routine per i professionisti, ma non per il fotografo amatoriale.

Automatizzare il processo di regolazione dell'immagine estetica richiede lo sviluppo di una valutazione estetica computazionale che rappresenti,quantificandola, la qualità compositiva di una foto.
Noi abbiamo sviluppato e formalizzato un punteggio sulla base di una serie di linee guida primarie della composizione, tra cui la regola dei terzi, la dominanza delle diagonali, l'equilibrio visivo e gli equilibri dimensionali.

Questo lavoro è il primo tentativo di utilizzare queste regole per ottenere un punteggio automatico estetico. Di conseguenza, gli strumenti per il foto ritocco automatico possono essere definiti come "ricerca dei problemi".
Al fine di modificare la composizione di una fotografia, utilizziamo un operatore composto di taglio e spostamento.
L'operatore di taglio sceglie un sottoinsieme di oggetti dell'immagine, quindi l'operatore di spostamento regola le loro posizioni relative. I parametri di questo doppio operatore sono le coordinate della finestra di taglio e la quantità di inflazione o deflazione che l'immagine subisce durante il processo.

Dalla ricerca di una combinazione di parametri che produca un'immagine con il massimo punteggio estetico, generiamo un'immagine di output che è una versione migliorata di quella originaria, consentendo così ai fotografi non professionisti di ottenere immagini con una migliore composizione estetica.

I contributi specifici del nostro lavoro sono:
• identificare un insieme di regole di composizione e l'implementazione di regole di calcolo per consentire una valutazione quantitativa;
• considerare il retargeting come un operatore che modifichi le posizioni relative delle zone salienti nell'immagine;
• facilitare l'uso di uno strumento automatico di editing delle immagini che migliori l'estetica di una fotografia.

Ottimizzare l'estetica di una fotografiaFigura 1. (a) foto originale; (b) modifica secondo lo studio di Santella & c.; (c) modifica secondo i nostri parametri; (d) punteggi estetici relativi: RT (regola dei terzi), DA (diagonale), VB (equilibrio visivo), e SZ (dimensioni regione).
Clicca per vedere l'immagine ingrandita.


2 - Studi

Varie tecniche sono state sviluppate per modificare il contenuto delle immagini nel senso della composizione e del riposizionamento dell'immagine.

2.1 - Composizione ed estetica dell'immagine

La composizione è la disposizione degli elementi visivi all'interno dell'immagine, che è un aspetto essenziale nella creazione di una vasta varietà di opere artistiche.
Nel loro lavoro quotidiano, i fotografi professionisti usano un patrimonio di conoscenze e tecniche di composizione fotografica [Martinez e Block 1998]. Non esistono regole assolute che certifichino una buona composizione in ogni fotografia, anzi, ci sono solo alcuni principi euristici che, se applicati correttamente, forniscono un mezzo per raggiungere una composizione gradevole alla vista. Alcuni di tali principi sono: regola dei terzi, forme e linee, evitare amputazioni, l'equilibrio visivo e la dominanza delle diagonali [Krages 2005].

Ci sono già stati diversi tentativi per realizzare il taglio automatico delle immagini utilizzando anche le procedure di riconoscimento dei volti.

2.2 - Riposizionamento delle immagini

Il riposizionamento delle immagini inizialmente si è occupato di visualizzare le immagini su schermi di piccole dimensioni come i display dei telefoni cellulari. L'obiettivo è quello di proporre immagini efficaci, di piccolo formato, preservando la riconoscibilità delle caratteristiche importanti durante il ridimensionamento dell'immagine. Si tratta di identificare le zone importanti, ritagliarle e incollarle su uno sfondo ridimensionato. Nel nostro lavoro, similmente, si estraggono le zone salienti usandole come basi della composizione estetica.
La distanza relativa e le distribuzioni di oggetti salienti intorno all'immagine giocano un ruolo cruciale nella sua estetica. Ricorriamo quindi a tecniche di deformazione non omogenee per modificare le composizioni delle immagini.

3 - Panoramica

Aumentare l'estetica di una data immagine è un problema duplice: come modificare l'immagine e come misurare la sua nuova estetica. La risposta all'ultima domanda è il fulcro del nostro metodo. Nella sezione 4 si descrivono le proprietà specifiche che misuriamo in un'immagine (queste poi vengono calcolate algoritmicamente).
Per quanto riguarda il primo problema, il nostro metodo si avvale di un operatore composto come mezzo per
modificare una determinata immagine: riposiziona (in modo non omogeneo) una parte ritagliata dell'immagine in un frame di destinazione di dimensioni diverse rispetto all'originale. Poi i risultati vengono rimappati in modo omogeneo alle dimensioni dell'immagine originale. Questo operatore multi-stadio modifica la proporzione, l'interrelazione tra le entità geometriche e la composizione dell'immagine.

Aesthetic retargeting
Figura 2 - Panoramica del nostro metodo di editing estetico: (a) immagine originale con diverse cornici di taglio, (b) il tracciato rosso in (a) è riproposto in 3 diverse dimensioni con lo stesso rapporto, (c) le immagini riposizionate in (b) sono uniformemente scalate ai telai delle dimensioni originali, al fine di consentire un confronto diretto tra le immagini. Notiamo che le dimensioni degli oggetti salienti e le distanze tra
loro sono cambiate dall'operatore di retargeting. L'immagine più in alto in (c) mostra il risultato più estetico.


4 - Misura estetica

Il nostro approccio si basa sulla ricerca di parametri che definiscano il massimo valore estetico. Ciò è reso possibile attraverso un modello di calcolo dell'estetica dell'immagine, che serva come passaggio da un'immagine di basso o medio livello ad una composizione di alto livello che segua le regole guida della composizione utilizzate dai professionisti.

4.1 - Linee guida estetiche di base

Ci sono varie linee guida che definiscono la composizione estetica di una fotografia.
Noi, al momento prendiamo in considerazione solo le più importanti. Lo sviluppo del progetto prevede, infatti, un allargamento di questa gamma valutativa.

Regola dei terzi. La Figura 3 (a) e (b) mostra due fotografie che rispettano questa regola.
Dominanza della diagonale. Figura 3 (c)
Bilanciamento visivo. Figura 3 (d)

Guide base alla composizione fotografica
Figura 3: linee guida di base ed esempi di composizione: (a) il gatto si trova in uno dei "punti di forza", le linee dei terzi sono sovrapposte a scopo illustrativo; (b) l'orizzonte si trova lungo la linea dei terzi; (c) una componente diagonale dominante; (d) un'immagine equilibrata: gli oggetti sono distribuiti uniformemente attorno al centro.


4.2 - Pre elaborazione delle immagini

Il punteggio estetico che assegniamo a un'immagine si basa su un'analisi della sua struttura spaziale, della distribuzioni delle zone salienti e delle linee di primo piano nell'immagine. Il rilevamento di queste zone salienti è fatto attraverso l'uso di algoritmi tradizionali.

Zone salienti di una foto
Figura 4: rilevamento delle zone salienti e delle linee prominenti. La linea rossa ha un valore salienza superiore a quelle verdi e blu. Le zone scure sono quelle con maggior valore di rilevanza.


4.3 - Calcolo del valore estetico

Stabilite le zone salienti, le linee di rilievo e la mappa di salienza, si definisce un punteggio che valuti l'estetica dell'immagine in base ai criteri di cui sopra.

Zone ritaglio foto
Figura 5: dimensioni delle zone-salienti. (a) Tutti i fotogrammi di ritaglio hanno lo stesso punteggio massimale in quanto la casa si trova sempre in un punto forte. (b) L'istogramma delle dimensioni delle regioni salienti in una serie di oltre 200 immagini professionali.


Dimensione delle zone-salienti. Combinare tre linee guida estetiche è certo superiore rispetto all'uso di una sola regola (per esempio, la regola dei terzi), ma si scopre che questo punteggio combinato non è abbastanza restrittivo. Considerando un semplice esempio che contenga un solo oggetto saliente, questo oggetto può essere posizionato sui punti di forza dell'immagine (regola dei terzi) in qualsiasi scala, vedi Figura 5 (a).
Vale a dire che ci sono molti telai di ritaglio che hanno gli stessi punteggi più alti.
Così ora introduciamo il punteggio delle dimensioni delle aree, che svolge un ruolo importante nella stabilizzazione del problema di ottimizzazione, eliminando gran parte di questa libertà.

La funzione principale del punteggio delle dimensioni delle aree è quello di determinare la scala visivamente più gradevole. Ciò si basa sull'osservazione che le dimensioni delle zone, nelle fotografie professionali, sono distribuite in modo non uniforme. Fate riferimento alla Fig. 5 (b), che mostra l'istogramma delle dimensioni delle aree salienti rilevate automaticamente in un database di oltre 200 immagini professionali raccolte per questo studio. Anche se le immagini sono state prese da varie fonti e l'insieme delle immagini è molto vario, la distribuzione ha tre picchi dominanti che corrispondono a regioni piccole, medie e grandi. Nella nostra ricerca dell'immagine più gradevole, privilegiamo zone di dimensioni che aderiscano a questa distribuzione.

4.4 - Ottimizzazione

L'inquadratura per il taglio dell'immagine originale viene ricercata in uno spazio 3D che consiste nella posizione (x, y) e nella larghezza w del rettangolo, mantenendo le proporzioni dell'immagine originale. Poi, le cornici di taglio sono ricollocate e la quantità dello spostamento su entrambi gli assi costituisce un quarto parametro.
La Figura 6 illustra come le varie valutazioni estetiche cambino in funzione di uno di questi quattro parametri.
Il processo di ottimizzazione consiste nel trovare nello spazio dei parametri 4D il vettore dei parametri che massimizzi il punteggio estetico.

Diversi tagli fotografici
Figura 6. La variazione della funzione, con la finestra di taglio che si muove da sinistra a destra nell'immagine di Figura 1 (a). L'asse x rappresenta lo spostamento della posizione della finestra, l'asse y il punteggio risultante. Per questo la visualizzazione, la coordinata y e la larghezza della finestra di ritaglio sono fissi, così come la quantità di retargeting. RT(regola dei terzi), DA (diagonali dominanti), VB (bilanciamento visivo) e SZ (dimensioni delle zone).


5 - Risultati, Validità e discussione

Le Figure 7 e 8 mostrano esempi di composizione estetica.
L'equilibrio visivo contribuisce molto al miglioramento della Fig. 8 (a) e (d). Le regole dei terzi e delle diagonali non sono, come previsto, correlate.

Composione estetica in fotografiaFigura 7. Risultati della composizione estetica. (a) Immagini originali, (b) una cornice arbitraria di taglio (a), (c) il risultato estetico della composizione col nostro approccio, (d) i punteggi estetici di (a), (b) e (c).

La figura 8 (c) pone un forte elemento lineare lungo la diagonale principale. La rimappatura della Figura 8 (b) aumenta sensibilmente il punteggio estetico relativo alle dimensioni delle zone.
Si noti come le distanze relative tra gli oggetti vengano modificate, con la tecnica del warping, soprattutto nella Figura 8 (d).
La Figura 1 mostra un altro esempio. Nell'originale (a) c'è una linea orizzontale principale e due linee diagonali. L'ottimizzazione porta ad una nuova immagine ricomposta (Figura 1 (c)) che ottiene un punteggio superiore rispetto a qualsiasi altra elaborazione come quella mostrata in figura 1 (b) di [Santella & c.. 2006].
Si osserva inoltre che il risultato di Figura 1 (c) non è solo un ritaglio della figura 1 (a) in quanto contiene molte più nuvole del fotogramma di partenza.

Composizione fotograficaFigura 8. Altri risultati generati dal nostro metodo. Nella fila superiore gli originali; in quella inferiore l'immagine ottimizzata. I numeri indicano il punteggio estetico.

Le regole estetiche scelte operano all'unisono nel punteggio funzionale, si veda la Figura 9 (nella colonna a fianco). La regola dei terzi, che domina il lavoro precedente, da sola non è sufficiente per garantire una composizione attraente. Un'analisi statistica rivela che a causa dell'importanza attribuitale, la regola dei terzi, applicata sia a punti che linee, domina il punteggio totale dell'immagine originale, mentre nell'immagine generata il contributo è più uniformemente distribuito tra le varie linee guida estetiche. Questo è il caso in entrambi gli esempi della Figura 7. Inoltre, nelle immagini originali, equilibrio visivo e regola dei terzi non sono correlati. Nelle immagini elaborate, invece diventano altamente correlati. Esempi dell'interazione tra le varie regole possono essere osservati esaminando le Figure 1 (d) e 7 (d) e i grafici di Figura 6.
Per valutare numericamente la nostra funzione di valutazione a punteggio, abbiamo impiegato un set di 900 immagini casuali arbitrariamente raccolte da siti web internazionali, stabilendo solo tre livelli per quanto riguarda i fotografi: 300 foto di grandi professionisti, 300 classificate come 'buone' e 300 immagini casuali .
Abbiamo calcolato il punteggio estetico per queste foto e per le loro versioni ottimizzate.

Istogrammi valutazione esteticaGli istogrammi sono mostrati in Figura 10 qui a destra (a) punteggio estetico per tre serie di fotografie: barre rosse mostrano i risultati del livello professionale; verdi per le foto considerate buone; blu per le foto scelte a caso. (b) Lo stesso, per le immagini ottimizzate. Come si può vedere, il punteggio estetico si sviluppa in modo diverso per i tre gruppi, ma tutti hanno i punteggi più alti con il processo di ottimizzazione.
Per studiare ulteriormente il nostro metodo, lo abbiamo paragonato ad altri studi di ricomposizione [Suh & c. 2003] e [Santella & c. 2006]. Invece di usare i dati di monitoraggio visivo, usiamo la stessa mappa di rilevanza per eseguire l'algoritmo di [Santella & c.2006] utilizzato negli altri approcci. Si noti che questi metodi sono stati progettati per massimizzare altri punteggi: [Suh & c. 2003] massimizza l'importanza del taglio, mentre [Santella & c. 2006] massimizza area e caratteristiche del contenuto. Si noti inoltre che questi metodi si limitano al semplice ritaglio. Come si vede in Figura 11, il metodo di [Santella & c. 2006] non produce risultati particolarmente estetici. Il metodo di [Suh & c. 2003] produce immagini un po' più semplici, mirando alla creazione di immagini in miniatura che sono facilmente riconoscibili.

estetiche diverseFigura11. Confronto tra approcci diversi. (a) Le immagini originali, (b) i risultati del nostro approccio; (c) i risultati secondo le ricerche di Santella e altri [2006], (d) i risultati di Suh e C. [2003]. Si noti che le informazioni basate sulle linee giocano un ruolo cruciale nella composizione dell'immagine e ignorarle porta a risultati inferiori.

Per evitare una distorsione nei risultati a causa della selezione delle immagini utilizzate, nei nostri esperimenti, abbiamo volutamente utilizzato molte immagini scelte a caso e le immagini del Berkeley Segmentation Benchmark [Martin et al. 2001]. I risultati sono riportati nei supplementi. Anche se nessun metodo può recuperare un'immagine molto carente in origine, da un buon sistema ci si aspetta una modifica che porti ad una composizione estetica decisamente migliore.

Zoom esteticoFigura12. Per alcune immagini, i migliori risultati estetici si ottengono con lo zoom all'indietro. (a) L'immagine originale; (b) immagine ingrandita applicando una tecnica di sintesi; (c) il risultato generato applicando la nostra tecnica; (d) i punteggi estetici di (a), (b), e (c).

L'operatore di ritaglio e spostamento solitamente genera un effetto di zoom-in. Per alcune immagini, però, il risultato più estetico si ottiene con l'acquisizione di un quadro più ampio di zoom-out. Se lo sfondo è semplice, possiamo usare la sintesi della trama del fondo o tecniche 'inpainting' per ingrandire l'immagine prima di applicare la nostra tecnica. Figura 12 contiene un esempio, dove è stata estesa l'immagine utilizzando una tecnica di sintesi dello sfondo. Infatti, la versione più estetica di questo esempio ha una struttura più grande di quella originale.
La stessa tecnica di "zoom-out" può anche essere utilizzata per convalidare e verificare in maniera obiettiva le nostre prestazioni. Abbiamo raccolto un insieme di fotografie professionali ed esteso il loro contenuto per mezzo della sintesi dello sfondo. Abbiamo poi applicato il nostro metodo: come si vede in Figura 13, le fotografie ricomposte sono simile a quelle originali.

Esempi di composizione esteticaFigura 13. Tre esempi di validazione. In alto a sinistra: le fotografie professionali originali ; in basso: le immagini ampliate con Photoshop; in alto a destra: l'ottimizzazione delle immagini ampliate. Si noti che le immagini ricomposte sono, in genere, simili alle immagini originali, il che significa che il nostro metodo è in grado di identificare la qualità estetica dell'immagine professionale.


In tutti i nostri esperimenti di cui sopra, per consentire un confronto diretto tra le immagini, abbiamo fissato la dimensione dell'immagine di uscita uguale a quella dell'immagine in ingresso. Altri valori per le dimensioni e proporzioni del fotogramma di output possono essere specificati dall'utente, vedi figura 14.
Le immagini della colonna a fianco mostrano più risultati prodotti dal nostro approccio. Il nostro algoritmo prende 0,14-0,18 sec per ottimizzare la composizione di una foto di dimensione 1024 × 768, se si effettua solo l'operazione di taglio. Se si utilizza anche l'operatore di riposizionamento ci vogliono2-14 sec.

Dimensioni esteticheFigura 14: Il requisito per l'immagine di uscita di avere le stesse dimensioni dell'originale è semplicemente quello di consentire il confronto. Qui si mostra come un'immagine (a) può essere esteticamente ricomposta alla dimensione originale (b) e ad una dimensione più ampia (c). I punteggi estetici sono rappresentati in (d).


5.1 - Studi di utilizzo

Per valutare ulteriormente le prestazioni del nostro metodo, abbiamo attuato tre studi di utilizzi.
Il primo ha confrontato l'approccio estetico del nostro metodo con quello di [Santella & c.2006]. Abbiamo generato una serie di 30 immagini triple: l'originale, quella generata dal metodo[Santella & c.2006], e quella prodotto dal nostro approccio. A ogni soggetto è stato chiesto di selezionare l'immagine migliore fra le tre proposte (Vedi supplemento 1).

Il secondo studio ha testato se i nostri risultati ottimizzati fossero competitivi con le immagini realizzate da un fotografo professionista. Per una serie di 30 immagini, un fotografo esperto ha tagliato manualmente l'inquadratura con Photoshop realizzando l'immagine migliore per lui. Parimenti sono state generate immagini ottimizzate automaticamente con il nostro approccio. A ogni soggetto è stato chiesto di scegliere se una sola immagine era molto migliore rispetto all'altra o se "le due immagini fossero simili". (Vedi supplemento 2)

Il terzo studio aveva lo scopo di valutare le prestazioni del nostro metodo. Questa volta ai soggetti intervistati sono state spiegate prima alcune linee guida della composizione di base, come indicato nella Sezione 4.1. Poi sono state mostrate 30 coppie di immagini (l'originale e quella ottimizzata) e ad ogni soggetto è stato chiesto quale aderisse meglio alle linee guida.

In tutti gli studi, le immagini sono scelte a caso e mostrate fianco a fianco (in ordine casuale) su uno schermo da 19 pollici. Un totale di 56 soggetti ha partecipato a ciascuna dalla tre serie di esperimenti, durati circa 20 minuti in media. I soggetti erano maschi e femmine di età compresa tra 21 e 55anni. Sette soggetti avevano esperienza profonda d'arte e fotografia, 33 avevano una qualche conoscenza della fotografia, mentre gli altri ne erano praticamente digiuni.

I risultati dei primi due studi sono illustrati nella tabella 1 e 2. Nel primo studio, i soggetti mostrano una chiara tendenza verso la ricomposizione delle immagini usando il nostro approccio. E' interessante notare che gli studenti d'arte hanno mostrato una netta preferenza verso le nostre immagini con un margine ancora maggiore rispetto a quello degli altri intervistati. Il secondo studio, mostra che le immagini ottimizzate generate dal nostro approccio sono vicine a quelle realizzate dai professionisti. Nel terzo, gli utenti concordano quasi all'unanimità (92,7%) sul fatto che le immagini ottimizzate soddisfino meglio le regole di composizione.

immagine originale
metodo visivo
nostro metodo
19,6%
36,3%
44,1%

Tavola 1- risultati dello studio di utilizzo 1

immagine tagliata a mano
simile
nostro metodo
15,2%
81,8%
3,0%
Tavola 2- risultati delllo studio di utilizzo 2: la maggioranza degli intervistati ritiene che le
foto tagliate dai professionisti e quelle generate automaticamente siano simili.


5.2 - Limitazioni

Le fotografie professionali non utilizzano necessariamente linee guide estetiche predefinite e spesso alcuni creativi le infrangono deliberatamente. La nostra tecnica segue queste regole senza discrezione e non applica ispirazione o creatività.
Per alcune immagini, l'algoritmo di rilevamento delle zone più importanti non le rileva sempre con precisione, quindi lo abbiamo applicato in modo semi-automatico.
Poiché le immagini vengono deformate in retargeting, in alcuni casi si potrebbe riscontrare qualche distorsione.
Inoltre, il nostro metodo, analogamente a qualsiasi altro che modifica la posizione relativa delle parti di un'immagine, può modificare le dimensioni relative e le proporzioni all'interno dell'immagine stessa in modo che la loro semantica venga alterata, come mostrato nella Figura 17.

Foto semanticamente errata

Figura 17: Un caso di errore. Il risultato (b) ha una semantica diversa da quella dell'immagine originale (a).

 

 

 

6 - Conclusioni e lavoro futuro

Dimostriamo che l'estetica può essere valutata computazionalmente con alta precisione, sufficiente per essere utile. Si apre una nuova strada per varie applicazioni, con possibilità di migliorare la capacità di assegnare un punteggio estetico. Per esempio, l'estetica dei modelli a 3D potrà essere identificata e loghi esteticamente più accattivanti potranno essere generati secondo le esigenze degli utenti.
Come prima applicazione proponiamo la possibilità di ricomporre automaticamente le immagini, dimostrando che attraverso l'ottimizzazione di una serie di soli quattro parametri siamo in grado di generare immagini ricomposte che siano esteticamente e visivamente più gradevoli degli originali. Gli sforzi futuri si concentreranno sul miglioramento del punteggio estetico. Vorremmo esplorare la possibilità di migliorare l'analisi delle regioni salienti ed aggiungere considerazioni sul colore in base al punteggio che permette la modifica automatica dei colori dell'immagine. La percezione estetica è anche influenzata dalla struttura dello sfondo, vorremmo quindi studiare l'aggiunta di queste informazioni analizzando così la semantica globale dell'immagine.


EuroGraphics 2010

 

 

 

 

 

 

Consulta il video "Realtime aesthetic image retargeting" che illustra ulteriormente questo studio ed il relativo procedimento.

Consulta il video


Vai alla pagina introduttiva:
Ottimizzare automaticamente la composizione estetica delle fotografie - 1


Ecco altri due esempi di fotografie originali (quelle a sinistra) modificate con il sistema di valutazione ed ottimizzazione automatica delle immagini presentato in queste pagine (a destra l'immagine ottimizzata):

Ottimizzazione estetica fotografie


Supplementi (.pdf):

1 - Test di ottimizzazione estetica (confronto tra leimmagini originali e quelle ottimizzate)
2 - Test di convalida (effettuati su fotografie professionali - Studio di utilizzo 2)
3 - Confronti generali (con altri metodi di ottimizzazione compositiva)
4 - Confrontii casuali (con immagini di tutti i giorni)
5 - Confronti con immagini di riferimento (già trattate con editing fotografico)


Bibliografia
AVIDAN, S., AND SHAMIR, A. 2007. Seam carving for content- aware image resizing. ACM Transactions on Graphics 26, 3.
BARNES, C., SHECHTMAN, E., FINKELSTEIN, A., AND GOLD- MAN, D. B. 2009. Patchmatch: A randomized correspondence algorithm for structural image editing. ACM Transactions on Graphics 28, 3.
BYERS, Z., DIXON, M., SMART, W. D., AND GRIMM, C. 2004. Say cheese! experiences with a robot photographer. AI Magazine 25, 3, 37–46.
CHO, T. S., BUTMAN, M., AVIDAN, S., AND FREEMAN, W. T. 2008. The patch transform and its applications to image editing. In Proceedings of CVPR.
COHEN-OR, D., SORKINE, O., GAL, R., LEYVAND, T., AND XU, Y.-Q. 2006. Color harmonization. ACM Transactions on Graphics 25, 3, 624–630.
FELZENSZWALB, P. F., AND HUTTENLOCHER, D. P. 2004. Effi- cient graph-based image segmentation. International Journal of Computer Vision 59, 2, 167–181.
GAL, R., SORKINE, O., AND COHEN-OR, D. 2006. Feature- aware texturing. In Eurographics Symp. on Rendering, 297–303.
GOOCH, B., REINHARD, E., MOULDING, C., AND SHIRLEY, P. 2001. Artistic composition for image creation. In Proc. of the 12th Eurographics workshop on Rendering Technique, 83–88.
GRILL, T., AND SCANLON, M. 1990. Photographic Composition. Watson-Guptill.
ITTI, L., KOCH, C., AND NIEBUR, E. 1998. A model of saliency- based visual attention for rapid scene analysis. IEEE Trans. on Pattern Analysis and Machine Intelligence 20, 1254–1259.
KENNEDY, J., AND EBERHART, R. 1995. Particle swarm opti- mization. In Proc. IEEE Conf. on Neural Networks, 1942–1948.
KOWALSKI, M. A., HUGHES, J. F., RUBIN, C. B., AND OHYA, J. 2001. User-guided composition effects for art-based rendering. In Proc. of the Symposium on Interactive 3D graphics, 99–102.
KRAGES, B. 2005. Photography: The Art of Composition. All- worth Press.
LEYVAND, T., COHEN-OR, D., DROR, G., AND LISCHINSKI, D. 2008. Data-driven enhancement of facial attractiveness. ACM Trans. Graph. 27, 3.
LI, S., ZHU, L., ZHANG, Z., BLAKE, A., ZHANG, H., AND SHUM, H. 2002. Statistical learning of multi-view face detec- tion. In 7th European Conference on Computer Vision, 67–81.
LOK, S., FEINER, S., AND NGAI, G. 2004. Evaluation of visual balance for automated layout. Intelligent User Interfaces, 101–8.
MARTIN, D., FOWLKES, C., TAL, D., AND MALIK, J. 2001. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecologi- cal statistics. In International Conference on Computer Vision, vol. 2, 416–423.
MARTINEZ, B., AND BLOCK, J. 1998. Visual Forces, an Intro- duction to Design. Prentice-Hall, New York.
NISHIYAMA, M., OKABE, T., SATO, Y., AND SATO, I. 2009. Sensation-based photo cropping. In Proc. ACM International Conference on Multimedia.
PETERS, G. 2007. Aesthetic primitives of images for visualization. In 11th Int. Conf on Information Visualization, 316–325.
RIVOTTI, V., PROENAA, J., J. JORGE, J., AND SOUSA, M. 2007. Composition principles for quality depiction and aesthetics. In The International Symposium on Computational Aesthetics in Graphics, Visualization, and Imaging, 37–44.
RUBINSTEIN, M., SHAMIR, A., AND AVIDAN, S. 2008. Im- proved seam carving for video retargeting. ACM Transactions on Graphics 27, 3.
RUBINSTEIN, M., SHAMIR, A., AND AVIDAN, S. 2009. Multi- operator media retargeting. ACM Transactions on Graphics 28, 3.
SANTELLA, A., AGRAWALA, M., DECARLO, D., SALESIN, D. H., AND COHEN, M. F. 2006. Gaze-based interaction for semi-automatic photo cropping. In ACM Human Factors in Computing Systems (CHI), 771–780.
SETLUR, V., TAKAGI, S., RASKAR, R., GLEICHER, M., AND GOOCH, B. 2005. Automatic image retargeting. In Proc. of Mobile and Ubiquitous Multimedia (MUM), 59–68.
SHAMIR, A., AND SORKINE, O. 2009. Visual media retargeting. In SIGGRAPH Asia Course 2009.
SIMAKOV, D., CASPI, Y., SHECHTMAN, E., AND IRANI, M. 2008. Summarizing visual data using bidirectional similarity. In Proceedings of CVPR.
SUH, B., LING, H., BEDERSON, B., AND JAOBS, D. 2003. Au- tomatic thumbnail cropping and it's effectivness. In ACM Con- ference on User Interface and Software Technolgy, 95–104.
WANG, J., AND COHEN, M., 2006. Simultaneous matting and compositing. ACM SIGGRAPH Technical Sketch, July.
WANG, Y.-S., TAI, C.-L., SORKINE, O., AND LEE, T.-Y. 2008. Optimized scale-and-stretch for image resizing. ACM Transac- tions on Graphics 27, 5.
WOLF, L., GUTTMANN, M., AND COHEN-OR, D. 2007. Non- homogeneous content-driven video-retargeting. In Proceedings of the 11th IEEE International Conference on Computer Vision.
ZHANG, M., ZHANG, L., SUN, Y., FENG, L., AND MA, W.-Y. 2005. Auto cropping for digital photographs. In Proc. of IEEE International Conference on Multimedia and Expo.


Vai alla pagina introduttiva:
Ottimizzare automaticamente la composizione estetica delle fotografie - 1