Skoro już teraz sztuczna inteligencja tak mocno ingeruje w sposób robienia zdjęć, czy też ich obróbki, warto sobie zadać pytanie, co nas czeka w przyszłości. W tym celu skupimy się na informacjach producentów oraz publikacjach naukowych ukazujących rozwiązania, których na próżno, jak na razie, szukać w gotowych produktach.

Zaczniemy od wspomnianego wyżej Luminara. Wersja 4 tego programu, jak zapowiedział producent, idzie kilka kroków dalej – nie tylko będziemy w stanie nałożyć automatyczny filtr na zdjęcie, ale również zamienić chmury na zdjęciu, jeżeli akurat trafi nam się nieciekawa pogoda.

Rys. Luminar

Co jeszcze? W ciekawych publikacjach naukowych wydaje się przodować Nvidia. Pochylmy się po raz kolejny nad transferem stylu. Metoda ta pozwala nie tylko na przerobienie zdjęć w artystyczny sposób, ale również – na zmianę warunków, w jakich fotografowaliśmy na gotowym zdjęciu! Oznacza to, że robiąc zdjęcie w dzień, możemy jednym kliknięciem przerobić naszą fotografię na nocną. Podobnie - dodać zachód słońca, czy nawet zmienić porę roku. Publikacja pod tytułem „A Closed-form Solution to Photorealistic Image Stylization” autorstwa Yijun Li dostępna jest tutaj.

----- R E K L A M A -----

PROMOCJA SONY - RABAT DO 500zł!

Sony 55/1.8 FE

4388 zł 3888 zł

Sony 16-55/2.8 E G

5488 zł 4988 zł

Sony 70-200/4 FE G OSS

6449 zł 5949 zł

Sony 50/1.4 FE GM

8178 zł 7678 zł

Rys. Y. Li, A Closed-form Solution to Photorealistic Image Stylization

Rys. Y. Li, A Closed-form Solution to Photorealistic Image Stylization

Oczywiście, metoda ta potrzebuje jeszcze nieco usprawnień. Nie bylibyśmy jednak zdziwieni, gdyby już niedługo znalazła się jako jedna z funkcji w którymś z programów do edycji zdjęć.

Równie ciekawa jest inna praca naukowców Nvidii „Noise2Noise: Learning Image Restoration without Clean Data” autorstwa Jaakko Lehtinen. Naukowcom udało się opracować metodę, bazującą oczywiście na sieciach neuronowych, dzięki której są w stanie usunąć szum ze zdjęcia z zachowaniem bardzo dużej liczby detali. Co ważne, model został wytrenowany na tylko i wyłącznie zakłóconych szumem Gaussowskim lub szumem Poissonowskim zdjęciach.

Rys. J. Lahtinen, Noise2Noise: Learning Image Restoration without Clean Data

Przy okazji, metoda zaproponowana przez naukowców może mieć swoje skutki uboczne – dzięki niej, możemy z łatwością usunąć… znak wodny ze zdjęcia.

Publikacja dostępna jest tutaj.

Warto dodać, że odszumianie korzystające ze sztucznej inteligencji jest już dostępne na rynku. Taką funkcjonalność, jako wtyczkę do Photoshopa czy Lightrooma oferuje Topaz Lab. Jednakże efekty, jakie daje ta aplikacja, nie są na ten moment specjalnie spektakularne. Przykład działania programu można zobaczyć poniżej.

Rys. Topaz Lab

Najciekawszą realizację Nvidii zostawiliśmy jednak na koniec. Około 4 miesięcy temu firma pokazała oparty na GAN-ach GauGAN, który zrobił bardzo dużo szumu w świecie fotograficznym. Rozwiązanie naukowców potrafi bowiem przemienić zwykły, amatorski rysunek w realistyczny krajobraz.

Bolączką smartfonów, których wielkość sensora jest zdecydowanie mniejsza, niż w profesjonalnym sprzęcie fotograficznym, jest słabe zachowanie przy małej ilości światła. Naukowcy Xiaomi pracują obecnie nad wykorzystaniem sztucznej inteligencji do poprawienia detali przy niewystarczającym oświetleniu, a system ten nosi nazwę DeepExposure. Publikację, przedstawiającą podejście inżynierów chińskiego giganta, można znaleźć tutaj. Rozwiązanie producenta polega na podzieleniu pojedynczego zdjęcia na sub-fotografie, i policzeniu lokalnej oraz globalnej ekspozycji dla każdego sub-zdjęcia. W efekcie, wyjściowe zdjęcie ma charakteryzować się poprawioną ekspozycją oraz szczegółowością. Rozwiązania, z jakich korzysta Xiaomi, to segmentacja (do podziału zdjęcia), sieci GAN oraz tzw. uczenie przez wzmocnienie (ang. Reinformence Learning), a schemat algorytmu można zobaczyć poniżej.

Rys. R. Yu, DeepExposure: Learning to Expose Photos with Asynchronously Reinforced Adversarial Learning

Skoro publikacja naukowa pojawiła się pod koniec 2018 roku, to być może rozwiązanie to zobaczymy już niedługo w nowych smartfonach Xiaomi.

Kolejną rzeczą, która może być raczej kolejnym, acz ciekawym dodatkiem do aparatów czy smartfonów jest rozwiązanie Samsunga z maja tego roku. Naukowcy są w stanie zamienić pojedyncze zdjęcie twarzy w całkiem realistyczne ruszające się wideo – korzystając z sieci GAN. Publikację można znaleźć tutaj tutaj, a film, przedstawiający rezultaty pracy, pokazany jest poniżej.

Rys. E. Zakharov, Few-Shot Adversarial Learning of Realistic Neural Talking Head Models