Fotogerçekçi Ortamlar ve Fotogrametri: 3D Sanatçıları ve Çevre Sanatçıları İçin 5 İş Akışı

Fotogrametri, 3 boyutlu sanatçılar ve çevre sanatçıları için yepyeni bir yaratıcı potansiyel alanı açıyor. Gleb Alexandrov‘un Blender 2023 Konferansındaki konuşmasının devamı olarak yazılan bu makalede, otantik ve gerçek görünen ortamlar oluşturmak için bu heyecan verici teknikten nasıl yararlanabileceğimizi keşfedeceğiz.

Creativeshrimp.com da Gleb’in 3D Sanatçıları ve Çevre Sanatçıları için 5 İş Akışı konusunda bahsettiği önemli konular için yukarı kaydırın. Aşağıda ki videoyu otomatik altyazı oluştur seçeneğinden “Türkçe” altyazılı olarak seyretmeniz ve daha sonra makaleyi okumanız kafanızda konunun daha net anlaşılmasını sağlayacaktır. Ayrıca Devrim Yaratan Teknoloji: 3D Gaussian Splatting Nedir? ile ilgili oluşturduğumuz yazımıza bakmayı unutmayın.

GİRİŞ

Görünüşe göre, gerek tarihi eserleri dijitalleştirmek gerkse başka bir şekilde modellenmesi zor olan ayrıntıları yakalamak için projelerimizde fotogrametriyi oldukça fazla kullanıyoruz.

Ancak en önemlisi, foto taramayı gerçeğe yakın 3 boyutlu ortamlar yaratmak için kullanmamız oldu. Çoğunlukla Brest (Beyaz Rusya), Varşova, Vilnius ve gittiğimiz diğer yerlerin parçalarından yapılmış terk edilmiş koridorlar ve benzeri gibi yerlerde çalıştık.

Genel Bir Fotoğraf Tarama İş Akışı

Fotogrametri ile 3 boyutlu sanatçılar ve çevre sanatçıları olarak yapabileceğimiz gerçekten ilginç birkaç şey var…

Ama önce, tipik bir fotogrametri iş akışının neleri gerektirdiğini kısaca hatırlatalım.

• Bir nesnenin veya bir iç mekanın farklı açılardan bir sürü fotoğrafını çekmek;
• Elinizdeki en iyi yakalama cihazını kullanarak; fotoğraflar arasında yeterince örtüşme olduğundan ve her şeyin keskin ve net olduğundan emin olmak;
• Bu fotoğrafları tercih ettiğiniz fotogrametri yazılımına yüklemek; örneğin Meshroom, Colmap, Metashape, Reality Capture, vb.
• Yazılımın kaynak fotoğraflar arasındaki benzerlikleri hesaplamasına ve daha sonra yüksek yoğunluklu bir 3d yüzey sunmak için kullanılabilecek bir nokta bulutu çıkarmasına izin vermek;
• İsteğe bağlı olarakda, dokular ile çalışmaktır.

İşte böyle çalışıyor. Zaten genel iş akışı da bu.

Yakalama (CAPTURING) Ekipmanı

Foto taramaya başlamak için hangi ekipmana ihtiyacınız var?

Sık sık sadece sensörlü bir cihaza ihtiyacınız olduğunu ve fotogrametri yapmaya başlayabileceğinizi duyuyoruz. Ve bu doğru. Ancak bir 3 boyutlu sanatçı olarak, DSLR fotoğraf makineme ek olarak (Tamron 24-75mm f/2.8 lensli bir Sony A7iii veya prime lenslerimden bazılarını kullanıyorum çünkü prime lensler genellikle daha keskin, ancak bir zamanlar Sigma 17-55 f/2.8’li bir Canon 80D veya hemen hemen mevcut herhangi bir DSLR veya aynasız fotoğraf makinesi kullanıyorduk) zaman içinde ne kadar çok fotoğraf ekipmanı biriktiğimizi gördüğümde durum biraz sinir bozucu olabiliyor.

Sonra bir tripod almayı düşünmeye başlıyorsunuz. Çekimleri sabit tutmak için olmazsa olmazdır.

Sırada bir cetvel ve bir renk kontrol cihazı var.

Ve sonra: “Bir drone alsak mı?”

Olay hızla tırmanır.

Şöyle söyleyelim: Yeni başladıysanız düşük veya orta sınıf bir DSLR veya aynasız fotoğraf makinesi muhtemelen ihtiyacınız olan tek şeydir.

Ama fotoğraf taraması için en iyi kamera hangisidir? Bu video, “Fotoğraf taraması için en iyi kamera hangisidir?” sorusunu yanıtlamaya en yakın olanıdır.

Bu videoda ise 3 boyutlu yeniden yapılandırma için en yüksek kalitede fotoğraf çekmeye yönelik en uygun kamera ayarlarının neler olduğundan bahsediyoruz.

FOTOĞRAF TARAMA YAZILIMI

Yazılıma gelince, aralarından seçim yapabileceğiniz birçok seçenek var.

En çok kullandığımız Reality Capture ve Agisoft Metashape yazılımlarıdır. Harika araçlar, gerçekten hızlı ve kaliteli. Ve aynı zamanda ticari. Reality Capture’ın PPI veya Pay-per-Input adı verilen ilginç bir fiyatlandırma seçeneği var (maliyeti optimize etmek için bazı tavsiyeler içeren videomuz burada).

Meshroom ve Colmap açık kaynak alternatifleridir. Bunlar da oldukça yetenekli, hatta fiyatı göz önüne alındığında harika, sadece henüz Reality Capture ve Metashape kadar hızlı değiller.

Biraz sezgisel olarak, açık kaynaklı araçlar fotoğrafların kalitesi konusunda tartışmalı bir şekilde daha talepkârdır (şimdilik). Başka bir deyişle, yukarıda bahsedilen ticari yazılım seçenekleriyle aynı seviyede rekonstrüksiyon sonuçları elde etmek için biraz daha pahalı ekipmana ve daha güçlü bir bilgisayara ihtiyacınız olabilir.

Yine de açık kaynağı kesinlikle desteklemeliyiz, çünkü ticari girişimlerin başına neler geldiğini biliyoruz.

Ayrıca Luma AI ve Polycam gibi mobil uygulamaların da olduğunu belirtmek gerekir.

ÇEVRE SANATÇILARI IÇIN 5 FOTOGRAMETRI İŞ AKIŞI

Çevresel tasarım ve fotogrametri söz konusu olduğunda, 3 boyutlu rekonstrüksiyon yazılımının sunduğu araç setini kullanmanın farklı yolları vardır.

İşte hedefleri ve topladığınız veri türü bakımından farklı olan 5 iş akışı.

İŞ AKIŞI 1a: TÜM KESINTISIZ ORTAMLARIN YAKALANMASI

Listemizdeki ilk iş akışı, ortamların tamamını kesintisiz şekilde yakalamaktır. Bu aptalca görünebilir, zaten böyle bir modelle ne yaparsınız ki? Ama bize harika mekan görüntüleri sağlayan da bu oldu.

Brest (Belarus) yakınlarındaki terk edilmiş depoya vardığımızda amacımız yarım asırdır orada duran, toz ve kuş dışkısına bulanan Volga arabasını dijital ortama aktarmaktı.

Ve biz de bunu yaptık.

Ama sonra, oradan ayrılmadan önce Nik, bir dahaki sefere izometrik bir görüntü yakalamak için bir drone getirmeyi önerdi.

Ve Reality Capture’da yeniden yapılandırıldığını gördüğümde, olayın inanılmaz bir boyut kazanacağını düşündüm! Bunu izometrik görünümü kullanan bağımsız bir RPG’de bir oyun seviyesi olarak hayal edebiliyorum.

Özellikle de dramatik bir ışıklandırma ile süslerseniz.

Ortama oynanabilir bir karakterde eklerseniz işin güzelliği ve kalitesi iki katına çıkıyor (aşağıda ki videoda, Aidy tarafından Godot engine ile bir araya getirilen hızlı bir demoyu görüyorsunuz).

Brest’teki 18. yüzyıldan kalma Bernardine manastırı gibi, askeri hastane olarak yeniden inşa edilmiş ve terk edilmiş yerler koleksiyonumuzdaki bir mücevher olan ve yaklaşık 15 yıl önce fotoğraflanan bazı harika tarihi yerlere sahip olacak kadar şanslıysanız, neredeyse tek parça halinde yakalanmış bazı güzel ortamlar elde edebilirsiniz. Tabii orada geçirecek yeterli zamanınız varsa.

Çok esnek bir iş akışı olmasa da, tüm alanı bu şekilde yakalamak, karanlık ve soğuk koridorlarda geniş açılı bir lens ve kamera üstü flaşla yürümek, ürettiği fotogerçekçi çıktıya gerçekten inanamazsınız.

İnanılmaz gerçekçi görünüyor. Ki öyle de.

Blender’da sinematik bir ışıklandırma uygulamasıyla bile birçok oyundan daha iyi görünüyor. Ne yazık ki esneklik pahasına gelen bu tür bir fotogerçekçiliği yenmek zor.

EKSİLERİ

Bunun yanı sıra, bu tür bir yaklaşımın dikkate değer bir dezavantajı, bu tür bir modeldeki her poligon ve texel benzersiz olduğundan, kafeslerin ve dokuların oldukça ağır olmasıdır.

• İyi yerleri bulmak zor
• Çok yönlülük eksikliği
• Performans

Bununla birlikte, Morbase | Museu Virtual tarafından yapılan bu mezar anıtı gibi Sketchfab‘da bulunan daha düşük çözünürlüklü ortam taramaları bile bir sonraki Blender animasyonunuz için bir temel olarak gerçekten iyi çalışabilir.

Işıklar, efektler ve parçacık efektleri eklerseniz (aşağıda ki videoda gördüğünüz gibi) çıktınız gerçekten etkileyici olacaktır.

İŞ AKIŞI 1b: (YAKALAMA) TÜM ORTAMLAR – PARLAKLIK ALANLARI

Ortamların eksiksiz anlık görüntülerini oluşturmak söz konusu olduğunda, nöral parlaklık alanları (veya NERF’ler) daha da iyi bir iş çıkarıyor gibi görünüyor.

Geleneksel tekniklerin aksine, bu yeni görüntü sentezleme yöntemleri aslında pek çok ekstra veriyi yakalayabilir: bitki örtüsü veya saç gibi ince detayların yanı sıra şaşırtıcı bir şekilde yansıma ve kırılma gibi dinamik malzeme özellikleri de.

Daha geleneksel fotogrametri araçları kullanılarak düşünülemeyen şeyler, Gaussian Splatting ve diğer NERF algoritmaları sayesinde artık hayat buluyor (Ayrıca NeRF ve Gaussian Splatting Teknolojisi Arasındaki Fark Nedir? ile ilgili yazımıza bakmayı unutmayın).

Aşağıdaki demo Inria’nın açık kaynaklı Gaussian Splatting Github uygulamasında oluşturulmuştur. The NeRF Guru’nun başlangıç seviyesindeki öğreticisi, ki o olmadan bunu anlamam imkansız olurdu, buraya bağlanmıştır.

Bir uyarı: güçlü bir GPU gerektiriyor (bende RTX 2080ti var, ancak 24GB VRAM veya daha fazlasına sahip NVIDIA GPU önerilir).

Yansımalardan bahsetmişken, işte Blender Conference 2023‘e gitmeden hemen önce inşa ettiğimiz ve taradığımız son derece parlak manzaranın hızlı bir demosu.

Dürüst olmak gerekirse, fotogrametri yoluyla yakalandığını görmek oldukça akıl almaz.

Bulmacanın animasyon kısmı yerine oturduğunda ne olacağını merak ediyorum. Fotogrametri bingo kartı tamamlanmış olacak mı?

Bu teknoloji gerçekten de hızla yaygınlaşıyor. Luma AI ve Polycam uygulamalarında (akıllı telefonlarımız için) gauss sıçratmayı zaten deneyebiliyoruz.

EKSİLERİ

• düzenlemesi zor
• çok yönlü değil

Radyans alanlarıyla ilgili sorun, bu şeylerin nasıl düzenleneceğinin henüz çok net olmamasıdır. Başka bir deyişle, gaussian sıçramalarını ve NERF’leri düzenlemek için kullanılan araçlar henüz emekleme aşamasında.

Ancak bu teknoloji hızla gelişiyor. Bu alanı izlemeliyiz.

Not: Burada Luma AI’da Gaussian Splatting ince yapı yeteneklerini test eden bir demo görebilirsiniz.

IŞ AKIŞI 2. (ÇIKARMA) MODÜLER VARLIKLAR

Elbette çok daha çok yönlü bir iş akışı modüler bir iş akışı olacaktır.

Yani, harika bir yer bulmak ve sahne için incelemek. Bu ortamın özünü yakalayan bir varlık kütüphanesi oluşturmak amacıyla. Böylece az önce taradığımız gibi herhangi bir ortam yaratabiliriz.

Bu arada, bu endüstri standardıdır.

Amaç bütünlüktür. Böyle bir kütüphaneyi aynı ortamda taramak, kilitlenmiş bir sanat yönetimi gibidir. Bu depodaki her şey eşit derecede tozlu, terk edilmiş ve kabaca aynı tarihsel dilimden geliyordu. Düzinelerce modelde böyle bir görünüme ince ayar yaptığınızı hayal edin. Bu iş akışını kullanarak bunu ücretsiz olarak elde edebilirsiniz.

Bu tür modüler aksesuarlardan oluşan bir ortamın ne kadar gerçekçi görünebileceğini görmek için Scans Factory paketlerinden herhangi birine göz atın.

Tabii ki, o zaman her bir varlığın optimize edilmesi gerekirdi; yani, polycount azaltılır ve geometri detayları yüksek çözünürlüklü ağlardan düşük çözünürlüklü ağlara aktarılırdı (örneğin normal haritalar olarak);

Bazen bu süreç çocuk oyuncağıdır.

Örneğin, bir dekoru eve veya stüdyoya götürüp bir döner tabla üzerinde tarayabildiğinizde ve belki de tarama işlemi sırasında çevirebildiğinizde, yazılım 360 derecelik su geçirmez bir ağı yeniden oluşturur.

O zaman, belki biraz polycount azaltma (ve bu otomatik olarak yapılabilir) ve doku pişirme (ve bu da bir dereceye kadar otomatikleştirilebilir) dışında neredeyse hiçbir son işlem gerektirmez.

Ama her zaman böyle değildir. Aslında, neredeyse hiçbir zaman böyle değildir!

EKSİLERİ

• Planlama
• Prodüksiyon sonrası ve temizlik

Çoğu zaman, ham taramalar oldukça dağınıktır ve kullanılabilir hale getirmek için muazzam miktarda post-pro gerektirir.

Mesela, böyle bir şeyi temizlediğinizi hayal edin.

Ama yine de hiçbir şey önceden hazırlanmış, fotoğraflanmış varlıkların dağılmasından daha tatmin edici olamaz. Aynı yerde toplanmış. Dikkatlice optimize edilmiş. Ortaya çıkan ortamlar, tam konum taramaları kadar uyumlu görünebilir.

İŞ AKIŞI 3. KARAKTERLER

Modüler aksesuarlardan bahsetmişken, karakterler de bu kategoriye girer ve fotogrametri yardımıyla yapılabilir. Bunlara örnek: Ian Hubert’in videolarında görülenler gibi ortamlarınız için arka plan NPC karakterleri diyebiliriz.

Hızlı bir hatırlatma olarak, şu şekilde ilerliyor. Önce hızlı bir tarama yaparsınız, Blender’da birkaç rig eklersiniz, ardından hareketi kaydederken gövdeyi ve kafayı biraz döndürmek için bu rigging animasyon uygularsınız. Ve işlerini yapan güzel arka plan karakterleri elde edersiniz.

Bu iş akışının avantajı, tarama için uygun bir A veya T pozu kullanmak zorunda olmamamızdır, karakterleri oturtarak veya bisiklete bindiği pozisyonda ki gibi pozlarda tarayabiliriz.

Bu iş akışının daha gelişmiş bir varyasyonu, Mixamo veya Rokoko Vision gibi işaretçisiz hareket izleme uygulamalarından birini kullanarak gerçek hareket yakalama verilerini bu tür hızlı karakter taramalarına uygulamak olacaktır. Hatta Aidy‘nin burada yaptığı gibi kendi hareketinizi kaydedebilir ve bu uygulamalarla iskelete aktarabilirsiniz.

Ancak karakterin hareket etmesi gerekmiyorsa bu çok daha basit olacaktır.

İnsanlar kıpırdanmaya ve tarama sürecini olması gerekenden daha karmaşık hale getirmeye meyilli. Bu arada bu taramada gördüğünüz benim hareketsiz vücudum.

EKSİLERİ

• insanları taramak zordur

İŞ AKIŞI 4. PBR MALZEMELERİ VE HARİTALAR

Çevre tasarımında fotogrametri için bir başka uygulama da elbette PBR malzemelerinin yakalanmasıdır.

Süreç, dekorları (ya da karakterleri!) yakalamaktan farklı değildir: önce çamurlu zeminin üzerinde bir peri gibi gezinerek taramak istediğimiz yüzeyin bir sürü fotoğrafını çekeriz; ardından fotogrametri yazılımında yüksek çözünürlüklü bir ağ oluştururuz.

Ancak daha sonra, aşağıdaki gibi haritalar elde etmek için bu ağdaki ayrıntıları düz bir düzlemde pişiririz:

• dağınık renk (veya albedo)
• ortam tıkanıklığı,
• normaller,
• ve en önemlisi yüzey yer değiştirmesi hakkında detay içeren yükseklik verileri

Daha sonra, bu haritalar Gimp‘te klon fırçası kullanılarak tek seferde kaydırılıp boyanarak kesintisiz hale getirilebilir. Bu, çok katmanlı düzenlemeye Affinity Photo yaklaşımını taklit eden oldukça yeni bir işlevdir ve ZeMarmot‘un yardımıyla Gimp için geliştirilen bu özelliği etkilemiş olmaktan gurur duyuyoruz.

Ve işte! Kusursuz bir PBR malzemesi için gerekli malzemelere sahibiz.

Bunun gibi gölgelendiriciler yer değiştirme ile son derece iyi çalışıyor. Sürpriz değil, çünkü sonuçta onu gerçek yüzeyden elde edilen gerçek yükseklik haritasıyla besliyoruz. Sonuç son derece gerçekçi görünüyor (ve Eevee Next sayesinde gerçek zamanlı olarak çalışıyor).

Ek olarak, çıkarılan yükseklik haritalarını, çok ihtiyaç duyulan bir varyasyon oluşturmak için farklı malzemeler arasında karıştırmak için kullanabiliriz. Blender düğümleri aracılığıyla veya alternatif olarak Quixel Mixer‘de yapabiliriz.

EKSİLERİ

• prosedürel iş akışlarından daha az esnek (Substance Designer ve benzerlerinde)

Bunun yanı sıra, çeşitlilik bu tekniğin en büyük avantajı değil. Fotoğraf taraması yapılan malzemeler kaynak görüntü ile oldukça sınırlıdır. Çözünürlüğü ve diğer özellikleriyle. Ve prosedürel muadillerinin aksine, sadece fiziksel kullanılabilirlik sunar.

İŞ AKIŞI 5. AYDINLATMA

Bu makalede ele alacağımız, gerçek dünyadaki bir konumdan çıkarılabilecek son veri türü aydınlatmadır. Aydınlatma çıkarılabilir ve atılabilir ya da el üstünde tutulabilir.

Önce onu çıkarmaktan bahsedelim.

Tipik olarak, gölgeler, en azından dolaylı olanlar, Agisoft Texture De-Lighter veya diğer ışık giderme araçlarının yardımıyla mümkün olan en kısa sürede dokulardan kaldırılır.

Böylece Blender’da kendi aydınlatmamızı ayarlayabiliriz.

Alternatif olarak, çekim aşamasında kamera üstü flaş kullanılarak ışık düzleştirilebilir. Bu aynı zamanda karanlıkta çekim yapmak için doğaüstü bir yetenek sağlar.

Ya da flaş VE polarize filtreleri kullanarak hem gölgeleri hem de yansımaları giderebiliriz. Bu işleme çapraz polarizasyon denir.

Bu konuya girecek vaktimiz yok. Ancak çapraz polarizasyon, hem lense hem de ışığa polarize filtre taktığınızda gerçekleşir.

James Candy’nin bu videosunda olduğu gibi.

EKSİLERİ

• Sanal bir film seti için çekim yapıyor olsaydınız, aydınlatma verileri çok değerli olurdu. Kesinlikle saklamaya değer!

Tüm ışık aralığını yakalamak için, her çekim farklı pozlama ayarları kullanılarak birden çok kez çekilebilir, ardından pozlama basamaklama adı verilen işlemle tek bir HDR görüntüsünde (örneğin Darktable. yardımıyla) birleştirilebilir.

Ardından, bu tür yüksek dinamik aralıklı görüntülerden fotoğraf taraması yapılabilir. Ve sonuç olarak, böyle bir ortam uygun miktarda ışık yayacaktır. Böylece böyle bir sahneye yerleştirilen 3 boyutlu nesneler uygun miktarda ışık alacaktır. Ve sorunsuz bir şekilde entegre olur.

Tamamen üç boyutlu olan daha iyi bir HDRI panoraması hayal edin. Aşağıda ki gibi..

EKSİLERİ

• HDR için işlem yapmak zaman alır
• Çok yönlülük!

Ne yazık ki, HDR görüntüleri hazırlamak zaman alıcı olabilir ve böyle bir iş akışının kullanım alanları gerçekten spesifiktir.

SONUÇ

Pekala! Bunlar, 3 boyutlu sanatçılar olarak fotogrametri ile yapabileceğimiz şeylerden sadece bazıları.

Bazen çok yönlü olmayan bir çıktı üretmesine rağmen, teknolojinin kendisi aslında yine de oldukça çok yönlüdür. Yani herkes için bir şeyler vardır.

Yani ister 3 boyutlu sanatçı, yönetmen, görüntü yönetmeni ya da seviye tasarımcısı olun; ister bilim insanı ya da arkeolog olarak çalışın, fotogrametri bize fiziksel dünyamız ile yarattığımız dijital alemler arasında köprü kurmak için bazı güçlü araçlar ve iş akışları sunuyor.

Bitirmeden önce, içeriği bir araya getirmemizde bize yardımcı olan herkese teşekkür etmek istiyorum: Eugeny, Nik, Pawel, Kaciaryna, Ryncuk, Aidy, Lena’ya gerçekten çok teşekkür ederim!

Daha fazla oku:

• Yeni Oyun Fikirleri Üretmek İçin Scamper Tekniğini Kullanın
• Megascans Resident Evil Köyünü İstila Etti!
• 3D Modellemede LOD (Detay Seviyesi) Nedir?
• Megascanlarla Cyberpunk 2077 ‘nin Karanlık Geleceğini İnşa Etmek