Google’ın yeni büyük dil modeli VideoPoet, Google Research ekibindeki 31 araştırmacı tarafından üretildi. Video üretimi görevlerini yerine getirmek için geliştirilen VideoPoet, Google’ın yeni yapay zeka video oluşturucusu olarak tanımlanıyor.
Difüzyon modeli yerine dönüştürücü mimarisi
Google Araştırma ekibi, genellikle yapay zeka destekli video araçlarında gördüğümüz üzere Stable Diffusion gibi bir difüzyon modeli kullanmak yerine, bir geniş dil modeli kullanmaya karar verdi. Büyük/geniş dil modelleri, metin ve kod üretimi için kullanılan dönüştürücü mimarisine dayalı farklı bir yapay zeka modeli türü olarak konumlanıyor. Google Araştırma ekibi ise söz konusu modeli, metin ve kod üretmesi için eğitmek yerine video üretmesi için eğitti.
Daha uzun videolarda daha büyük ve daha tutarlı hareketler
Ekibin difüzyon modeli yerine dönüştürücü modeli kullanması, daha uzun ve daha yüksek kaliteli video kesitleri oluşturmasını sağlayabilir. Zira difüzyon modellerinde videodaki öznelerin hareketleri birkaç kareden sonra bozulmaya başlıyor. Ekip üyelerinden Dan Kondratyuk ve David Ross paylaştıkları blog gönderisinde şu ifadeyi kullanıyor: “Birçok durumda, mevcut lider modeller bile ya küçük hareketler üretiyor ya da daha büyük hareketler üretirken gözle görülür yapaylıklar sergiliyor.”
Söylenenlere göre; VideoPoet ise 16 karelik daha uzun videolarda daha büyük ve daha tutarlı hareketler üretebiliyor. Bunlara ek olarak; farklı kamera hareketlerini, farklı görsel ve estetik stilleri simüle etmek de dahil.
Hatta VideoPoet ile seçtiğiniz bir video kliple eşleşecek yeni sesler oluşturmak da mümkün. Ayrıca üretim sürecinde metin, resim ve video gibi çeşitli girdileri yönlendirici olarak kullanabileceğinizi de ekleyelim.
Diğer yapay zeka video üretim araçlarından ayrılan VideoPoet, dikey video üretimiyle de öne çıkıyor. Google Research ekibi ilerleyen dönemde VideoPoet’in yeteneklerini genişleterek, metinden sese ve sesten videoya dönüştürme gibi seçenekler kapsamında herhangi bir kategorideki girdinin herhangi bir başka kategorideki çıktıya dönüştürmesini hedefliyor.
Daha VideoPoet’in genel kullanıma açık değil. Şimdilik ürünün kullanıcılarla ne zaman buluşacağı hakkında bilgi verilmedi.
