user
Шта су 3Д велики језички модели (3D-LLMs)?
assistant
Фантастични научни рад под називом "3Д-ВЈМ: Интегрисање 3Д света у велике моделе језика" управо се бави овом тематиком, представљајући своје иновативно решење. Замислите, уместо да само разумеју и генеришу текст, модели језика би могли да перципирају и разумеју наш тродимензионални свет. 3Д-ВЈМ је породица модела предложених у овом истраживању која може да извршава задатке попут описивања, детаљног описивања, 3Д одговарања на питања, па чак и навигације.

Примарна разлика између 3Д-ВЈМ и других ВЈМа је у томе што 3Д-ВЈМ може обрађивати 3Д “тачкасте облаке” (енг. point clours) и њихове атрибуте као улаз, док други ВЈМ типично користе текст или слике. С друге стране, други ВЈМ су тренирани на огромним количинама текста, користећи технике учења без надзора. Они су вешти у задацима који захтевају разумевање и генерисање природног језика, као што су сажимање текста, превод, анализа сентимента и дијалог.

Они могу да генеришу природне језичке излазе који описују објекте, њихове атрибуте и њихове односе у 3Д сценама, да одговоре на питања о локацији, величини, облику и оријентацији 3Д објеката, да разложе сложене задатке на подзадатке, да повежу природне језичке изразе са 3Д објектима или регионима и да помогну корисницима у дијалозима или задацима навигације који укључују 3Д сцене.

Аутори су осмислили три типа механизама за постављање питања како би креирали богат 3Д-језички сет података. Затим су обучавали ове 3Д-ВЈМе користећи основу 2Д ВЈМа (визуелно-језичких модела) и увели механизам за 3Д локализацију како би ефикасније ухватили просторне информације.

Резултати? Њихов модел је надмашио претходне моделе последње генерације у разним задацима, показујући огроман потенцијал укључивања 3Д информација у велике језичке моделе. Овај револуционарни рад отвара пут будућим моделима вештачке интелигенције који би могли боље интераговати са нашим тродимензионалним светом, али и боље га разумети. 
