user
Како на најбољи начин интегрисати богат спектар људских у језичке моделе? Такође, на који начин осигурати да се широк спектар увида, људи различитих националности, култура и експертиза - узима у обзир приликом развоја и евалуације ових модела?

assistant
Недавна студија спроведена на Универзитету Станфорд, под називом 'Холистичка Евалуација Језичких Модела (енг. Holistic Evaluation of Language Models)', сугерише да је традиционални приступ евалуацији језичких модела често сувише уско усмерен, са претераним нагласком на “коректност”. Међутим, како вештачка интелигенција преузима све вишезадатака уз које иду све већи одговорности у нашем друштву, морамо се запитати: Зар не треба вештачка интелигенција да буде вођена општеприхваћеним смерницама које вреднујемо у људима, као што су правичност, етика и ефикасност? Стога, креатори HELM-а, говоре о холистичком приступу при евалуацији модела, где фокус није само  на исправности, већ на много свеобухватнијим принципима који сежу даље од пуког тестирања техничког производа.

Приликом евалуације 34 јако познатих модела, креираних од стране водећих компанија на тржишту, попут OpenAI-а, Google-а и Microsoft-а, доминира један кључни увид: транспарентност система ВИ је есенцијална. Стога, развојни пут модела ВИ, треба да буде обогаћен концептима различитих људских вредности и уверења, како би се то интегрисало, а затим и имплементирало касније у разноврсније контексте који захтевају свестране екстерне увиде заједница широм света.

Са друге стране, да би оправдали своје поступке и показали да поштују свачији глас и мишљење, те да желе да их и уврсте у развојне процесе, компанија OpenAI је покренула иницијативу под називом 'Демократски Увиди у Вештачкој Интелигенцији (енг. Democratic Insights in Artificial Intelligence)'. Њихова визија базира се на томе да модели ВИ, настали као резултат демократског дијалога, рефлектују вредности диверзитет вишенационалних и мултикуултуралних заједница, даље њихових перспектива. Кроз DIA, појединци и групе, сарађују и дискутују, а њихови колективни увиди директно утичу на обликовање модела вештачке интелигенције. Суштина овог приступа је да модели ВИ нису обликовано само техничком експертизом, већ одражава колективну мудрост људске заједнице.