Iš EPFL naujas daugiarūšis modelis, skirtas lankstesniam AI

Nesvarbu, ar kalbame apie „OpenAI“, ar apie „ChatGPT“, didžioji dauguma pokalbių robotų generatyvusis dirbtinis intelektas yra pagrįsti vadinamaisiais Didelės kalbos modelis (LLM), modeliai gilus mokymasis dideliu mastu išmokyti pateikti atsakymus į jiems užduodamus klausimus, mokantis informacijos per didelius teksto kiekius.

Paskutinė ribageneratyvinis AI yra multimodaliniai modeliai, kurie sujungia kalbos supratimą ir vaizdus, ​​​​vaizdo ir garso įrašus, kad pasiūlytų dar pažangesnę patirtį ir paslaugas.

Tačiau jų kūrimas kelia keletą iššūkių, ypač jei ketinama kurti multimodalinius modelius nedideliu mastu: trūkstamų duomenų buvimas dėl informacijos neprieinamumo, beveik visada dėl dalinio išteklių prieinamumo.

Trumpai tariant, rizika yra ta, kad modelis mokosi dėl trūkumo, o skaičiavimai ir prognozės bus iškraipytos. Ir čia EPFL pradėjo savo naują projektą.

Lozanos technikos universiteto ir Ciuricho koalicija už žaliąją energiją
3D technologinė pirštinė, kuri pavers virtualią realybę apčiuopiamą

MultiModN, modulinis daugiarūšis modelis, gimęs Lozanoje

Mokslininkai Lozanos federalinė politechnika (EPFL), vienas geriausių inžinerijos ir informacinių technologijų universitetų pasaulyje, iš tikrųjų išsivystė MultiModN, unikalus modulinis multimodalinis modelis, neseniai pristatytas NeurIPS2023.

Tyrėjai iš EPFL kompiuterių mokslo ir komunikacijos mokyklos mašininio mokymosi (ML4ED) ir mašininio mokymosi ir optimizavimo (MLO) laboratorijų nusprendė sukurti ir išbandyti visiškai priešingą didelio masto, bet galvoti mažesniu mastu.

Mokytojo vadovaujama Mary-Anne Hartley, MLO ir Jeilio medicinos mokykloje kartu rengiamos pasaulinių pažangių sveikatos technologijų laboratorijos direktorius ir profesorius Tanja KäserML4ED direktorius, komanda sukūrė multimodalinį modelį, kuris gali mokytis iš teksto, vaizdų, vaizdo įrašų ir garsų, bet kurį, skirtingai nei esami, sudaro kintamas mažesnių modulių skaičius, autonominis ir priklausomas nuo įvesties.

Pastaruosius galima pasirinkti pagal turimą informaciją ir sudėti į bet kokio skaičiaus, derinio ar įvesties tipo seką. Todėl jis gali pateikti bet kokį prognozių skaičių arba derinį.

"Mes įvertinome MultiModN dešimt realių veiklų, įskaitant medicininės diagnozės palaikymą, akademinių rezultatų prognozavimą ir orų prognozavimą. jis paaiškino Vinitra Swamy, ML4ED ir MLO doktorantas ir pirmasis projekto bendraautoris.

„Atlikę šiuos eksperimentus manome, kad MultiModN yra pirmasis iš esmės interpretuojamas ir trūkstamų duomenų atsparus daugiarūšio modeliavimo metodas.".

EPFL „receptas“ galingesniems kvantiniams kompiuteriams
Nuo dirbtinio intelekto lemiamas postūmis kriptovaliutoms?

Pirmasis naudojimo atvejis: klinikiniai sprendimai medicinos personalui

Pirmasis MultiModN naudojimo atvejis bus kaip palaikymo sistema klinikiniai sprendimai medicinos personalui ribotų išteklių sąlygomis.

Iš tiesų sveikatos priežiūros sektoriuje dažnai trūksta klinikinių duomenų, galbūt dėl ​​ribotų išteklių (pacientas negali sau leisti atlikti konkretaus tyrimo) arba, atvirkščiai, dėl išteklių ir informacijos gausos. „MultiModN“ gali mokytis iš šių realaus pasaulio duomenų, neįsisavindama savo vadinamųjų paklaidų, ir pritaikyti prognozes bet kokiam įvesties deriniui ar skaičiui.

"Duomenų trūkumas yra būdingas ribotų išteklių kontekste, o modeliams išmokus šiuos trūkstamus modelius, jie gali užkoduoti klaidas savo prognozėse. jis nurodė Mary-Anne Hartley.

„MultiModN įkvėpė lankstumo poreikis nenuspėjamai prieinamų išteklių atžvilgiu.".

Svarbiausias įvykis – AI ir mašininio mokymosi poveikis paslaugoms
Visos priežastys, dėl kurių auga AI įtaka skaitmeniniame mene

Iš laboratorijos į realų gyvenimą: vyksta pneumonijos ir tuberkuliozės tyrimas

Tačiau leidinys yra tik pirmasis žingsnis įgyvendinant ir atliekant bandymus vietoje. Profesorius Hartley dirbo su kolegomis Lozanos universitetinėje ligoninėje (CHUV) ir Inselspital, Berno universitetinėje ligoninėje, kad atliktų klinikiniai tyrimai daugiausia dėmesio skiria pneumonijos ir tuberkuliozės diagnozavimui ribotų išteklių sąlygomis ir šiuo metu įdarbina tūkstančius pacientų Pietų Afrika, Tanzanija, Namibija e Beninas.

Mokslinių tyrimų grupės ėmėsi plačios mokymo iniciatyvos – mokymo daugiau nei 100 gydytojų sistemingai rinkti daugiarūšius duomenis, įskaitant ultragarsinius vaizdus ir vaizdo įrašus, kad būtų galima išmokyti MultiModN būti jautriems tikriems duomenims iš mažai išteklių naudojančių regionų.

„Mes renkame būtent tokius sudėtingus daugiarūšius duomenis, kuriuos „MultiModN“ yra sukurtas apdoroti., – sakė gydytojas Noémie Boillat-Blanco, CHUV infekcinių ligų specialistas.

„Džiaugiamės matydami modelį, kuris gali įvertinti trūkstamų išteklių sudėtingumas mūsų kontekste ir sistemingai įprastų klinikinių vertinimų stoka“, pridūrė gydytojas Kristina Keitel universitetinės ligoninės Inselspital Šveicarijos sostinėje.

AI saugumas? Bletchley Park pareiškimas yra labai svarbus
Axel Springer-OpenAI ašis, skirta dirbtiniam intelektui, tarnaujanti žurnalistikai

Mašininis mokymasis visuomenės labui

„MultiModN“ kūrimas ir mokymas reiškia EPFL pastangų pritaikyti mašininio mokymosi įrankius realybei ir visuomenės gerovei tąsą. Tai vyksta netrukus po Meditronas, dirbtinio intelekto modelis, specialiai sukurtas medicinos sektoriui.

Meditron taip pat priklauso didelių kalbų modelių (LLM) kategorijai, tačiau skirtingai nuo bendrųjų modelių, kurie atlieka įvairias užduotis, jis yra orientuotas į medicinos sritis, ir yra kompaktiškesnis pagal dydį, tačiau toks pat efektyvus.

Meditrono tikslas yra demokratizuoti prieigą prie medicininės informacijos aukštos kokybės, todėl padeda priimti klinikinius sprendimus.

EPFL mokslininkai sukūrė dvi versijas su atitinkamai 7 milijardais ir 70 milijardų parametrų, o modeliai buvo apmokyti remiantis pasirinktais aukštos kokybės medicininių duomenų šaltiniais, įskaitant recenzuojamą mokslinę literatūrą ir įvairias klinikines gaires, užtikrinant plačią ir tikslią žinių bazę.

Taigi tiek 2023 m. lapkritį pristatytas „Meditron“, tiek „MultiModN“ atitinka naujojo EPFL AI centro misiją, kurioje pagrindinis dėmesys skiriamas tai, kaip atsakingas ir efektyvus dirbtinis intelektas gali skatinti technologines naujoves visų visuomenės sektorių labui.

Revoliuciniai jutikliai, galintys sutaupyti milijonus baterijų
AI: netrukus prasidėsiantis karas nebus toks, kokio tikimės...