Cum a reușit un sistem AI să dezvolte cod științific de nivel expert
Un nou studiu arată cum sistemul Empirical Research Assistance (ERA) combină modele lingvistice mari cu algoritmi de căutare în arbori pentru a construi rapid software de cercetare de nivel expert, depășind cele mai bune referințe în sarcini de la genomica celulară unică până la prognoza spitalizărilor cauzate de COVID-19.
Un studiu recent publicat în revista Nature prezintă ERA, un sistem de inteligență artificială (AI) care îmbină un model lingvistic mare (LLM) cu un algoritm de căutare în arbori (TS), având potențialul de a depăși provocările consumatoare de timp și sensibile la expertiză legate de dezvoltarea manuală a software-ului. ERA utilizează AI și algoritmul TS pentru a proiecta și îmbunătăți automat software-ul științific. Sistemul optimizat poate genera soluții de nivel expert în diverse domenii. În unele cazuri, a depășit chiar și modelele dezvoltate de oameni și cele de referință în sarcini științifice specifice, inclusiv modelul oficial CovidHub Ensemble utilizat pentru prognoza spitalizărilor legate de coronavirusul SARS-CoV-2.
Software-ul empiric este esențial în multe domenii ale cercetării științifice, deoarece permite oamenilor de știință să modeleze sisteme complexe și boli, de la dinamica fluidelor și atmosferei până la procesele sociale și biologice. Totuși, dezvoltarea acestor sisteme software este un proces lent, laborios și sensibil la expertiză. Automatizarea ar putea stimula inovația și îmbunătăți eficiența cercetării.
În cadrul studiului, cercetătorii au dezvoltat ERA pentru a genera și rafina automat software-ul științific prin optimizarea scorurilor de calitate. Crearea de software științific a fost considerată o „sarcină evaluabilă”. Programele candidate au fost evaluate în funcție de cât de bine își maximizau rezultatele în funcție de metrici de performanță predefinite.
Sistemul generează multiple candidaturi software, apoi le rescrie și le îmbunătățește într-un ciclu de feedback ghidat de semnalele de performanță provenite din funcția de evaluare. Ca o avansare față de programarea generativă bazată pe șabloane, ERA folosește un LLM ca un motor flexibil pentru a genera cod prin integrarea cunoștințelor din domeniu din multiple soluții posibile. Spre deosebire de sistemele care generează cod de la zero, ERA poate modifica candidaturile software existente. De asemenea, este mai versatil decât AutoML, deoarece poate rescrie aproape orice software, de la pregătirea și organizarea datelor până la rularea simulărilor complexe și rezolvarea problemelor matematice avansate.
Algoritmul TS prioritizează candidații promițători, asigurând o explorare sistematică a implementărilor alternative. Cercetătorii pot introduce perspective din lucrări științifice, manuale și rezultate ale motorului de căutare în prompturile LLM. Aceasta permite evoluția codului ghidată de cunoștințe. Similar cu combinarea diferitelor idei, cercetătorii au generat „recombinări” ale perechilor de metode bazate pe rezumate de cod, rulând apoi ERA cu prompturi pentru aceste recombinări pentru a îmbunătăți soluțiile modelului.
Grupul a evaluat ERA în diverse competiții de pe Kaggle și în șase benchmark-uri științifice, care au inclus bioinformatică, epidemiologie, analiză geospațială, neuroștiințe și calcul numeric. Acestea au acoperit sarcini precum integrarea loturilor în analiza RNA la celule unice (scRNA-seq), prognoza spitalizărilor legate de COVID-19, predicția seriilor temporale, segmentarea geospațială, modelarea activității neuronale în peștii zebrafish și probleme de integrare numerică.
Cercetătorii au evaluat performanța ERA folosind clasamentele competițiilor și sisteme de evaluare specifice sarcinilor. Pentru a prezice spitalizările legate de COVID-19 în Statele Unite, au testat ERA folosind o abordare de validare rolling, în care modelele au fost optimizate și selectate pe baza datelor din cele 6 săptămâni anterioare, în timp ce antrenamentul s-a bazat pe înregistrările istorice de spitalizare. Performanța a fost, de asemenea, verificată folosind rezumate scurte CovidHub fără codul original și evaluarea modelului de prognoză a seriilor temporale generale (GIFTEval).
ERA a demonstrat constant o performanță de nivel expert în diverse discipline științifice. Sistemul a depășit metodele dezvoltate de oameni și sistemele de referință în mai multe sarcini benchmark. În bioinformatică, sistemul a generat 40 de abordări noi pentru analiza scRNA-seq, depășind metodele de vârf de pe tabloul de lideri OpenProblems. O versiune a metodei Batch Balanced K-Nearest Neighbors (BBKNN) dezvoltată de ERA a îmbunătățit performanța generală cu 14% comparativ cu abordările publicate anterior. ERA a păstrat semnalele biologice importante în timpul corecției lotului.
În epidemiologie, sistemul a produs 14 strategii de prognoză care au depășit oficialul CovidHub Ensemble în predicția spitalizărilor legate de COVID-19 în Statele Unite. ERA a obținut un scor mediu ponderat al intervalului (WIS) de 26, depășind benchmark-ul oficial CovidHub Ensemble, care avea un WIS mediu de 29, scorurile mai mici indicând o performanță mai bună. Sistemul a realizat acest lucru prin recombinarea punctelor forte din diferite abordări de modelare, inclusiv prin asocierea analizei tendințelor statistice cu modelele epidemiologice de răspândire a bolilor. Multe strategii hibride dezvoltate folosind algoritmul TS al ERA au avut, de asemenea, o performanță mai bună decât modelele parentale, evidențiind valoarea metodelor de recombinare.
Sistemul a demonstrat, de asemenea, o performanță robustă în prognozarea seriilor temporale, segmentarea imaginilor geospațiale, estimarea activității cerebrale în peștii zebrafish și sarcinile de integrare numerică. În mai multe cazuri, ERA a depășit rezultatele tablourilor de lideri ale modelelor fundamentale, sistemelor de învățare profundă și abordărilor tradiționale de prognoză. Avantajul sistemului provine din capacitatea sa de a explora și rafina continuu mii de variante software în timp ce integrează cunoștințe științifice externe din lucrări, manuale și motoare de căutare.
Adăugarea de îndrumări specificate de problemă în prompturi a îmbunătățit considerabil performanța. De exemplu, cercetătorii au instruit ERA să creeze propria bibliotecă de arbori de decizie boostați (BDT) fără a utiliza pachete software existente. Rezultatele au fost verificate manual, confirmând că ERA a respectat aceste instrucțiuni. Sistemul a obținut, de asemenea, rezultate constante fără cod public disponibil.
Constatările sugerează că sistemele conduse de AI, cum ar fi ERA, ar putea accelera dramatic unele forme de muncă științifică computațională, reducând timpul, expertiza și efortul computațional necesar pentru a dezvolta software avansat de cercetare. Prin generarea rapidă și rafinarea soluțiilor de înaltă performanță în diverse domenii, utilizând un proces de optimizare bazat pe scoruri, ERA ar putea ajuta cercetătorii să abordeze mai eficient provocările științifice complexe. Sistemul poate genera software de nivel expert în ore sau zile, în loc de săptămâni
