Cercetătorii solicită AI explicabilă în modelele de limbaj pentru proteine
Modelele de limbaj pentru proteine sunt instrumente de inteligență artificială care ajută la inginerizarea proteinelor cu proprietăți utile, inclusiv structuri complet noi, niciodată văzute înainte în natură.
Tehnologia are un potențial uriaș pentru a aborda provocările globale, cum ar fi sintetizarea enzimelor capabile să absoarbă dioxidul de carbon din atmosferă sau construirea de catalizatori care reduc semnificativ consumul de energie sau deșeurile toxice rezultate din procesele industriale.
Pe măsură ce aceste modele încep să influențeze deciziile din biotehnologie, persistă o problemă majoră. Modelele de limbaj pentru proteine (pLMs) funcționează în mare parte ca niște cutii negre, ceea ce îngreunează înțelegerea procesului lor decizional și evaluarea fiabilității, prejudecăților sau siguranței predicțiilor în aplicarea lor în lumea reală.
Într-un nou articol publicat astăzi în Nature Machine Intelligence, cercetătorii de la Centre for Genomic Regulation (CRG) analizează modul în care „inteligența artificială explicabilă”, tehnicile și metodele care permit oamenilor să înțeleagă, să aibă încredere și să interpreteze deciziile tehnologiei, sunt aplicate în prezent la modelele de limbaj pentru proteine.
„Modelele de limbaj pentru proteine avansează rapid, dar înțelegerea noastră asupra proceselor biologice fundamentale, cum ar fi plierea sau cataliza, nu a evoluat în același ritm cu aceste progrese”, afirmă Dr. Noelia Ferruz, Group Leader la CRG și autor corespunzător al lucrării.
„În unele privințe, am pierdut chiar și transparența caracteristică modelelor bazate pe fizică. Fără modalități mai bune de a explica ce învață aceste modele și cum iau decizii, riscăm să construim instrumente puternice în care nu putem avea încredere”, adaugă Dr. Ferruz.
Autorii fac apel la comunitatea de cercetare să facă sistemele de proiectare a proteinelor mai transparente, de încredere și sigure. „Dacă dorim ca modelele de limbaj pentru proteine să devină un partener de încredere în descoperire și design, explicabilitatea nu trebuie să fie o idee secundară”, spune Andrea Hunklinger, autor principal al lucrării.
Există patru puncte cheie în care se poate căuta explicația deciziilor unui pLM.
Autorii subliniază că, pentru a înțelege de ce un model AI a făcut o predicție despre tipul de structură sau proprietăți ale unei proteine, este esențial să se verifice sursa explicației.
Primul aspect este datele de antrenament din care modelul a învățat. De exemplu, aceste date pot explica dacă modelul are prejudecăți care nu țin cont de diversitatea genetică umană sau dacă dispune de suficiente date despre proteinele umane.
Al doilea aspect este secvența specifică a proteinei dată modelului. Într-un model de predicție a prețurilor locuințelor, caracteristicile ar putea include metri pătrați, numărul de camere sau locația. În cazul modelelor de limbaj pentru proteine, este vorba despre aminoacizii sau regiunile proteinei care au influențat cel mai mult predicția.
Al treilea aspect se referă la arhitectura și componentele interne ale modelului de limbaj pentru proteine, similar cu deschiderea capotei unui vehicul pentru a verifica motorul. În cazul pLMs, aceasta implică verificarea dacă neuronii artificiali utilizați de AI procesează informația corect.
În cele din urmă, cercetătorii pot investiga un model de limbaj pentru proteine prin ajustarea acestuia și observarea reacției. Acest proces se numește comportament input-output și implică studierea modului în care răspunsul modelului se schimbă dacă se modifică ușor secvența proteinei sau întrebarea adresată.
Cercetătorii au revizuit literatura științifică existentă și au analizat zeci de studii în care instrumentele de explicabilitate au fost deja aplicate la modelele de limbaj pentru proteine. Este cea mai cuprinzătoare revizuire de acest tip de până acum.
Autorii au organizat lucrările dispersate într-un set clar de roluri pe care explicabilitatea le poate avea în cercetarea proteinelor, ajutând la transformarea unui domeniu tehnic dens într-unul mult mai accesibil.
În aproape toate cazurile, explicabilitatea este folosită ca „Evaluator”, un mod de a verifica dacă un model a învățat tipare pe care biologii deja le cunosc, cum ar fi recunoașterea site-urilor de legare sau a motivelor structurale.
„Deși Evaluatorii sunt utili pentru a evalua calitatea modelului, ei nu permit extrapolarea la exemple necunoscute, îmbunătățirea arhitecturii modelului și, mai important, dezvăluirea de perspective biologice care apar din datele de antrenament”, spune Hunklinger.
Un număr mai mic de studii fac un pas suplimentar, folosind aceste perspective ca „Multitasker”, reaplicând semnalele învățate pentru a ajuta la anotarea proteinelor noi sau a prezice proprietăți suplimentare. Autorii notează că aceste două roluri domină domeniul în prezent, arătând că explicabilitatea este folosită în principal ca instrument de verificare și suport, mai degrabă decât ca motor al descoperirii.
Cercetătorii au descoperit că un număr limitat de studii utilizează perspectivele de inteligență artificială explicabilă ca „Inginer” sau „Antrenor”, ajutând la eliminarea componentelor inutile și la redesignul arhitecturii pentru a orienta tehnologia în direcția generării de secvențe de proteine cu trăsături dorite.
Un obiectiv ambițios, dar mai puțin realizat, este rolul de „Profesor” pentru modelele de limbaj pentru proteine. Aceasta ar putea ajuta la descoperirea unor principii biologice complet noi, care nu au fost recunoscute anterior de oameni.
Autorii compară atingerea acestui obiectiv cu realizările din alte domenii ale inteligenței artificiale, cum ar fi atunci când AlphaZero a început să descopere strategii inovatoare la șah sau când sistemele AI au ajutat la descifrarea textelor antice deteriorate prin recunoașterea unor tipare lingvistice invizibile ochiului uman. Atunci tehnologia a trecut de la un instrument de eficiență la unul care oferă noi perspective.
În știința proteinelor, atingerea stadiului de profesor ar însemna ca sistemele AI să ajute cercetătorii să descopere noi reguli de pliere a proteinelor, cataliză sau interacțiuni moleculare, care ar putea transforma modul în care sunt concepute medicamentele, materialele și tehnologiile durabile.
„Pentru noi, adevărata sfântă graal este proiectarea controlabilă a proteinelor. Imaginează-ți că poți spune unui model: „Proiectează o proteină cu această formă, activă la acest pH”, și nu doar să primești o secvență candidată, ci și o explicație clară a motivului pentru care acel design ar trebui să funcționeze și, important, de ce alternativele ar eșua”, explică Dr. Ferruz.
„De exemplu, modelul ar putea explica că o anumită mutație ar distruge o rețea de legături de hidrogen esențială pentru stabilitate. Atingerea acestui nivel de control și transparență mecanistică ar transforma modelele de limbaj pentru proteine din generatoare impresionante în parteneri de proiectare cu adevărat fiabili”, adaugă ea.
Autorii subliniază că
