L’immagine è uno screenshot di un documento accademico intitolato “Capabilities of Gemini Models in Medicine”. Il documento discute le sfide dell’intelligenza artificiale in medicina e introduce i modelli Gemini, una famiglia di metodi multimodali specializzati nel settore medico. Il testo evidenzia l’importanza dell’efficienza e della sicurezza del paziente, e presenta risultati promettenti ottenuti valutando i modelli Gemini su dati reali provenienti da 24 istituzioni. Un benchmark con i dataset SIGMA e MIMIC mostra miglioramenti significativi rispetto a GPT-3, con un margine medio relativo del 45%. Il modello Neo-Gemini (M4-Gem) si dimostra comparabile attraverso la performance SGTA in compiti di recupero di informazioni da registrazioni sanitarie di lunga forma e nel rispondere a domande su video medici, superando i lavori precedenti con un allenamento integrato dei componenti.
Il documento include anche grafici a barre che confrontano diversi modelli, tra cui M4-Gemini, e un diagramma di flusso che mostra i componenti principali e il processo dei modelli Gemini in medicina.
Di seguito l’abstract della ricerca:
L’eccellenza in un’ampia varietà di applicazioni mediche pone sfide considerevoli per l’intelligenza artificiale, che richiedono ragionamento avanzato, accesso a conoscenze mediche aggiornate e comprensione di dati multimodali complessi. I modelli Gemini, con le loro forti capacità generali nel ragionamento multimodale e a lungo contesto, offrono interessanti possibilità in medicina. Basandosi su questi punti di forza fondamentali di Gemini 1.0 e Gemini 1.5, presentiamo Med-Gemini, una famiglia di modelli multimodali altamente capaci specializzati in medicina con la capacità di integrare perfettamente l’uso della ricerca sul web e che può essere adattato in modo efficiente a nuovi modalità utilizzando codificatori personalizzati. Valutiamo Med-Gemini su 14 benchmark medici che abbracciano applicazioni testuali, multimodali e a lungo contesto, stabilendo nuove prestazioni all’avanguardia (SoTA) su 10 di essi e superando la famiglia di modelli GPT-4 su ogni benchmark in cui un il confronto diretto è praticabile, spesso con un ampio margine. Sul popolare benchmark MedQA (USMLE), il nostro modello Med-Gemini con le migliori prestazioni raggiunge prestazioni SoTA con un’accuratezza del 91,1%, utilizzando una nuova strategia di ricerca guidata dall’incertezza, superando il nostro precedente migliore Med-PaLM 2 del 4,6%. La nostra strategia basata sulla ricerca si generalizza con le prestazioni SoTA su complesse sfide diagnostiche del New England Journal of Medicine (NEJM) e del benchmark GeneTuring. Su 7 benchmark multimodali, tra cui NEJM Image Challenges e MMMU (salute e medicina), Med-Gemini migliora rispetto a GPT-4V con un margine relativo medio del 44,5%. Dimostriamo l’efficacia delle capacità a lungo contesto di Med-Gemini attraverso le prestazioni SoTA su un’attività di recupero di un ago in un pagliaio da cartelle cliniche lunghe non identificate e risposte a domande video mediche, superando i precedenti metodi su misura utilizzando solo l’apprendimento in contesto. Infine, le prestazioni di Med-Gemini suggeriscono un’utilità nel mondo reale superando gli esperti umani in compiti quali il riepilogo di testi medici e la generazione di lettere di riferimento, insieme a dimostrazioni di potenziale promettente per il dialogo medico multimodale, la ricerca medica e l’istruzione. Nel loro insieme, i nostri risultati offrono prove convincenti della promessa di Med-Gemini in molte aree della medicina, anche se un’ulteriore valutazione rigorosa sarà cruciale prima dell’implementazione nel mondo reale in questo settore critico per la sicurezza.
E qui la ricerca completa:
