(相關(guān)資料圖)

站長之家(ChinaZ.com) 6月14日 消息:微軟的研究人員展示了 LLaVA-Med，這是一種用于生物醫(yī)學(xué)的多模式 AI 助手，可以處理圖像和文本。

使用生物醫(yī)學(xué)圖像文本對應(yīng)大型數(shù)據(jù)集來訓(xùn)練多模態(tài) AI 模型。該數(shù)據(jù)集包括胸部 X 光、MRI、組織學(xué)、病理學(xué)和 CT 圖像等。首先，該模型學(xué)習(xí)描述此類圖像的內(nèi)容以及重要的生物醫(yī)學(xué)概念。然后，使用GPT-4生成的指令數(shù)據(jù)集對 LLaVA-Med（生物醫(yī)學(xué)的大型語言和視覺助手）進(jìn)行訓(xùn)練。

該數(shù)據(jù)集由 GPT-4基于生物醫(yī)學(xué)文本創(chuàng)建，其中包含有關(guān)每個圖像的所有信息，可用于生成有關(guān)圖像的問答。微調(diào)，然后在圖像和相應(yīng)的 GPT-4示例上訓(xùn)練 LLaVA-Med。結(jié)果是一個可以用自然語言回答有關(guān)生物醫(yī)學(xué)圖像的問題的助手。

使用的訓(xùn)練方法允許 LLaVA-Med 在不到15小時的時間內(nèi)在八個 Nvidia A100GPU 上進(jìn)行訓(xùn)練。它基于Vision Transformer和Vicuna語言模型，后者又基于 Meta 的LLaMA。據(jù)該團(tuán)隊稱，該模型具有“出色的多模式對話能力”。在用于回答視覺問題的三個標(biāo)準(zhǔn)生物醫(yī)學(xué)數(shù)據(jù)集上，LLaVA-Med 在某些指標(biāo)上優(yōu)于之前的最先進(jìn)模型。

LLaVA-Med 等多模式助手有朝一日可以用于各種生物醫(yī)學(xué)應(yīng)用，例如醫(yī)學(xué)研究、復(fù)雜生物醫(yī)學(xué)圖像的解釋以及醫(yī)療保健中的對話支持。

研究團(tuán)隊表示:“雖然我們認(rèn)為 LLaVA-Med 代表了朝著構(gòu)建有用的生物醫(yī)學(xué)視覺助手邁出的重要一步，但我們注意到 LLaVA-Med 受到許多 LMM 常見的幻覺和弱深度推理的限制未來的工作將側(cè)重于提高質(zhì)量和可靠性?！薄?/p>

（舉報）

關(guān)鍵詞：