【AI 元宇亮東華】- 亮點研發:人工智慧在智慧醫療的應用
文/計畫主持人 顏士淨教授
自 2016 年 AlphaGo 出現之後,人工智慧(AI)成為世界科技發展的重點項目,其中一個很重要的應用就是智慧醫療。廣達創辦人林百里先生稱智慧醫療將會是台灣的第 2 座護國神山,前科技部長陳良基也指出, 2025 年後全球智慧醫療的產業將達到 15 兆美元。本篇文章將介紹東華大學亮點計畫中智慧醫療的成果,包括心電圖辨識、中醫的體質判定與舌診辨識等研究成果。
一般智慧醫療系統開發流程為先取得訓練資料,然後以 AI 演算法針對資料訓練出可以辨識醫療問題標的AI 模型,最後設計應用程式(APP)讓使用者可以使用此 AI 模型來解決醫療問題,接下來我們將基於此開發流程來講解三個智慧醫療的成果。
EKG AI Model 開發
AI 應用於心電圖已經有許多的研究。在[1]中進行了包括 191 篇論文的研究,多數的論文都是根據開放式的資料集,每個開放資料集都是為不同的醫學目的而準備的,所有開放資料都是來自醫療設備時間序列的原始信號。但是在現實醫院的醫療設備並不會提供時間序列的原始信號,只提供基於網格之圖形上可臨床解釋的數字圖像,便於醫師以視覺來判別。
為了讓 AI 對醫學研究領域做出更實質的貢獻,我們與花蓮慈濟醫院合作收集數據並建立 AI 模型。訓練資料 為醫療設備輸出的 12 導程心電圖圖像,使用卷積神經網路(CNN)訓練醫生提供的資料,應用在我們的 AI 模型上, 並且與醫生反覆校正。當建立高準確率的 AI 模型後,模型將會被部署並運行在醫生的手機上,以便醫生可以隨時使用。
我們不僅將 AI 模型用於回傳預測結果,還使用 Grad-CAM 方法[2]對預測圖像進行視覺的解釋。Grad-CAM 方法在可視覺化和解釋 AI 模型如何看待輸入圖像和進行預測方面具有很大的優勢。下圖是以 LINE 機器人讀入輸入的心電圖圖像之後,預測有 96.65% 的機率是 STEMI(心肌梗塞),同時也輸出 AI 模型視覺的解釋,這是一張熱力圖,顏色溫度越高,表示 AI 模型越倚賴這些地區來做辨識。根據這張圖,可以有一個反饋互動式監測 AI Model 的功能,如果 AI 模型做出了錯誤的預測,醫生可以回傳正確的訊息給開發團隊。例如右圖中可發現醫生回報 AI Model 將注意力放在英文字母導致辨識錯誤,顯示此機制可以發現 AI Model 的問題。
中醫體質決策樹
中醫相當重視個體化的差異,因此判斷體質是相當重要的。本研究以中國醫藥大學制定的《中醫體質量表》為問卷,包含 44 個問題,每個問題有五個選項(1-5 分,越多越嚴重),對各個受試者的分數求總和以確定體質。例如在 19 個關於陰虛的問題,得分超過 30 分的受試者被歸類為患有陰虛。
我們透過大量問卷收集訓練資料,並且訓練出決策樹。下圖是一個決策樹的範例,每個節點左側表示滿足測試條件的判斷條件,右側表示不滿足測試條件的判斷條件。如果沒有測試條件,則為最終判斷結果。每個節點都有特定的顏色作為背景色,棕色是正常體質(Normal),綠色是痰瘀(PaBS),紫色是陰虛(YinAC),藍色是陽虛 (YangAC)。例如最上面的根節點,測試條件為第 8 個問題 (problem 8)是否回答 1 或 2,這根節點包括 134 個問卷結果(samples),其中有正常體質、痰瘀、陰虛、陽虛的個數分別為 77, 8, 21, 28。因為正常體質的數量最多,此節點目前判定為棕色的正常體質。
為了優化該決策樹,我們修剪了分支並減少了冗餘部分,以獲得最高的判斷準確度。在標準 AI 系統中,大量數據用作訓練數據集,以便建立更清晰可靠的模塊來驗證系統的可靠性。然後使用一個小的測試數據集,從最終用戶的角度測試 AI 系統,並檢查結果的準確性。最後這個中醫體質決策樹將成為一個 AI 模型,並製成一個應用程式,提供辨識中醫體質使用。
開發舌診儀與系統及資料收集方法
舌診在中醫望診中占著重要的一環,通過對舌苔、舌質的觀察,從而瞭解病變所在,據以辨證論治。舌診影像辨識已經有許多相關研究,市面上也有產品。而本研究目的是幫助中醫巡迴看診,因此輕量化,拍攝時不受環境限制是我們的目標。我們開發深度學習的舌診方法,然後在平板電腦上面運作,步驟為先通過平板電腦上的鏡頭獲取拍攝照片,然後將拍攝照片輸入卷積神經網路以獲取關聯於拍攝照片中的舌頭之多個類別分類結果,最後在平板電腦顯示舌診應用程式的畫面,其中包含多個類別的分類結果,如下圖。
以齒痕舌辨識為例,齒痕舌是指舌頭邊緣上有牙齒的痕跡,造成其原因是舌體厚大肥胖,腫大的舌體邊緣在齒內受擠壓而呈現牙齒痕跡,多屬脾虛。整體流程是用肉眼以矩形框出舌體並判斷是否為齒痕舌後放進 YOLOv4 訓練來得到 AI 模型,YOLO 是物件偵測模型,相較於其他物件偵測模型,應用時的速度會快上許多。
為了讓我們的 AI 模型可以適應中醫巡迴看診時的環境,如部落活動中心,我們也研究適合各種環境的 AI 模型,例如探討解析度對於舌診 AI 模型的影響。訓練模型的圖片像素解析度是一項重要的性質,若能以越高的解析度圖片來訓練模型,該模型對新圖片越能準確判斷。我們準備一組測試圖片,以同一組圖片根據不同的解析度分別產生出對應該解析度之圖片影像。接著將這些「看起來相同然而大小不同的圖片」按照解析度大小的順序,依序使用前面所訓練出的 AI 模型來進行圖像判斷,紀錄分別的辨識結果類別和準確率。在我們的舌診應用程式中,解析度只要在 256×192 以上,辨識齒痕舌的準確率就可以超過九成。
[1] S. Hong, Y. Zhou, J. Shang, C. Xiao, and J. Sun, “Opportunities and challenges of deep learning methods for electrocardiogram data: A systematic review,” Comput. Biol. Med., vol. 122, Jul. 2020, Art. no. 103801.
[2] R. R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D. Parikh, and D. Batra, “Grad-CAM: Visual explanations from deep networks via gradient-based localization,” in Proc. IEEE Int. Conf. Comput. Vis. (ICCV), Oct. 2017, pp. 618_626.