作者:Anura S. Fernando,UL Solutions 首席顧問暨全球醫療網路安全負責人
人工智慧(AI)已成為全球家喻戶曉的名詞,但 AI 的概念其實並不新。長久以來,人類便將部分認知能力轉移到工具與軟體中,最早可追溯至書寫與計算,藉此減輕記憶與回想所帶來的心智負擔。真正的新變化,在於 AI 正愈來愈多被應用於攸關安全的醫療技術。在這類領域中,即使是設計、效能或學習方式上的細微差異,也可能帶來遠超預期的嚴重影響。
從傳統健康軟體到學習型 AI
狹義的 AI 已發展成如今所稱的生成式人工智慧(gen AI),也為安全、性能與監管帶來新的考量;即使較早期形式的 AI,長期以來已廣泛應用於各類攸關生命的醫療場景。隨著這些系統日益複雜,製造商與監管機關必須處理學習型行為如何設計、控制,並隨時間持續監測。
目前臨床環境中使用的先進醫療 AI 系統,大多源自所謂的狹義 AI。其核心是深度學習,這項技術源自機器學習(ML)、神經網路,以及支撐現代健康軟體的早期數位邏輯之上。雖然這些系統可透過訓練或更新進行調整,但其行為仍受到製造商所定義的架構、資料控管與變更管理機制。
健康軟體有幾種不同形式,各自對應不同的法規要求與風險特性:
- 醫療器材內軟體(SiMD)曾以許多不同名稱描述,例如嵌入式系統、嵌入式軟體、韌體等。它指的是嵌入醫療器材中,用於控制或支援其運作的軟體。由於這類軟體與器材硬體整合在一起,傳統上會被視為醫療器材本身的一部分進行監管。
- 醫療器材軟體(SaMD)也已使用了二十多年。這類軟體有許多不同描述方式,包括醫療應用軟體、行動應用程式、雲端服務和臨床決策支援軟體。無論使用哪一種名稱,SaMD 指的是在個人電腦或伺服器等通用運算平台上運作的軟體。
- 另一類健康軟體,是在專用醫療器材硬體上運行的非醫療器材軟體。例如,運行於受醫療器材法規監管之硬體上的作業系統(OS)即屬於此類。在多數法規環境與實務情境中,OS 製造商不會被視為該醫療器材的法定製造商。相對地,醫療器材製造商(MDM)才會被視為整體整合產品的開發者;該產品包含在 OS 上運行的應用程式。
- 最後一類健康軟體,是在通用運算硬體上運行的非醫療器材軟體。此類涵蓋所有可與醫療器材連接,或與其相關,但其硬體與軟體本身均不在監管機關管轄範圍內的應用。此分類亦會因各地對「醫療器材」定義的不同,以及全球監管政策的差異而有所變化。
電子健康紀錄(EHR)系統就是這類差異的一個例子。EHR 系統通常會接收來自醫療器材的資料,也可將資料提供給醫療器材。在某些情況下,甚至可作為臨床流程的整合樞紐。在美國等部分地區,這些系統並未被納入醫療器材監管;但在歐盟等其他地區,則受到相關法規規範。
綜合來看,這些類別顯示「健康軟體」一詞的涵蓋範圍相當廣泛。在定義如此廣泛的情況下,我們有必要進一步思考:搭載 AI 的醫療軟體究竟有何不同?
醫療 AI 有何特別之處?
關鍵在於,學習型系統正在顛覆人們長久以來對軟體可控性與可預測性的既有認知。為了說明這點,本文將回顧軟體技術的發展,以及它如何與法規制度一路演進。本段內容聚焦於美國醫療器材法規,該體系亦是最早建立針對軟體型醫療技術監管框架的制度之一。
美國食品藥物管理局(FDA)自 1970 年代起,便開始審查含有軟體的醫療器材。到 1990 年代末期,FDA 建立法規科學架構並完善軟體政策,進而制定第一份 FDA 軟體指引。FDA 甚至認可 UL Solutions 等公司可在其 510(k)第三方審查計畫下合作,協助評估軟體及其他相關事項。
無論過去或現在,FDA 一直重視透過完善的驗證(verification)與確認(validation)機制,確保依賴軟體的醫療器材具備安全性與有效性。在法規用語中,「驗證」著重於產品是否依規格建置,常被醫療器材製造商(MDM)簡化為:「產品有沒有被正確地做出來?」相對而言,「確認」則關注產品是否真正符合臨床需求,也就是:「我們做的是不是對的產品?」
雖然這兩個問題看似簡單,背後卻牽涉不少細微差異,也促使 FDA 持續發展並擴充相關指引。隨著時間推進,FDA 陸續針對多種數位健康技術發布專門規範,包括醫療器材中使用的現成軟體、SaMD、行動醫療應用、醫療器材資料系統,以及臨床決策支援軟體等。不過,這些框架主要是為「行為不會自行改變」的軟體所設計。
隨著健康軟體變得更加互聯且應用更廣,後續指引也開始處理跨領域風險,包括網路安全、品質系統考量、上市前提交內容,以及上市後網路安全管理要求。
為何醫療 AI 對傳統確認機制帶來挑戰
目前已有數十份指引文件以不同方式涉及軟體,但醫療 AI 具備某些特性,使其成為一種獨特的軟體形式,因此需要專屬的法規架構。不同於傳統軟體,學習型系統的效能可能會在預先設定的範圍內隨時間變動,而非在發布後就固定不變。
FDA 開始採取分階段推進的方式,先處理更精密的 AI 工具如何支援法規提交資料;例如 2025 年 1 月的指引草案「使用人工智慧支援藥品和生物製品法規決策之考量事項」,以及器材層級指引「人工智慧賦能器材軟體功能:生命週期管理與上市提交建議」。
由於生成式 AI(gen AI)高度仰賴學習型調適,傳統組態管理(CM)方法已無法完全適用。不同於傳統軟體,這些系統可透過事先定義、限制並授權的學習流程,改變其性能特性;這也帶來新的不確定性,必須透過生命週期控制加以管理。
FDA 透過《醫療器材預定變更控制計畫》指引來因應這項挑戰。該指引要求製造商事先說明裝置在使用期間可能發生的變更類型,以及依據預先設定的驗收標準,如何對這些變更進行驗證與確認。此方法也要求進行效益風險評估,以識別風險降低措施,並明確界定任何可接受的剩餘風險。
重要的是,這些學習型系統並非自主系統。任何調適都必須在製造商所建立、並經監管機關審查的界限內進行,而不是透過獨立設定目標或自行控制來運作。
自 1990 年代末期起,FDA 便已在乳房攝影影像處理等應用中評估 AI,更精確地說,是其中的機器學習技術。然而,如今興起的生成式 AI 也帶來更多層面的技術複雜性。這類系統仰賴張量等進階數學結構,並透過神經網路來建構對現實世界各種現象的模型。
這項額外的複雜性大幅增加了這些系統所需處理的資料量。有效管理這些資料至關重要,不僅是為了最佳化記憶體與性能,也能在大型資料於高速運算系統中流動時,控制能源消耗與散熱。
量化是管理這種複雜性的常見技術之一,可降低資料量與精確度,藉此減少運算負載、能源消耗和熱輸出。然而,這種效率提升也伴隨取捨:相較於原始資料集,資料真實度與準確度會出現一定程度的損失。
在許多非安全關鍵的消費型 AI 應用中,這種取捨普遍可被接受,因為它很少影響整體性能。然而在醫療應用中,即使是微小的準確度損失,也可能造成具有臨床意義的後果;我們接下來將探討這項差異。
醫療 AI 的另一項差異,在於其使用情境。在醫療領域中,只要治療效益足以支持相關風險,即使技術本身可能帶來傷害,仍可能被採用。這在化學治療、腫瘤消融等治療,以及診斷性 X 光影像等例行臨床程序中,都可清楚看見。
當生成式 AI 導入這些應用時,必須考量邊緣條件,也就是細微的解剖或生理差異,因為這些差異可能決定一項介入措施究竟有效還是有害。在血液或軟組織等複雜生物系統中,這包括精準鎖定癌細胞等特定細胞類型,同時避免傷害周邊結構。若未能做到,可能造成從貧血等相對低風險影響,到病患死亡等災難性後果。
如前所述,生成式 AI 常用的最佳化技術,例如量化,可能造成資料真實度的小幅損失。在臨床情境中,這些取捨具有更重大意義;即使準確度僅小幅下降,特別是在系統未針對醫療邊緣條件進行最佳化時,也可能引發遠超預期的嚴重影響。
監管機關如何在部署後監測醫療 AI
以上只是讓醫療 AI 顯得特殊的部分考量。為了因應這些挑戰,全球監管機關正加強合作,推進法規科學發展,並逐步建立對 AI 醫療技術的一致監管期待。監管機關也與 UL Standards & Engagement 等私部門標準制定組織合作,協助 MDM 採用一致的方法進行軟體驗證與確認;這類工作通常也會與 UL Solutions 等測試、檢驗與認證(TIC)組織合作推動。
除了上市前審查外,美國 FDA 等監管機關也會針對既有與新興技術持續進行市場監測。這種上市後監督在識別真實世界性能問題方面扮演關鍵角色,而這些問題在開發或初始核准階段可能無法完全顯現。
歷史經驗凸顯了這一點的重要性。
隨著軟體技術朝向更高程度的自主行為發展,Therac-25 治療用直線加速器相關事故等失效案例,也揭示了軟體缺陷可能如何導致嚴重傷害與人命損失。1為防止這類事件再次發生而採取的努力,也形塑了現代對上市後警戒與矯正措施的期待。
AI 本質上雖然仍是軟體,但其在定義限制內學習與調適的能力,帶來了仍有待進一步理解的特性。若缺乏完善的上市後監測工具,例如召回、現場行動和矯正措施計畫,醫療 AI 中的新興漏洞可能無法被偵測,進而提高病患受害及醫療體系承壓的風險。
若要安全推動創新,持續監督不可或缺。
UL Solutions 如何協助推動更安全的醫療 AI
要安全地開發與監管醫療 AI,必須面對並處理一系列挑戰,而這些挑戰其實不在傳統法規指引與生命週期管理機制的原有設計範圍內。
憑藉數十年的技術、法規與臨床專業,我們的專家協助製造商因應醫療器材安全、網路安全測試、法規審查和上市後監督,讓 AI 賦能技術能與支持病患安全的法規架構、品質系統和監督機制同步發展*。
參考資料
1.Leveson, N.、Turner, G.,「An Investigation of the Therac-25 Accidents」,Computer,第 26 卷第 7 期;第 18-41 頁;1993 年 7 月。https://web.stanford.edu/class/archive/cs/cs240/cs240.1236/old//sp2014/readings/therac-25.pdf
* UL Solutions 為各類醫療器材產業提供廣泛的服務組合,包括認證、核准/公告機構和諮詢服務。為避免實際利益衝突或可能被認為存在利益衝突的情況,並保護我們的品牌與客戶品牌,我們已建立相關流程,用以識別並管理任何潛在利益衝突,同時維持公正性。UL Solutions 無法為 EU MDD、MDR、IVDD 或 IVDR 公告機構、UKCA MD 核准機構或 MDSAP 客戶提供諮詢服務。
與我們的業務團隊聯繫
感謝您對我們的產品與服務感興趣。請提供一些資訊,讓我們為您安排合適的聯絡窗口。