近日，為深入貫徹落實國家藥品監(jiān)督管理局有關監(jiān)管要求，指導監(jiān)管人員加強對人工智能醫(yī)療器械生產(chǎn)質(zhì)量監(jiān)管，引導相關醫(yī)療器械生產(chǎn)企業(yè)科學開展生產(chǎn)活動，推動北京市人工智能醫(yī)療器械產(chǎn)業(yè)高質(zhì)量發(fā)展，北京市藥品監(jiān)督管理局根據(jù)相關法規(guī)、文件和標準要求，以及監(jiān)管實際，組織編制了《北京市人工智能醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范檢查指南（2024版）》，詳見正文。其他地區(qū)人工智能醫(yī)療器械注冊人也可以參考！
近日，為深入貫徹落實國家藥品監(jiān)督管理局有關監(jiān)管要求，指導監(jiān)管人員加強對人工智能醫(yī)療器械生產(chǎn)質(zhì)量監(jiān)管，引導相關醫(yī)療器械生產(chǎn)企業(yè)科學開展生產(chǎn)活動，推動北京市人工智能醫(yī)療器械產(chǎn)業(yè)高質(zhì)量發(fā)展，北京市藥品監(jiān)督管理局根據(jù)相關法規(guī)、文件和標準要求，以及監(jiān)管實際，組織編制了《北京市人工智能醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范檢查指南（2024版）》，詳見正文。其他地區(qū)人工智能醫(yī)療器械注冊人也可以參考！
北京市人工智能醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范檢查指南（2024版）
人工智能醫(yī)療器械是指基于“醫(yī)療器械數(shù)據(jù)”，采用人工智能技術實現(xiàn)其預期醫(yī)療用途的醫(yī)療器械，包括第二類、第三類人工智能獨立軟件和含有人工智能軟件組件的醫(yī)療器械（包括體外診斷醫(yī)療器械）。
本指南結(jié)合人工智能醫(yī)療器械特點，依據(jù)《醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范》《醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范附錄獨立軟件》《醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范獨立軟件現(xiàn)場檢查指導原則》等文件，明確了對人工智能醫(yī)療器械的生產(chǎn)質(zhì)量管理體系要求。旨在幫助北京市醫(yī)療器械生產(chǎn)監(jiān)管人員增強對人工智能醫(yī)療器械產(chǎn)品生產(chǎn)監(jiān)管的認知，指導和規(guī)范全市醫(yī)療器械生產(chǎn)監(jiān)管人員對人工智能醫(yī)療器械注冊人、受托生產(chǎn)企業(yè)（以下簡稱“生產(chǎn)企業(yè)”）的監(jiān)督檢查工作。同時，為相關生產(chǎn)企業(yè)開展生產(chǎn)管理活動提供參考和依據(jù)。
本指南中引用的國家相關法律、法規(guī)、規(guī)章、標準、檢查指南等版本發(fā)生變化時，要以當時執(zhí)行的最新版為準。隨著法規(guī)、強制性標準體系的不斷完善以及科技能力、認知水平的不斷發(fā)展，必要時，北京市藥品監(jiān)督管理局將重新研究修訂，以確保本指南持續(xù)符合要求。
一、機構(gòu)和人員
人工智能醫(yī)療器械具有對數(shù)據(jù)和算法依賴性高的特點，數(shù)據(jù)處理和算法相關的機構(gòu)和人員是關鍵性要素，生產(chǎn)企業(yè)應定義相關人員角色、明確職責和資質(zhì)要求，可參照IEEE Std 2801-2022醫(yī)學人工智能數(shù)據(jù)集質(zhì)量管理推薦標準。
（一）數(shù)據(jù)處理人員：生產(chǎn)企業(yè)應確立一名數(shù)據(jù)管理代表全面負責數(shù)據(jù)處理相關工作。數(shù)據(jù)處理人員一般包括首席研究員、數(shù)據(jù)管理員、采集人員、初級標注人員、審核人員、仲裁人員等，標注過程中處理同一例數(shù)據(jù)時，初級標注、審核、仲裁人員之間不可相互兼任；應明確人員的職責、任職資質(zhì)、選拔、培訓、考核要求，如職稱、工作年限、工作經(jīng)驗等；應有任命、培訓（如培訓材料、培訓方案）及考核記錄（如方法、頻次、指標、通過準則、一致性）等；對于生產(chǎn)企業(yè)外部聘用人員的還應記錄聘用、主要執(zhí)業(yè)機構(gòu)、培訓等信息，明確其資質(zhì)是否滿足崗位要求。
（二）算法相關人員：生產(chǎn)企業(yè)應建立具有算法研發(fā)能力且穩(wěn)定的算法團隊，確立一名團隊負責人全面負責算法相關工作。算法團隊人員一般包括：算法研究人員、算法工程人員、算法測試人員、算法部署人員，上述人員中同一算法測試人員不可與其他角色兼任。若采用外部委托研發(fā)或者直接使用開源項目進行算法的研發(fā)，則必須有算法測試人員和部署人員，并對算法相關的質(zhì)量負責。
二、廠房與設施
人工智能醫(yī)療器械的數(shù)據(jù)集是進行開發(fā)的要素，對采用自建數(shù)據(jù)集的產(chǎn)品，數(shù)據(jù)預處理、清洗、標注等操作的場所為真實場所或模擬場所，真實的場所應明確環(huán)境條件（如空間、照明、溫度、濕度、氣壓等），如有特殊要求應保持相關記錄，采用模擬場所情形可根據(jù)產(chǎn)品實際情況調(diào)整模擬程度，需詳述調(diào)整理由并予以記錄；對采用公開數(shù)據(jù)集、第三方數(shù)據(jù)集，則需對數(shù)據(jù)集開發(fā)方所能提供范圍內(nèi)的場地信息進行記錄。
三、設備
生產(chǎn)企業(yè)應結(jié)合自身產(chǎn)品的實際情況，在產(chǎn)品生存周期過程提供充分、適宜、有效的軟硬件設備、開發(fā)測試工具、網(wǎng)絡資源以及病毒防護、數(shù)據(jù)備份與恢復等保障措施。
（一）數(shù)據(jù)集構(gòu)建所用設備
1.數(shù)據(jù)采集設備管理應明確兼容性和采集特征等要求，設備的兼容性記錄應包括采集設備的名稱、規(guī)格型號、制造商、性能指標，若無需考慮兼容性要求應詳述理由并予以記錄。采集特征需明確采集設備的采集方式（如常規(guī)成像、增強成像）、采集協(xié)議（如MRI成像序列）、采集參數(shù)（如CT加載電壓、加載電流、加載時間、層厚）、采集精度（如分辨率、采樣率）。數(shù)據(jù)采集若使用歷史數(shù)據(jù)，需列明采集設備及采集特征要求，并開展數(shù)據(jù)采集質(zhì)量評估工作。
2.企業(yè)應配備執(zhí)行數(shù)據(jù)集相關任務需要的資源，如訪問、讀取數(shù)據(jù)、預覽、檢索等任務需要的軟件、硬件、網(wǎng)絡配置。測試集應配備封閉管理需要的軟件、硬件、網(wǎng)絡配置，明確管理要求。
3.數(shù)據(jù)標注應明確標注軟件（包含自動標注軟件）的要求，明確標注軟件的名稱、規(guī)格型號、完整版本、制造商、運行環(huán)境、軟件確認等要求并予以記錄。
4.若需使用特定的外部設備獲取附加的信息（如病理結(jié)果、檢驗結(jié)果、數(shù)據(jù)模態(tài)轉(zhuǎn)化、多模態(tài)配準、體積測量、三維打印等），設備的規(guī)格型號、計量信息（如需計量）等應確認要求并予以記錄。
5.數(shù)據(jù)整理所用軟件工具（含腳本）均需明確名稱、規(guī)格型號、完整版本、制造商、運行環(huán)境，并進行軟件確認。
（二）算法研發(fā)所用設備
1.應明確定義并記錄進行算法訓練、算法測試、算法部署所用到服務器算力的典型配置（如GPU型號和數(shù)量、CPU型號和數(shù)量、內(nèi)存大小、網(wǎng)絡帶寬等）。
2.應明確定義并記錄算法訓練所用的操作系統(tǒng)、開發(fā)環(huán)境（如編程語言及版本、集成開發(fā)環(huán)境及版本、web服務及版本、支持軟件及版本等）、算法架構(gòu)（如基礎計算包、GPU指令集、集成開發(fā)環(huán)境插件等）。
3.應明確定義并記錄算法測試所用的操作系統(tǒng)、開發(fā)環(huán)境、算法框架、基礎服務等，若與其他外部設備進行配合或作為軟件組件集成到其他醫(yī)療器械中，明確說明外部設備和器械的規(guī)格型號。
4.應明確定義并記錄算法部署運行的操作系統(tǒng)、開發(fā)環(huán)境、算法框架、基礎服務、虛擬機、應用容器引擎等。
四、設計開發(fā)
生產(chǎn)企業(yè)應結(jié)合質(zhì)量管理體系要求，建立人工智能醫(yī)療器械生存周期過程，開展與軟件安全性級別相匹配的產(chǎn)品質(zhì)量保證工作，確定需求分析、數(shù)據(jù)收集、算法設計、驗證與確認、部署運行、更新控制等活動要求，將風險管理、可追溯分析（需包含算法和數(shù)據(jù)）貫穿于生存周期全程，形成記錄。
（一）需求分析
1.需求分析應當以用戶需求與風險為導向，結(jié)合產(chǎn)品的預期用途、使用場景、核心功能，綜合分析法律、法規(guī)、規(guī)章、標準、用戶、產(chǎn)品、功能、性能、接口、用戶界面、網(wǎng)絡安全、警示提示等需求，明確風險管理、可追溯性分析、數(shù)據(jù)收集、算法性能、使用限制、現(xiàn)成軟件（現(xiàn)成算法）的驗證與確認等活動要求，形成相應文件。
2.數(shù)據(jù)收集應當確保數(shù)據(jù)來源的合規(guī)性、充分性和多樣性，數(shù)據(jù)分布的科學性和合理性，數(shù)據(jù)質(zhì)控的充分性、有效性和準確性。
3.算法性能需結(jié)合醫(yī)療實際和產(chǎn)品定位，明確假陰性與假陽性、重復性與再現(xiàn)性、魯棒性/健壯性、實時性等性能指標的適用性及其要求，并兼顧不同性能指標的制約關系。
4.使用限制需考慮產(chǎn)品禁用、慎用等場景，準確表述產(chǎn)品使用場景，提供必要警示提示信息。
（二）數(shù)據(jù)收集
1.數(shù)據(jù)采集
數(shù)據(jù)采集應當明確采集設備、采集過程、數(shù)據(jù)脫敏等質(zhì)控要求，并建立數(shù)據(jù)采集操作規(guī)范。若使用歷史數(shù)據(jù)，應當結(jié)合樣本規(guī)模、采集難度等影響因素合理選擇數(shù)據(jù)采集方式，明確數(shù)據(jù)篩選標準并對采集的數(shù)據(jù)進行質(zhì)量評估。
采集的數(shù)據(jù)應進行數(shù)據(jù)脫敏以保護患者隱私，數(shù)據(jù)脫敏需明確脫敏的類型（靜態(tài)、動態(tài)）、規(guī)則、方法以及脫敏內(nèi)容的確定依據(jù)。如使用歷史數(shù)據(jù)，企業(yè)接收的數(shù)據(jù)應為脫敏后的數(shù)據(jù)，不得有敏感數(shù)據(jù)流入企業(yè)。
2.數(shù)據(jù)整理
數(shù)據(jù)整理應基于原始數(shù)據(jù)庫明確數(shù)據(jù)清洗、數(shù)據(jù)預處理的質(zhì)控要求。數(shù)據(jù)清洗應當明確清洗的規(guī)則、方法、結(jié)果，數(shù)據(jù)預處理應當明確處理的方法（如濾波、增強、重采樣、尺寸裁剪、均一化等）、結(jié)果。數(shù)據(jù)經(jīng)整理后形成基礎數(shù)據(jù)庫，需明確樣本類型、樣本量、樣本分布等信息。
3.數(shù)據(jù)標注
數(shù)據(jù)標注應當明確標注資源管理、標注過程質(zhì)控、標注質(zhì)量評估等要求，并建立數(shù)據(jù)標注操作規(guī)范。標注過程質(zhì)控包括人員職責（如人員資質(zhì)、人員數(shù)量、職責分工）、標注規(guī)則（如臨床指南、專家共識、專家評議、文獻分析）、標注流程（如標注對象、標注形式、標注輪次、標注步驟、結(jié)果審核）、分歧處理（如仲裁人員、仲裁方式）、可追溯性（如數(shù)據(jù)、操作）等要求。數(shù)據(jù)經(jīng)標注后形成標注數(shù)據(jù)庫，樣本類型可分為數(shù)據(jù)塊（如圖像區(qū)域、數(shù)據(jù)片段）、單一數(shù)據(jù)（由多個數(shù)據(jù)塊組成）、數(shù)據(jù)序列（由多個單一數(shù)據(jù)組成）。標注數(shù)據(jù)庫的樣本量、樣本分布等要求及風險考量與基礎數(shù)據(jù)庫相同。
數(shù)據(jù)標注若使用自動標注軟件，結(jié)果不得直接使用，應由標注人員審核后方可使用。
4.數(shù)據(jù)集構(gòu)建
基于標注數(shù)據(jù)庫構(gòu)建訓練集、調(diào)優(yōu)集（若有）、測試集，應當明確訓練集、調(diào)優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例。訓練集原則上需保證樣本分布具有均衡性，測試集、調(diào)優(yōu)集原則上需保證樣本分布符合真實情況，訓練集、調(diào)優(yōu)集、測試集的樣本應兩兩無交集并通過查重予以驗證。
數(shù)據(jù)擴增（若有）應當明確擴增的對象、范圍、方式（離線、在線）、方法（如翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、縮放、濾波、生成對抗網(wǎng)絡等）、倍數(shù)，在線擴增亦需予以記錄，擴增需考慮數(shù)據(jù)偏倚的影響及風險。原則上不得對測試集進行數(shù)據(jù)擴增，對抗測試除外。
數(shù)據(jù)經(jīng)擴增后應當形成擴增數(shù)據(jù)庫，需列表對比擴增數(shù)據(jù)庫與標注數(shù)據(jù)庫在樣本量、樣本分布（注明擴增倍數(shù)）等差異，以證實擴增數(shù)據(jù)庫樣本量的充分性以及樣本分布的合理性。
（三）算法設計
1.算法選擇
算法選擇應當提供所用算法的名稱、類型（如有監(jiān)督學習、無監(jiān)督學習，基于模型、基于數(shù)據(jù)，白盒、黑盒）、結(jié)構(gòu)（如層數(shù)、參數(shù)規(guī)模）、輸入輸出數(shù)據(jù)類型、流程圖、算法編程框架、運行環(huán)境等基本信息，并明確算法選用依據(jù)，包括選用的理由和基本原則。若組合使用集成學習、遷移學習、強化學習等，需提供算法基本信息以及算法選用依據(jù)。
2.算法訓練
算法訓練應當基于訓練集、調(diào)優(yōu)集進行訓練和調(diào)優(yōu)，考慮評估指標、訓練方式、訓練目標、調(diào)優(yōu)方式、訓練數(shù)據(jù)量—評估指標曲線等要求。
3.算法性能評估
算法性能評估應當基于測試集對算法設計結(jié)果進行評估，綜合評估假陰性與假陽性、重復性與再現(xiàn)性、魯棒性/健壯性、實時性等適用性，以證實算法性能滿足算法設計目標，并作為軟件驗證、軟件確認的基礎。若使用第三方數(shù)據(jù)庫開展算法性能評估，應當提供第三方數(shù)據(jù)庫的基本信息（如名稱、創(chuàng)建者、數(shù)據(jù)總量等）和使用情況（如測試數(shù)據(jù)樣本量、評估指標、評估結(jié)果等）。
對于黑盒算法，應開展算法性能影響因素分析，并提供算法性能影響因素分析報告，明確影響算法性能的主要因素及其影響程度，以及產(chǎn)品使用限制和必要警示提示信息。
（四）驗證與確認
1.軟件驗證
軟件驗證應當基于軟件需求予以開展，保證軟件的安全有效性，并作為軟件確認的基礎。
2.軟件確認
軟件確認測試應當基于用戶需求，由預期用戶在真實或模擬使用場景下予以開展，涵蓋現(xiàn)成軟件、網(wǎng)絡安全的測試要求，確定缺陷管理、風險管理、可追溯性分析、評審等活動要求，形成用戶測試記錄、測試報告以及評審記錄并經(jīng)批準，適時更新并經(jīng)批準。可追溯性分析此時應當分析用戶測試與用戶需求、用戶測試與風險管理的關系。同時，開展算法性能比較分析，若各類測試場景（含臨床評價）算法性能變異度較大，詳述原因并基于分析結(jié)果明確產(chǎn)品使用限制和必要警示提示信息。最后，結(jié)合算法訓練、算法性能評估、臨床評價等結(jié)果開展算法性能綜合評價，針對訓練樣本量和測試樣本量過少、測試結(jié)果明顯低于算法設計目標、算法性能變異度過大等情況，對產(chǎn)品的適用范圍、使用場景、核心功能進行必要限制。
基于測評數(shù)據(jù)庫開展的，除滿足數(shù)據(jù)庫通用要求（如數(shù)據(jù)管理、網(wǎng)絡安全與數(shù)據(jù)安全、可擴展性）外，還應滿足權(quán)威性、科學性、規(guī)范性、多樣性、封閉性和動態(tài)性要求。不應使用公開數(shù)據(jù)庫作為測評數(shù)據(jù)庫。
（五）部署運行
算法發(fā)布和更新時應在相關文件列明算法關鍵模塊的功能、接口、版本、存儲形式（如pt、pth、bin、onnx、pb、keras、ckpt、pkl等）；主要功能組件模塊及相互依賴和接口關系；軟件的前后端部署方式；對基礎軟件和硬件的依賴和兼容性要求等。
（六）更新控制
人工智能醫(yī)療器械若發(fā)生算法更新、軟件更新，均應當按照質(zhì)量管理體系的要求，開展與算法更新、軟件更新的類型、內(nèi)容和程度相適宜的驗證與確認活動，將風險管理、可追溯分析貫穿于更新全程，形成記錄。此外，算法更新、軟件更新均需考慮引入回滾機制，以保證醫(yī)療業(yè)務的連續(xù)性，特別是對風險較高的軟件。
軟件版本控制應當基于合規(guī)性要求確定軟件版本命名規(guī)則，涵蓋自研軟件、現(xiàn)成軟件、算法（算法驅(qū)動型更新或數(shù)據(jù)驅(qū)動型更新）網(wǎng)絡安全的全部軟件更新類型，明確并區(qū)分重大軟件更新和輕微軟件更新，并符合軟件版本命名規(guī)則的要求。
對數(shù)據(jù)集進行用途（如訓練、調(diào)優(yōu)、測試、驗證等）的變更，應按照數(shù)據(jù)集管理體系的要求進行確認形成記錄。高控制等級的數(shù)據(jù)集停用后數(shù)據(jù)可流入低控制等級的數(shù)據(jù)集，不允許低控制等級的數(shù)據(jù)集向高控制等級流動（測試集數(shù)據(jù)可變更為訓練和調(diào)優(yōu)使用，不可將訓練集、調(diào)優(yōu)集的數(shù)據(jù)變更為測試使用）。數(shù)據(jù)集數(shù)據(jù)的變更，應按照建立數(shù)據(jù)集過程相同的質(zhì)量體系進行管理，并記錄更新內(nèi)容和版本變更。
（七）網(wǎng)絡與數(shù)據(jù)安全
人工智能醫(yī)療器械全生命周期過程中應當考慮網(wǎng)絡安全與數(shù)據(jù)安全問題，對網(wǎng)絡與數(shù)據(jù)安全過程的控制要求形成文件，包括數(shù)據(jù)轉(zhuǎn)移要求，數(shù)據(jù)整理、數(shù)據(jù)集構(gòu)建、算法訓練等內(nèi)部活動開展過程中的數(shù)據(jù)污染防護措施，以及數(shù)據(jù)標注、軟件確認等涉及外部活動開展過程中的數(shù)據(jù)污染防護措施及數(shù)據(jù)接口要求。
各數(shù)據(jù)庫（集）均需進行數(shù)據(jù)備份，明確備份的方法、頻次、數(shù)據(jù)恢復方法。
數(shù)據(jù)庫和數(shù)據(jù)集訪問應明確授權(quán)訪問管理要求，形成文件及記錄。
人工智能醫(yī)療器械軟件應明確算法的軟件安全性級別（輕微、中等、嚴重）并詳述判定理由。應形成算法風險管理資料，明確過擬合與欠擬合、假陰性與假陽性、數(shù)據(jù)污染與數(shù)據(jù)偏倚（如數(shù)據(jù)擴增引入的偏倚）、中外差異等風險的控制措施。
（八）可追溯性分析
可追溯性分析應當建立控制程序，涵蓋軟件、現(xiàn)成軟件、算法及數(shù)據(jù)、網(wǎng)絡安全的控制要求，形成軟件及算法的可追溯性分析報告。使用可追溯性分析工具保證軟件開發(fā)、軟件更新過程滿足可追溯性要求，并貫穿于軟件生存周期全過程。提供算法可追溯性分析報告等相關文件及記錄，即追溯算法需求、算法設計、算法實現(xiàn)、算法驗證與確認、風險管理、數(shù)據(jù)集的管理。若無單獨文檔可提供軟件可追溯性分析報告，并注明算法可追溯性分析所在位置。
五、采購
生產(chǎn)企業(yè)應確保采購物品符合法律法規(guī)的相關規(guī)定和國家強制性標準的相關要求，包括數(shù)據(jù)來源及以開源方式獲得的軟件等。
數(shù)據(jù)來源應當提供數(shù)據(jù)來源的合規(guī)性聲明，列明數(shù)據(jù)來源機構(gòu)名稱、所在地域、數(shù)據(jù)收集量、倫理批件（或科研合作協(xié)議）編號等信息。
產(chǎn)品部署運行所需的軟硬件，應當記錄采購信息，其中以開源方式獲得的軟件組件、基礎包、基礎軟件、集成環(huán)境等，應列明來源、下載地址、版本、開源協(xié)議等信息。
六、銷售和售后服務
人工智能醫(yī)療器械軟件在產(chǎn)品設計具有持續(xù)學習/自適應學習能力的，需要在軟件部署階段確認自學習功能已關閉，并提供記錄。
七、不良事件監(jiān)測、分析和改進
上市后需要持續(xù)開展算法泛化能力研究的，需要結(jié)合用戶投訴、不良事件和召回等情況識別前期未預見的風險，并采取有效的風險控制措施將風險降至可接受水平。此外，根據(jù)產(chǎn)品更新需求，經(jīng)評估后實施更新活動，開展與之相適宜的驗證與確認活動，保證算法泛化能力持續(xù)滿足用戶需求。
如有人工智能醫(yī)療器械注冊咨詢服務需求，歡迎您隨時方便與杭州證標客醫(yī)藥技術咨詢有限公司聯(lián)絡，聯(lián)系人：葉工，電話：18058734169，微信同。