病理圖像人工智能分析軟件應(yīng)如何進行性能評價
？

人工智能軟件性能評價

病理圖像人工智能分析軟件是指基于數(shù)字病理圖像

，采用深度學(xué)習(xí)等人工智能技術(shù)實現(xiàn)對病理圖像的分割、檢測等功能的獨立軟件

，按照第三類醫(yī)療器械管理

。數(shù)字病理圖像包括經(jīng)數(shù)據(jù)成像設(shè)備獲得的顯微鏡下細胞或組織圖像、全玻片數(shù)字掃描技術(shù)（WSI）的病理圖像等

。產(chǎn)品在醫(yī)療機構(gòu)和/或醫(yī)學(xué)實驗室使用

，可輔助病理醫(yī)師為疾病的診斷、預(yù)后

、治療等提供信息

，不能作為臨床診斷決策的唯一依據(jù)。

國家藥監(jiān)局器審中心于今年7月發(fā)布《病理圖像人工智能分析軟件性能評價審評要點》

，旨在指導(dǎo)注冊申請人對病理圖像人工智能分析軟件注冊申報資料中非臨床評價部分的準備及撰寫

，同時也為技術(shù)審評部門提供參考，重點關(guān)注軟件研究資料相關(guān)要求

，包括需求規(guī)范

、算法研究資料等。

需求規(guī)范考慮數(shù)據(jù)采集

、算法性能

、使用限制等要求。數(shù)據(jù)采集需考慮數(shù)據(jù)來源的合規(guī)性

、充分性和多樣性

，數(shù)據(jù)分布的科學(xué)性和合理性，數(shù)據(jù)質(zhì)控的充分性

、有效性和準確性

，數(shù)據(jù)需來源于不同地域、不少于3家機構(gòu)

；機構(gòu)需采用說明書所述切片制作流程

、組織染色和免疫組織化學(xué)技術(shù)制備切片。算法性能需結(jié)合產(chǎn)品預(yù)期用途

，綜合考慮分析速度

、敏感性、特異性

、重復(fù)性與再現(xiàn)性

、泛化性等性能指標的適用性及其要求，同時還需考慮因梯度消失

、梯度爆炸

、過擬合和欠擬合等影響算法性能的因素

。使用限制需考慮產(chǎn)品禁用、慎用等場景

，準確表述產(chǎn)品使用場景

，提供必要警示提示信息。

算法研究資料需提交每個人工智能算法或算法組合的算法研究報告

，包括算法基本信息

、算法風(fēng)險管理、算法需求規(guī)范

、數(shù)據(jù)收集

、算法訓(xùn)練、算法性能評估

、算法可追溯性分析等

。

此類軟件的安全性級別為嚴重級別。數(shù)據(jù)收集需提供數(shù)據(jù)來源合規(guī)性聲明

，列明數(shù)據(jù)來源機構(gòu)的名稱

、所在地域、數(shù)據(jù)收集量

、倫理批件編號等信息

。數(shù)據(jù)采集需提供數(shù)據(jù)采集操作規(guī)范文檔，包括數(shù)據(jù)采集方案和數(shù)據(jù)采集標準操作規(guī)程

；數(shù)據(jù)采集主要由臨床機構(gòu)實施

，采集過程應(yīng)對樣本數(shù)據(jù)進行編號并加密，方案中應(yīng)包含編號規(guī)則

。

數(shù)據(jù)整理需明確數(shù)據(jù)清洗/預(yù)處理程序

，對數(shù)據(jù)處理中應(yīng)用的軟件進行簡述，提交數(shù)據(jù)處理中各軟件的研究資料

。數(shù)據(jù)標注需明確標注人員和仲裁人員的資質(zhì)要求和培訓(xùn)內(nèi)容

，標注人員和仲裁人員應(yīng)為病理醫(yī)師，數(shù)據(jù)應(yīng)經(jīng)過不少于兩人標注

；標注質(zhì)量評估可抽選一定比例數(shù)據(jù)進行非標注人員的評估

。數(shù)據(jù)集構(gòu)建需明確各數(shù)據(jù)集劃分的方法及依據(jù)，訓(xùn)練集

、調(diào)優(yōu)集

、測試集的樣本應(yīng)兩兩無交集并通過查重予以驗證

。

算法訓(xùn)練需依據(jù)適用人群

、數(shù)據(jù)來源機構(gòu)、采集設(shè)備

、樣本類型等因素

，提供訓(xùn)練集

、調(diào)優(yōu)集（若有）關(guān)于疾病構(gòu)成的數(shù)據(jù)分布情況；基于訓(xùn)練集

、調(diào)優(yōu)集進行訓(xùn)練和調(diào)優(yōu)

，明確算法訓(xùn)練所用的評估指標、訓(xùn)練方式

、訓(xùn)練目標

、調(diào)優(yōu)方法。算法性能評估需基于測試集

，對算法設(shè)計進行評估

，確認軟件算法性能的效率、敏感性

、特異性

，性能應(yīng)滿足算法設(shè)計要求。

信息來源：中國食品藥品網(wǎng)

排版整理：金飛鷹藥械

！

江西藥監(jiān)局：以下情形可申請醫(yī)療器械經(jīng)營許可遠程審批

！

！" linktype="text" imgurl="" imgdata="null" data-itemshowtype="0" tab="innerlink" data-linktype="2" hasload="1" style="margin: 0px; padding: 0px; outline: 0px; text-decoration-line: none; -webkit-tap-highlight-color: rgba(0, 0, 0, 0); -webkit-user-drag: none; cursor: pointer; max-width: 100%; box-sizing: border-box !important; overflow-wrap: break-word !important;">透明質(zhì)酸鈉復(fù)合溶液臨床試驗技術(shù)審評要點征求意見中！

專注國內(nèi)外醫(yī)療器械咨詢服務(wù)

行業(yè)干貨

病理圖像人工智能分析軟件應(yīng)如何進行性能評價
？

熱門文章

最新資訊

相關(guān)新聞

專注國內(nèi)外醫(yī)療器械咨詢服務(wù)

行業(yè)干貨

病理圖像人工智能分析軟件應(yīng)如何進行性能評價？

熱門文章

最新資訊

相關(guān)新聞

病理圖像人工智能分析軟件應(yīng)如何進行性能評價
？