助力智慧醫療，時代天使在人工智能頂級會議NeurIPS 2023發表3篇論文
2023/12/12 19:07 (GMT+08:00)
人工智能的創新應用正在深刻地改變口腔醫療。作為一家以數字化創新驅動的隱形矯治龍頭企業，時代天使持續加大AI方面的投入，通過自建專業研究團隊以及與各大院校的深入科研合作，不斷探索“AI+口腔”的前沿科技和發展方向。
近日，時代天使與浙江大學等多個專業院校研究團隊合作，在人工智能領域頂級國際學術會議NeurIPS 2023（神經信息處理系統大會, Conference on Neural Information Processing Systems）上發表了3篇研究論文，為機器學習、深度學習等前沿技術應用於錯頜畸形的診斷等場景提供了創新思路和解決方案。
NeurIPS（神經信息處理系統會議）是機器學習和計算神經科學領域的頂級國際會議之一，彙集了來自學術界和工業界的頂尖研究人員，涵蓋機器學習、深度學習等多個領域的最新研究成果。NeurIPS以其高質量的論文、邀請演講和工作坊而聞名，對推動相關領域的科學和技術進步具有重要影響。
本次時代天使入選的3篇論文主要是針對智慧醫療和數字化口腔領域中現有挑戰提出全新的算法模型，在保障數據隱私安全的前提下，顯著提高智能診斷的精確度、可靠性和公平性。時代天使希望未來將AI算法模型、海量大數據與正畸領域知識、醫生專業診斷更加深度結合，在數字化診療流程中更高效、精準地助力口腔醫生，為患者和行業創造更大價值。
Fed-GraB：保障數據隱私的同時，提升正畸複雜長尾病例的智能診斷性能
時代天使與浙江大學、新加坡科技設計大學、新加坡A*STAR、四川大學等專業研究團隊合作，在NeurIPS 2023會議上發表了題為“Fed-GraB: Federated Long-tailed Learning with Self-Adjusting Gradient Balance”的研究論文，為解決聯邦學習領域長尾分佈問題提供了創新思路和解決方案。
聯邦學習由於能夠在不共享患者數據的前提下進行人工智能模型訓練，為在智慧醫療領域中同時實現患者隱私保護和高效智能診斷提供了新的解決思路。然而，在全局數據呈現出長尾分佈的情況下，如口腔醫療數據涵蓋多類較為少見錯頜畸形病例等，以往的聯邦學習方法難以在這些複雜分佈條件下實現高效、高質量的輔助診療效果。
Fig. 2 Framework of FedGraB
為此，研究團隊提出了一種名為Fed-GraB的方法，其中包含的自調節梯度平衡器（SGB）能夠在保護隱私的前提下，有效地進行客戶端梯度重加權。平衡器通過直接先驗分析器（DPA）模塊，可以在不違背隱私原則的情況下，利用全局長尾先驗進行學習。實驗結果顯示，Fed-GraB模型在ImageNet-LT、iNaturalist等多個代表性數據集上的表現均達到了最優水平，特別是在處理少數類別數據時，其性能大幅度超越領域內當前最優算法。
Fed-GraB在保護患者隱私的基礎上，可以提升口腔正畸複雜長尾病例的智能診斷性能。Fed-GraB的實施預期將助力遠程醫療服務創新、促進數據安全共享、提高醫療服務的效率與質量，在制定個性化和精準治療方案方面具有顯著潛力，可以在保障數據隱私的前提下，進一步提升醫療健康行業的患者體驗。
Fast Model Debias：實現高質量“去偏見”效果，提高診療的公正性和準確性
時代天使聯合浙江大學、南洋理工大學、斯坦福大學、新加坡A*STAR等專業院校的研究團隊，在NeurIPS 2023會議上發表了題為“Fast Model Debias with Machine Unlearning”的研究論文，在深度學習模型去偏見問題上取得了新的進展。
在智慧醫療領域中，深度學習模型的去偏見（model debias）具有極其重要的意義：1）去偏見能顯著提高模型在不同人群中診斷的準確性；2）去偏見也有助於減少誤診或漏診的情況，從而提高在處理少數群體醫療數據時的醫療服務整體質量。當患者認識到醫療系統在努力提供公平、無偏見的診療服務時，患者對醫療系統的信任會隨之增強。
研究團隊提出了一種全面的快速模型去偏見框架 FMD。FMD 包括三個獨立的模塊：偏見識別、偏見效應評估和偏見消除。FMD構建了一個包括事實樣本及其相應的反事實樣本的數據集，並通過分析模型的預測隨屬性的變化來進行有效的偏見識別。FMD基於影響函數（influence function）理論提出了全新評估算法，能定量評估任意有偏見的訓練樣本對模型預測的誤導程度。最後，FMD引入一種遺忘學習機制來消除模型參數學習到的偏見相關性，並進一步設計了一種利用反事實外部數據集來遺忘偏見的替代策略，避免對訓練數據的硬性訪問要求。與已有工作相比，FMD無需對整個模型進行監督重訓練或對偏見屬性進行額外標註，在實際場景中降低了大規模投標註訓練數據的需求，並且只需更新極少數參數卽可實現模型去偏。實驗顯示，FMD能在多樣的偏見指標上以較小的成本提升公平性。
FMD 成功實現在保護患者隱私的基礎上（不需要訪問訓練數據），對已經訓練好的深度學習模型進行去偏見。在智慧醫療領域，FMD的應用預期將有助於提高診療的公正性和準確性，減少偏見和誤診，給患者帶來更加可信賴、有效和公平的醫療體驗。
BaCon：解決數據不平衡和開放式分佈挑戰，將算法有效地應用於真實世界場景
時代天使聯合浙江大學、香港科技大學等專業院校的研究團隊，在NeurIPS 2023會議上發表了題為“Towards Distribution-Agnostic Generalized Category Discovery”的研究論文，為解決真實視覺世界中數據不平衡和開放式分佈這兩個固有特徵所帶來的挑戰提供了新的解決方案。
數據不平衡和開放式分佈是真實視覺世界的兩個固有特徵。雖然在解決每個挑戰方面取得了不錯的進展，但是很少有工作致力於同時考慮這兩個挑戰，從而將算法有效的應用於真實世界場景。在本文中，我們正式定義了一個更現實的任務，卽分佈不可知的廣義類別發現（DA-GCD）：在長尾開放世界的情況下為閉集和開放集類別生成細粒度預測。
研究團隊提出了一個自平衡協作對比框架（BaCon），它由對比學習分支和偽標籤分支組成，共同提供交互式監督以解決DA-GCD任務。特別地，對比學習分支提供可靠的分佈估計來規範偽標籤分支的預測，而偽標籤分支則通過自平衡知識傳遞和提出的新型對比損失引導對比學習。實驗表明，BaCon在各種數據集取得了優越的性能，超越了當前已有的不平衡半監督學習和廣義類別發現的最優基線方法。
該研究解決了真實視覺世界中數據不平衡和開放式分佈這兩個固有特徵所帶來的挑戰，為真實世界的應用如智慧醫療中的數據分佈區不均衡、標籤缺乏和開放樣本診斷等場景提供了更加可靠和準確的解決思路。
結語：
作為長期深耕數字化正畸的國內隱形矯治龍頭企業，時代天使長期投入臨床口腔醫學、計算機科學、生物力學、材料學和智能製造五大基礎學科的研發，通過數字化創新助力醫生穩易快準地診斷治療，對可能存在的風險進行預判和預警，降低傳統錯頜畸形診療過程中的各類風險，讓正畸治療變得更加可靠。
如今，時代天使已經進入全球化增長階段，包括“AI+口腔”在內的數字化能力獲得了全球醫生的讚譽，並在整個正畸治療過程中提供至關重要的輔助作用，助力醫生為更多患者提供高效、精準的服務。
以下為三篇論文鏈接，複製鏈接到瀏覽器打開卽可閱讀論文全文：
Fed-GraB: Federated Long-tailed Learning with Self-Adjusting Gradient Balance
https://arxiv.org/pdf/2310.07587.pdf
Fast Model Debias with Machine Unlearning
https://arxiv.org/pdf/2310.12560.pdf
Towards Distribution-Agnostic Generalized Category Discovery
https://arxiv.org/abs/2310.01376