Sub-Project 4 : Trustable AI-Enpowered Computer Vision Technologies
本子計畫團隊在第一期AI計畫已在小樣本學習(few-shot learning)於深度學習和電腦視覺應用中累積了不少研究成果及經驗，但小樣本學習技術在訓練時更容易會受到資料偏見及資料標註雜訊的影響，及在訓練及推論階段受到惡意資料攻擊。因此，在第二期的計畫中，我們將致力於改善小樣本學習的可信賴性問題，有效避免資料偏差所產生的模型偏見，及資料標註雜訊和惡意攻擊所造成的影響，以實現更可靠的小樣本深度學習，並優化電腦視覺應用之效能與效率、以及降低訓練資料標註數量。
深度學習是這波人工智慧革命的推手，相較於傳統機器學習演算法，深度學習提供了更優異的學習效能，但其最顯著的缺點在於對訓練資料的高度需求，大量資料的收集和處理連帶對於人力標註成本與機器運算力也有很高的要求。不論是深度學習或機器學習，其長期發展目標是達到如人類般的學習能力，但在訓練資料的需求度上，目前深度學習的發展和人類的學習方式大相徑庭：人學習所需要的資料量遠比深度學習模型少很多，人類舉一反三的能力目前仍遠勝深度學習，因此深度學習模型需要更龐大的資料才能學習到近於人類的學習表現。在本計畫中，我們預計在深度學習上開發元學習(meta-learning) 、多任務學習(multi-task learning) 、自關注學習如Transformer 等關鍵技術，解決這些技術現存的挑戰和不利的限制，以利小樣本學習能更妥適地運用在電腦視覺應用，進而消除小樣子資料存在的偏見和標註雜訊等不利因素，實現更可信賴電腦視覺技術。
人類可以從很少的實例中識別出新的物件類別。但大多數機器學習技術需要成千上萬個實例來實現類似功能，儘管深度學習在諸如影像分類、語音識別和電腦遊戲等領域有監督學習和強化學習來支撐並取得顯著成功，但這些模型大都是針對各自任務所收集的大量資料訓練而成。小樣本學習的目標是僅查看幾個訓練示例即可對新資料進行認知，在極端情況，每個新任務可能只有一個示例。若在實際應用場域上難以找到充足訓練示例或標記資料成本很高時，小樣本學習在現實應用中有強烈的需求。
然而受限於資料數量，小樣本學習與標準監督學習和強化學習在效能上仍有不小差距，一可行的解決方案是從其他類似問題或任務(task)中獲得經驗，並將相關的經驗作跨任務間的傳遞，在減少每個任務的訓練資料下，仍可維持每個任務的效能，這也是小樣本學習常透過多任務學習來實現。元學習，也稱作“學習如何去學習(learning to learn)”的方法，目的是要設計出一個能快速且僅使用少量訓練資料就可以學習新的任務並適應到新環境的模型。元學習是實現小樣本學習有效的選項，因其訓練後的模型，會以能適應到新環境作最佳化，故可在新任務給予少量資料的情況下，達成合理之效能。
在本計畫中，我們預計通過結合多任務學習和元學習來擴展自適應學習的問題。特別是，我們通過使模型學習多個高級任務/模式來擴展這兩種方法，並在這些模式中適應新的子任務/數據集。通過對多任務學習和元學習的研究，可以獲得各個子任務的更好的特徵表示，並且快速調適到新任務，具體而言，這方面的研究將涵蓋：1) 結合強化學習技術，並利用多任務的共享結構來實現知識正向轉移，通用型多任務學習網絡架構設計與最佳化；2) 利用元學習構建 AutoML系統；3) 構建用於元學習的小樣本學習標竿資料庫；4)將以上的技術用於打造更加通用化的電腦視覺多任務學習系統。
而在應用層面上，低標註學習機制於非常多的多媒體應用上，如物件偵測、駕駛行為預測、語意切割等都有非常急迫的需求，主因為真實應用場域中，對應任何一個新的子問題，常不易收集到足量的訓練樣本。然而低標註學習技術在近年的發展迅速，許多元學習以及引入過去常見的半監督式學習之改良版，也就是自監督式學習機制 (Self-supervised learning)，近年來都有不錯的成果，例如Meta-pseudo labels 甚至超越監督式學習的效能。近年來Trustable AI的討論不斷出現，模型本身可解釋與可信任性逐漸受到重視。然而在目前的低標註學習技術中，其模型穩定性上有兩大點懸而未解：
- 樣本攻擊：不論是圖神經網路、Transformer、CNN各式各樣的神經網路中都存在的對抗樣本攻擊。
- 標註雜訊：訓練資料存在標註雜訊時，尤其是小樣本學習，即使單一雜訊樣本都可能會對模型的穩健性造成極大的負面影響。 此外，在一些特定的應用上，人工標註的標籤收集容易產生標註錯誤，如醫學影像標註時每位醫生的判定可能不同、眾包標註平台上面數據集的標註容易發生錯誤。
