臺大AI中心主辦 「Google AI Academic Forum 2024」
/在: All, 相關活動
📌日期:2024.07.24 ~ 2024.07.26
📌地點:臺灣大學 應用力學館國際會議廳 (因遭遇颱風臨時改為線上) & 成功大學迅電機系慧講堂 (7/26)
自從2018年開始,Google 每年與臺灣大學舉辦「AI 創新研究營」,邀請Google 的學者與臺灣的教授與學生分享最新AI領域的研究,協助培育在地人才並與世界接軌。為讓更多師生能參加,今年擴大舉行,並改名為 Google AI Academic Forum (AI 學術論壇),由臺灣大學與成功大學共同舉辦兩個場次,在臺北與臺南以實體活動方式進行。
今年的主題是生成式AI (Generative AI)、以及多模態大模型 (Multi-modality Large Foundation Models)。邀請 7 位 Google 大型模型研發團隊專家來臺,以及8位台灣學者,進行專題演講與座談,並與臺灣學研團隊分享與交流。
原定3天實體活動,因遭遇颱風,臨時改為線上。儘管改為線上,三天仍有逾600位參加,參加者在線上與講者互動非常踴躍,成效極佳。
議程 Google AI Academic Forum 2024
臺北場 7/24 (三)
| 時間 | 主題 | 來賓/講者 |
| 09:30
| 09:45 |
開幕 |
國科會 陳炳宇副主委
Google ChromeOS 研發總經理馬大康博士 (Jason Ma) Google DeepMind 傑出科學家紀懷新博士 (Ed Chi) 成功大學 謝孫源國際長 臺灣大學 廖婉君副校長 |
| 09:45
| 10:05 |
AI For Everyone | Jason Ma (馬大康)
Engineering Director ChromeOS, Google |
| 10:05
| 10:45 |
The LLM (Large Language Model) Revolution: History, Development, and Implications | Ed Chi (紀懷新)
Distinguished Scientist Google DeepMind |
| 10:45
| 11:25 |
Think, Act, Improve: What’s After Next-token Prediction in AI? | Heng-Tze Cheng (鄭恆之)
Research Director Google DeepMind |
| 11:25
| 12:05 |
TAIDE: The Localization of LLMs for Taiwan | Hen-Hsen Huang (黃瀚萱)
Assistant Research Fellow Academia Sinica |
| 12:05
| 13:10 |
Lunch Break | |
| 13:10
| 13:30 |
Google Research Solutions & University Relations in Taiwan | Aimin Zhu (朱愛民)
Head of East Asia Research Solutions & University Relations, Google |
| 13:30
| 14:10 |
Challenges of Applied ML
(In English) |
Jack Nikodem
Senior Staff Research Engineer |
| 14:10
| 14:50 |
From Bots to Buddies: Advancing LLMs to Be More Human-Like | Yun-Nung Vivian Chen (陳縕儂)
Associate Professor National Taiwan University |
| 14:50
| 15:30 |
Break & Networking | |
| 15:30
| 16:10 |
Multimodal LLM: Audio and Vision | Shuo-yiin Chang (張碩尹)
Senior Staff Research Scientist Google DeepMind |
| 16:10
| 16:50 |
Panel discuss & QA (in Mandarin)
LLM and multimodal LLM Technology Trend and Challenges |
Panelist: Ed Chi, Heng-Tze Cheng, Shuo-yiin Chang, Yun-Nung Vivian Chen, Hen-Hsen Huang Moderator: Lun-Wei Ku(古倫維) Research Fellow, Academia Sinica |
臺北場7/25 (四)
| 時間 | 主題 | 來賓/講者 |
| 09:30
| 10:10 |
LLM for Retrieval and Ranking | Yunhsuan Sung (宋雲軒)
Principal Scientist Google DeepMind |
| 10:10
| 10:50 |
Toward Real-Time Generalist Computer Vision Model | Chien-Yao Wang (王建堯)
Assistant Research Fellow Academia Sinica |
| 10:50
| 11:30 |
Can A Generative model Perform Prediction? | Shou-De Lin (林守德)
Professor National Taiwan University |
| 11:30
| 12:10 |
Panel discuss & QA (in Mandarin)
Generative Model for Different Modalities, From The Aspects of Text, Images, and Speeches |
Panelist: Yunhsuan Sung, Chien-Yao Wang, Shou-De Lin
Moderator: Chi-Chun Lee (李祈均) Professor, National Tsing Hua University |
| 12:10 | End |
臺南場 7/26 (五) 活動議程:
| 09:30
| 09:45 |
Welcome | |
| 09:45
| 10:25 |
Keynote: The LLM (Large Language
Model) Revolution: History, Development, and Implications |
Ed Chi (紀懷新)
Distinguished Scientist Google DeepMind |
| 10:25
| 11:05 |
Think, Act, Improve: What’s After Next-token Prediction in AI? | Heng-Tze Cheng (鄭恆之)
Research Director Google DeepMind |
| 11:05
| 11:45 |
Kuwa: An Open Source Platform for GenAI Application Development and Deployment | Chun-Hsin Wu (吳俊興)
Associate Professor National University of Kaohsiung |
| 11:45
| 12:25 |
Challenges of Applied ML
(In English) |
Jack Nikodem
Senior Staff Research Engineer |
| 12:25
| 13:30 |
Lunch Break | |
| 13:30
| 14:10 |
Green Life with AI | Kun-Ta Chuang (莊坤達 )
Associate Professor National Cheng Kung University |
| 14:10
| 14:50 |
Multimodal LLM: Audio and Vision | Shuo-yiin Chang (張碩尹)
Senior Staff Research Scientist Google DeepMind |
| 14:50
| 15:30 |
Break & networking | |
| 15:30
| 16:10 |
LLM for Retrieval and Ranking | Yunhsuan Sung (宋雲軒)
Principal Scientist Google DeepMind |
| 16:10
| 16:50 |
Panel discuss & QA (in Mandarin) LLM and Multimodal LLM Technology Trend and Challenges |
Panelist: Ed Chi, Yunhsuan Sung, Shuo-yiin Chang and Chun-Hsin Wu
Moderator: Hung-yu Kao, National Cheng Kung University |
講者介紹

✏️臺北場
活動日期:2024年7月24日 (三) ~ 7月25日(四)
臺北場報名請點擊此處 👈(報名已截止)
聯絡人:臺大AI中心/賴小姐
laichiling@ntu.edu.tw
✏️臺南場
活動日期:2024年7月26日 (五)
臺南場報名請點擊此處👈(報名已截止)
聯絡人:成大電資學院/李小姐
michelle.hyk99@gmail.com
★注意事項:
1.本次論壇主要以中文進行,部分場次以英文進行。
2.本活動採審核制,報名完成不表示錄取,活動前三天將以E-mail寄發參加通知
● 7/25活動改為線上進行,議程不變,請用以下連結準時參加👉meet.google.com/sys-uomk-sfw
●7/26臺南場改為線上舉行,將各別發送郵件通知參加者。
★7/22重要公告7/24(三)Google AI Academic Forum 2024改為線上舉行
因凱米颱風來襲,經行政院人事行政總處公布臺北市7/24(三)停班停課,7/24(三)Google AI Academic Forum 2024改為線上舉行,敬請錄取者使用信箱寄送的連結參與。
*若行政院人事行政總處於7/25-7/26也公布停班停課,後續也將以信件通知線上參加連結
★7/22重要公告因颱風凱米可能登陸台灣,若公布停班,活動將改為線上舉辦,活動連結將寄發給錄取者,敬請各位注意中心公告!
★7/22更新:感謝大家熱烈報名Google AI Academic Forum 2024!錄取通知已於7/22寄發,請檢查註冊郵件信箱是否收到
★7/19更新:本活動將於 7/22(週一) 上午10:00截止報名, 7/22 E-Mail通知錄取。
自從2018年開始,Google 每年與臺灣大學舉辦「AI 創新研究營」,邀請Google 的學者與臺灣的教授與學生分享最新AI領域的研究,協助培育在地人才並與世界接軌。為讓更多師生能參加,今年擴大舉行,並改名為 Google AI Academic Forum (AI 學術論壇),由臺灣大學與成功大學共同舉辦兩個場次,在臺北與臺南以實體活動方式進行。今年的主題是生成式AI (Generative AI)、以及多模態大模型 (Multi-modality Large Foundation Models)。邀請 Google 大型模型研發團隊專家來台,與臺灣學研團隊分享與交流。活動內容將安排專家演講、座談、與聽眾問答、以及自由交流討論等方式。
主辦單位:
臺灣大學人工智慧研究中心 (AINTU) 
成功大學電機資訊學院 
贊助:Google 
【媒體報導】Entering the New AI Era:AI organization at NTU
/在: All, 媒體報導In the past decade, the rapid growth of AI has driven comprehensive development across various areas. NTU research teams have long been devoted to AI research, leading globally in computer vision, machine learning, natural language processing, and the Web and information retrieval. The exclusive interviews will introduce four AI-related research centers within the university, all sharing common goals of technology research and development, talent cultivation, practical application, and international connection.
In 2018, with the support of AI Innovation Research Center Project (2018–2021) initiated by the Ministry of Science and Technology, Professor Hsin-Hsi Chen and Professor Li-Chen Fu jointly established the NTU Joint Research Center for AI Technology and All Vista Healthcare (AINTU), focusing on smart technology and smart medical care research. In 2020, AINTU in collaboration with the National Taiwan University Hospital (NTUH) conducted a three-year capstone project on smart emergency department. NTU research teams continued to receive support from AI Research Project Addressing Critical National Challenges (2022–2025) to develop trustworthy AI core technologies and their applications in services and healthcare.
We continuously innovate, exploring new topics, and developing new technologies and applications. We collaborate closely with departments to support programs such as the Intelligent Medicine Program, Master Program of Artificial Intelligence, and the PhD program in AI Engineering Applications, with the aim of cultivating interdisciplinary talent. We cooperate with industries to drive industrial advancement, tackling challenges proposed by industry and solved by academia.
Exclusive Interview with the National Taiwan University Joint Research Center for AI Technology and All Vista Healthcare (AINTU)
📌全文見連結
If we were to sum up the various tasks undertaken by the AINTU with one keyword, “connection” would be an ideal choice.
As an example of international connections, AINTU maintains regular partnerships with the American company Google, annually facilitating collaborations between scholars from NTU and other universities with Google. Through the annual co-hosted event (AI BootCamp), key Google researchers are invited to Taiwan to share the latest developments in cutting-edge technologies that are not publicly disclosed. Each year, critical topics are selected, such as the Google’s large language model (LLM) development and AI applications in the semiconductor industry in 2023, fostering in-depth discussions and exchanges with faculty and students.
Moreover, AINTU has hosted multiple AI summer camps so far. In 2021, it successfully hosted the internationally renowned Machine Learning Summer School (MLSS) 2021, featuring a rigorous three-week, 76-hour intensive program. Thirty international lecturers were invited to deliver various courses covering both theory and technology. The event attracted over 1,700 students from 61 countries, establishing Taiwan as a key node for the exchange of next-generation AI talents.
In terms of research, AINTU leads the Smart Emergency Diagnosis research program initiated by the National Science and Technology Council to develop AI tools, integrating NTU’s AI technology team with the medical team. This initiative not only accelerates the conception and execution of relevant research but also elevates the quality of frontline medical care. The collaboration with the Department of Emergency Medicine at NTUH, under the direction and coordination of the department head, identified issues in triage, imaging, and diagnosis that AI could address. The professional computer science team at AINTU then developed over ten models, resulting in more than 30 research papers and clinical trials involving tens of thousands of participants. To ensure practical applications, AINTU assisted NTUH in overcoming bottlenecks in data and computing power for model implementation by securing the cooperation of suppliers to install cloud-based GPU servers for regular hospital use.
2023 AI BootCamp Group Photo

National Taiwan University Hospital Smart ED Press Conference Group Photo
賀!中心成員清華電機 BIIC lab 李祈均教授獲頒112 國科會傑出研究獎
/在: All, 相關訊息賀!中心成員清華電機 BIIC lab 李祈均教授獲頒✨112 國科會傑出研究獎 ✨
「傑出研究獎」,是國科會每年頒發給長期從事基礎或應用研究的傑出臺灣科學技術人才的重要獎項!透過傑出研究獎的競爭,不僅能提升臺灣學術水準及國際地位、創造社會發展與產業應用效益,更能展現科研成果的多元價值、增強國家的科技實力!
創立 BIIC lab 的李祈均教授專長於「人本訊號」跨領域訊號處理研究,他的實際成果囊跨「語音技術」、「情感運算」、「智慧醫療」等不同相關領域的跨域研究,在學術發表上已經累積了極為豐沛與精實的學研成果!
在產學合作上,教授更是同時有著主持多個企業合作案、協同國際醫學中心申請專利、創辦新創企業並推展研究成果進入應用領域等卓越實績!在研究及產學成果豐碩外,李祈均教授亦與國際學術社群緊密鏈結,除了深入交流強化臺灣影響力,更持續為臺灣學界與學子帶來更多刺激與活力。
【媒體報導】AI頂級會議又在臺舉辦,兩大巨頭分享生成式AI新進展,連摩根大通研發副總都將來臺北分享
/在: All, 媒體報導
📌日期:2023.07.21
📌原文:連結
國際頂級AI學術會議又來臺舉辦,資訊檢索領域(IR)的AI頂級會議ACM SIGIR近日(7月23日)將在臺北舉辦,由Google DeepMind 、微軟研究院的重量級科學家開場,分享生成式檢索、Copilot搜尋等AI新典範浪潮下的研究進展,多家跨國企業像摩根大通集團都派出研發副總來臺分享業界第一手研究。
ACM SIGIR是全球13個頂級AI會議之一,是資訊檢索領域公認最重要的學術會議,今年有將近500篇論文,論文接受率平均只有20%,議題涵蓋了各種資訊檢索技術和議題,例如搜尋、排序、評估、NLP、推薦系統、內容分析、FATE(公平透明倫理、可解釋性)等,傳統的IR技術,正是電商、企業常用推薦技術背後的基礎。另外也有業界研發成果專場,發表數十篇業界第一線論文。不只學術界重視,連科技巨頭,跨國企業,如摩根大通集團都有數篇論文發表,派出研發副總親自登臺。
2019年7月臺大人工智慧研究中心陳信希主任在向SIGIR組織提出申請,與三國競爭後勝出。這是46年來首次來臺舉辦,由臺灣大學人工智慧研究中心與中華民國計算語言學學會負責。這是2019年電腦視覺頂級會議ICIP登臺,帶來卷積神經網路之父Yann LeCun訪臺後的另一場AI頂級會議。
臺灣大學人工智慧研究中心執行長杜維洲指出,AI技術演進太快,競爭非常激烈,研究者為了怕競爭者搶先發表類似成果,往往選擇到舉辦時間最近的國際會議上發表,而非像其他領域透過重要期刊曝光。不只學術圈,科技巨頭一有新進展,也會想在最近的AI頂級會議上發表,換句話說,「在AI頂級會議,有機會看到全球最新的重大AI研究成果。」他強調,不只IR,更會吸引各領域AI的國際一流研究人員來臺交流。
Google DeepMind、微軟研究院重量級科學家、臺灣國際級ML專家揭露最新發展
「光是主場演講就非常值得期待,」杜維洲推薦。學界業界都高度知名的Google DeepMind傑出研究科學家Marc Najork,在Google率領了70人規模的研發團隊,他也是IEEE院士,將介紹最熱門的生成式模型如何影響IR領域的發展,尤其是這個新典範伴隨的衝擊和困難。
而微軟研究院實驗室副總監兼總經理Ryen White在微軟總部率領了多個重量級議題團隊,包括NLP倫理、Cortana等主題。微軟近來大舉將Copilot的人機協作AI思維落實到各產品和研發層面。Ryen White將分享Copilot趨勢對搜尋和IR領域的最新進展和衝擊。而因ML演算法論文破5萬次引用揚名全球的臺灣大學資工系教授林智仁則會分享一個重要的ML模型研發新思維,要有不要等到夠準才敢試的態度。
主辦單位特別找來伊利諾大學使用者測試首席研究科學家Ranjitha Kumar擔任主場演講,分享使用者體驗研究時,如何整合量化和無法量化的質性資料,來進行使用者實驗的方式,「這位一路參與新創公司第一線研究的學者,可以帶給IR領域新觀點而邀請她。」杜維洲。
將數百位AI學界、業界一流人才帶來臺灣交流
另一個在臺舉辦的意義是,杜維洲表示,臺灣越來越多本土研究人才,但不見得人人都有機會出國擴大視野,爭取頂級國際會議來臺,就能將數百外國際專家帶來臺灣交流。為了讓臺灣新一代學術人才和國際一流AI人才交流,臺大也招募了近50位碩博士生擔任工作志工,就近與這些國際專家接觸。
去年ACM SIGIR會議在熱到42度的西班牙舉辦,眾人最疲累的最後一天末尾,臺灣主辦人上場介紹今年活動時,直接播放了3分鐘影片,一播完夜市各類美食,全場歡呼,大家都問,能不能喝到道地的珍珠奶茶。杜維洲打趣的說,去哪吃臺灣美食,成了這群國際AI人才來臺,最常問他的一件事。
【媒體報導】臺大與Google深化合作!共推半導體、AI技術研究
/在: All, 媒體報導臺大與Google深化合作!共推半導體、AI技術研究
📌日期:日期:2023.05.04
📌原文【連結1】【連結2】
臺灣大學今(4日)宣布和Google 有更深的合作,除現有電機、資訊、機械等領域,將擴大到半導體、晶片設計、永續發展及AI技術範疇,並增加更多元的合作形式,包括研究獎助、知識產權共享。
臺大與Google在AI、機器學習、電腦視覺、自然語言處理、半導體等領域,均有世界級的研究團隊。近年來,雙方透過臺大人工智慧研究中心(AINTU)居中協調,順利推動多項產學交流合作,不斷提升師生學術能量,創新研究成果。
其中臺大和Google在2018年共同發起「AI創新研究營」,臺大指出,目前五屆已累積超過60位來自各國的Google專家進行分享,逾1500位參加者,今年主題將聚焦在雙方在人工智慧領域的研究合作,包含當下熱門 AI 領域交流,如大型語言模型等。
臺大副校長廖婉君表示,臺大是國際一流大學,而Google在搜尋引擎、雲端服務及開源軟體方面,影響力遍及世界各角落,雙方無論是在人才培育、學術研究、產學合作及永續發展等主題,都有共識一起合作推動,特別是人工智慧、半導體、及環境永續等,都是未來合作的重要方向。
而Google 過去幾年以多種方式挹注臺大資源,贊助學生參與國際學術活動,提供學生企業實習機會,贊助年輕教師進行研究,鼓勵女性族群。期待雙方未來有更長遠、更多元深化的合作,共創雙贏。
Google臺灣董事總經理馬大康博士則表示,很開心能持續推動大專院校交流,協助年輕學子提升研究和實務專業知識,並透過Google大學交流計畫、AI 創新研究營和半導體研究計畫等高階技術研究合作,深化台灣產學界在關鍵技術領域交流,感謝台大在各計畫的大力支持,期許產學界能共同邁步向前,協助台灣推動先進科技發展,落實智慧台灣願景。
【媒體報導】跨域融合・臺灣AI新局
/在: All, 媒體報導跨域融合・臺灣AI新局
📌日期:2023.03.28
📌原文:連結
人工智慧 (AI) 技術的蓬勃發展,已深入各行各業、改變民眾日常生活,對人文社會帶來深遠影響。為引導AI成為人民信賴且有益於社會的力量,國科會推動臺灣人工智慧卓越中心 (Taiwan AI Center of Excellence,簡稱Taiwan AICoE),做為跨部會整合及國際合作平台,根基於科研技術、人才培育、AI治理等三大策略目標,銜接國內現有人工智慧研究基盤,並遵循「以人為本」、「永續發展」、「多元包容」等價值觀,協調各部會提升資源之投入綜效,特於今(28)日舉辦「臺灣AI展望與布局記者會」,邀請產官學研各界代表,攜手合作、接軌國際,共同引導及推動朝台灣可信賴AI的發展,善用AI技術來為人類社會福祉創造正面影響,實現「AI for Better Life」。
以人為本推動AI 接軌國際規範與價值觀
行政院政委兼國科會主委吳政忠表示,國際社會逐漸追求符合人權、基本自由及共同民主價值等基本原則,落實於AI的發展與使用上,以契合經濟合作暨發展組織(OECD)所提出的「人工智慧原則(AI Principles)」,與聯合國的「永續發展目標(SDGs)」。為落實國內以人為本的AI發展,確立資料治理規範與AI倫理價值,國科會已於108年頒布人工智慧科研發展指引,引導國內科研人員有所依循,進一步積極研議共通性AI研發與應用倫理準則,跨部會合作推動臺灣AI倫理法制化,並與全球AI倡議接軌,將臺灣價值觀帶入國際規範,提升臺灣於全球AI治理的制度影響力。
立基AI國力 擴大台灣AI影響力
臺灣擁有世界級半導體產業的硬體實力,結合優質AI科研能量、研發人才等軟體技術,接軌全球AI新興關鍵技術是極具競爭力的。為拓展國際合作之整體策略布局,以Taiwan AICoE作為國際合作平台,提升交流層級,並根基於三大策略目標,在科研技術面向,強化AI核心科技國際合作;在人才面向,鏈結AI頂尖國際機構及學者建立亞太人才樞紐;在治理面向,參與以人為本AI國際組織,並與價值觀相近國家建立可信賴AI夥伴關係。由上而下引導國際合作策略布局,聚焦重點國家、領域、機構的對接與合作,建立跨部會合作平台並介接專業社群,共同擴大台灣AI國際影響力。
以國家高度 布建可信賴AI國際對話平台
近期生成式AI開始蓬勃發展,為AI科技注入嶄新希望與超乎想像的應用,其技術演變與所衍生的風險,將對人類社會造成結構性衝擊。Taiwan AICoE將匯聚產官學研能量,主動布局新興關鍵科技及發展要素,並多元介接政治、經濟、社會學、人類學、哲學等面向,落實以人為本的AI根基,以厚植可信賴AI卓越研究能量為目標,型塑臺灣成為國際級AI研發聚落,回應國家與全球重大挑戰,打造臺灣成為全球AI新銳。
上圖:啟動儀式合影左起為華碩雲端吳漢章總經理、所羅門陳政隆董事長、叡揚資訊張培鏞董事長、數位部李懷仁次長、中山大學鄭英耀校長、國科會吳政忠主委、台灣AI晶片聯盟盧超群會長、中華民國資訊軟體協會沈柏延理事長、義隆電子葉儀皓董事長、AICoE蔡志宏總召及AICoE許永真副總召
臺大AI中心與臺大醫院於智慧急診的研究成果發表記者會
/在: All, 媒體報導臺大AI中心與臺大醫院於智慧急診的研究成果發表記者會
📌日期:2023.02.20
📌地點:臺大醫院國際會議中心R203
記者會名稱:臺大醫院智慧急診創新醫療流程發表記者會
進行方式:說明、亮點簡報、展示、媒體聯訪
說明:
由臺大人工智慧中心執行的國科會計畫- 智慧急診:以人工智慧改善急診病人流動及解決壅塞之全面性策略計畫 (臺大Capstone拔尖整合計畫)自2020.3月起開始執行,目前已近計畫執行尾聲。為呈現三年來團隊所開發之核心技術及豐碩的成果,規劃以記者會之形式向國科會、領域專家、多家媒體,進行說明展示此一創新AI急診流程。
研究成果展示
急診臨床決策輔助系統協助病人動向安排以增進病人安全與醫療效率
臺大醫院新聞稿 連結
媒體報導:
鏡新聞(影片) 連結
新唐人電台 (影片) 連結
公共電視 (影片) 連結

上圖:大合照

上圖:黃建華醫生進行說明

上圖:方震中醫生進行簡報

上圖:團隊成員展示成果海報
【媒體報導】 啟動元宇宙的鑰匙:超級AI客服
/在: All, 媒體報導啟動元宇宙的鑰匙:超級AI客服
📌日期:2021.11.29
📌原文:連結
在機器學習(ML)與自然語言處理(NLP)技術發展下,以對話式人工智慧打造的超級AI客服,正逐漸改變各產業的樣貌。據全球諮詢機構P&S Intelligence評估,超級AI客服產值將在2024年達到229億美元,年複合成長率高達19.7%。其中,或許還不包含以象形文字為主,民情有別於歐美的中文超級AI客服。
向戲劇、行為科學取經,建構語音情緒演算模型
「在機器學習中,如何取得資料是第一個難關。為了建立台灣中文對話的情緒演算模型,團隊在五年前先透過戲劇系演員協助,演繹人們對話時的各種情境,再結合行為科學家的研究理論,輔助建立模型。」清華大學電機工程系副教授李祈均說道。
需借力戲劇系演員,是因國外雖多有情緒演算研究,但受限於個資問題,即便研究單位願意分享模型成果,在無法結合原始資料分析下,應用價值有限。而要從真實世界裡從頭累積華文世界的資料庫,又曠日廢時,因此才想到這個方法。
即便如此,李祈均教授的團隊仍耗費四年時間,在累積100多個小時的對話數據庫後,並整併行為科學理論才得以建構出有效中文情緒辨識模型。
「這個難關,直到近兩年Podcast盛行,才讓研究團隊思考能以比較短時間內,大量取得更多元的對話情境數據。」李祈均指出,以往做情緒演算模型時,往往只有一、兩萬句對話,頂多十幾個小時的資料量,但在國外最新以Podcast為數據來源的研究中,則以至少400小時為目標。
李祈均分享,目前團隊也和該研究機構合作,取材中文的Podcast節目,並整合自動語音辨識、語意分析處理、多模態融合、個人化模型的演算法,同步整合個體空間行為表徵學習,透過深度網路構建情緒辨識模組。

上圖:清華大學電機工程系副教授李祈均
表徵學習技術,讓輸出增添無限可能
而除了情緒演算外,要建構中文的超級AI客服,仍有賴於表徵學習(Representation Learning)的核心技術。
「在AI客服的應用上,無論輸入的資料是文字、語音、圖像或影片,都需將數據轉換成能被機器學習的向量與實數,而表徵學習就是在機器學習使用表徵的同時,也學習如何提取特徵的技術。」清華大學資訊工程系教授吳尚鴻說道。
就因表徵學習具備「學習如何學習」的能力,除了取代過去需仰賴專業人員、耗費大量時間手動提取特徵,並「輸入」數據的時間,應用在「輸出」時,更有助於開發出原生文字、原生圖片、原生語音、原生影片,為線上消費環境提供良好的使用者體驗。

上圖:清華大學資訊工程系教授吳尚鴻
自然語言學,攻克語言巴別塔
但要建構中文世界的超級AI客服,要攻克的最大關卡,仍是語言這座巴別塔。畢竟,機器學習霸權的母語屬拼音系統,並透過程式編碼樹立高牆,中文世界的研究要後來追上,看似不易。
不過,這在研究自然語言處理(Natural Language Processing , NLP,或稱Computational Linguistics,CL)三十多年的臺大資訊工程系教授陳信希眼中,卻不是一件難事。
「不管是拼音組成的英文單字,或是象形文字的中文單字,要對電腦產生意義,都需要轉化成有意義的形式,也就是所謂的表徵。」陳信希分享,語言在電腦中的表現方式,從早期的(symbolic representation)、中期的分佈式表徵(distributional representation),演進到近年來在深度學習中廣為使用的分散式表徵(distributed representation),都需先把生活中的事物化為表徵,再透過不同方式運算。
更何況,從單字到句子,無論是中文或英文,只要能從名詞、動詞、形容詞和副詞組成的句型中,判斷出人事時地物,就能化成自然語言學所需的資料。
「尤其,深度學習的分散式表徵,使用低維度高稠密向量,以預測方式取代過去分佈式表徵的計數方式,大大提升了機器學習任務的效能,也讓自然語言學有了大幅躍進。」陳信希說道。

上圖:臺大資訊工程系特聘教授陳信希
確保資訊自主性,才能成就元宇宙沃土
在深度學習技術的推進下,也讓未來的AI客服有了全新想像。
「目前,除了線上翻譯、聊天機器人外,自然語言學也已應用在輿情分析、病歷探勘、金融科技、健康照護、法律諮詢、烹飪教學等領域,在加入深度學習後,未來潛力可期。」陳信希說道。
當研究團隊運用深度學習,在取得資料進行數據運算時,也讓學研界自省在一項技術研究初期,思考該技術發展後可能衍生的問題與爭議,並加以改善、防堵。
「當人們享受Google、Facebook帶來的便利時,伴隨大數據演算而來的大量廣告推播,也讓民眾的被監控感日益強烈,並衍生出資訊自主等議題。」吳尚鴻指出,在消費者對資訊安全日益重視後,杜絕平台收集個人資料的軟體也會應運而生,例如只要在手機裡下載某個App,就可防止平台收集你的資料。
「當資訊安全性與自主權獲得保障後,人們才可以安心沉浸在多媒體建構的虛擬世界中,藝術創作者也才能安心創作,不怕被侵權。」李祈均說道。
從以自然語言學,將人類語言轉換成電腦的語言,並透過深度學習,催生出多元的AI客服應用。未來的超級AI客服,除了是打開元宇宙的鑰匙之一,相關技術衍生的資訊安全問題,更是人們往返實體與虛擬世界中,最重要的心理安全閥。
詳細文章請見
啟動元宇宙的鑰匙:超級AI客服 https://www.cw.com.tw/article/5119119














