新視角研究生英語讀說寫137B(本季必追!16個社區熱議工作及10篇國際AI頂會Best Papers一文回顧)

時間:2023-07-03 22:12:35

2022 年一季度的尾聲,在這個季度中,你是否擔憂自己錯過了哪些重要的技術工作?抑或想要檢驗下自己是不是在這一季度又有了哪些基礎知識的增長?


本篇是機器之心「虎卷er行動 · 春卷er」的第一卷,旨在為老伙計們匯總并逐一盤點2022年開春以來機器之心編輯部報道發現的社區熱議的技術工作,并回顧近期舉辦的國際AI頂會的最佳論文。


本卷資料收錄


2022春季熱議工作:16項


2022春季國際頂會最佳論文:10篇


2022 春季 · 機器之心報道社區熱議工作


熱議工作1:阿里達摩院語音實驗室提出了一種具有線性復雜度 (O(N)) 的計算模型 PoNet


本文的出發點基于 Transformer 模型中 Self-attention 機制相對于句子長度的復雜度是二次的(O(N^2)),因此在計算速度和顯存空間方面都制約了它在長序列中的應用。PoNet ,使用 Pooling 網絡替代 Self-attention 機制對句子詞匯進行混合,從而捕捉上下文信息。


根據實驗表明,PoNet 在長文本測試 Long Range Arena (LRA) 榜上在準確率上比 Transformer 高 2.28 個點,在GPU上運行速度是 Transformer 的 9 倍,顯存占用只有 1/10。此外,實驗也展示了 PoNet 的遷移學習能力,PoNet-Base 在 GLUE 基準上達到了 BERT-Base 的 95.7% 的準確性。


論文地址:https://arxiv.org/abs/2110.02442


熱議工作2:史上首次,強化學習算法控制核聚變登上 Nature:DeepMind人造太陽向前一大步


今年 2 月份,EPFL 和 DeepMind 使用深度強化學習控制托卡馬克裝置等離子體的研究登上了《自然》雜志。DeepMind 控制團隊負責人 Martin Riedmiller 表示:「人工智能,特別是強化學習,特別適合解決托卡馬克中控制等離子體的復雜問題?!?/span>


DeepMind 提出的模型架構如下圖所示,該方法具有三個階段:


第一階段:設計者為實驗指定目標,可能伴隨著隨時間變化的控制目標;第二階段:深度 RL 算法與托卡馬克模擬器交互,以找到接近最優的控制策略來滿足指定目標;第三階段:以神經網絡表示的控制策略直接在托卡馬克硬件上實時運行(零樣本)。

論文地址:https://www.nature.com/articles/s41586-021-04301-9


熱議工作3:B 站開源超分辨率算法 Real-CUGAN,可以把動畫圖像的質量提升 2 到 4 倍


該項目來自 bilibili 人工智能實驗室。據作者介紹,Real-CUGAN 是一個使用百萬級動漫數據進行訓練的,結構與 Waifu2x 兼容的通用動漫圖像超分辨率模型。相比目前市面上已有的通用化超分辨率算法,Real-CUGAN 的 AI 模型經過了更大體量數據集的訓練,處理二次元內容的效果更佳。


它支持 2x3x4x 倍超分辨率,其中 2 倍模型支持 4 種降噪強度與保守修復,3 倍 / 4 倍模型支持 2 種降噪強度與保守修復。目前,該項目在 Github 上的 Star 量已達 3.1k。


項目鏈接:https://github.com/bilibili/ailab/tree/main/Real-CUGAN


熱議工作4:DeepMind 發布了 基于 Transformer 模型的 AlphaCode,可以編寫與人類相媲美的計算機程序


該研究者將 AlphaCode 放在 Codeforces 挑戰中進行了測試,Codeforces 是一個具有競爭力的編程平臺,它類似于國際象棋中使用的 Elo 評級系統,每周分享編程挑戰和問題排名。


不同于編程人員在打造商業應用程序時可能面臨的任務,Codeforces 的挑戰更加獨立,需要對計算機科學中的算法和理論概念有更廣泛的了解,一般是結合邏輯、數學和編碼專業知識的非常專業的難題。


AlphaCode 針對 Codeforces 網站上 5000 名用戶解決的 10 項挑戰進行了測試,總體排名位于前 54.3%。DeepMind 估計,AlphaCode 系統的 Codeforces Elo 為 1238,使其過去六個月內在該網站上競爭的用戶中排名前 28%。


論文地址:https://storage.googleapis.com/deepmind-media/AlphaCode/competition_level_code_geNERation_with_alphacode.pdf


熱議工作5:OpenAI 開發的神經定理證明器成功解出了兩道國際奧數題


OpenAI 為微軟研發多年的數學 AI——Lean 創建了一個神經定理證明器,用于解決各種具有挑戰性的高中奧林匹克問題,包括兩個改編自 IMO 的問題和來自 AMC12、AIME 競賽的若干問題。


該證明器使用一個語言模型來尋找形式化命題(formal statement)的證明。每次發現一個新的證明,研究者就把它作為新的訓練數據,這改善了神經網絡,使它能夠在迭代中找到越來越難的命題的解決方案。


該證明器在 miniF2F 基準測試中實現了 SOTA(41.2% vs 29.3%)水平,miniF2F 包含一組具有挑戰性的高中奧林匹克問題。


論文鏈接:https://arxiv.org/abs/2202.01344


熱議工作6:清華大學和阿里達摩院針對行人重識別聯合提出了一種新的 Target-Aware Generation Pipeline 來生成合成人物圖像


行人重識別面臨著隱私問題,因此收集真實數據變得更加困難。同時,標注 ReID 數據的人工成本仍然很高,進一步阻礙了 ReID 研究的發展。因此,許多方法轉向為 ReID 算法生成合成圖像作為替代,而不是真實圖像。然而,合成圖像和真實圖像之間存在著不可避免的領域差距。


為了解決這個問題,清華大學和阿里達摩院聯合提出了一種新的 Target-Aware Generation pipeline 來生成合成人物圖像,稱為 TAGPerson。實驗表明,TAGPerson 可以實現比 MSMT17 上的廣義合成圖像更高的性能,即 47.5% 與 40.9% 的 rank-1 精度。


論文鏈接:http://arxiv.org/abs/2112.14239v1


熱議工作7:阿里巴巴達摩院研發的數學規劃求解器 MindOpt 參加國際權威榜單測評,在單純形法測評中排名第一,打破世界紀錄


MindOpt 優化求解器是一款高效的優化問題求解軟件,可廣泛應用于科研、電力能源、工業制造、交通物流、零售、金融、云計算等領域,是工業軟件之芯,是幫助企業“降本增效”的利器?,F階段,我們發布了用于求解線性規劃問題的原始/對偶單純形法 (simplex method) 和內點法 (interior point method)。


國內為數不多的自研求解器“達摩院 MindOpt”二度刷新世界紀錄,在設立已有20余年、由美國亞利桑那州立大學 Hans Mittelmann 教授維護的國際權威測評中,再次獲得世界第一。在Hans Mittleman 的單純形法測試上,達摩院 Mindopt 以平均 40 秒一題的速度成功求解了全部 40 個線性規劃問題,其中最大的問題規模有 115 萬個變量,75 萬個約束條件。MindOpt 在云計算資源的調度中充當最強決策,節約了數億元的成本投入,并有望助力電力系統的優化和提升。2021 年伊始,達摩院 MindOpt 通過阿里云天池平臺向全社會開放,成為中國第一個免費開放的商用求解器。


熱議工作8:浙大、阿里達摩聯合提出用于多元時間序列預測的多尺度自適應圖神經網絡,取得SOTA


多元時間序列(MTS)預測在智能應用的自動化和優化方面發揮著重要作用。這是一項具有挑戰性的任務,因為我們需要同時考慮復雜的變量內依賴關系和變量間依賴關系?,F有的工作只是在單一變量間依賴關系的幫助下學習時間模式。然而,在許多現實世界的 MTS 中存在著多尺度的時間模式。單一的變量間依賴關系使得模型更傾向于學習一種突出的、共享的時間模式。


在本文中,我們提出一個多尺度自適應圖神經網絡(MAGNN)來解決上述問題。MAGNN 利用多尺度金字塔網絡來保留不同時間尺度上的基本時間依賴關系。由于變量間的依賴關系在不同的時間尺度下可能是不同的,因此設計了一個自適應圖學習模塊來推斷特定尺度的變量間依賴關系,而不需要預先定義預設。


考慮到多尺度特征表示和特定尺度的變量間依賴關系,我們引入了一個多尺度時間圖神經網絡來共同建立變量內依賴關系和變量間依賴關系模型。之后,我們開發了一個尺度融合模塊,以有效地促進不同時間尺度之間的協作,并自動捕捉貢獻的時間模式的重要性。在四個真實世界的數據集上進行的實驗表明,MAGNN 在不同的環境下都優于最先進的方法。


論文鏈接:http://arxiv.org/abs/2201.04828v1


熱議工作9:阿里提出用于異構推薦深度統一表示的基于內核的神經網絡,取得 SOTA


推薦系統在學術界和工業界都是一個被廣泛研究的任務。以前的工作主要集中在同構的推薦上,對于異構的推薦系統幾乎沒有進展。然而,異質性推薦,例如推薦不同類型的物品,包括產品、視頻、名人購物筆記等等,是目前的主流。最先進的方法無法利用不同類型物品的屬性,因此存在著數據稀少的問題。而且,將具有不同特征空間的物品聯合起來表示,確實具有很大的挑戰性。


為了解決這個問題,我們提出了一個基于核的神經網絡,即異質推薦的深度統一表征(DURation),以聯合建模異質項目的統一表征,同時保留其原始特征空間拓撲結構。在理論上,我們證明了所提模型的表示能力。此外,我們在真實世界的數據集上進行了廣泛的實驗。實驗結果表明,與現有的最先進的模型相比,我們的模型取得了明顯的改進(例如,AUC 分數提升 4.1%~34.9%,在線 CTR 提升 3.7%)。


論文鏈接:http://arxiv.org/abs/2201.05861v1


熱議工作10:阿里巴巴達摩院為中文語音的 NER 引入了一個新的數據集 AISEHLL-NER


語音的命名實體識別(NER)是口語理解(SLU)任務之一,目的是為了從語音信號中提取語義信息。語音的NER通常是通過兩步流水線完成的,包括(1)使用自動語音識別(ASR)系統處理音頻;(2)將NER標記器應用到ASR的輸出。


最近的工作顯示了端到端(E2E)方法對英語和法語語音進行NER的能力,它基本上是實體感知的ASR。然而,由于中文中存在許多同音字和多音字,中文語音的NER實際上是一項更具挑戰性的任務。


在本文中,作者介紹了一個新的數據集AISEHLL-NER,用于對中文語音進行 NER。我們進行了大量的實驗來探索幾種最先進的方法的性能。實驗結果表明,通過結合實體感知的 ASR 和預訓練的NER標簽器可以提高性能,這可以很容易地應用于現代 SLU 管道。


論文鏈接:http://arxiv.org/abs/2202.08533v1


熱議工作11:谷歌 AI 一次注釋了 10%的已知蛋白質序列,超過人類十年研究成果


蛋白質是組成人體一切細胞、組織的重要成分。機體所有重要的組成部分都需要有蛋白質的參與。


目前已知存在的蛋白質種類有數十億,但其中大約有三分之一的功能是不可知的。我們迫切地需要探索這片未知區域,因為它們關系到抗菌素耐藥性,甚至氣候變化等重要議題。例如,青霉素是蛋白質之間自然反應的產物,植物蛋白可用于減少大氣中的二氧化碳。


近日,谷歌與歐洲生物信息學研究所合作開發了一種技術 ProtCNN,其能夠使用神經網絡可靠地預測蛋白質功能,幫助我們縮小蛋白質宇宙中最后不可見的區域。


谷歌表示,這種新方法讓我們可以較為準確地預測蛋白質功能、突變的功能效應,并進行蛋白質設計,進而應用于藥物發現、酶設計,甚至是了解生命的起源。


谷歌提出的方法可靠地預測了更多蛋白質的作用,而且它們快速、便宜且易于嘗試,其研究已讓主流數據庫 Pfam 中注釋的蛋白質序列增加了近 10%,一舉超過了過去十年的增速,并預測了 360 種人類蛋白質功能。


論文鏈接:https://www.nature.com/articles/s41587-021-01179-w


熱議工作12:為了自動駕駛,谷歌用 NeRF 在虛擬世界中重建了舊金山市


訓練自動駕駛系統需要高精地圖,海量的數據和虛擬環境,每家致力于此方向的科技公司都有自己的方法,Waymo 有自己的自動駕駛出租車隊,英偉達創建了用于大規模訓練的虛擬環境 NVIDIA DRIVE Sim 平臺。


2022年初,來自 Google AI 和谷歌自家自動駕駛公司 Waymo 的研究人員實踐了一個新思路,他們嘗試用 280 萬張街景照片重建出整片舊金山市區的 3D 環境。


Block-NeRF 是一種神經輻射場的變體,可以表征大規模環境。具體來說,該研究表明,當擴展 NeRF 以渲染跨越多個街區的城市場景時,將場景分解為多個單獨訓練的 NeRF 至關重要。這種分解將渲染時間與場景大小分離,使渲染能夠擴展到任意大的環境,并允許對環境進行逐塊更新。


論文鏈接:https://arxiv.org/abs/2202.05263


熱議工作13:1370 億參數、接近人類水平,谷歌對話 AI 模型 LaMDA 放出論文


語言模型可以完成不同任務,例如將一種語言翻譯成另一種語言,將長文檔總結為簡短的摘要等。在眾多任務中,開放域對話可能是最困難的任務之一,因為開放域對話需要模型覆蓋不同的主題。在對話任務中,模型應該遵循負責任 AI(Responsible AI)實踐,并避免做出沒有外部信息源支持的事實陳述。


超過 50 多位谷歌研究者參與撰寫的論文《 LaMDA: Language Models for Dialog Applications 》介紹了語言模型 LaMDA 的最新進展。論文概括了他們如何在安全、可靠和高質量的對話應用程序方面取得進展。LaMDA 通過微調一系列專門用于對話的、基于 Transformer 的神經語言模型構建的,具有多達 137B 個參數,模型還可以利用外部知識源進行對話。


論文鏈接:https://arxiv.org/pdf/2201.08239.pdf


熱議工作14:MetaAI(原 Facebook AI)提出了一種名為 data2vec 的自監督學習新架構,在多種模態的基準測試中超越了現有 SOTA 方法。


MetaAI(原 Facebook AI)提出了一種名為 data2vec 的自監督學習新架構,在多種模態的基準測試中超越了現有 SOTA 方法。data2vec 是首個適用于多模態的高性能自監督算法。


Meta AI 將 data2vec 分別應用于語音、圖像和文本,在計算機視覺、語音任務上優于最佳單一用途算法,并且在 NLP 任務也能取得具有競爭力的結果。此外,data2vec 還代表了一種新的、全面的自監督學習范式,其提高了多種模態的進步,而不僅僅是一種模態。data2vec 不依賴對比學習或重建輸入示例,除了幫助加速 AI 的進步,data2vec 讓我們更接近于制造能夠無縫地了解周圍世界不同方面的機器。


data2vec 使研究者能夠開發出適應性更強的 AI,Meta AI 相信其能夠在多種任務上超越已有系統。


論文鏈接:https://ai.facebook.com/research/data2vec-a-general-framework-for-self-supervised-learning-in-speech-vision-and-language


熱議工作15:不可思議!英偉達新技術訓練 NeRF 模型最快只需 5 秒,單張 RTX 3090 實時渲染,已開源


NeRF 是在 2020 年由來自加州大學伯克利分校、谷歌、加州大學圣地亞哥分校的研究者提出,其能夠將 2D 圖像轉 3D 模型,可以利用少數幾張靜態圖像生成多視角的逼真 3D 圖像。之后又出現了改進版模型 NeRF-W(NeRF in the Wild),可以適應充滿光線變化以及遮擋的戶外環境。


然而,NeRF 的效果是非常消耗算力的:例如每幀圖要渲染 30 秒,模型用單個 GPU 要訓練一天。因此,后續的研究都在算力成本方面進行了改進,尤其是渲染方面。


現在,英偉達訓練 NeRF,最快只需 5 秒(例如訓練狐貍的 NeRF 模型)!實現的關鍵在于一種多分辨率哈希編碼技術,英偉達在論文《 Instant Neural Graphics Primitives with a Multiresolution Hash Encoding》進行了詳細解讀。


論文鏈接:https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf


熱議工作16:達摩院推出十萬億參數超大規模通用性人工智能大模型 M6-10T


2021 年 11 月 8 日,阿里巴巴達摩院公布多模態大模型 M6 最新進展,其參數已從萬億躍遷至 10 萬億,規模遠超谷歌、微軟此前發布的萬億級模型,成為全球最大的AI預訓練模型。同時,M6 做到了業內極致的低碳高效,使用 512 GPU 在 10 天內即訓練出具有可用水平的10萬億模型。相比去年發布的大模型 GPT-3,M6 實現同等參數規模,能耗僅為其 1%。


達摩院提出了一個簡單的訓練策略,稱為 "Pseudo-to-Real",用于高內存占用率要求的大型模型。Pseudo-to-Real 與具有順序層結構的大型模型兼容。除了展示 "Pseudo-to-Real "的應用,他們還提供了一種技術,即 Granular CPU offloading(粒狀 CPU 卸載),以管理 CPU 內存來訓練大型模型,并保持高的 GPU 實用性。在適當數量的資源上快速訓練極端規模的模型可以帶來更小的碳足跡,并為更環保的人工智能做出貢獻。


論文鏈接:https://arxiv.org/abs/2110.03888


熱議工作17:阿里達摩院開源深度語言模型體系 AliceMind


阿里巴巴達摩院作為最早投入預訓練語言模型研究的團隊之一,歷經三年研發出深度語言模型體系 AliceMind, 在通用語言模型 StructBERT 的基礎上,拓展到多語言、生成式、多模態、結構化、知識驅動等方向,能力全面。


其中的模型先后登頂 GLUE、CLUE、XTREME、VQA Challenge、DocVQA、MS MARCO 在內的自然語言處理領域六大權威榜單,領先業界,相關工作論文被 AI/NLP 頂會接收,并在 6 月入選 2021 世界人工智能大會最高獎 SAIL 獎 TOP30 榜單,同月,達摩院宣布正式開源 AliceMind。


達摩院深度語言模型體系 AliceMind,包括通用語言模型 StructBERT、多語言 VECO、生成式 PALM、多模態 StructVBERT、結構化 StructuralLM、知識驅動 LatticeBERT、機器閱讀理解 UED、超大模型 PLUG 等。


AliceMind 具有閱讀、寫作、翻譯、問答、搜索、摘要生成、對話等多種能力,目前已成為阿里的語言技術底座,日均調用量超過 50 億次,活躍場景超過 200 個,已在跨境電商、客服、廣告等數十個核心業務應用落地。AliceMind 已上線到內部平臺,開箱即用,目前支持訓練、精調、蒸餾、測試、部署五大功能,只需簡單操作即可完成語言模型從訓練到部署的完整鏈路。


AliceMind 開源地址:https://github.com/alibaba/AliceMind


AliceMind 體驗入口:https://nlp.aliyun.com/portal#/alice


2022 春季 · 國際頂會 Best Papers · AAAI 2022

最佳論文1:巴黎第九大學、法國國家科學研究中心、Meta AI 等提出了一種樣本高效算法理論上保證推薦系統不會降低用戶體驗(Outstanding Paper Award)


推薦系統正面臨審查,因為它們對用戶的影響越來越大。當前的公平審計僅限于敏感群體級別的粗粒度奇偶校驗評估。該研究建議審計應該「envy-freeness」,這是一個與個人偏好一致的更細化的標準:每個用戶都應該更喜歡符合自己的推薦而不是其他用戶的推薦。由于「envy」審計需要估計用戶現有推薦之外的偏好。


該研究提出了一種樣本高效算法,理論上保證推薦系統不會降低用戶體驗。此外,他們還研究了所提方法在現實世界推薦數據集上可以實現的權衡。


下圖為審計場景:審計員要么在當前推薦中向用戶展示他們的推薦系統,或通過向其他用戶顯示推薦來進行探索:


該研究提出的 OCEF 算法流程如下所示:


論文鏈接:https://arxiv.org/pdf/2104.14527.pdf


最佳論文2:中科院自動化所研發輕量型德州撲克 AI 程序 AlphaHoldem,達到人類專業玩家水平(Distinguished Papers)


中科院自動化所興軍亮研究員領導的博弈學習研究組提出了一種高水平輕量化的兩人無限注德州撲克 AI 程序——AlphaHoldem。其決策速度較 DeepStack 速度提升超 1000 倍,與高水平德州撲克選手對抗的結果表明其已經達到了人類專業玩家水平,相關工作已被 AAAI 2022 接收。


中國科學院自動化研究所興軍亮研究員領導的博弈學習研究組在德州撲克 AI 方面取得了重要進展,提出了一種高水平輕量化的兩人無限注德州撲克 AI 程序AlphaHoldem。AlphaHoldem 整體上采用一種精心設計的偽孿生網絡架構,并將一種改進的深度強化學習算法與一種新型的自博弈學習算法相結合,在不借助任何領域知識的情況下,直接從牌面信息端到端地學習候選動作進行決策。


AlphaHoldem 使用了 1 臺包含 8 塊 GPU 卡的服務器,經過三天的自博弈學習后,戰勝了 Slumbot[7]和 DeepStack[3]。在每次決策時,AlphaHoldem 僅需不到 3 毫秒,比 DeepStack 速度提升超過了 1000 倍。同時,AlphaHoldem 與四位高水平德州撲克選手對抗 1 萬局的結果表明其已經達到了人類專業玩家水平。


論文鏈接:


https://www.aaai.org/AAAI22Papers/AAAI-2268.ZhaoE.pdf


最佳論文3:荷語布魯塞爾自由大學、隆德大學等在切割平面證明系統的基礎上開發了一種用于優化問題的認證方法(Distinguished Papers)


對稱性和支配性的打破對于解決困難的組合搜索和優化問題至關重要,但這些技術的正確性有時依賴于微妙的論證。


該工作在切割平面證明系統的基礎上,開發了一種用于優化問題的認證方法,其中對稱性和支配性的突破很容易表達。


實驗評估表明可以有效地驗證完全通用的對稱性破缺在布爾可滿足性(SAT)求解中有效地驗證了全面的對稱性突破,從而首次了一個統一的方法來證明一系列先進的 SAT 技術的統一認證方法,其中還包括 XOR 和心數推理。


此外,該研究提出的方法應還可應用于最大剪裁求解和約束性編程作為概念證明,該方法適用于更廣泛的組合。


論文鏈接:


https://www.bartbogaerts.eu/articles/2022/002-AAAI_CertifiedSymmetryBreaking/CertifiedSymmetry.pdf


最佳論文4:柏林工業大學高效算法研究小組研究了 House Allocation Model 中激發偏好的任務,以找到必然最優的匹配(Distinguished Papers)


該研究對 House Allocation Model 中激發偏好的任務進行了探索。以 Hosseini 等人[AAAI'21]的最新模型為基礎,該工作重點研究了激發偏好的任務,以找到必然最優的匹配,即在所激發的偏好的所有可能完成情況下的最優。


本文遵循 Hosseini 等人的方法,研究了必然帕累托最優(NPO)和必然等級最優(NRM)匹配的誘導,回答了他們的開放性問題,并給出了在次優查詢模型中引出NRM 匹配的在線算法。


該算法具有 3/2 的競爭性,也就是說,它最多只需要最優算法的 3/2 的查詢次數。除此之外,該研究還通過引入兩個新的自然誘導模型和研究確定其中是否存在必然的最優匹配的復雜性,以及給出這些模型的在線算法來擴展這一研究領域。


論文鏈接:https://arxiv.org/pdf/2112.04227.pdf


最佳論文5:拉德堡德大學、牛津大學等針對安全關鍵環境下運行的自主系統控制器的隨機擾動提出了一種新的規劃方法(Distinguished Papers)


在安全關鍵環境下運行的自主系統的控制器必須考慮到隨機擾動。這種干擾通常被建模為過程噪聲,常見的假設是基礎分布是已知的和/或高斯的。然而,在實踐中,這些假設可能是不現實的,并可能導致真實噪聲分布的近似度很低。


該工作提出了一種新的規劃方法,它不依賴于噪聲分布的任何明確表示,特別是解決了計算控制器的問題,該控制器為安全到達目標提供了概率上的保證。


作者提出將連續系統抽象為一個離散狀態模型,通過狀態間的概率轉換來捕獲噪聲。作為一個關鍵的貢獻,該工作采用了場景方法的工具來計算這些過渡概率的可能近似正確(PAC)的界限,基于有限數量的噪聲樣本,并在所謂的區間馬爾科夫決策過程(iMDP)的過渡概率區間中捕獲這些界限。


這個 iMDP 對過渡概率的不確定性是穩健的,而且概率區間的緊密度可以通過樣本的數量來控制。本文使用最先進的驗證技術為 iMDP 提供保證,并計算出一個控制器,這些保證會延續到自治系統中?,F實的基準顯示了本文方法的實際適用性,即使 iMDP 有數百萬個狀態或轉換。


論文鏈接:https://arxiv.org/pdf/2110.12662.pdf


最佳論文6:安德烈斯·貝洛大學、瓦爾帕萊索大學等提出了一種新的解集子集近似的方法,可被用作任何時候雙目標搜索算法的基礎(Distinguished Papers)


在雙目標搜索中得到一個圖,其中每個有向弧都與一對非負權重相關聯,目標是找到帕累托最優解集。但在許多實際環境中,這個集合太大,因此其計算非常耗時。此外,盡管雙目標搜索算法是逐步生成帕累托集的,但它們是詳盡地生成的。這意味著在搜索的早期,解集的覆蓋面并不多樣,而是集中在解集的一個小區域。


為了解決這個問題,本文提出了一種新的解集子集近似的方法,它可以被用作任何時候雙目標搜索算法的基礎。本文的方法將給定的任務轉化為一個使用兩個真實參數的目標雙目標搜索任務。對于每個特定的參數設置,目標任務的解決方案是原始任務的解決方案集的一個子集。根據所使用的參數,目標任務的解集可以很快被計算出來。這在具有挑戰性的路線圖基準中,可以在比計算解集所需時間小幾個數量級的時間內獲得豐富多樣的解。


本文表明,通過以適當的參數序列運行該算法,獲得了一個不斷增長的解決方案序列,該序列收斂于全部解決方案集。


論文鏈接:https://www.aaai.org/AAAI22Papers/AAAI-10391.BaierJ.pdf


最佳論文7:加拿大拉瓦爾大學為 SoftCumulative 引入了一個檢查器和一個過濾算法,比現有的算法更通用在實踐中優于 SoftCumulative 的分解(Distinguished Papers)


Cumulative 約束極大地促進了約束性編程在解決調度問題方面的成功。然而,SoftCumulative 是 Cumulative 約束的一個版本,在這個版本中,資源過載會產生懲罰。


該工作為 SoftCumulative 引入了一個檢查器和一個過濾算法,其靈感來自于Cumulative 的能量推理規則。這兩種算法都可以用于經典的線性懲罰函數,也可以用于二次懲罰函數,即資源超載的懲罰隨著超載量的增加而呈二次增長。


該工作表明,這些算法比現有的算法更通用,在實踐中優于 SoftCumulative 的分解。


論文鏈接:http://www2.ift.ulaval.ca/~quimper/publications/softcumulative.pdf


最佳論文8:巴黎 - 薩克雷大學提出了一系列未經訓練的指標 InfoLM ,顯著改進了文本摘要和 Data2Text 生成任務的許多配置,并獲得了超過 10 點的相關增益(Outstanding Student Paper)


通過人工注釋評估自然語言生成系統質量的方法成本非常高,并且非常耗時。因此在實踐中,研究人員大多依靠自動指標來評估模型質量。


過去十年,領域內涌現出許多基于字符串的指標(例如 BLEU)。但是,此類指標通常依賴于精確的匹配,因此不能穩健地處理同義詞?;诖?,該研究提出了一系列未經訓練的指標 InfoLM,這些指標可被視為基于字符串的指標,但借助預訓練掩碼語言模型解決了上述缺陷。這些指標還利用信息度量,允許 InfoLM 適應各種評估標準。


該研究使用直接評估證明了 InfoLM 顯著改進了文本摘要和 Data2Text 生成任務的許多配置,并獲得了超過 10 點的相關增益。


論文鏈接:https://arxiv.org/abs/2112.01589


最佳論文9:加拿大拉瓦爾大學、加拿大高等研究院展示了如何在MNIST數據集的分類任務的主動學習中考慮和學習注釋成本(Best Student Abstract)


深度學習是一個很有前途的途徑,可以使生物醫學成像的繁瑣分析任務自動化。然而,它在這種情況下的應用受到了訓練深度學習模型所需的大量標注數據的限制。


雖然主動學習可以用來減少標記數據的數量,但許多方法并沒有考慮到注釋的成本,而這在生物醫學成像環境中往往是非常重要的。在這項工作中,本文展示了如何在 MNIST 數據集的分類任務的主動學習中考慮和學習注釋成本。


論文鏈接:


https://www.aaai.org/AAAI22Papers/SA-00338-BernatchezR.pdf


最佳論文10:密歇根大學展示了交互式任務學習智能體 Rosie 的演示,它通過設置自然語言指令讓智能體學習在模擬環境中執行巡邏任務(Best Demonstration Award)


該研究展示了交互式任務學習智能體 Rosie 的演示,它通過設置自然語言指令讓智能體學習在模擬環境中執行巡邏任務。執行過程中,Rosie 建立了一個相當大的任務層次結構,包括先天和后天學習任務、制定為實現目標或遵循程序的任務、具有條件分支和循環的任務以及涉及交流和心理活動的任務組成。


Rosie 在 Soar 認知架構中實現,并使用聲明性任務網絡表示任務,通過 chunking 將其編譯成程序規則,這是讓 Rosie 從單個訓練集中學習并快速泛化的關鍵。


論文鏈接:https://www.aaai.org/AAAI22Papers/DEMO-00325-MiningerA.pdf


1.本站遵循行業規范,任何轉載的稿件都會明確標注作者和來源;
2.本站的原創文章,請轉載時務必注明文章作者和來源,不尊重原創的行為我們將追究責任;
3.作者投稿可能會經我們編輯修改或補充。

猜你喜歡
Copyright ? 百科網 2019-2023

免責聲明:本網站部分內容由用戶自行上傳,若侵犯了您的權益,請聯系我們處理,謝謝!聯系QQ:1186685208 版權所有:長沙市雨花區佩瓏信息技術工作室 湘ICP備2023006258號-12

十九岁免费观看中文版