CCL2024-Eval 第二屆漢語框架語析評測

CCL2024-Eval 第二屆漢語框架語析評測官網

框架語析（Frame Semantic Parsing，FSP）是自然語言處理領域中的一項重要任務，其目標是從句中提取框架語義結構[1]，實現對句子中涉及到的或情境的深層理解。FSP在閱讀理解[2-3]、文本摘要[4-5]、關系抽取[6]等下游任務有著重要意義。

活動舉辦時間：2024-03-19 至 2024-05-04

比賽獎金：￥4000

活動關鍵詞：學術比賽，學術比賽，天池大賽，阿里云天池，天池大數據競賽。

CCL2024-Eval 第二屆漢語框架語析評測簡介

CCL2024-Eval 第二屆漢語框架語析評測于2024-03-19 至 2024-05-04期間舉辦，歡迎關注。

總體概述

* 框架語析（Frame Semantic Parsing，FSP）是自然語言處理領域中的一項重要任務，其目標是從句中提取框架語義結構^[1]，實現對句子中涉及到的或情境的深層理解。FSP在閱讀理解^[2-3]、文本摘要^[4-5]、關系抽取^[6]等下游任務有著重要意義。

* 在自然語言中，大部分情況下以詞為單位傳達含義，但也存在很多詞匯意義聚合現象，即組成的短語出現了新的含義。如:“愛買不買”，整個短語表示說話者對另一方是否要購買某物不在乎或不感興趣。在框架語義分析中，該短語應該作為一個整體激活“情感反應”框架。如果以“愛”、“買”等單個動詞作為目標詞，激活喜歡、購買等框架，則無法捕捉到其獨特的情感色彩。

* 構式語法主張語言是由固定的、有意義的單位組成，這些單位被稱為構式^[7-8]，既可以是簡單的詞或短語，也可以是復雜的句子或話語。如，“愛買不買”對應的構式是“愛V不V”，該構式是一個表達語義的整體，表示對某行為不在意或無所謂，應該整體作為目標詞激起相應的框架。

* 為了提升框架語析能力，進一步實現對語言的深度理解，我們增加了以構式為“目標詞”的框架語析數據，推出了第二屆漢語框架語析評測。

本次評測設置了開放和封閉兩個賽道，其中開放賽道的參賽隊伍可以使用ChatGPT等大模型進行推理，但禁止對其進行微調，且需提交所使用的提示模板；封閉賽道中，參賽模型的參數量將會被限制。

賽程安排

本次大賽分為報名組隊、A榜、B榜三個階段，具體安排和要求如下：

1. 報名時間：2024年3月22日-5月2日

2. 訓練、驗證數據及baseline發布：2024年3月22日

3. 測試A榜數據發布：2024年3月23日

4. 測試A榜評測截止：2024年5月4日 17:59:59

5. 測試B榜數據發布：2024年5月6日

6. 測試B榜最終測試結果：2024年5月8日 17:59:59

7. 公布測試結果：2024年5月15日前

8. 提交中文或英文技術報告：2024年5月31日

9. 中文或英文技術報告反饋：2024年6月5日

10. 正式提交中英文評測論文：2024年6月10日

11. 公布獲獎名單：2024年6月15日

12. 評測研討會：2024年7月25日-7月28日

注意：報名組隊與實名認證（2024年3月22日—5月2日）

報名方式

1. 3月22日[阿里天池平臺](https://tianchi.aliyun.com/competition/entrance/532179)將開放本次比賽的報名組隊、登錄比賽官網，完成個人信息注冊，即可報名參賽；選手可以單人參賽，也可以組隊參賽。組隊參賽的每個團隊不超過5人，每位選手只能加入一支隊伍；選手需確保報名信息準確有效，組委會有權取消不符合條件隊伍的參賽資格及獎勵；選手報名、組隊變更等操作截止時間為5月2日23:59:59；各隊伍（包括隊長及全體隊伍成員）需要在5月2日23:59:59前完成實名認證（認證入口：天池官網-右上角個人中心-認證-支付寶實名認證），未完成認證的參賽團隊將無法進行后續的比賽；

賽事規則

1. 由于版權保護問題，CFN數據集只免費提供給用戶用于非盈利性科學研究使用，參賽人員不得將數據用于任何商業用途。如果用于商業產品，請聯系柴清華老師，聯系郵箱 [charles@sxu.edu.cn](mailto:charles@sxu.edu.cn)。

2. 每名參賽選手只能參加一支隊伍，一旦發現某選手以注冊多個賬號的方式參加多支隊伍，將取消相關隊伍的參賽資格。

3. 數據集的具體內容、范圍、規模及格式以最終發布的真實數據集為準。驗證集不可用于模型訓練，針對測試集，參賽人員不允許執行任何人工標注。

4. 參賽隊伍可在參賽期間隨時上傳測試集的預測結果，阿里天池平臺A榜階段每天可提交3次、B榜階段每天可提交5次，系統會每小時整更新當前最新榜單排名情況，嚴禁參賽團隊注冊其它賬號多次提交。

5. 允許使用公開的代碼、工具、外部數據（從其他渠道獲得的標注數據）等，但需要保證參賽結果可以復現。

6. 參賽隊伍可以自行設計和調整模型，但需注意模型參數量最多不超過1.5倍BERT-Large（510M）。

7. 算法與系統的知識產權歸參賽隊伍所有。要求最終結果排名前10的隊伍提供算法代碼與系統報告（包括方法說明、數據處理、參考文獻和使用的開源工具、外部數據等信息）。提交完畢將采用隨機交叉檢查的方法對各個隊伍提交的模型進行檢驗，如果在排行榜上的結果無法復現，將取消獲獎資格。

8. 參賽團隊需保證提交作品的合規性，若出現下列或其他重大違規的情況，將取消參賽團隊的參賽資格和成績，獲獎團隊名單依次遞補。重大違規情況如下：

a. 使用小號、串通、剽竊他人代碼等涉嫌違規、作弊行為；

b. 團隊提交的材料內容不完整，或提交任何虛假信息；

c. 參賽團隊無法就作品疑義進行足夠信服的解釋說明；

9. 獲獎隊伍必須注冊會議并在線下參加（如遇特殊情況，可申請線上參加）。

獎項信息

本次評測將評選出如下獎項。
由中國中文信息學會計算語言學專委會（CIPS-CL）為獲獎隊伍提供榮譽證書。
|獎項|一等獎|二等獎|三等獎|
|—-|—-|—-|—-|
|數量|0-2名|0-2名|0-2名|
|獎勵合計|筆記本電腦2臺|獎金2400元|獎金1600元|

贊助情況

筆記本電腦由百信信息技術有限公司提供贊助；
評測獎金由思騰合力（天津）科技有限公司高教負責人宋肖敏和太原市杰輝科技共同贊助。

FAQ

* Q：比賽是否有技術交流群？

* A：請加釘釘群 73770004096 。

* Q：驗證集可否用于模型訓練？

* A：不可以。

CCL2024-Eval 第二屆漢語框架語析評測官網入口網址

https://tianchi.aliyun.com/competition/entrance/532179

OpenI小編發現CCL2024-Eval 第二屆漢語框架語析評測網站非常受用戶歡迎，請訪問CCL2024-Eval 第二屆漢語框架語析評測網址入口試用。