CCL2024-Eval 第二屆漢語框架語析評測

CCL2024-Eval 第二屆漢語框架語析評測官網(wǎng)

框架語析（Frame Semantic Parsing，F(xiàn)SP）是自然語言處理領(lǐng)域中的一項重要任務(wù)，其目標(biāo)是從句中提取框架語義結(jié)構(gòu)[1]，實(shí)現(xiàn)對句子中涉及到的或情境的深層理解。FSP在閱讀理解[2-3]、文本摘要[4-5]、關(guān)系抽取[6]等下游任務(wù)有著重要意義。

活動舉辦時間：2024-03-19 至 2024-05-04

比賽獎金：￥4000

活動關(guān)鍵詞：學(xué)術(shù)比賽，學(xué)術(shù)比賽，天池大賽，阿里云天池，天池大數(shù)據(jù)競賽。

CCL2024-Eval 第二屆漢語框架語析評測簡介

CCL2024-Eval 第二屆漢語框架語析評測于2024-03-19 至 2024-05-04期間舉辦，歡迎關(guān)注。

總體概述

* 框架語析（Frame Semantic Parsing，F(xiàn)SP）是自然語言處理領(lǐng)域中的一項重要任務(wù)，其目標(biāo)是從句中提取框架語義結(jié)構(gòu)^[1]，實(shí)現(xiàn)對句子中涉及到的或情境的深層理解。FSP在閱讀理解^[2-3]、文本摘要^[4-5]、關(guān)系抽取^[6]等下游任務(wù)有著重要意義。

* 在自然語言中，大部分情況下以詞為單位傳達(dá)含義，但也存在很多詞匯意義聚合現(xiàn)象，即組成的短語出現(xiàn)了新的含義。如:“愛買不買”，整個短語表示說話者對另一方是否要購買某物不在乎或不感興趣。在框架語義分析中，該短語應(yīng)該作為一個整體激活“情感反應(yīng)”框架。如果以“愛”、“買”等單個動詞作為目標(biāo)詞，激活喜歡、購買等框架，則無法捕捉到其獨(dú)特的情感色彩。

* 構(gòu)式語法主張語言是由固定的、有意義的單位組成，這些單位被稱為構(gòu)式^[7-8]，既可以是簡單的詞或短語，也可以是復(fù)雜的句子或話語。如，“愛買不買”對應(yīng)的構(gòu)式是“愛V不V”，該構(gòu)式是一個表達(dá)語義的整體，表示對某行為不在意或無所謂，應(yīng)該整體作為目標(biāo)詞激起相應(yīng)的框架。

* 為了提升框架語析能力，進(jìn)一步實(shí)現(xiàn)對語言的深度理解，我們增加了以構(gòu)式為“目標(biāo)詞”的框架語析數(shù)據(jù)，推出了第二屆漢語框架語析評測。

本次評測設(shè)置了開放和封閉兩個賽道，其中開放賽道的參賽隊伍可以使用ChatGPT等大模型進(jìn)行推理，但禁止對其進(jìn)行微調(diào)，且需提交所使用的提示模板；封閉賽道中，參賽模型的參數(shù)量將會被限制。

賽程安排

本次大賽分為報名組隊、A榜、B榜三個階段，具體安排和要求如下：

1. 報名時間：2024年3月22日-5月2日

2. 訓(xùn)練、驗(yàn)證數(shù)據(jù)及baseline發(fā)布：2024年3月22日

3. 測試A榜數(shù)據(jù)發(fā)布：2024年3月23日

4. 測試A榜評測截止：2024年5月4日 17:59:59

5. 測試B榜數(shù)據(jù)發(fā)布：2024年5月6日

6. 測試B榜最終測試結(jié)果：2024年5月8日 17:59:59

7. 公布測試結(jié)果：2024年5月15日前

8. 提交中文或英文技術(shù)報告：2024年5月31日

9. 中文或英文技術(shù)報告反饋：2024年6月5日

10. 正式提交中英文評測論文：2024年6月10日

11. 公布獲獎名單：2024年6月15日

12. 評測研討會：2024年7月25日-7月28日

注意：報名組隊與實(shí)名認(rèn)證（2024年3月22日—5月2日）

報名方式

1. 3月22日[阿里天池平臺](https://tianchi.aliyun.com/competition/entrance/532179)將開放本次比賽的報名組隊、登錄比賽官網(wǎng)，完成個人信息注冊，即可報名參賽；選手可以單人參賽，也可以組隊參賽。組隊參賽的每個團(tuán)隊不超過5人，每位選手只能加入一支隊伍；選手需確保報名信息準(zhǔn)確有效，組委會有權(quán)取消不符合條件隊伍的參賽資格及獎勵；選手報名、組隊變更等操作截止時間為5月2日23:59:59；各隊伍（包括隊長及全體隊伍成員）需要在5月2日23:59:59前完成實(shí)名認(rèn)證（認(rèn)證入口：天池官網(wǎng)-右上角個人中心-認(rèn)證-支付寶實(shí)名認(rèn)證），未完成認(rèn)證的參賽團(tuán)隊將無法進(jìn)行后續(xù)的比賽；

賽事規(guī)則

1. 由于版權(quán)保護(hù)問題，CFN數(shù)據(jù)集只免費(fèi)提供給用戶用于非盈利性科學(xué)研究使用，參賽人員不得將數(shù)據(jù)用于任何商業(yè)用途。如果用于商業(yè)產(chǎn)品，請聯(lián)系柴清華老師，聯(lián)系郵箱 [charles@sxu.edu.cn](mailto:charles@sxu.edu.cn)。

2. 每名參賽選手只能參加一支隊伍，一旦發(fā)現(xiàn)某選手以注冊多個賬號的方式參加多支隊伍，將取消相關(guān)隊伍的參賽資格。

3. 數(shù)據(jù)集的具體內(nèi)容、范圍、規(guī)模及格式以最終發(fā)布的真實(shí)數(shù)據(jù)集為準(zhǔn)。驗(yàn)證集不可用于模型訓(xùn)練，針對測試集，參賽人員不允許執(zhí)行任何人工標(biāo)注。

4. 參賽隊伍可在參賽期間隨時上傳測試集的預(yù)測結(jié)果，阿里天池平臺A榜階段每天可提交3次、B榜階段每天可提交5次，系統(tǒng)會每小時整更新當(dāng)前最新榜單排名情況，嚴(yán)禁參賽團(tuán)隊注冊其它賬號多次提交。

5. 允許使用公開的代碼、工具、外部數(shù)據(jù)（從其他渠道獲得的標(biāo)注數(shù)據(jù)）等，但需要保證參賽結(jié)果可以復(fù)現(xiàn)。

6. 參賽隊伍可以自行設(shè)計和調(diào)整模型，但需注意模型參數(shù)量最多不超過1.5倍BERT-Large（510M）。

7. 算法與系統(tǒng)的知識產(chǎn)權(quán)歸參賽隊伍所有。要求最終結(jié)果排名前10的隊伍提供算法代碼與系統(tǒng)報告（包括方法說明、數(shù)據(jù)處理、參考文獻(xiàn)和使用的開源工具、外部數(shù)據(jù)等信息）。提交完畢將采用隨機(jī)交叉檢查的方法對各個隊伍提交的模型進(jìn)行檢驗(yàn)，如果在排行榜上的結(jié)果無法復(fù)現(xiàn)，將取消獲獎資格。

8. 參賽團(tuán)隊需保證提交作品的合規(guī)性，若出現(xiàn)下列或其他重大違規(guī)的情況，將取消參賽團(tuán)隊的參賽資格和成績，獲獎團(tuán)隊名單依次遞補(bǔ)。重大違規(guī)情況如下：

a. 使用小號、串通、剽竊他人代碼等涉嫌違規(guī)、作弊行為；

b. 團(tuán)隊提交的材料內(nèi)容不完整，或提交任何虛假信息；

c. 參賽團(tuán)隊無法就作品疑義進(jìn)行足夠信服的解釋說明；

9. 獲獎隊伍必須注冊會議并在線下參加（如遇特殊情況，可申請線上參加）。

獎項信息

本次評測將評選出如下獎項。
由中國中文信息學(xué)會計算語言學(xué)專委會（CIPS-CL）為獲獎隊伍提供榮譽(yù)證書。
|獎項|一等獎|二等獎|三等獎|
|—-|—-|—-|—-|
|數(shù)量|0-2名|0-2名|0-2名|
|獎勵合計|筆記本電腦2臺|獎金2400元|獎金1600元|

贊助情況

筆記本電腦由百信信息技術(shù)有限公司提供贊助；
評測獎金由思騰合力（天津）科技有限公司高教負(fù)責(zé)人宋肖敏和太原市杰輝科技共同贊助。

FAQ

* Q：比賽是否有技術(shù)交流群？

* A：請加釘釘群 73770004096 。

* Q：驗(yàn)證集可否用于模型訓(xùn)練？

* A：不可以。

CCL2024-Eval 第二屆漢語框架語析評測官網(wǎng)入口網(wǎng)址

https://tianchi.aliyun.com/competition/entrance/532179

OpenI小編發(fā)現(xiàn)CCL2024-Eval 第二屆漢語框架語析評測網(wǎng)站非常受用戶歡迎，請訪問CCL2024-Eval 第二屆漢語框架語析評測網(wǎng)址入口試用。