KDD Cup 2024 大模型赛题发布！

Datawhale

 Datawhale赛事 

KDD Cup 2024，数据挖掘顶会赛题

想象一下，你希望使用一个AI助手来获取你最喜欢的运动队的最新消息，但是你得到的是去年的比赛结果。或者当你询问一个你非常喜欢的小众电影时，却得不到有意义的答案。这些都是大语言模型生成“幻觉”的经典例子，即大型语言模型（LLM）提供过时或不正确的信息。

愿意与我们一同努力，帮助LLM（大型语言模型）减少幻觉，提供准确的回答吗？快来参加Meta KDD Cup 2024检索增强生成的CRAG挑战吧！

报名链接： https://www.aicrowd.com/chall...

竞赛简介

KDD Cup是ACM知识发现和数据挖掘国际会议(KDD)的一项著名竞赛，旨在推动数据科学和机器学习的发展。KDD Cup的历史可以追溯到1997年，由ACM SIGKDD国际会议组织举办，目前已经成为该领域最具影响力和声誉的竞赛之一。

KDD Cup通过提供真实且具有挑战性的数据集，吸引全球的数据科学家和研究人员参与，以探索新的算法和技术，解决实际世界中的复杂问题。比赛的主题涵盖广泛，包括推荐系统、数据分类、聚类分析、时序预测等。

参赛者需要运用数据挖掘和机器学习的技术，设计创新的解决方案，并在给定的时间内提交结果。KDD Cup不仅提供了一个比赛的平台，还为参赛者提供了与同行交流和学习的机会。

比赛期间，参赛者可以通过竞赛论坛与其他研究人员交流思想、分享经验，并从其他人的工作中获得灵感和启发。此外，KDD Cup的优胜者通常会受到学术界和工业界的广泛关注，为他们进一步的职业发展带来巨大的机会。

KDD Cup已经成为该领域的重要盛事，对于推动数据科学的发展和实践具有重要意义。

为什么RAG很重要

尽管LLM取得了进展，但“幻觉”问题仍然是一个重大挑战，即LLM可能生成缺乏事实准确性或基础的答案。检索增强生成（RAG）作为一种有希望的解决方案出现，缓解了LLM在缺乏知识方面的不足，并受到学术研究和行业的广泛关注。

Meta Comprehensive RAG（CRAG）基准挑战

CRAG是一个涵盖5个领域和8种问题类型的事实问答竞赛，同时提供了可行的评价指标来评估RAG系统。与现有的基准不同，CRAG的设计包括各种领域和类型的问题。特别是，它包括答案从几秒到几年时间范围内不断变化的问题；它考虑实体的受欢迎程度，涵盖的不仅是热门的信息，还包括不太为人知的事实；它包含简单事实问题以及7种复杂问题类型，如比较、聚合和集合问题（comparison, aggregation, and set questions），以测试RAG解决方案的推理和综合能力。

赛题介绍

该挑战包括三个任务，旨在改进问答（QA）系统。

任务1：

基于网络的检索摘要 (Web-based Retrieval Summarization) —参赛者对于每个问题会获得5个网页，其中可能包含回答问题所需的相关信息。该任务的目标是评估系统识别和概括这些信息以提供准确答案的能力。

任务2：

知识图谱和网络增强 (Knowledge Graph and Web Augmentation) — 该任务引入了模拟API (Mock API)，用于访问与问题可能相关的结构化数据知识图谱（KG）。参与者使用模拟API，输入从问题中获取的参数，以检索相关数据来获得答案。评估重点是系统查询结构化数据和整合来自各种来源的信息，生成综合答案的能力。

任务3：

端到端RAG (End-to-end RAG) — 第三个任务增加了复杂性，为每个问题提供了50个网页和模拟API访问，其中既包含相关信息，又包含噪音。它评估了系统从大规模数据集中选择最重要且相关的数据的能力，反映了真实应用场景中信息检索和整合的挑战。

每个任务都在前一个任务的基础上构建，引导参与者开发复杂的端到端RAG系统。该挑战展示了RAG技术在检索和理解大规模信息库方面的潜力，为未来的人工智能研究和发展突破奠定了基础。

竞赛日程

该挑战将分为两个阶段。第一阶段对所有注册的团队开放。根据参与者的数量，在第一阶段结束后，我们会设置一个限制指标，只有排名靠前的团队才能进入第二阶段。

第一阶段：公开竞赛

网站和数据公开，并开放注册：2024年3月20日，23:55 UTC

第一阶段提交开始日期：2024年4月1日，23:55 UTC

第一阶段提交截止日期：2024年5月20日，23:55 UTC

第二阶段：优胜团队竞赛

第二阶段开始日期：2024年5月22日，23:55 UTC

注册和团队冻结截止日期：2024年5月31日，23:55 UTC

第二阶段结束日期：2024年6月20日，23:55 UTC

获奖者通知日期：2024年7月15日

获奖者公告日期：2024年8月26日（在KDD Cup颁奖活动上）

竞赛奖金

本次KDD Cup挑战赛的奖金池总额为31,500美元。一共三个任务，每个任务都设有奖金。对于每个任务，排行榜上满足下述条件的队伍将获得以下现金奖励：

🥇 第一名：4,000美元

🥈 第二名：2,000美元

🥉 第三名：1,000美元

💐 七个复杂问题类型各自的第一名：500美元

第一名、第二名和第三名获奖者不具备在同一任务的复杂问题类型中获得奖金的资格。

为什么这个挑战是一个game changer

解决“幻觉”和过时信息的问题对于提高LLM驱动的问答系统的可靠性至关重要。RAG提出了一种通过将外部数据整合到其回复中的解决方案。CRAG基准是一个全面的测试，以评估这些先进系统在各种领域和问题类型中的有效性，挑战它们处理需要即时数据以及探索不太常见的“长尾”信息的情境。

这个挑战有什么独特之处？

1. 改进问答系统的任务：三个任务分别关注基于网络的检索摘要、知识图谱和网络增强，以及端到端的RAG挑战，每个任务都建立在前一个任务的基础上。
2. 丰富的多领域数据集：CRAG数据集涵盖了从金融到音乐的各个领域，以应对反映现实世界的变化和复杂性的问题。
3. 丰厚奖金的奖金：排名前列的参赛者会分享总计31,500美元的奖金池，每个任务中表现最好的团队可以赢取高达4,000美元的奖金。