深度赋智AutoDL正式开源v1.0版本

我们的NeurIPS冠军开源项目AutoDL正式发布1.0版本了!AutoDL无需任何人类干预,即可进行全自动的多标签分类,在图片、视频、语音、文本、表格等模态下都有优异效果,最短10秒就可以跑出效果出色的分类AI。
  • 项目地址:

https://github.com/DeepWisdom/AutoDL​github.com

AutoDL是什么?

AutoDL聚焦于自动进行任意模态(图像、视频、语音、文本、表格数据)多标签分类的通用算法,可以用一套标准算法流解决现实世界的复杂分类问题,如解决调数据、特征、模型、超参等,最短10秒就可以做出性能优异的分类器。本工程在不同领域的24个离线数据集、15个线上数据集都获得了极为优异的成绩。AutoDL拥有以下特性:

全自动:全自动深度学习/机器学习框架,全流程无需人工干预。数据、特征、模型的所有细节都已调节至最佳,统一解决了资源受限、数据倾斜、小数据、特征工程、模型选型、网络结构优化、超参搜索等问题。准备好数据,开始AutoDL,然后喝一杯咖啡

通用性:支持任意模态,包括图像、视频、音频、文本和结构化表格数据,支持任意多标签分类问题,包括二分类、多分类、多标签分类。它在不同领域都获得了极其优异的成绩,如行人识别、行人动作识别、人脸识别、声纹识别、音乐分类、口音分类、语言分类、情感分类、邮件分类、新闻分类、广告优化、推荐系统、搜索引擎、精准营销等等。

效果出色:AutoDL竞赛获得压倒性优势的冠军方案,包含对传统机器学习模型和最新深度学习模型支持。模型库包括从LR / SVM / LGB / CGB / XGB到ResNet* / MC3 / DNN / ThinResnet* / TextCNN / RCNN / GRU / BERT等优选出的冠军模型。

极速/实时:最快只需10秒即可获得极具竞争力的模型性能。结果实时刷新(秒级),无需等待即可获得模型实时效果反馈。

竞赛效果

  • 预赛榜单(DeepWisdom总分第一,平均排名1.2,获取了4/5项第一)

  • 最终榜单(DeepWisdom总分第一,平均排名1.8,获取了7/10项第一)

使用说明

1.基础环境

python>=3.5
CUDA 10
cuDNN 7.5

2. clone仓库

cd <path_to_your_directory>
git clone https://github.com/DeepWisdom/AutoDL.git

3. 预训练模型准备 下载模型speech_model.h5放至AutoDL_sample_code_submission/at_speech/pretrained_models/目录。

4.可选:使用与竞赛同步的docker环境

  • CPU
cd path/to/autodl/
docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:cpu-latest
  • GPU
nvidia-docker run -it -v "$(pwd):/app/codalab" -p 8888:8888 evariste/autodl:gpu-latest

5. 数据集准备:使用AutoDL_sample_data中样例数据集,或批量下载竞赛公开数据集。

6. 进行本地测试

python run_local_test.py

本地测试完整使用。python run_local_test.py -dataset_dir='AutoDL_sample_data/miniciao' -code_dir='AutoDL_sample_code_submission'您可在AutoDL_scoring_output/目录中查看实时学习曲线反馈的HTML页面。

细节可参考AutoDL Challenge official starting_kit.

使用效果示例(横轴为对数时间轴,纵轴为AUC)

可以看出,在五个不同模态的数据集下,AutoDL算法流都获得了极为出色的全时期效果,可以在极短的时间内达到极高的精度。

加入社区

欢迎更多志同道合的小伙伴加入社区,和世界冠军队伍一起共建全自动深度学习框架!


DeepWisdom
1 声望0 粉丝