如何在Colab中加载kaggle数据集

最近刚接触kaggle，准备从一个入门级别的竞赛digit recognizer开始。由于笔记本性能不行，就想着在kaggle上的计算平台，结果发现这运行速度，果断选择放弃。

因为之前一直有用Colab，免费还能使用GPU，实在是香呐。那么能不能在Colab加载kaggle数据呢。反正都是一家人(Google旗下的)，这点应该能做到。

这期就分享一下如何在Colab加载kaggle数据。

首先我们需要有

首先进入kaggle网站，来到个人信息界面。

点击上图中的Account选项，来到个人Account界面。

点击Create New API token，这时会自动的下载一个json格式的文件，里面包含了用户名username和秘钥key。如下方所示

然后我们进入colab网站，新建一个记事本。首先，安装好kaggle库

!pip install kaggle

下面的username和key中分别填入之前下载的json文件中的username和key

import json
token = {"username":"xxxxx","key":"xxxxx"}
with open('/content/kaggle.json', 'w') as file:
  json.dump(token, file)

接着创建一个文件夹来保存之前你的kaggle用户名和秘钥

!mkdir -p ~/.kaggle

复制该json文件到刚才新建的指定路径下

!cp /content/kaggle.json ~/.kaggle/

修改json文件权限, 确保后续操作能正常进行

!chmod 600 ~/.kaggle/kaggle.json

指定kaggle数据集保存的位置

!kaggle config set -n path -v /content

下载kaggle数据集

!kaggle competitions download -c digit-recognizer

可以看到Colab中下载的数据非常快。

好了，终于可以愉快的搬砖了。