HyperGlobal-450K：全球最大规模的高光谱图像数据集

2024-06-17，由武汉大学领衔的国际研究团队创建了HyperGlobal-450K，这是迄今为止最大规模的高光谱图像数据集。该数据集的构建不仅推动了高光谱图像（HSI）处理技术的发展，还为遥感图像的智能化解析提供了强大的数据支撑，具有重要的科学和应用价值。

数据集地址：HyperGlobal-450K - 全球最大规模高光谱图像数据集

一、研究背景：

随着航空工程、传感器技术和计算机科学的快速发展，我们能够获取具有精细光谱分辨率的大量高光谱遥感图像（HSIs）。这些图像覆盖了从可见光到近红外、短波和中波红外的光谱范围，通过连续且精细的光谱波段捕捉目标特征，为精确的土地覆盖解释提供了详细的地表信息。

目前遇到的困难和挑战：

1、高光谱图像的高维度、数据冗余和空间变异性导致处理难度大。

2、现有的高光谱图像处理方法通常限于特定任务，缺乏泛化能力。

3、高光谱图像的大规模预训练和模型结构设计存在挑战。

数据集地址：HyperGlobal-450K - 全球最大规模高光谱图像数据集

二、让我们一起来看一下HyperGlobal-450K数据集

HyperGlobal-450K是一个包含约450,000张高光谱图像的大规模数据集，覆盖全球多个地区，为高光谱图像的预训练和应用提供了丰富的数据资源。

HyperGlobal-450K数据集包含了来自地球观测一号（EO-1）Hyperion和高分五号（GF-5B）两种传感器的图像。这些图像覆盖了全球多个地理位置，涵盖了森林、草原、裸地和农作物等多种地表类型。

数据集构建：

数据集的构建包括从官方网站下载数据、选择特定时间段和地点的图像、去除云层覆盖超过5%的图像、以及将图像切割成非重叠的64×64像素块。

数据集特点：

1、规模大：包含约450,000张高光谱图像，相当于超过2000万张非重叠的三光谱图像。

2、多样性：图像覆盖全球多个地区，包括不同地形和植被类型。

3、高质量：图像经过预处理，去除了无效波段和水汽吸收波段，确保了数据的质量。

HyperGlobal-450K数据集可以用于高光谱图像的多种任务，包括分类、目标检测、异常检测和变化检测等。用户可以通过下载数据集，并使用相应的预训练模型进行微调，以适应特定的应用场景。

基准测试：

HyperGlobal-450K数据集支持多种高光谱图像任务的基准测试，包括高级别和低级别任务。通过与其他现有数据集的比较，HyperGlobal-450K在规模和多样性上都显著超越了现有的多光谱和高光谱数据集。

HyperSIGMA 为 HSI 处理提供了通用解决方案，在 16 个数据集和 7 个任务中展示了卓越的性能，包括高级和低级高光谱任务，以及多光谱场景。它的性能优于 SpectralGPT 等高级模型，甚至是专为这些任务设计的模型。

以前的 HSI 模型在不同的场景中单独训练，从而限制了跨场景的知识转移。相比之下，我们的模型通过使用大型全球 HSI 数据集进行预训练来获得通用的、与场景无关的知识，从而通过微调有效地转移到各种场景。

                    RGB、合成孔径雷达 （SAR）、多光谱和高光谱图像的比较。

HyperGlobal-450K 样品在全球的分布，包括 1,701 张图像（1,486 张 EO-1 和 215 张 GF-5B），具有数百个光谱波段。

                通道选择策略的图示。对于具有不同通道数的图像，我们随机选择 C连续通道。

使用在 HyperGlobal-450K 数据集上预先训练的具有不同掩码比率的光谱子网，在 Indian Pines （IP） 和 Pavia University （PU） 数据集上微调精度。

全球首个十亿级高光谱智能理解基础模型，这个模型的参数规模达到了十亿级别，是专门为高光谱图像解译设计的，能够为高层和底层任务提供统一的解决方案。

HyperSIGMA 模型由两个为空间和光谱特征提取量身定制的子网络组成。

最初，空间补丁或频谱通道被标记化并通过多个 transformer 块进行处理，其中一些 SA 被建议的稀疏采样注意 （SSA）替换。

然后，空间-光谱融合模块 （SEM） 生成并融合空间和光谱特征。这些融合特征（或空间特征）被馈送到各种高级和低级 HSI 任务的特定任务头中。

HyperSIGMA 模型特点：

1、可扩展性：HyperSIGMA支持不同尺寸的版本，适应从小规模到大规模任务的多种需求，确保在资源受限和大规模应用场景中均能高效运行。
2、鲁棒性：在少量标注样本、对抗样本攻击和图像退化等复杂条件下，HyperSIGMA均展现出强大的鲁棒性。
3、跨模态迁移能力：在多光谱变化检测任务上，HyperSIGMA展现出强大的跨模态迁移能力。
4、真实世界应用能力：准确检测出墨西哥湾海上石油泄漏区域，展示出模型在灾害检测的实际应用方面十分突出的能力。

                HyperSIGMA 在高光谱图像分类中的应用图。

            通过各种方法预测 HTD 任务的检测概率图。上行：马赛克 下行：AVIRIS 。

                该图说明了 HyperSIGMA 在高光谱变化检测中的应用。

                    HyperSIGMA 在高光谱图像去噪中的应用图。

三、让我们展望数据集应用：

比如，我是墨西哥湾石油泄漏应急响应团队的一员。

我们日常工作：
1、通过人工巡查，就是我们乘船到现场去观察和取样，这种方法比较耗时耗力，而且往往错过了最佳应对时机。
2、通过卫星图像：虽然卫星图像可以提供一定的覆盖范围，但是分辨率和光谱信息有限，很难准确识别出泄漏的具体位置和范围。
3、通过无人机巡查：无人机可以提供更近距离的观察，但是受限于飞行时间和天气条件，而且数据处理同样耗时。
一旦发生泄漏，我们可能需要等待卫星图像的获取，然后组织专家手动分析这些图像，试图从中找出石油泄漏的迹象。这个过程可能需要几个小时甚至几天，而且由于图像分辨率和光谱信息的限制，很难做到精确识别。

现在了有了HyperGlobal-450K数据集训练的智能系统，

我们首先会从卫星获取到该区域的高光谱图像。然后，我们将这些图像输入到智能系统中。智能系统已经利用在数据集上学习到的知识，自动分析图像并识别出石油泄漏的位置。这个过程可能只需要几分钟，而且由于高光谱图像的高分辨率和丰富的光谱信息，系统能够非常精确地识别出泄漏的具体位置和范围，并在图像上标记出来。。这些信息会实时反馈给我们，使我们能够立即采取行动，比如派遣清理船只到泄漏区域，或者通知附近的船只避开污染区域。
我们的工作现在更多地转向了决策支持和应急响应协调，这样的转变不仅提高了我们的工作效率，也提高了整个灾害响应流程的效率和效果。

寻找更多开源数据集，请进入：遇见数据集

https://www.selectdataset.com/