大数据与人工智能初了解

本文分享自天翼云开发者社区《大数据与人工智能初了解》，作者:杜**玲

如果说数据的产生和收集是基础，那么数据的挖掘、分析和利用则是关键。简单来说，数据挖掘就是要从大量非结构化数据和半结构化数据中挖掘出隐含的、先前未知但潜在有效的信息和模式的一个工程化和系统化的过程。在大数据时代之前，抽样调查是获取信息的主要途径，样本的数量和质量很容易影响调查结果；而大数据时代意味着一个全样本时代的来临，可以对全样本进行深度学习来精准回答问题，把握用户的真实想法和习惯。这就意味着，在算法、机器学习、知识图谱等技术的帮助下对数据进行专业性地挖掘和处理，进而通过数据加工将之变成具有针对性的有效信息，能够帮助我们实现智能化的信息收集和加工，大数据仍然是人工智能的基础。

人工智能的核心是机器学习，其他人工智能技术基本上都在它的基础上发展和进化。简单来说，机器学习就是计算机模仿人类的学习过程和学习行为，从以往的数据或经验中获取新的知识或技能，优化自身性能，并对未来进行预测。传统的机器学习在指纹识别、人脸检测、物体检测等领域的应用已经比较成熟，但面对大规模数据却一筹莫展，直到深度学习的出现。

深度学习起源于人工神经网络，它无需人工指导，利用海量数据自动进行自我训练，从而构建相关模型来学习特征数据，它能够发现大数据中的复杂结构。比如调用了一千万段YouTube视频中的图片来针对计算机进行训练，让神经网络识别猫。相反，在遇到小样本问题的时候，使用人工指定规则的传统机器学习的性价比则更高。作为一种基础性技术驱动力，机器学习和深度学习是智能媒介快速进化和升级的必然条件。