在上文中，我们提到结构化数据与非结构化数据的区别，同时也提到了非结构化数据的现状。在过去几年，大数据更加关注如何处理海量、多源、异构数据，并从中获得价值，而其中绝大部分是结构化数据。不可否认，这些数据的体量足够巨大，然而如今必须意识到这些数据只是冰山一角——结构化数据仅占全部数据量的20%，其余80%都是以文件形式存在的非结构化数据和半结构化数据，包括各种办公文档、图片、视频、音频、设计文档、日志文件、机器数据等。

另一方面，新兴技术的快速发展也提高了行业对非结构化数据的重视程度。比如物联网、工业4.0、视频直播等领域产生了更多的非结构化数据，而人工智能、机器学习、语义分析、图像识别等技术方向需要大量的非结构化数据来开展工作，包括数据系统也在不断向非结构化数据延伸。

这给Web数据采集提了个醒：网络数据采集必须全面，除了对结构化数据的采集，剩余80%的非结构化数据和半结构化数据才是网络数据采集的重点。

Web结构化数据采集流程

结构化数据的采集对于计算机和程序猿来说都是非常简单快速的工作 ：

• 选择训练网页内容集并提取目标结构化数据；
• 训练所述训练网页内容集获得与所述目标结构化数据匹配的正则表达式；
• 将所述正则表达式写入配置模板；
• 利用所述配置模板采集网页；
• 所述采集网页中提取结构化数据。

Web非结构化数据爬取的“三大关键点”

相对而言，对非结构化数据与半结构化数据的采集非常值得重视同时也比较困难。那么又该如何爬取网页中的非结构数据和半结构化数据呢？在这里，笔者总结了网页非结构化数据爬取的“三大关键点”。

网络爬虫

对各种来源（如RFID射频数据、传感器数据、移动互联网数据、社交网络数据等）的非结构化数据进行采集，借助网络爬虫或网站API,从网页获取非结构化数据数据，将其统一结构化为本地数据。

大数据预处理

由于非结构化、半结构化数据的特殊性，在爬取完数据后还需要对采集的原始数据进行“清洗、归类、注释、关联、映射”等一系列操作后，提高数据的质量，为后期数据分析奠定基础。

数据存储

非结构化数据的储存区别于结构化数据的关系库储存，非结构化数据的储存，一般是以加大文件为主，并且内部需要较高的读写速度，通常需要用通用的服务器来控制费用。

无论是对结构化数据采集还是非结构化数据的采集，都是一个比较复杂的技术问题，在此笔者也只是简单描述了一些采集的关键点，想要彻底搞明白采集的原理和步骤，可能需要进行系统的教学才能实现。所以很多公司考虑到技术缺失问题，都通过寻找专业的第三方数据团队，来完成网络数据的采集，这是个不错的解决办法。探码作为第三方专业的Web数据采集团队，也曾帮助很多公司高效完成了网络数据的采集，除了20%的常规数据，也保证了剩余的80%数据的爬取、处理与储存。

相关阅读：

如何选择正确的数据采集方式，从而使你的数据分析更加精准!

数据集成消除“数据孤岛”-释放数据价值

Web数据集成：彻底改变您使用网络数据的方式

                                                  文章来源：探码科技