摘要：数据化高速发展的今天，企业收存数据量的多少，在大部分程度上决定了其发展空间的大小。本文通过探码DysonWeb数据采系统实现了对某电商平台服装的数据收集。

客户需求

客户有大量的服装批发市场的资源，希望自己开一个聚和的网上服装销售平台，具体需求如下：

• 需要有网上的热卖服装产品信息（名称、店铺、价格）
• 数据需要300w+
• 需要定时采集网上服装信息
• 需要购买人群的分布分布（青年、中年、幼儿和地域分布）
• 收集客户的评价记录

探码Dyson Web数据采集系统如何实现智能采集

明确采集对象：根据客户的想法是制作一个服装网站的信息聚和平台，这里我们采集的目标选择了某宝网，该网是亚太地区较大的网络零售、商圈，拥有近5亿的注册用户数，每天有超过6000万的固定访客，同时每天的在线商品数已经超过了8亿件。作为国内更大的电商交易平台很适合成为我们的采集对象。

明确采集字段：我们这里与客户确定了采集的元素（标题、标题链接、收货人数、商品图片、价格、店铺名称、月销量、累计评价）。

采集服务器的搭建：探码Web数据源采集分析系统主要采用RubyonRails+vue.js+Bootstrap实现数据源分析系统的后台和前端展示的搭建。根据各行业的需求可将整体分为多个模块多种形式进行可视化。

设计数据存储数据库：设想到采集服装数据量大的问题，我们运用了Hadoop的分布式存储和处理技术使得到数据得带较好的管理和计算。

定时爬虫采取：Dyson Web数据采集系统对该销售平台进行定时的数据爬取，将爬取信息与原数据库进行合并，并且去除了重复的信息。

数据的分析：我们将收集的数据进行分析整理，得出该季度热卖的服装款式。消费人群年龄段，与地区的分布，高低端服装的占比。为客户提供完整的进存销方案！

采集展示

利用探码Dyson Web大数据采集系统实现网络采集的意义

助力电商快速查询

用户不用在运行查询时长时间地等待结果。即时查询，获得即时结果，而对工作负载没有任何的影响影响。优化用户体验！

助力电商运营增长

全面获取多个维度数据，包括商品基本信息、交易记录、价格、库存、SKU等等，以此优化商家运营效果，高效、准确抓取市场每个增长点。，获取宏观大盘走势数据、竞品数据， 从而进行市场分析、品牌舆情和价格监控。

助力电商运营决策支撑

通过探码Dyson Web特有的文本挖掘可视化分析系统，可对评论信息进行典型意见提取，情感分析，从而得出客观的市场评价及分析，优化运营，提升产品质量与服务。

定时自动监控采集

定时监控国内外任意电商网站商品价格与销量走势数据，通过相应的挖掘算法，帮助运营人员分析价格与销量最匹配的方案，辅助运营对竞品活动更深层次的理解。

总结：大数据时代，“无数据寸步难行”。只有我们掌握了足够多的数据之后才能对我们后期的营销方案的定制和产品的推广起到至关重要的推进作用！