应用 AOSE可广泛应用于： 行业分析 舆情监控 口碑监测 科学研究 垂直搜索 综合门户 行业门户 电子政务 知识管理 企业竞争情报 商业智能系统 信息监控 …… 特点 来源广泛：AOSE系统可以采集互联网、WAP网上的任何网页，包括需要登录后才能访问的页面。支持列表页的自动翻页抓取，支持正文页多页合并，支持图片、文件、音视频等文件的抓取，可以抓取静态网页，也可以抓取带多参数的动态网页。 采集精准：独特的采集用户兴趣模型和URL链接结构的预测定向采集，实现了精准采集和信息的样本集分类。 解析便捷：通过客户自定义正则表达式模板，对抓取到页面内容进行解析，得到结构化的数据，比如：新闻标题、作者、来源、正文、联系电话、邮箱、价格、机票班次、分类信息等。 智能检索：对于定向采集信息提供数据属性检索和全文检索两种方式的搜索功能。通过捷软独有的显式量化概念关联模型，对检索结果智能排序，提高检索结果的语义相关度。 应用方便：AOSE网络信息采集系统基于J2EE轻量级框架平台，通过Structs+Spring+Hibernate，支持当前主流数据库，包括：Oracle、SQLServer、MySQL、Informix、Sybase、DB2等，可以跨平台跨数据库，配合其它解决方案一起使用，可以发挥出定向预测采集、自定义解析、结构化数据存储、概念语义检索的强大优势。 系统构架 AOSE主要包括五大部分的内容： 1) 基于LSI用户兴趣模型和URL链接结构的预测定向采集子系统 主要包括网页采集模块、自动分词模块、页面分析模块、网页相似度预测模块、URL调度模块和采集调度管理模块等。 2) 专业结构化网页信息的自定义抽取模板自动匹配子系统 主要包括抽取模板设置，和弹性数据抽取两个模块。 3) 基于显式量化概念关联模型的倒排索引子系统 倒排索引子系统主要包括网页倒排索引模块、网页等级计算模块，显式量化概念关联模型库构造及更新模块等。该系统对采集子系统采集并经预处理过的网页集和网页数据库进行分类索引、计算网页等级等处理，生成新的网页基本信息库、索引库和数据库以供用户查询模块使用。 4) 基于概念关联模型的检索子系统子系统 用户查询子系统负责解释用户输入查询条件，根据用户查询条件查询索引库，按照网页等级的高低分页显示查询结果。该系统主要包括用户查询条件处理模块、查询模块、结果输出模块等。 5) 参数设置监控管理子系统 包括数据源及URL参数、用户名密码，采集参数：多线程管理、频率、时间、代理服务器等，采集状态监控和统计等。 智能定向搜索系统涉及关键技术： 1) 多进程+多线程的后台分布式采集调度 2) 高效准确的LSI用户兴趣模型过滤判断 3) 自定义抽取模板自动匹配机制 4) 显式量化概念关联模型的构造和自适应调整机制 5) 基于概念关联模型的索引结构和检索机制 成功案例: 某商品质量与食品安全监控中心——食品商品信息采集分析系统 某市食品药品监督管理局——食品药品信息采集分析搜索系统 北京金马甲产权网络交易有限公司——国资产权交易搜索系统 中国民航信息技术科研基地——航班信息及动态的采集分析系统 某市场研究股份公司——行业情报采集分析系统