自然语言处理及多线程网络爬虫技术

更新时间: 2016-06-20    浏览:次    来源:     【字体: 打印

发布人:中国国际技术转移中心西南办公室

发布日期:2016-06-20

技术成果需求:

    需求方正在研发一套开源的自然语言处理技术,利用其中的中文分词、词性标注等技术,开发一套文章语意识别和分析技术,其技术采用敏感词标注、行业词汇标注、文体识别、语意分析等技术来实现对网络文章信息内容的研判,自动将网络文章进行文体、行业相关度、正负面敏感度的分析识别。需求方开发的软件目前采用多线程的网络爬虫技术,在对海量的网络信息进行采集分析时,遇到线程稳定性障碍,初步分析原因如下:(1)长时间处理海量数据后的引起数据库缓存过大(2).系统缓存占用过大 3.网络故障引起部分线程死锁无法回收;现希望合作方能提供解决方案或成熟稳定的net框架下的多线程爬虫技术源码。

立即申请

关注微信公众号

获取最新企业服务资讯

服务热线

028-87710082

地  址:成都市高新区锦晖西二街84号天府新谷

           10号楼一楼


蜀ICP备14016821号 版权所有 Copyright @2015-2016 成都网站建设思乐科技

关于我们 | 联系我们 | 网站地图 | 商务合作 | 广告投放 | 加入我们 | 意见反馈

在线
客服

客服
热线

028-87710082
7*8小时企业服务热线

关注
微信

微信关注我们
获取惠企服务资讯
顶部