2008-03-30

New SubProject TPDA

Xspider2的前期已经完成,目前的版本是0.1.1b可以实现

 

Single page的抓取; 页面深度的返回与存储

 

现在打算在X2的基础上增加一个页面深度及路径的算法,这个算法我称之为TPDA,按照GNU风格的解释

 

TPDA: The Page/Point Depth Algorithm.

 

争取实现:

  • 页面深度和路径
  • 无分词文本空间高频词语提取
  • 路径最优算法
核心算法可能采取JAVA去描述,Python来实现架构,有机会的话最好实践把Perl
评论
发表评论

提醒: 该博客已发表在公共论坛，博客所有留言会成为论坛回贴，留言请注意遵守论坛发贴规则

您还没有登录，请登录后发表评论

Jarymin
搜索本博客
存档
最新评论