高考问答江苏源博律师事务所:开发Web搜索引擎，需要了解哪些技术？
来源：百度文库 编辑：高考问答 时间：2024/04/25 20:21:09
开发Web搜索引擎，网络蜘蛛 需要了解哪些东西，有没有好的教材可以推荐？
呵呵。这个需求的知识面就广了。首先要解决四个问题：
网络蜘蛛；
结果排序；
中文分词；
内容索引。
搜索引擎关键的是算法。有时间多钻研下算法设计是很必要的。
开发搜索引擎可以参考开源项目lucene，这是一个很出名很常用的搜索引擎。不过没有蜘蛛。
如果你想开发蜘蛛，可以去看看bot.jeffheaton.com和他写的关于网络机器人的编程书，有中文版的。
数据挖掘，全文搜索，排名算法，等等....
网络蜘蛛只是搜集数据很简单的小程序，最主要的是如何用最短的时间在海量的数据中搜索有用的记录