网络爬虫采用的是深度优先遍历算法策略。深度优先遍历算法会优先访问子节点，直到不能访问为止，再回溯到父节点，继续处理其他子节点。
而在网络爬虫中，URL即为节点，通过深度优先遍历，可以先处理当前节点的所有链接，再依次往下遍历。
这种算法策略可以避免浅层节点中有大量链接而浪费爬取资源的情况，同时也可以更快地发现目标数据。因此，深度优先遍历算法是网络爬虫常用的算法策略之一。
基于网页内容的分析算法指的是利用网页内容（文本、数据等资源）特征进行的网页评价。网页的内容从原来的以超文本为主，发展到后来动态页面（或称为Hidden Web）数据为主，后者的数据量约为直接可见页面数据（PIW，Publicly Indexable Web）的400~500倍。
另一方面，多媒体数据、Web Service等各种网络资源形式也日益丰富。因此，基于网页内容的分析算法也从原来的较为单纯的文本检索方法，发展为涵盖网页数据抽取、机器学习、数据挖掘、语义理解等多种方法的综合应用。本节根据网页数据形式的不同，将基于网页内容的分析算法，归纳以下三类：
第一种针对以文本和超链接为主的无结构或结构很简单的网页；
第二种针对从结构化的数据源（如RDBMS）动态生成的页面，其数据不能直接批量访问；
第三种针对的数据界于第一和第二类数据之间，具有较好的结构，显示遵循一定模式或风格，且可以直接访问。
