育才学习网1. 如何自己写一个网络爬虫
网络爬虫以叫网络蜘蛛，网络机器人，这是一个程序，其会自动的通过网络抓取互联网上的网页，这种技术一般可能用来检查你的站点上所有的链接是否是都是有效的。当然，更为高级的技术是把网页中的相关数据保存下来，可以成为搜索引擎。
从技相来说，实现抓取网页可能并不是一件很困难的事情，困难的事情是对网页的分析和整理，那是一件需要有轻量智能，需要大量数学计算的程序才能做的事情。下面一个简单的流程：
在这里，我们只是说一下如何写一个网页抓取程序。
首先我们先看一下，如何使用命令行的方式来找开网页。
telnet somesite.com 80
GET /index.html HTTP/1.0
按回车两次
使用telnet就是告诉你其实这是一个socket的技术，并且使用HTTP的协议，如GET方法来获得网页，当然，接下来的事你就需要解析HTML文法，甚至还需要解析Javascript，因为现在的网页使用Ajax的越来越多了，而很多网页内容都是通过Ajax技术加载的，因为，只是简单地解析HTML文件在未来会远远不够。当然，在这里，只是展示一个非常简单的抓取，简单到只能做为一个例子，下面这个示例的伪代码：
取网页for each 链接 in 当前网页所有的链接{ if（如果本链接是我们想要的 || 这个链接从未访问过） { 处理对本链接 把本链接设置为已访问 }}
require “rubygems”require “mechanize”class Crawler
2. 用python写网络爬虫 书怎么样
用python写网络爬虫 书怎么样
爬虫的重点是在Python之外的。确切说是一些前端和部分后端技术（cookie之类的）以及一些HTTP协议相关知识。
而对于python而言，只是获取内容（HTTP请求）和文本处理（抓内容），基本上看俩模块文档看几个框架文档都够用了。
至于更高级的，比如挂phatomjs之类，主要工作都在于js而不是python了。
所以基本上你搜到的买到的教程，大都落伍了，既赶不上前端的发展，也赶不上python模块的演进。
3. 什么是网络爬虫以及怎么做它
网络爬虫：是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。
做法：传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
4. 各种语言写网络爬虫有什么优点缺点
其实都是多线程调度的问题
理论上应该是用汇编语言写最好，不过最复杂，其次应该是OC语言写，因为苹果是高度软硬件结合的，里面的GCD是根据苹果电脑量身定做的，所以用OC写网络爬虫，理论上速度可以很快也可以充分发挥电脑的性能。然后是C与C++，好像可以调度显卡OPENGL的接口，可以做到很高程度的并发任务，最后是其他语言。。。大多都是高级语言，如C#是基于C++的，越高级语言写起来越方便，但是运行效率就越低。但是苹果的SWIFT例外吧，毕竟这货是根据苹果系统硬件量身定做的，跟C#、java这些不同，比方说java是为了做到一次编码、到处运行的语言，所以说必须制定一些标准出来给硬件、系统等适应，这些标准不可能追求性能，因为要顾及到性价比，不可能每个人都能用最顶级的CPU、内存等，所以必须做出妥协，一妥协性能就很难追上来了。
所以可以这样说，爬虫，性能越好，语言、复杂度就越难，因此排名应该是
1、汇编
2、Object-C
3、C与C++
4、其他语言
而swift介于2与3之间。
5. 什么网络爬虫
多次被人问到这个问题，看来需要做一点说明，这里简单介绍一下搜索引擎的机器爬虫的制作和一些基本要注意的事项。
说的简单易懂一些，网络爬虫跟你使用的〖离线阅读〗工具差不多。说离线，其实还是要跟网络联结，否则怎么抓东西下来？
那么不同的地方在哪里？
1】 网络爬虫高度可配置性。
2】 网络爬虫可以解析抓到的网页里的链接
3】 网络爬虫有简单的存储配置
4】 网络爬虫拥有智能的根据网页更新分析功能
5】 网络爬虫的效率相当的高
那么依据特征，其实也就是要求了，如何设计爬虫呢？要注意哪些步骤呢？
1】 url 的遍历和纪录
这点 larbin 做得非常的好，其实对于url的遍历是很简单的，例如：
cat [what you got]| tr \" \\n | gawk '{print $2}' | pcregrep ^ 一天可以轻松爬下5个G的数据。大约20万网页。
3】时间更新控制
最傻的做法是没有时间更新权重，一通的爬，回头再一通的爬。
通常在下一次爬的的数据要跟上一次进行比较，如果连续5次都没有变化，那么将爬这个网页的时间间隔扩大1倍。
如果一个网页在连续5次爬取的时候都有更新，那么将设置的爬取时间缩短为原来的1/2。
注意，效率是取胜的关键之一。
4】爬的深度是多少呢？
看情况了。如果你比较牛，有几万台服务器做网络爬虫，我劝您跳过这一点。
如果你同我一样只有一台服务器做网络爬虫，那么这样一个统计您应该知道：
网页深度：网页个数：网页重要程度
0 : 1 : : 10
1 :20 : :8
2: :600: :5
3: :2000: :2
4 above: 6000： 一般无法计算
好了，爬到三级就差不多了，再深入一是数据量扩大了3/4倍，二是重要度确下降了许多，这叫做“种下的是龙种，收获的是跳蚤。”
5】爬虫一般不之间爬对方的网页，一般是通过一个Proxy出去，这个proxy有缓解压力的功能，因为当对方的网页没有更新的时候，只要拿到 header 的 tag就可以了，没有必要全部传输一次了，可以大大节约网络带宽。
apache webserver里面纪录的 304 一般就是被cache的了。
6】请有空的时候照看一下robots.txt
7】存储结构。
这个人人见智，google 用 gfs 系统，如果你有7/8台服务器，我劝你用NFS系统，要是你有70/80个服务器的话我建议你用afs 系统，要是你只有一台服务器，那么随便。
给一个代码片断，是我写的新闻搜索引擎是如何进行数据存储的：
NAME=`echo $URL |perl -p -e 's/([^\w\-\.\@])/$1 eq "\n" ? "\n":sprintf("%%%2.2x",ord($1))/eg'`
mkdir -p $AUTHOR
newscrawl.pl $URL --user-agent="news.booso.com+(+)" -outfile=$AUTHOR/$NAME
Posted at November 10, 2004 01:04 PM by Liang at 01:04 PM | Comments (2) | TrackBack(0) | Booso!|