育才学习网1. 如何用Java写一个爬虫
最近刚好在学这个，对于一些第三方工具类或者库，一定要看官方tutorial啊。
学会用chrome network 分析请求，或者fiddler抓包分析。
普通的网页直接用了。知乎爬虫基于HttpClient写了一个网络连接线程池，并且封装了常用的get和post两种网页下载的方法。
(4)自动获取网页编码（爬虫主要技术点3）
自动获取网页编码是确保下载网页html不出现乱码的前提。知乎爬虫中提供方法可以解决绝大部分乱码下载网页乱码问题。
(5)网页解析和提取（爬虫主要技术点4）
使用Java写爬虫，常见的网页解析和提取方法有两种：利用开源Jar包Jsoup和正则。一般来说，Jsoup就可以解决问题，极少出现Jsoup不能解析和提取的情况。Jsoup强大功能，使得解析和提取异常简单。知乎爬虫采用的就是Jsoup。
(6)正则匹配与提取（爬虫主要技术点5）
虽然知乎爬虫采用Jsoup来进行网页解析，但是仍然封装了正则匹配与提取数据的方法，因为正则还可以做其他的事情，如在知乎爬虫中使用正则来进行url地址的过滤和判断。
(7)数据去重（爬虫主要技术点6）
对于爬虫，根据场景不同，可以有不同的去重方案。（1）少量数据，比如几万或者十几万条的情况，使用Map或Set便可；（2）中量数据，比如几百万或者上千万，使用BloomFilter（著名的布隆过滤器）可以解决；（3）大量数据，上亿或者几十亿，Redis可以解决。知乎爬虫给出了BloomFilter的实现，但是采用的Redis进行去重。
(8)设计模式等Java高级编程实践
除了以上爬虫主要的技术点之外，知乎爬虫的实现还涉及多种设计模式，主要有链模式、单例模式、组合模式等，同时还使用了Java反射。除了学习爬虫技术，这对学习设计模式和Java反射机制也是一个不错的案例。
4. 一些抓取结果展示
3. JAVA怎么弄爬虫
以下是一个使用java实现的简单爬虫核心代码： public void crawl() throws Throwable { while (continueCrawling()) { CrawlerUrl url = getNextUrl（)； //获取待爬取队列中的下一个URL if (url != null) { printCrawlInfo(); String content = getContent(url)； //获取URL的文本信息 //聚焦爬虫只爬取与主题内容相关的网页，这里采用正则匹配简单处理 if (isContentRelevant(content, this.regexpSearchPattern)) { saveContent(url, content)； //保存网页至本地 //获取网页内容中的链接，并放入待爬取队列中 Collection urlStrings = extractUrls(content, url); addUrlsToUrlQueue(url, urlStrings); } else { System.out.println(url + " is not relevant ignoring 。
")； } //延时防止被对方屏蔽 Thread.sleep(this.delayBetweenUrls); } } closeOutputStream(); }private CrawlerUrl getNextUrl() throws Throwable { CrawlerUrl nextUrl = null; while ((nextUrl == null) && (!urlQueue.isEmpty())) { CrawlerUrl crawlerUrl = this.urlQueue.remove(); //doWeHavePermissionToVisit：是否有权限访问该URL，友好的爬虫会根据网站提供的"Robot.txt"中配置的规则进行爬取 //isUrlAlreadyVisited:URL是否访问过，大型的搜索引擎往往采用BloomFilter进行排重，这里简单使用HashMap //isDepthAcceptable：是否达到指定的深度上限。爬虫一般采取广度优先的方式。
一些网站会构建爬虫陷阱（自动生成一些无效链接使爬虫陷入死循环），采用深度限制加以避免 if (doWeHavePermissionToVisit(crawlerUrl) && (!isUrlAlreadyVisited(crawlerUrl)) && isDepthAcceptable(crawlerUrl)) { nextUrl = crawlerUrl; // System.out.println("Next url to be visited is " + nextUrl); } } return nextUrl; }private String getContent(CrawlerUrl url) throws Throwable { //HttpClient4.1的调用与之前的方式不同 HttpClient client = new DefaultHttpClient(); HttpGet 了。知乎爬虫基于HttpClient写了一个网络连接线程池，并且封装了常用的get和post两种网页下载的方法。
（4）自动获取网页编码（爬虫主要技术点3）自动获取网页编码是确保下载网页html不出现乱码的前提。知乎爬虫中提供方法可以解决绝大部分乱码下载网页乱码问题。
（5）网页解析和提取（爬虫主要技术点4）使用Java写爬虫，常见的网页解析和提取方法有两种：利用开源Jar包Jsoup和正则。一般来说，Jsoup就可以解决问题，极少出现Jsoup不能解析和提取的情况。
Jsoup强大功能，使得解析和提取异常简单。知乎爬虫采用的就是Jsoup。
。展开下面说明知乎爬虫的源码和涉及主要技术点：（1）程序package组织（2）模拟登录（爬虫主要技术点1）要爬去需要登录的网站数据，模拟登录是必要可少的一步，而且往往是难点。
知乎爬虫的模拟登录可以做一个很好的案例。要实现一个网站的模拟登录，需要两大步骤是：（1）对登录的请求过程进行分析，找到登录的关键请求和步骤，分析工具可以有IE自带（快捷键F12）、Fiddler、HttpWatcher;(2)编写代码模拟登录的过程。
（3）网页下载（爬虫主要技术点2）模拟登录后，便可下载目标网页html了。知乎爬虫基于HttpClient写了一个网络连接线程池，并且封装了常用的get和post两种网页下载的方法。
（4）自动获取网页编码（爬虫主要技术点3）自动获取网页编码是确保下载网页html不出现乱码的前提。知乎爬虫中提供方法可以解决绝大部分乱码下载网页乱码问题。
（5）网页解析和提取（爬虫主要技术点4）使用Java写爬虫，常见的网页解析和提取方法有两种：利用开源Jar包Jsoup和正则。一般来说，Jsoup就可以解决问题，极少出现Jsoup不能解析和提取的情况。
Jsoup强大功能，使得解析和提取异常简单。知乎爬虫采用的就是Jsoup。
(6)正则匹配与提取（爬虫主要技术点5）虽然知乎爬虫采用Jsoup来进行网页解析，但是仍然封装了正则匹配与提取数据的方法，因为正则还可以做其他的事情，如在知乎爬虫中使用正则来进行url地址的过滤和判断。（7）数据去重（爬虫主要技术点6）对于爬虫，根据场景不同，可以有不同的去重方案。
（1）少量数据，比如几万或者十几万条的情况，使用Map或Set便可；（2）中量数据，比如几百万或者上千万，使用BloomFilter（著名的布隆过滤器）可以解决；（3）大量数据，上亿或者几十亿，Redis可以解决。知乎爬虫给出了BloomFilter的实现，但是采用的Redis进行去重。
（8）设计模式等Java高级编程实践除了以上爬虫主要的技术点之外，知乎爬虫的实现还涉及多种设计模式，主要有链模式、单例模式、组合模式等，同时还使用了Java反射。除了学习爬虫技术，这对学习设计模式和Java反射机制也是一个不错的案例。
4. 一些抓取结果展示收起。
5. java 爬虫怎么做
代码如下：package webspider;import java.util.HashSet;import java.util.PriorityQueue;import java.util.Set;import java.util.Queue;public class LinkQueue { // 已访问的 url 集合 private static Set visitedUrl = new HashSet（)； // 待访问的 url 集合 private static Queue unVisitedUrl = new PriorityQueue（)； // 获得URL队列 public static Queue getUnVisitedUrl() { return unVisitedUrl； } // 添加到访问过的URL队列中 public static void addVisitedUrl(String url) { visitedUrl.add(url)； } // 移除访问过的URL public static void removeVisitedUrl(String url) { visitedUrl.remove(url)； } // 未访问的URL出队列 public static Object unVisitedUrlDeQueue() { return unVisitedUrl.poll（)； } // 保证每个 url 只被访问一次 public static void addUnvisitedUrl(String url) { if (url != null && !url.trim().equals("") && !visitedUrl.contains(url) && !unVisitedUrl.contains(url)) unVisitedUrl.add(url)； } // 获得已经访问的URL数目 public static int getVisitedUrlNum() { return visitedUrl.size（)； } // 判断未访问的URL队列中是否为空 public static boolean unVisitedUrlsEmpty() { return unVisitedUrl.isEmpty（)； }}配合极光HTTP使用更佳喔。
6. java 爬虫怎么做
代码如下：
package webspider;
import
java.util.HashSet;
import java.util.PriorityQueue;
import
java.util.Set;
import java.util.Queue;
public class LinkQueue {
// 已访问的 url 集合
private static Set visitedUrl
= new HashSet();
// 待访问的 url 集合
private static Queue unVisitedUrl = new
PriorityQueue();
// 获得URL队列
public static Queue getUnVisitedUrl() {
return
unVisitedUrl;
}
// 添加到访问过的URL队列中
public static void addVisitedUrl(String url)
{
visitedUrl.add(url);
}
// 移除访问过的URL
public static void removeVisitedUrl(String url)
{
visitedUrl.remove(url);
}
// 未访问的URL出队列
public static Object unVisitedUrlDeQueue() {
return
unVisitedUrl.poll();
}
// 保证每个 url 只被访问一次
public static void addUnvisitedUrl(String url)
{
if (url != null && !url.trim().equals("") &&
!visitedUrl.contains(url)
&&
!unVisitedUrl.contains(url))
unVisitedUrl.add(url);
}
// 获得已经访问的URL数目
public static int getVisitedUrlNum() {
return
visitedUrl.size();
}
// 判断未访问的URL队列中是否为空
public static boolean unVisitedUrlsEmpty()
{
return unVisitedUrl.isEmpty();
}
}配合极光HTTP使用更佳喔