笔记

hulan | 用nodejs写个煎蛋妹子图爬虫

发布于 07-30 22:31 浏览:99 类型: 原创 - 随笔 分类:开发调试 举报

爬虫用到了几个模块,cheerio,iconv,async,request< p>cheerio是一个有着jQuery类似语法的文档解析模块,你可以简单理解为nodejs中的jQuery。< p>iconv是用于解析gbk编码的中文网站< p>request模块是一个HTTP客户端请求模块,使用非常简单,除支持一般http请求外,还可以更复杂的http请求,如:https请求、请示重定向、数据流转接、form表单提交、HTTP认证、OAuth登录、自定义HTTP header等。< p>async是一个异步流程控制模块,在这里我们主要用到async的mapLimit(coll, limit, iteratee, callback)< p>javascript 代码< strong>< p>async mapLimit(urls, 10, function (url, callback) { fetchUrl(url, callbac