Nodejs 值得收集的代码片段

[hualishu]

1 、关于 Nodejs 的静态资源压缩与缓存参见： Nodejs 打造静态资源服务器与文件上传刚学 Express 那会，动态文件的 gzip 压缩，好长一段时间都没找到合适的方法，才发现就是这么简单……
app.js 里添加 compression 模块：
先安装； var compress=require('compression');app.use(compress()); OK 了动态文件也能 gzip 压缩了；

2 、抓取妹子的图片：

复制代码

———————————————————————————————————————————————
//依赖模块
var fs = require('fs');
var request = require("request");
var cheerio = require("cheerio");
var mkdirp = require('mkdirp');

//目标网址
var url = 'http://me2-sex.lofter.com/tag/美女摄影?page=';

//本地存储目录
var dir = './images';

//创建目录
mkdirp(dir, function(err) {
if(err){
console.log(err);
}
});

//发送请求
request(url, function(error, response, body) {
if(!error && response.statusCode == 200) {
var $ = cheerio.load(body);
$('.img img').each(function() {
var src = $(this).attr('src');
console.log('正在下载' + src);
download(src, dir, Math.floor(Math.random()*100000) + src.substr(-4,4));
console.log('下载完成');
});
}
});

//下载方法
var download = function(url, dir, filename){
request.head(url, function(err, res, body){
request(url).pipe(fs.createWriteStream(dir + "/" + filename));
});
};
———————————————————————————————————————————————

3 、解压文件

复制代码

——————————————————————————————————————————————
var fs = require('fs'),

unzip = require('unzip');

//fs.createReadStream('./angular-swipe-master.zip').pipe(unzip.Extract({ path: './' }));
var extract = unzip.Extract({ path: './' });

extract.on('error', function(err) {

console.log(err);

});

extract.on('finish', function() {

console.log("unziped!!");

});

fs.createReadStream('./angular-swipe-master.zip').pipe(extract);

———————————————————————————————————————————————

压缩文件

复制代码

———————————————————————————————————————————————
var fs = require("fs");
var zip = require("node-native-zip");

var archive = new zip();

archive.addFiles([

{ name: "app.j", path: "./app.js" },
{ name: "package.json", path: "./package.json" }
], function (err) {
if (err) return console.log(err);

var buff = archive.toBuffer(); 

fs.writeFile("./test2.zip", buff, function () { 
    console.log("ziped"); 
});

});
———————————————————————————————————————————————

[hualishu]

这几个片段 可以保存下来 挺好用的

[chemzqm]

gzip 用 nginx 配置更方便控制，其它的 shell 脚本更灵活，做抓取还是 python 的库多些， node 的优势是异步和 stream 可以很大程度提高 io 效率

[hualishu]

@chemzqm 抓取 我自己比较喜欢 node

[breeswish]

nodejs 简单到可以轻易自己造一个爬虫了..