node.jsでスクレイピング（cheerio版）

以前、node.ioを使ったスクレイピングについての記事を書きましたが、cheerioというライブラリ(XML/HTML parser)を使った方が簡単だということに気付いたので、そちらを紹介

cheerio インストール

$ npm install cheerio

1	$ npm install cheerio

サンプル

var request = require("request");
var cheerio = require("cheerio");

request(
	{
		uri: "https://gunmagisgeek.com/blog/",
	}, 
	function(error, response, body) {
		var $ = cheerio.load(body); //取得したページのbody部をパース

		$(".entry-title > a").each(function() { //パースした内容にはjQuery風のセレクタでアクセスできる
			var link = $(this);
			var text = link.text();
			var href = link.attr("href");

			console.log(text + " -> " + href);
		});
	}
);

var request = require("request");

var cheerio = require("cheerio");

request(

{

uri: "https://gunmagisgeek.com/blog/",

function(error, response, body) {

var $ = cheerio.load(body); //取得したページのbody部をパース

$(".entry-title > a").each(function() { //パースした内容にはjQuery風のセレクタでアクセスできる

var link = $(this);

var text = link.text();

var href = link.attr("href");

console.log(text + " -> " + href);

});

}

);

こっちの方が簡単ですね。

【追記】
どうも、ちゃんと取得できないときがあるっぽい。

> $("channel > link").toString()
'<link>'
> $("channel > title").toString()
'<title>GUNMA GIS GEEK</title>'

> $("channel > link").toString()

'<link>'

> $("channel > title").toString()

'<title>GUNMA GIS GEEK</title>'

node.jsでスクレイピング（cheerio版）

投稿者: shimizu

“node.jsでスクレイピング（cheerio版）” への1件の返信