学生です。現在Node.jsでcheerio-httpcliモジュールを使い画像のスクレピングをしようとしています。
以下の記載してある画像のダウンロードを再起処理を用いて起点のURLから4階層にわたりページ上にリンクされている画像を保存していくのですが、ダウンロードした画像がボケたりモザイクがかかるものがありうまくスクレイピングができていない状況です。
勉学のためにもどなたか知恵を貸していただけないでしょうか。
よろしくお願いします。
$("img").each(function (idx) {
var src = $(this).attr('src');
// 相対パスを絶対パスに変更
src = URL.resolve(url, src);
// 保存用のファイル名を作成 --- (※7)
var fname = URL.parse(src).pathname;
fname = savedir + "/" + fname.replace(/[^a-zA-Z0-9.]+/g, '_');
// ダウンロード --- (※8)
request(src).pipe(fs.createWriteStream(fname));
console.log('取得');
});
あなたの回答
tips
プレビュー