\r\n\r\n\r\n\r\n\r\n

\r\n\r\n\t\r\n\t \r\n\t

\r\n\t\t\r\n\t\t\t\t\t\r\n\t\t\t\t\r\n\t\t\t\t\r\n\t\t\t\t\r\n\t\t\t\t\r\n\t\t\t\t \r\n\t\t\t\t\t\r\n\t\t\t\t\t\t\t\t\r\n\t\t\t\t\r\n\t\t\t\t\r\n\t\t\t\t\r\n\t\t\t\t\t\t\t\t\t\r\n\t\t\t\t\t\t\t\t\r\n\t\t\t\t\r\n\t\t\t\t\r\n\t\t\t\t\t\t\t\t\t\r\n\t\t\t\t\t\t\t\t\r\n\t\t\t\t\r\n\t\t\t\t\r\n\t\t\t\t\r\n\t\t\t\t\r\n\t\t\t\t\r\n\t\t\t\r\n ～以下省略～\r\n\t\t\t\t\t\t\t\t\r\n```\r\nという感じです。\r\nよろしくお願いします。","answerCount":1,"upvoteCount":1,"datePublished":"2016-06-14T07:08:47.342Z","dateModified":"2022-01-12T10:55:45.698Z","suggestedAnswer":[{"@type":"Answer","text":"こちらでどうでしょうか。\r\n\r\nwget -r -l1 -nd -P \"/home/yosida/Desktop/html/1_吉田/$(date '+%Y_%m_%d_%H:').html\" http://※※.com","dateModified":"2016-06-14T07:33:14.560Z","datePublished":"2016-06-14T07:33:14.560Z","upvoteCount":3,"url":"https://teratail.com/questions/37950#reply-60455","comment":[{"@type":"Comment","text":"-K_O- さん\r\nはじめまして。\r\n素早くお答えいただきましてありがとうございます。\r\nとても助かりました。\r\n早速実行してみました。\r\nすると、\r\n1_吉田ディレクトリの中に、コマンド実行時の年_月_日:.htmlディレクトリ\r\n2016_06_22_15:.html\r\nが作成され、\r\n2016_06_22_15:.html\r\nディレクトリの中に、\r\nＷｅｂブラウザで表示した時の※※.comのデータであると思われる\r\n\r\nDataList.php?MstCode=01234567\r\nDataListHyou.php?MstCode=01234567&Time=2016062215\r\nDataListTitle.php?MstCode=01234567&Time=2016062215\r\n\r\nが入っていました。\r\n\r\n取得するデータを\r\n\r\nDataListHyou.php?MstCode=01234567&Time=2016062215\r\n\r\nだけにし、尚且つ、\r\n\r\n1_吉田 \r\n\r\nディレクトリの中に、\r\nコマンド実行時の年_月_日:.htmlディレクトリ\r\n\r\n2016_06_22_15:.html\r\n\r\nを作成しないしないようにするにはどうしたらいいでしょうか。\r\n\r\nまた、\r\n\r\nDataListHyou.php?MstCode=01234567&Time=2016062215\r\n\r\nの\r\n\r\n Time=2016062215\r\nの部分はウェブページ表示中の年月日を表しているようなので\r\n\r\nDataListHyou.php?MstCode=01234567&Time=2016062215\r\n\r\nの\r\n\r\nDataListHyou.\r\n\r\n以降は任意の文字列何でも良いとしたいと思っています。\r\n\r\n更にこれを一行で済ませようとしたいです。\r\nコマンドはどのようになりますでしょうか？\r\n\r\nこれらを利用して、\r\n 1_吉田\r\n 　｜--DataListHyou.php?MstCode=01234567&Time=2016062215\r\n 　｜--DataListHyou.php?MstCode=01234567&Time=2016062216\r\n 　｜--DataListHyou.php?MstCode=01234567&Time=2016062217\r\n 　---DataListHyou.php?MstCode=01234567&Time=2016062218\r\n\r\nのようにしたいです。\r\n\r\n長文大変失礼しました。\r\n何卒よろしくお願いします。","datePublished":"2016-06-22T06:40:17.191Z","dateModified":"2016-06-22T06:40:17.191Z"},{"@type":"Comment","text":"Oオプションを使えば、指定のファイル名で保存することができ、\r\nndオプションでは念のためディレクトリを作成しないオプションをつけております。\r\n\r\nこちらでいかがでしょうか。\r\nwget -nd -O /home/yosida/Desktop/html/1_吉田/$(date '+%Y_%m_%d_%H:').html http://※※.com","datePublished":"2016-06-23T06:42:25.725Z","dateModified":"2016-06-23T06:42:25.725Z"},{"@type":"Comment","text":"-K_O- さん\r\n度々コメントいただきありがとうございます。\r\n\r\n早速、\r\nwget -nd -O /home/yosida/Desktop/html/1_吉田/$(date '+%Y_%m_%d_%H:').html http://※※.com\r\nを実行しました。\r\n\r\nうまく、/home/yosida/Desktop/html/1_吉田/の中に※※.comの\r\nhtmlファイルを取得し、保存することが出来ました。\r\nありがとうございました。\r\n\r\n2016_06_29_14:.htmlを早速確認しましたところ、\r\nどうやら私が勘違いして\r\n支離滅裂な質問をしていたみたいです。\r\n私が欲しいデータの\r\nDataListHyou.php?MstCode=01234567&Time=2016062218\r\nの中身ではありませんでした。\r\n\r\n2016_06_29_14:.htmlのリンク先の\r\nDataListHyou.php?MstCode=01234567&Time=2016062217\r\nを取得したいです。\r\nさらに\r\nDataListHyou.php?MstCode=01234567&Time=2016062217\r\nの\r\nDataListHyou.php?MstCode=01234567&Time=\r\n以降の10コの数字は年月日を表現しています。\r\nなので任意の文字列として扱え、*が使えるのではないかと自分では考えております。\r\n\r\n要するに、Ｗｅｂブラウザで※※.comと入力した時に表示される時のデータ\r\nの中の\r\nDataListHyou.php?MstCode=01234567&Time=”任意の文字列”\r\nを\r\nwgetコマンド１行で\r\n/home/yosida/Desktop/html/1_吉田/に保存するにはどうすればのでしょうか\r\nという質問になると思ったのですが、\r\nそれは可能でしょうか？\r\n\r\nちなみに、\r\nwget -nd -O /home/yosida/Desktop/html/1_吉田/$(date '+%Y_%m_%d_%H:').html http://※※.com\r\nで実行した際に取得でき、保存した2016_06_29_14:.htmlの中身ですが、\r\n\r\n 1 \r\n 2 \r\n 3 \r\n 4 ホームページ\r\n 5 \r\n 6 \r\n 7 \r\n 8 \r\n 9 \r\n 10 \r\n 11 \r\n \r\n私の質問、実現したいことがコロコロと変わり、何度も質問してしまって大変申し訳無いのですが、\r\nどのようにコマンドを変更すればいいでしょうか？\r\nよろしくお願いいたします。","datePublished":"2016-06-29T05:16:56.578Z","dateModified":"2016-06-29T05:16:56.578Z"}]}],"breadcrumb":{"@type":"BreadcrumbList","itemListElement":[{"@type":"ListItem","position":1,"name":"トップ","url":"https://teratail.com"},{"@type":"ListItem","position":2,"name":"Webサイトに関する質問","url":"https://teratail.com/tags/Web%E3%82%B5%E3%82%A4%E3%83%88"},{"@type":"ListItem","position":3,"name":"Webサイト","url":"https://teratail.com/tags/Web%E3%82%B5%E3%82%A4%E3%83%88"}]}}}

回答率: 85.29%

質問するログイン新規登録

トップ Webサイトに関する質問

Q&A

1回答

5272閲覧

Linux環境でwgetコマンドを使ってウェブからhtmlデータを取得したい

総合スコア120

1グッド

1クリップ

投稿2016/06/14 07:08

編集2016/07/21 12:04

1

1

初めて利用させていただく初心者です。
何かとよろしくお願いいたします。

###前提・実現したいこと

Linux環境でウェブサイトからデータをダウンロードしたいと思ってます。

・wgetコマンド1行で実現したい
・１_吉田ディレクトリに保存したい
・取得するデータファイルの名前をコマンド実行時の"年_月_日_時:"に変更したい
・取得するファイルは１つのファイルにまとめられてもかまわないが -r -l1 を使いたい
・ディレクトリは作らないで、ファイルだけを作成したい

以上を実現するコマンドに修正していただきたいです。

初心者の私には難しかったためどうにもならず、質問いたしました。
先輩方のお力をどうぞ貸していただけないでしょうか。
よろしくお願いいたします。

###発生している問題・エラーメッセージ
1_吉田ディレクトリに保存できなくて困っています。

試したこと参照してください。

###該当のソースコード

wget -r -l1 -nd -P /home/yosida/Desktop/html/1_吉田/ -O "$(date '+%Y_%m_%d_%H:').html" http://※※.com

###試したこと
1_吉田ディレクトリの場所は
1_吉田ディレクトリ内で

pwd

と入力すると

/home/yosida/Desktop/html/1_吉田

と表示されます。

そのため、

wget -r -l1 -nd -P /home/yosida/Desktop/html/1_吉田/ -O "$(date '+%Y_%m_%d_%H:').html" http://※※.com

と実行すると、
実行したディレクトリに保存され、元から空っぽだった1_吉田ディレクトリを見ると空っぽのままです。
たとえば、
Aディレクトリにいるときに実行した時、
Aディレクトリに2016_06_06_15：.htmlファイルができます。
この時、元から空っぽだった1_吉田ディレクトリを見ると空っぽのままです。

同様にBディレクトリにいて実行した時も
Bディレクトリに2016_06_06_15：.htmlファイルができます。
この時、元から空っぽだった1_吉田ディレクトリを見ると空っぽのままです。
###補足情報(言語/FW/ツール等のバージョンなど)
より詳細な情報
GNU Wget 1.16.1 built on linux-gnu.です。

###追記

wget -r -l1 -nd -O /home/yosida/Desktop/html/1_吉田/$(date '+%Y_%m_%d_%H:').html http://sample.com

と変更しました。

すると、

2016_06_24_15:.html

の中身が、

DataList.php?MstCode=01234567
DataListHyou.php?MstCode=01234567&Time=2016062215
DataListTitle.php?MstCode=01234567&Time=2016062215

の中身の結合されたものになっていました。

2016_06_29_14:.htmlのリンク先の
DataListHyou.php?MstCode=01234567&Time=2016062217
を取得したいです。
さらに
DataListHyou.php?MstCode=01234567&Time=2016062217
の
DataListHyou.php?MstCode=01234567&Time=
以降の10コの数字は年月日を表現しています。
なので任意の文字列として扱え、*が使えるのではないかと自分では考えております。

要するに、Ｗｅｂブラウザで※※.comと入力した時に表示される時のデータ
の中の
DataListHyou.php?MstCode=01234567&Time=”任意の文字列”
を
wgetコマンド１行で
/home/yosida/Desktop/html/1_吉田/に保存するにはどうすればのでしょうか
という質問になると思ったのですが、
それは可能でしょうか？

ちなみに、
wget -nd -O /home/yosida/Desktop/html/1_吉田/$(date '+%Y_%m_%d_%H:').html http://sample.com
で実行した際に取得でき、保存した2016_06_29_14:.htmlの中身ですが、

1 <html>
2 <head>
3 <META http-equiv="Content-Type" content="text/html; charset=EUC-JP">
4 <title>ホームページ</title>
5 </head>
6 <frameset rows="180,*" cols="*" frameBorder="0">
7 <frame name="Titke" src="DataListTitle.php?MstCode=01235467&Time=2016062912" scrolling="no">
8 <frame name="Hyou" src="DataListHyou.php?MstCode=01234567&Time=2016062912" scrolling="yes">
9 </frameset>
10 <noframes></noframes>
11 </html>

です。
8行目の

8 <frame name="Hyou" src="DataListHyou.php?MstCode=01234567&Time=2016062912" scrolling="yes">

"DataListHyou.php?MstCode=01234567&Time=2016062912"

の部分を保存したいです。

"DataListHyou.php?MstCode=01234567&Time=2016062912"

はリンク先なのでしょうか？
それとも

.php

とついているため、PHPファイルかもしれません。

"DataListHyou.php?MstCode=01234567&Time=2016062912"

はブラウザで開くことができます。
表に数字・文字などのデータが入っています。

<html>
<head>
<title>タイトル</title>
<link rel="stylesheet" media="all" href="Styles.css" type="text/css">
<META http-equiv="Content-Type" content="text/html; charset=EUC-JP">
<script language="javascript">
<!--
function Check(){
	if(document.Form1.Err.value!=""){
		parent.location="ErrMsg.php?Err="+document.Form1.Err.value;
	}
		
}
-->
</script>

</head>

<body MS_POSITIONING="GridLayout" class="bodyInfo" onLoad="Check()">
<form name="Form1" action="">
<input type="hidden" name="Err" value="">
	<table border="0" cellpadding="0" cellspacing="0" style="position:absolute; top:0px; left:5px;">
	  <tr>
	<td>
		<table style="font-size:12px;" border="1" class="hyoMenu" width="870">
					<tr align="right">
				<td width="40" bgcolor="#FFFFCC">データ</td>
				<td width="20" bgcolor="#FFFFCC">データ</td>
				<td width="20" bgcolor="#FFFFCC">データ</td>
				<td width="20" bgcolor="#FFFFCC">データ</td>
				 
					<td width="40" bgcolor="#FFFFCC">0.001</td>
								<td width="40" bgcolor="#FFFFCC">データ</td>
				<td width="40" bgcolor="#FFFFCC">データ</td>
				<td width="40" bgcolor="#FFFFCC">データ</td>
				<td width="40" bgcolor="#FFFFCC">データ</td>
									<td width="40" bgcolor="#FFFFCC">データ</td>
								<td width="40" bgcolor="#FFFFCC"> </td>
				<td width="40" bgcolor="#FFFFCC">データ</td>
				<td width="40" bgcolor="#FFFFCC">データ</td>
									<td width="40" bgcolor="#FFFFCC">データ</td>
								<td width="45" bgcolor="#FFFFCC">データ</td>
				<td width="40" bgcolor="#FFFFCC">データ</td>
				<td width="40" bgcolor="#FFFFCC">データ</td>
				<td width="40" bgcolor="#FFFFCC">データ</td>
				<td width="40" bgcolor="#FFFFCC">データ</td>
				<td width="40" bgcolor="#FFFFCC">データ</td>
			</tr>
              ～以下省略～

という感じです。
よろしくお願いします。

2016/07/20 08:35

保存したhtmlファイルに記載されているリンク先を保存したいという認識でよいでしょうか。そのリンク先のURLはあらかじめ予測できるのか、それともhtmlを開くまでわからないものどちらになるでしょうか。また、後者の場合、単体でURLを開くことは出来るか(クッキーやパラメータを送っていないか)という点もあわせて教えていただけますと助かります。ただし、指定したＵＲＬのファイルの更にリンク先を保存するというのはwgetだけでは無理なのではと思っております。

2016/07/21 12:09

情報を追記しました。一言でまとめますと、よろしくお願いいたします。 DataListHyou.php?MstCode=01234567&Time=2016062912 がほしいです。 DataListHyou.php?MstCode=01234567&Time=2016062912 はPHPなのか、リンク先なのかということですが、当方Webページの仕組みがよく分からないためそのあたりもご教授いただけましたら大変幸いです。何卒よろしくお願いいたします。

2016/07/21 12:11

誤字があったため、修正いたします。一言でまとめますと、 DataListHyou.php?MstCode=01234567&Time=2016062912 がほしいです。 DataListHyou.php?MstCode=01234567&Time=2016062912 はPHPなのか、リンク先なのかということですが、当方Webページの仕組みがよく分からないためそのあたりもご教授いただけましたら大変幸いです。何卒よろしくお願いいたします。

2016/07/29 06:31

wgetだけでは、保存したhtmlに記載されているリンク先のみを保存することが出来ません。他のファイルも保存しても良いならできるかもしれません

行動規範の内容に同意します

回答1件

0

こちらでどうでしょうか。

wget -r -l1 -nd -P "/home/yosida/Desktop/html/1_吉田/$(date '+%Y_%m_%d_%H:').html" http://※※.com

投稿2016/06/14 07:33

総合スコア158

2016/06/22 06:40

-K_O- さんはじめまして。素早くお答えいただきましてありがとうございます。とても助かりました。早速実行してみました。すると、 1_吉田ディレクトリの中に、コマンド実行時の年_月_日:.htmlディレクトリ 2016_06_22_15:.html が作成され、 2016_06_22_15:.html ディレクトリの中に、Ｗｅｂブラウザで表示した時の※※.comのデータであると思われる DataList.php?MstCode=01234567 DataListHyou.php?MstCode=01234567&Time=2016062215 DataListTitle.php?MstCode=01234567&Time=2016062215 が入っていました。取得するデータを DataListHyou.php?MstCode=01234567&Time=2016062215 だけにし、尚且つ、 1_吉田ディレクトリの中に、コマンド実行時の年_月_日:.htmlディレクトリ 2016_06_22_15:.html を作成しないしないようにするにはどうしたらいいでしょうか。また、 DataListHyou.php?MstCode=01234567&Time=2016062215 の Time=2016062215 の部分はウェブページ表示中の年月日を表しているようなので DataListHyou.php?MstCode=01234567&Time=2016062215 の DataListHyou. 以降は任意の文字列何でも良いとしたいと思っています。更にこれを一行で済ませようとしたいです。コマンドはどのようになりますでしょうか？これらを利用して、 1_吉田　｜--DataListHyou.php?MstCode=01234567&Time=2016062215 　｜--DataListHyou.php?MstCode=01234567&Time=2016062216 　｜--DataListHyou.php?MstCode=01234567&Time=2016062217 　---DataListHyou.php?MstCode=01234567&Time=2016062218 のようにしたいです。長文大変失礼しました。何卒よろしくお願いします。

2016/06/23 06:42

Oオプションを使えば、指定のファイル名で保存することができ、 ndオプションでは念のためディレクトリを作成しないオプションをつけております。こちらでいかがでしょうか。 wget -nd -O /home/yosida/Desktop/html/1_吉田/$(date '+%Y_%m_%d_%H:').html http://※※.com

2016/06/29 05:16

-K_O- さん度々コメントいただきありがとうございます。早速、 wget -nd -O /home/yosida/Desktop/html/1_吉田/$(date '+%Y_%m_%d_%H:').html http://※※.com を実行しました。うまく、/home/yosida/Desktop/html/1_吉田/の中に※※.comの htmlファイルを取得し、保存することが出来ました。ありがとうございました。 2016_06_29_14:.htmlを早速確認しましたところ、どうやら私が勘違いして支離滅裂な質問をしていたみたいです。私が欲しいデータの DataListHyou.php?MstCode=01234567&Time=2016062218 の中身ではありませんでした。 2016_06_29_14:.htmlのリンク先の DataListHyou.php?MstCode=01234567&Time=2016062217 を取得したいです。さらに DataListHyou.php?MstCode=01234567&Time=2016062217 の DataListHyou.php?MstCode=01234567&Time= 以降の10コの数字は年月日を表現しています。なので任意の文字列として扱え、*が使えるのではないかと自分では考えております。要するに、Ｗｅｂブラウザで※※.comと入力した時に表示される時のデータの中の DataListHyou.php?MstCode=01234567&Time=”任意の文字列” を wgetコマンド１行で /home/yosida/Desktop/html/1_吉田/に保存するにはどうすればのでしょうかという質問になると思ったのですが、それは可能でしょうか？ちなみに、 wget -nd -O /home/yosida/Desktop/html/1_吉田/$(date '+%Y_%m_%d_%H:').html http://※※.com で実行した際に取得でき、保存した2016_06_29_14:.htmlの中身ですが、 1 <html> 2 <head> 3 <META http-equiv="Content-Type" content="text/html; charset=EUC-JP"> 4 <title>ホームページ</title> 5 </head> 6 <frameset rows="180,*" cols="*" frameBorder="0"> 7 <frame name="Titke" src="DataListTitle.php?MstCode=０１２３４５６７&Time=2016062912" scrolling="no"> 8 <frame name="Hyou" src="DataListHyou.php?MstCode=０１２３４５６７&Time=2016062912" scrolling="yes"> 9 </frameset> 10 <noframes></noframes> 11 </html> 私の質問、実現したいことがコロコロと変わり、何度も質問してしまって大変申し訳無いのですが、どのようにコマンドを変更すればいいでしょうか？よろしくお願いいたします。

行動規範の内容に同意します

あなたの回答

tips

プレビュー

行動規範の内容に同意します

質問の解決につながる回答をしましょう。サンプルコードなど、より具体的な説明があると質問者の理解の助けになります。また、読む側のことを考えた、分かりやすい文章を心がけましょう。

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう！

ただいまの回答率
85.29%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

関連した質問

トップ Webサイトに関する質問

Linux環境でwgetコマンドを使ってウェブからhtmlデータを取得したい

データ

データ

データ

データ

0.001

データ

データ

データ

データ

データ

データ

データ

データ

データ

データ

データ

データ

データ

データ