Linuxコマンドの組み合わせでリンク先のファイルを指定して取得したいです。知恵をお貸しいただけませんでしょうか？

何卒よろしくお願いします
###前提・実現したいこと
1行で実現したいです。
http://※※.comのhttmlファイルです。

1 <html>
2 <head>
3 <META http-equiv="Content-Type" content="text/html; charset=EUC-JP">
4 <title>ホームページ</title>
5 </head>
6 <frameset rows="180,*" cols="*" frameBorder="0">
7 <frame name="Titke" src="DataListTitle.php?MstCode=01234567&Time=2016062912" scrolling="no">
8 <frame name="Hyou" src="DataListHyou.php?MstCode=01234567&Time=2016062912" scrolling="yes">
9 </frameset>
10 <noframes></noframes>
11 </html>

のリンク先のデータ（?）

"DataListHyou.php?MstCode=01234567&Time=2016062912"

を

/home/hoge/Desktop/html/1_吉田/

に保存したいです。

DataListHyou.php?MstCode=01234567&Time=

以降の部分

2016062912

は
年月日時を表しているため、何年の何月何日の何時、全てに対応できるようにしたいです。

DataListHyou.php?MstCode=01234567&Time=

はリンクしていると思われます。
###該当のコマンド

wget -nd -O /home/yosida/Desktop/html/1_吉田/$(date '+%Y_%m_%d_%H:').html http://※※.com

###結果

エラーメーッセージは出力されませんが、結果がうまくいきません。

2016_07_12_18\:.html

の内容

1 <html>
2 <head>
3 <META http-equiv="Content-Type" content="text/html; charset=EUC-JP">
4 <title>ホームページ</title>
5 </head>
6 <frameset rows="180,*" cols="*" frameBorder="0">
7 <frame name="Titke" src="DataListTitle.php?MstCode=01234567&Time=2016062912" scrolling="no">
8 <frame name="Hyou" src="DataListHyou.php?MstCode=01234567&Time=2016062912" scrolling="yes">
9 </frameset>
10 <noframes></noframes>
11 </html>
と
DataListTitle.php?MstCode=01234567&Time=2016062912の中身
DataListHyou.php?MstCode=01234567&Time=2016062912の中身
がひとつにまとまったファイルが作成され、
/home/hoge/Desktop/html/1_吉田/
に保存されます。
作成されるファイルの中身は
 1 <html>
 2 <head>
 3 <META http-equiv="Content-Type" content="text/html; charset=EUC-JP">
 4 <title>ホームページ</title>
 5 </head>
 6 <frameset rows="180,*" cols="*" frameBorder="0">
 7 <frame name="Titke" src="DataListTitle.php?MstCode=01234567&Time=2016062912" scrolling="no">
 8 <frame name="Hyou" src="DataListHyou.php?MstCode=01234567&Time=2016062912" scrolling="yes">
 9 </frameset>
 10 <noframes></noframes>
 11 </html>

以下（DataListTitle.php?MstCode=01234567&Time=2016062912の中身）
  12 <html>
  13 <head>
  14 <link rel="stylesheet" media="all" href="Styles.css" type="text/css">
  15 <META http-equiv="Content-Type" content="text/html; charset=EUC-JP">
  16 <link rel="stylesheet" media="all" href="Styles.css" type="text/css">
                 〜省略〜
 158 </html>

以下（DataListHyou.php?MstCode=01234567&Time=2016062912の中身）
 159 <html>
 160 <head>
                 〜省略〜    
 4321                 <td width="40" class="hyoMenu_List"> </td>
 4322                 <td width="40" class="hyoMenu_List"> </td>
 4323             </tr>
 4324 
 4325     </table>
 4326     </td>
 4327   </tr></table>
 4328 </form>
 4329 </body>
 4330 </html>
です。

###試したこと
上記を参照してください。
wget -nd -O /home/yosida/Desktop/html/1_吉田/$(date '+%Y_%m_%d_%H:').html http://※※.com

###補足情報(言語/FW/ツール等のバージョンなど)
より詳細な情報
Ubuntu15.10
GNU Wget 1.16.1 built on linux-gnu.です。

###追記
w3mでサイトにアクセスした結果

  1 --FRAME--
  2     Titke（青色、リンクされている）
  3     Hyou（青色、リンクされている）

という状態でした。

grep Hyou 2016_07_12_18\:.html

だと

バイナリファイルに一致しました

と表示されたため、

grep -a Hyou 2016_07_12_18\:.html

だと

	<frame name="Hyou" src="DataListHyou.php?MstCode=01234567&Time=2016071216" scrolling="yes">

と出力されます。

これらをうまく組み合わせてファイルの取得をするにはどうしたらいいでしょうか？

よろしくお願いいたします。

行動規範の内容に同意します

回答2件

察するに、◯◯◯◯君のサイトの過去のデータをクローリングしたいのでしょうか？
技術的にはwget一行ではなくシェルスクリプト数行で可能ですが、
自己管理以外のサーバへの過度なアクセスは迷惑行為になりますので注意してください。

投稿2016/07/06 07:36

moonphase

総合スコア6621

dlrowolleh

2016/07/08 06:09

moonphase様お世話になります。ご回答いただきまいてありがとうございます。 >察するに、◯◯◯◯君のサイトの過去のデータをクローリングしたいのでしょうか？どうして察することができたのか不思議ですが、おっしゃるとおりです。私が必要としているのは、テーブルの左からの4つ部分の数字と、テーブルの右から4つ目の文字と、テーブルの右から8つめの数字です。 >技術的にはwget一行ではなくシェルスクリプト数行で可能ですが、 wget一行では実現できないのですね....。勉強不足でした。数行で可能ということでしたら、ぜひ教えていただけないでしょうか。 >自己管理以外のサーバへの過度なアクセスは迷惑行為になりますので注意してください。ＷｅｂブラウザのCtrl＋Sで保存するのと比較すると、どのくらいサーバに負担をかけるのでしょうか？また、Ｗｅｂブラウザからサイトにアクセスし、サイトを閲覧するのと比較するといかがでしょうか？迷惑をかけないようにするために１週間のうち2日、決まった時間になったら１度だけ自動的に保存したいと思っています。迷惑をかけないようにしたいと考えていますが、現在APIは使えず、シェルスクリプトで自作するという形になっています。また、できるだけ負担をかけないようにする方法等がありましたら、ぜひご教授いただきたいです。よろしければ、察することができた理由等も教えていただけませんでしょうか？何卒よろしくお願いたします。

行動規範の内容に同意します

wgetだけでやるのは無理じゃないですか。少なくともシェルスクリプトくらい使わないと。

投稿2016/07/06 06:59

shi_ue

総合スコア4437

dlrowolleh

2016/07/10 13:54

shi_ue様はじめまして。ご回答いただきありがとうございます。 wget一行だけでは不可能ということがわかりました。 >少なくともシェルスクリプトくらい使わないと。シェルスクリプトでプログラムを書くということで合っていますか？スクレイピングをしたいと考えています。 #!/bin/sh wget -nd -O /home/yosida/Desktop/html/1_吉田/$(date '+%Y_%m_%d_%H:').html http://※※.com からどのようなプログラムになるのかなどのアドバイスを頂けたら幸いです。 curlコマンドの方が良いでしょうか？知恵をお借しいただけましたら幸いです。何卒よろしくお願いいたします。

行動規範の内容に同意します

あなたの回答