wgetコマンドを使用し、ブラウザ上の情報を取得する方法

Question

質問の内容がグレーな気がするので、問題があるようでしたらすぐに削除させていただきます。

あるサイトのIPアドレス一覧を毎日取得し、それを設定ファイルに書き入れる作業を行います。
手作業で.htaccessをダウンロードし、中身のIPアドレスを設定ファイルに記述をすれば問題ないのですが、毎日行う為、スクリプト化したいと考えております。

行った作業は、# wget (サイトURL) を行いましたが、赤枠で囲ってある.htaccessの情報は取得することが出来ませんでした。

どのようにすれば、ブラウザ上のダウンロードリンクの取得を行うことが出来るのでしょうか。

よろしくお願い致します。

Comments

[unau]

「あるサイト」というのは、自分が管理しているサイトではない、ということですか。http 経由で .htaccess ファイルにアクセスできないことは理解されていての、このご質問でしょうか。

[unau]

「ブラウザ上のダウンロードリンクの取得」というのもよくわからないのですが、どういう意味でしょうか。

[ysysys]

unauさん。自分が管理しているサイトではありません。また、http経由で.htaccess ファイルにアクセスできない。というのも理解が足りておりません。。　　　通常、サイト上にある ”.htaccessダウンロード” という箇所をクリックしてファイルのダウンロードを行うのですが、この作業をlinuxでコマンドを使用し、ファイルの取得が出来ないか？と考えておりました。

[unau]

ご自身が作った WEB ページがあり、画面には「.htaccessダウンロード」というボタンがある。そして、このボタンを押すと、.htaccess ファイルがダウンロードできる。ということですか。どこのサイトの .htaccess ファイルがダウンロードできるのですか。

[ysysys]

他人が作ったWEBページ内に「.htaccessダウンロード」というボタンがあります。このボタンをクリックし、ファイルのダウンロードを行うことができるのですが、この一連の作業をコマンドのみで行いたいです。　　　どこのサイトの.htaccessファイル。というのは、すいません、そのサイトで公開されている.htaccessファイルとしか分かっていません。。

Answer 1

ダウンロードリンクのURLに対して、wgetすればいいのでは？

Comments

[ysysys]

ダウンロードリンクのURLが確認が出来なかった為、wgetを行うことができませんでした。。

[otn]

？？何故確認できないのでしょうか？確認の仕方が分からない？

[ysysys]

クロームを使用しているのですが、リンク先にカーソルを合わせると、左下にリンクのURLが出るので、普段はそれを参考にしているのですが、「.htaccessダウンロード」のボタンにカーソルを合わせてもリンクが表示されない為、確認が出来ませんでした。。他にも確認の方法があるのでしょうか。。？

[otn]

ページのソースを読みます。

[ysysys]

初歩的な質問になってしまい、申し訳ありません。。
ソースを読み込みました。
<input type="submit" name="submit_download" class="w120" value=".htaccessダウンロード" /></form>

とありましたが、こちらをwgetする。ということでしょうか？

[otn]

まずformについて、勉強して下さい。

[scsi]

Form解析して、必要なCookieの情報などを調べ、curlコマンドで頑張るって感じですかね～

[ysysys]

formの知識が必要になるんですね。
勉強します！

[退会済みユーザー]

基本的に ".ht" から始まるファイルはアクセス不可に設定されてるはずだが

[can110]

某所で公開されているデータかな？
だとしたら「curl -F "submit_download=.htaccess～" http://～/」で取得できますね。

[otn]

formの中のtype="submit"のボタンを押すと、サーバーにどういうデータが送られるのかをformの内容から読み取って、それと同じデータが送られるようにwgetの--post-data=STRINGオプションで指定します(curlでもいいですが)。

[ysysys]

皆さんご丁寧にありがとうございます！
can110さんの方法で行うことが出来ました！

Answer 2

rcpとかrsyncで同期したりnfsで公開したり
サーバー側からftpなどでputしてもらうとか

Comments

[ysysys]

すいません。。勉強不足です。。
自分で管理しているサイトではないのですが、rcpやrsyncで同期を行えばURLの取得が出来るのでしょうか？
少し調べてみます。

Answer 3

ちょっときになったのですが、外部サイトに対して.htaccessをダウンロードしようとしています？
普通、設定しない限りhttp://ドメイン/.htaccessのようにダウンロードすることはできません。

Apache2.2系であれば下記のように設定されていると思います。

<FilesMatch "^\.ht">
	Order allow,deny
	Deny from all
	Satisfy All
</FilesMatch>

上記のような設定を無効にしない限り、下記のようなwgetコマンドでダウンロードすることはできません。

wget 'http://ドメイン/.htaccess'

「.ht」ファイルをアクセス可能にしている場合は、PHP上では下記のようにします。
php.iniの下記設定を確認します。

allow_url_fopen = On

HTMLは例えば、下記のように（index.html）します。

<form action="getinfo.php" method="get">
  <input type="button" name="show_ip_address" value="1" />
  <input type="button" name="gethtaccess" value="1" />
</form>

そして、PHPは例えば、下記のように（getinfo.php）します。

<?php 
if (! empty($_POST['gethtaccess'])) {
    $htaccess = file_get_contents('http://ドメイン/.htaccess');
    file_put_contents('保存ファイルパス', $htaccess);
}
?>

Comments

[ysysys]

詳しく教えていただき、ありがとうございます。
こちらを参考にしつつ、もう少し自分で調べてみます。