質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
MySQL

MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

WordPress

WordPressは、PHPで開発されているオープンソースのブログソフトウェアです。データベース管理システムにはMySQLを用いています。フリーのブログソフトウェアの中では最も人気が高く、PHPとHTMLを使って簡単にテンプレートをカスタマイズすることができます。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

Q&A

3回答

3199閲覧

php wordpress スクレイピングプログラム導入解説

sssshin

総合スコア27

MySQL

MySQL(マイエスキューエル)は、TCX DataKonsultAB社などが開発するRDBMS(リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。

WordPress

WordPressは、PHPで開発されているオープンソースのブログソフトウェアです。データベース管理システムにはMySQLを用いています。フリーのブログソフトウェアの中では最も人気が高く、PHPとHTMLを使って簡単にテンプレートをカスタマイズすることができます。

PHP

PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。

0グッド

0クリップ

投稿2016/05/18 19:05

こちらを使用してスクレイピングするサイトを作成しようと思っています。
しかし導入の仕方が冒頭の部分からわかりません。DBの設定のあたりから。
スクレイピングプログラム設置方法

詳しい解説等載ってるサイト、または使い方を教えていただけないでしょうか?
よろしくお願いします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答3

0

やめたほうが良いです。
スクレイピングは設定を少し間違うだけで他人のサイトに迷惑をかける可能性があります。
この説明で通じないのであれば、そもそもこのスクリプトの動作を理解されていないのだと思います。理解しないスクリプトを使用したスクレイピングは迷惑を可能性が高いです。

少なくとも、外部サイトへアクセスしている箇所とそれを呼び出している箇所程度は理解できるようになってから再度問い合わせて下さい。
まぁ、そこまで読めば、問い合わせる必要は無くなると思いますが。

投稿2016/05/18 22:47

編集2016/05/18 23:01
退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

sssshin

2016/05/19 04:07

ご回答ありがとうございます。 危険性は少しですがわかっています。勉強の為にしたいと言うのが強いので悪用する気はありません。 ありがとうございます危険が無いようにします。
退会済みユーザー

退会済みユーザー

2016/05/19 05:14

勉強で他のサイトに迷惑をかける選択をしないようにして下さい。 悪意の有無は関係ありません。 このコメントでは、理解していないとしか思えないのですが。。。 例をあげると ・再帰的にリンクをたどるプログラムになっていて、アクセスが短期間に集中する仕組みになっていると、先方のサーバの負荷が上がり、サービスが停止する可能性がある。 ・想定外のエラーに対し無限リトライを繰り返し、相手のサーバの負荷を上げる。 等が考えられます。 勉強であれば、まずは自サイトで負荷の上がり方の研究をしつつ、接続の制限のしっかりしたtwitter等のapiで接続をコントロールする術を身につけた後、スクレイピングに進むことをおすすめします。
guest

0

「岡崎市立中央図書館事件」で検索して見てください。
自分の管理してないサイトに対するスクレイピングは危険を伴います

投稿2016/05/19 03:36

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

sssshin

2016/05/19 04:08

はい。こちらも見たことあります怖いですね。 勉強の為にするのと悪用する気もありませんので気をつけます。 ありがとうございます。
退会済みユーザー

退会済みユーザー

2016/05/19 04:43

DBの設定の箇所に関してですが「編集するファイルがみつからない」「設定する値がわからない」といった感じで分からない内容を具体的に提示してみてはいかがでしょうか。 単純に「わからない」だけではssshinさんが「何がわからないのか」が伝わらないため、解決のために何をすればよいのかを判断できません。 https://teratail.com/help/question-tips を読まれたほうがいいと思いますが、teratailは参考サイトを教えて下さいと質問しても回答が付かないケースの方が多いかと思いますので ・したいこと ・試したこと ・試した内容がどうだめだったのか を提示されたほうがよいと思います。
sssshin

2016/05/19 17:03

ありがとうございます。 http://www.kaasan.info/archives/2028 このサイトで言うと スクレイピング管理画面に必要なテーブルの自動生成 設置したスクレイピングプログラムの管理画面トップにアクセスします。 http://example.com/parth/ すると、エラー画面になります。 テーブルが存在しないために発生するエラーなので、必要なテーブルを自動で作成するためにこちらにアクセスします。 http://example.com/parth/sqls/ すると、管理画面のトップページに移動します。 このurlを入れても「お探しのページが見つかりません」と出るだけで何もなりません。 database.phpの中のhostやloginの書き換える部分はワードプレスのwp-config.phpを見ながらしましたので間違ってはないと思います。 parth/app/controllers/components/config.php ↑このファイルを開いてパスを書き変えます。 この部分は「ファイルパスが分からない方へ」の通りにphpinfoを見て入れました。 しかしやはり「お探しのページが見つかりません」と出ます。 一応その下のパーミッションも777と666に全部変更した後も試しましたがなりません。 phpMyAdminから以下のSQLを順に実行していきましょう。 この部分のitemsとtagsもすでにできてました。
退会済みユーザー

退会済みユーザー

2016/05/19 23:42

繰り返しになりますがsssshinさんの書かれた内容からは解説サイトの通りにやってみたつもりなのに上手くいかないということしか伝わりません。 他サイトに影響を与える可能性のあるスクレイピングを行うには知識や経験が不足してるかと思います。 また何よりも勉強のために行うのであれば習作を作成して再帰的な動作をせずに単一ページのみを解析し結果を表示するようなものを作られてみたほうがよいかと思います。
guest

0

CakePHP を使っているみたいなので、CakePHPを使ったことがないと ちょっぴりハードルは高いかもしれません。

参考にされたURLには、ファイルのダウンロード先が書いてないので、そのページだけを見ていると よくわからないと思います。

まずは、このページの下の方から、ファイルをダウンロードします。
http://www.kaasan.info/scraping

次のページの手順で、ダウンロードしたファイルと 指定されている PHP のライブラリをダウンロードして、指定されているディレクトリにアップロードして、設定します。
http://www.kaasan.info/archives/2028

あとは、手順どおり進めると思います。

投稿2016/05/18 22:35

編集2016/05/18 22:36
CHERRY

総合スコア25171

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

sssshin

2016/05/19 04:10

回答ありがとうございます。 そちらは2つダウンロードしてました。DB設定の部分で何か間違えてたのかなと言う感じです。ありがとうございます。もう少ししてみます。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問