質問編集履歴
11
a
title
CHANGED
|
@@ -1,1 +1,1 @@
|
|
|
1
|
-
|
|
1
|
+
a
|
body
CHANGED
|
@@ -1,1 +1,1 @@
|
|
|
1
|
-
|
|
1
|
+
a
|
10
ssssssssssssssssssssssssssssssss
title
CHANGED
|
File without changes
|
body
CHANGED
|
File without changes
|
9
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
title
CHANGED
|
@@ -1,1 +1,1 @@
|
|
|
1
|
-
|
|
1
|
+
_xxxxxxxxxxxx_
|
body
CHANGED
|
@@ -1,44 +1,1 @@
|
|
|
1
|
-
|
|
2
|
-
Twitterの利用規約の解釈について知りたいです．答えではなく特に**皆さんの意見をお聞きしたいです．**以下，[Twitterの利用規約4-(iii)](https://twitter.com/ja/tos)の抜粋
|
|
3
|
-
> Twitterから提供される（かつ該当する利用条件に従う場合にのみ提供される）、当社の現在利用可能な公開インターフェース以外の方法（自動プログラムか否かを問わない）で、本サービスへのアクセスもしくはその探索またはアクセスもしくは探索の試み（ただし、Twitterとの個別契約で特に許可されている場合は除く）（注：本サービスへのクローリングは、robots.txtファイルの定めによる場合は認められていますが、Twitterによる事前の同意がないまま本サービスのスクレイピングをすることは明示的に禁止されています）、
|
|
4
|
-
|
|
5
|
-
ここにおけるクローリングとスクレイピングについて，下記に示す例は規約違反になるかどうかを知りたいです．
|
|
6
|
-
私のクローリングとスクレイピングの理解は[このstackoverflowの記事](https://stackoverflow.com/questions/4327392/what-is-the-difference-between-web-crawling-and-web-scraping) の2番目の回答と同じです．また，twitterの[robots.txt](https://twitter.com/robots.txt)にも目を通しています．
|
|
7
|
-
|
|
8
|
-
|
|
9
|
-
### これらは違反になるのか？ 可能なら理由を添えて答えていただけると嬉しいです．
|
|
10
|
-
1. ウェブブラウザで`https://twitter.com/誰かのアカウント?lang=ja`にアクセスする．
|
|
11
|
-
|
|
12
|
-
1. ウェブブラウザで`https://twitter.com/誰かのアカウント?lang=ja`にアクセスした後，ページを保存する(Chromeの場合，Ctrl-S)．
|
|
13
|
-
|
|
14
|
-
1. Terminalから手動で`curl https://twitter.com/誰かのアカウント?lang=ja`を実行する．
|
|
15
|
-
|
|
16
|
-
1. Terminalから手動で`curl https://twitter.com/誰かのアカウント?lang=ja > out.txt`を実行し，htmlをテキストファイルに保存する．
|
|
17
|
-
|
|
18
|
-
1. `curl https://twitter.com/誰かのアカウント?lang=ja >> out.txt` を`cron`などで（1秒以上間隔を開けて）定期的に実行する．
|
|
19
|
-
|
|
20
|
-
1. Pythonのライブラリの`requests`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り，得られたhtmlをデータベースに保存する．
|
|
21
|
-
|
|
22
|
-
1. Pythonのライブラリの`selenium`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り，得られたhtmlをデータベースに保存する．
|
|
23
|
-
|
|
24
|
-
1. 6, 7のプログラム終了した後，データベースに保存したhtmlからYoutubeリンクのURLだけを抜きとり，その文字列を別のデータベースに保存する．
|
|
25
|
-
|
|
26
|
-
1. 6, 7のプログラムを実行しながら，データベースに保存したhtmlからYoutubeリンクのURLだけを抜きとり，その文字列を別のデータベースに保存する．
|
|
27
|
-
|
|
28
|
-
1. Pythonのライブラリの`requests`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り，得られたhtmlからYoutubeリンクのURLだけを抜きとり，その文字列をデータベースに保存する．
|
|
29
|
-
|
|
30
|
-
1. Pythonのライブラリの`selenium`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り，得られたhtmlからYoutubeリンクのURLだけを抜きとり，その文字列をデータベースに保存する．
|
|
31
|
-
|
|
32
|
-
### おわりに
|
|
33
|
-
雑多な質問で恐縮ですが，お答えいただけると幸いです．
|
|
34
|
-
ちなみに，上記の1.以外はいずれもまだ実行していません．
|
|
35
|
-
~~私は全てやっても大丈夫だと思います．~~
|
|
36
|
-
退会済みユーザ様の回答にもあるとおり，やはり規約的にスクレイピングは厳しそうですね．
|
|
37
|
-
とりあえず，1. は問題ないでしょう．2.はブラウザの機能を使うのでおそらく問題ないのではと思います．その他は一見ダメそうですが，Twitterが想定している方法がブラウザからのアクセスだとすると，`selenium`からのアクセスはどうなるのでしょうか？
|
|
38
|
-
|
|
39
|
-
- 私は法律や規約に関しては詳しくないので，ここで質問させていただきました．回答の根拠となるソースを教えていただけましたら，この上なくありがたいですが，お気軽に回答してください．
|
|
40
|
-
- Twitter APIを使えという回答はごもっともですのでご遠慮ください．
|
|
41
|
-
- 一部に対してだけでも良いのでご回答いただけると嬉しいです．
|
|
42
|
-
- ~~Twitterに確認するのが最も適切な解決方法であることは重々承知しておりますが，[Twitterの問い合わせフォーム](https://help.twitter.com/forms)を一読したところ，私の質問に対応したものがないと思ったので，こちらで質問させていただきました．もし，適切な確認先（具体的な質問フォーム，メールアドレスなどの連絡先）をご存知でしたらご教授いただきたいです．~~
|
|
43
|
-
- 申し訳ありません．[公式フォーラム](https://twittercommunity.com/)が適切な問い合わせ先でした．こちらに問い合わせてみますが，**有識な皆様のご意見をお聞きしたい**ので，公式からの返答がない間は未解決としておきます．
|
|
44
|
-
- **無論やらないに越したことはありません．**
|
|
1
|
+
_xxxxxxxxxx_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
|
8
意見の更新
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -1,6 +1,5 @@
|
|
|
1
1
|
### Twitterの利用規約 (2019年12月2日時点)
|
|
2
|
-
Twitterの利用規約の解釈について知りたいです．
|
|
3
|
-
以下，[Twitterの利用規約4-(iii)](https://twitter.com/ja/tos)の抜粋
|
|
2
|
+
Twitterの利用規約の解釈について知りたいです．答えではなく特に**皆さんの意見をお聞きしたいです．**以下，[Twitterの利用規約4-(iii)](https://twitter.com/ja/tos)の抜粋
|
|
4
3
|
> Twitterから提供される（かつ該当する利用条件に従う場合にのみ提供される）、当社の現在利用可能な公開インターフェース以外の方法（自動プログラムか否かを問わない）で、本サービスへのアクセスもしくはその探索またはアクセスもしくは探索の試み（ただし、Twitterとの個別契約で特に許可されている場合は除く）（注：本サービスへのクローリングは、robots.txtファイルの定めによる場合は認められていますが、Twitterによる事前の同意がないまま本サービスのスクレイピングをすることは明示的に禁止されています）、
|
|
5
4
|
|
|
6
5
|
ここにおけるクローリングとスクレイピングについて，下記に示す例は規約違反になるかどうかを知りたいです．
|
|
@@ -33,10 +32,13 @@
|
|
|
33
32
|
### おわりに
|
|
34
33
|
雑多な質問で恐縮ですが，お答えいただけると幸いです．
|
|
35
34
|
ちなみに，上記の1.以外はいずれもまだ実行していません．
|
|
36
|
-
私は全てやっても大丈夫だと思います．
|
|
35
|
+
~~私は全てやっても大丈夫だと思います．~~
|
|
36
|
+
退会済みユーザ様の回答にもあるとおり，やはり規約的にスクレイピングは厳しそうですね．
|
|
37
|
+
とりあえず，1. は問題ないでしょう．2.はブラウザの機能を使うのでおそらく問題ないのではと思います．その他は一見ダメそうですが，Twitterが想定している方法がブラウザからのアクセスだとすると，`selenium`からのアクセスはどうなるのでしょうか？
|
|
37
38
|
|
|
38
39
|
- 私は法律や規約に関しては詳しくないので，ここで質問させていただきました．回答の根拠となるソースを教えていただけましたら，この上なくありがたいですが，お気軽に回答してください．
|
|
39
40
|
- Twitter APIを使えという回答はごもっともですのでご遠慮ください．
|
|
40
41
|
- 一部に対してだけでも良いのでご回答いただけると嬉しいです．
|
|
41
42
|
- ~~Twitterに確認するのが最も適切な解決方法であることは重々承知しておりますが，[Twitterの問い合わせフォーム](https://help.twitter.com/forms)を一読したところ，私の質問に対応したものがないと思ったので，こちらで質問させていただきました．もし，適切な確認先（具体的な質問フォーム，メールアドレスなどの連絡先）をご存知でしたらご教授いただきたいです．~~
|
|
42
|
-
- 申し訳ありません．[公式フォーラム](https://twittercommunity.com/)が適切な問い合わせ先でした．こちらに問い合わせてみますが，**有識な皆様のご意見をお聞きしたい**ので，公式からの返答がない間は未解決としておきます．
|
|
43
|
+
- 申し訳ありません．[公式フォーラム](https://twittercommunity.com/)が適切な問い合わせ先でした．こちらに問い合わせてみますが，**有識な皆様のご意見をお聞きしたい**ので，公式からの返答がない間は未解決としておきます．
|
|
44
|
+
- **無論やらないに越したことはありません．**
|
7
意見を追記
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -33,9 +33,10 @@
|
|
|
33
33
|
### おわりに
|
|
34
34
|
雑多な質問で恐縮ですが，お答えいただけると幸いです．
|
|
35
35
|
ちなみに，上記の1.以外はいずれもまだ実行していません．
|
|
36
|
+
私は全てやっても大丈夫だと思います．
|
|
36
37
|
|
|
37
38
|
- 私は法律や規約に関しては詳しくないので，ここで質問させていただきました．回答の根拠となるソースを教えていただけましたら，この上なくありがたいですが，お気軽に回答してください．
|
|
38
39
|
- Twitter APIを使えという回答はごもっともですのでご遠慮ください．
|
|
39
40
|
- 一部に対してだけでも良いのでご回答いただけると嬉しいです．
|
|
40
41
|
- ~~Twitterに確認するのが最も適切な解決方法であることは重々承知しておりますが，[Twitterの問い合わせフォーム](https://help.twitter.com/forms)を一読したところ，私の質問に対応したものがないと思ったので，こちらで質問させていただきました．もし，適切な確認先（具体的な質問フォーム，メールアドレスなどの連絡先）をご存知でしたらご教授いただきたいです．~~
|
|
41
|
-
- 申し訳ありません．[公式フォーラム](https://twittercommunity.com/)が適切な問い合わせ先でした．こちらに問い合わせてみますが，有識な皆様のご意見
|
|
42
|
+
- 申し訳ありません．[公式フォーラム](https://twittercommunity.com/)が適切な問い合わせ先でした．こちらに問い合わせてみますが，**有識な皆様のご意見をお聞きしたい**ので，公式からの返答がない間は未解決としておきます．
|
6
公式フォーラムについて追記
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -37,4 +37,5 @@
|
|
|
37
37
|
- 私は法律や規約に関しては詳しくないので，ここで質問させていただきました．回答の根拠となるソースを教えていただけましたら，この上なくありがたいですが，お気軽に回答してください．
|
|
38
38
|
- Twitter APIを使えという回答はごもっともですのでご遠慮ください．
|
|
39
39
|
- 一部に対してだけでも良いのでご回答いただけると嬉しいです．
|
|
40
|
-
- Twitterに確認するのが最も適切な解決方法であることは重々承知しておりますが，[Twitterの問い合わせフォーム](https://help.twitter.com/forms)を一読したところ，私の質問に対応したものがないと思ったので，こちらで質問させていただきました．もし，適切な確認先（具体的な質問フォーム，メールアドレスなどの連絡先）をご存知でしたらご教授いただきたいです．
|
|
40
|
+
- ~~Twitterに確認するのが最も適切な解決方法であることは重々承知しておりますが，[Twitterの問い合わせフォーム](https://help.twitter.com/forms)を一読したところ，私の質問に対応したものがないと思ったので，こちらで質問させていただきました．もし，適切な確認先（具体的な質問フォーム，メールアドレスなどの連絡先）をご存知でしたらご教授いただきたいです．~~
|
|
41
|
+
- 申し訳ありません．[公式フォーラム](https://twittercommunity.com/)が適切な問い合わせ先でした．こちらに問い合わせてみますが，有識な皆様のご意見もお聞きしたいので，公式からの返答がない間は未解決としておきます．
|
5
マルチポストに関するものを削除
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -37,4 +37,4 @@
|
|
|
37
37
|
- 私は法律や規約に関しては詳しくないので，ここで質問させていただきました．回答の根拠となるソースを教えていただけましたら，この上なくありがたいですが，お気軽に回答してください．
|
|
38
38
|
- Twitter APIを使えという回答はごもっともですのでご遠慮ください．
|
|
39
39
|
- 一部に対してだけでも良いのでご回答いただけると嬉しいです．
|
|
40
|
-
- Twitterに確認するのが最も適切な解決方法であることは重々承知しておりますが，[Twitterの問い合わせフォーム](https://help.twitter.com/forms)を一読したところ，私の質問に対応したものがないと思ったので，こちらで質問させていただきました．もし，適切な確認先（具体的な質問フォーム，メールアドレスなどの連絡先）をご存知でしたらご教授いただきたいです．
|
|
40
|
+
- Twitterに確認するのが最も適切な解決方法であることは重々承知しておりますが，[Twitterの問い合わせフォーム](https://help.twitter.com/forms)を一読したところ，私の質問に対応したものがないと思ったので，こちらで質問させていただきました．もし，適切な確認先（具体的な質問フォーム，メールアドレスなどの連絡先）をご存知でしたらご教授いただきたいです．
|
4
追記
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -36,4 +36,5 @@
|
|
|
36
36
|
|
|
37
37
|
- 私は法律や規約に関しては詳しくないので，ここで質問させていただきました．回答の根拠となるソースを教えていただけましたら，この上なくありがたいですが，お気軽に回答してください．
|
|
38
38
|
- Twitter APIを使えという回答はごもっともですのでご遠慮ください．
|
|
39
|
-
- 一部に対してだけでも良いのでご回答いただけると嬉しいです．
|
|
39
|
+
- 一部に対してだけでも良いのでご回答いただけると嬉しいです．
|
|
40
|
+
- Twitterに確認するのが最も適切な解決方法であることは重々承知しておりますが，[Twitterの問い合わせフォーム](https://help.twitter.com/forms)を一読したところ，私の質問に対応したものがないと思ったので，こちらで質問させていただきました．もし，適切な確認先（具体的な質問フォーム，メールアドレスなどの連絡先）をご存知でしたらご教授いただきたいです． また，これは法律，規約に関する質問ですので，法律系のQ&Aサイトにも同様の質問をいたしました．
|
3
曖昧な表現の修正
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -32,7 +32,8 @@
|
|
|
32
32
|
|
|
33
33
|
### おわりに
|
|
34
34
|
雑多な質問で恐縮ですが，お答えいただけると幸いです．
|
|
35
|
-
ちなみに
|
|
35
|
+
ちなみに，上記の1.以外はいずれもまだ実行していません．
|
|
36
36
|
|
|
37
|
-
- 私は法律や規約に関しては詳しくないので，ここで質問させていただきました．回答の根拠となるソースを教えていただけましたら，この上なくありがたいです
|
|
37
|
+
- 私は法律や規約に関しては詳しくないので，ここで質問させていただきました．回答の根拠となるソースを教えていただけましたら，この上なくありがたいですが，お気軽に回答してください．
|
|
38
|
-
- Twitter APIを使えという回答はごもっともですのでご遠慮ください．
|
|
38
|
+
- Twitter APIを使えという回答はごもっともですのでご遠慮ください．
|
|
39
|
+
- 一部に対してだけでも良いのでご回答いただけると嬉しいです．
|
2
曖昧な表現の訂正
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -26,9 +26,9 @@
|
|
|
26
26
|
|
|
27
27
|
1. 6, 7のプログラムを実行しながら，データベースに保存したhtmlからYoutubeリンクのURLだけを抜きとり，その文字列を別のデータベースに保存する．
|
|
28
28
|
|
|
29
|
-
1. Pythonのライブラリの`requests`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り，得られたhtmlからYoutubeリンクのURLだけを抜きとり，その文字列を
|
|
29
|
+
1. Pythonのライブラリの`requests`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り，得られたhtmlからYoutubeリンクのURLだけを抜きとり，その文字列をデータベースに保存する．
|
|
30
30
|
|
|
31
|
-
1. Pythonのライブラリの`selenium`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り，得られたhtmlからYoutubeリンクのURLだけを抜きとり，その文字列を
|
|
31
|
+
1. Pythonのライブラリの`selenium`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り，得られたhtmlからYoutubeリンクのURLだけを抜きとり，その文字列をデータベースに保存する．
|
|
32
32
|
|
|
33
33
|
### おわりに
|
|
34
34
|
雑多な質問で恐縮ですが，お答えいただけると幸いです．
|
1
最後に追記
title
CHANGED
|
File without changes
|
body
CHANGED
|
@@ -32,4 +32,7 @@
|
|
|
32
32
|
|
|
33
33
|
### おわりに
|
|
34
34
|
雑多な質問で恐縮ですが，お答えいただけると幸いです．
|
|
35
|
-
ちなみにまだ，上記の1.以外はいずれもまだ実行していません
|
|
35
|
+
ちなみにまだ，上記の1.以外はいずれもまだ実行していません．
|
|
36
|
+
|
|
37
|
+
- 私は法律や規約に関しては詳しくないので，ここで質問させていただきました．回答の根拠となるソースを教えていただけましたら，この上なくありがたいです．ですが，お気軽に回答してください．
|
|
38
|
+
- Twitter APIを使えという回答はごもっともですのでご遠慮ください．
|