質問編集履歴

2

タイトル変更、問題点がわかったので

2019/01/03 10:36

投稿

Kommm
Kommm

スコア20

test CHANGED
@@ -1 +1 @@
1
- curlのスクレイピングqiitaから取得したが何故かemptyと返される
1
+ curlmでqiitaにログインできな
test CHANGED
@@ -1,4 +1,4 @@
1
- 1/2更新しました
1
+ 1/3更新しました
2
2
 
3
3
 
4
4
 
@@ -14,7 +14,7 @@
14
14
 
15
15
  このコマンドで取得できるはずかと思ったのですが、なぜか取得できません。
16
16
 
17
- 他のページでは違うコマンドにはなりますが取得できました。
17
+ 他のページでは違うコマンドにはなりますが取得できましたので、useragentで拒否はしていないようです
18
18
 
19
19
  ```
20
20
 

1

mm更新

2019/01/03 10:36

投稿

Kommm
Kommm

スコア20

test CHANGED
File without changes
test CHANGED
@@ -1,6 +1,12 @@
1
+ 1/2更新しました
2
+
3
+
4
+
1
5
  ```
2
6
 
7
+ curl -c cookie.txt -d "identity=自分のID" -d "password=自分のパスワード" "https://qiita.com/login"
8
+
3
- curl -s -L "https://qiita.com" | xmllint --html --xpath '//a[@class="tr-Item_title"]' -
9
+ curl -b cookie.txt -s -L "https://qiita.com" | xmllint --html --xpath '//a[@class="tr-Item_title"]' -
4
10
 
5
11
  ```
6
12
 
@@ -18,4 +24,4 @@
18
24
 
19
25
 
20
26
 
21
- 何かスクレイピングブロックをかけてるのでしょうか?
27
+ cookieの使い方が間違っるのでしょうか?