やっていること
Scrapyを使い、ログイン後に別画面に遷移するプログラムに機能を追加しようとしています。
ソースコードは以下になります。
https://github.com/kentakozuka/dakoku_bot/
できていること
連続でscrapy.FormRequest.from_response
を使用することはできており、セッション情報は保持できていると思います。
しかし、以下のコードではセッション情報が確認できません。
当たり前ですが、同じ動作をブラウザで手動で行うとCookieにセッション情報が入っております。
python
1print(response.headers.getList('Set-Cookie')) 2 3# あるいは 4print(response.headers.getList('Cookie'))
やりたいこと
scrapy.FormRequest.from_response
でログインした後、コールバック関数内でセッションを保ったままリクエストで別画面の情報を取得したいです。
現在はコールバック関数内で
python
1return scrapy.Request( 2 url, 3 callback=self.hoge, 4 dont_filter=True 5)
と書いて次のページ情報を取得しようとしているのですが、セッションタイムアウトになってしまいます。
上記のようにフォームリクエストが連続で使用できていることから、セッションを保持することは可能で、こちらもレスポンスの情報を使えばできるのではないかと考えておりますが、どうにも上手くいきません。
わかる方がいましたら、是非お助けください。
あなたの回答
tips
プレビュー