常連

注目の的

社会貢献

質問力

###前提・実現したいこと
クローラーで情報を抽出し終わるまで動かせるようにしたいです。


###発生している問題・エラーメッセージ

```
504 Gateway Time-out
```


ローカルでは、情報を中止終わるまでクローラーが動き続けるのですが、
本番環境だと1分程度で動きを止めてしまいます。

とても、1分では情報を抽出しきれません。
なんとか本番環境でもクローラーを長時間動かしたいです。


confにkeepalive_timeout 1000;と記載しても状況は変わりません。。



どこらへんをいじれば良いのかざっくりとで構いません。アドバイスお願いします。

GateWay Timeoutの制限を解除したいです。

Djangoのinspectdbを使ってMySQLデータベースの情報からモデルを作りました。
そこで、MySQLのdumpデータをDjangoにインポートしたいのですが、うまくいきません。

https://docs.djangoproject.com/en/1.8/howto/initial-data/#providing-initial-sql-data

を見ながら、portfolioアプリディレクトリの中にsql/actressmaster.sqlを作り（モデル名はActressMasterです。）、python manage.py migrateをしたのですが、

```
(venv)hoge-MacBook-Air:avdatapage hoge$ python manage.py migrate
Operations to perform:
  Synchronize unmigrated apps: staticfiles, messages
  Apply all migrations: admin, portfolio, contenttypes, auth, sessions
Synchronizing apps without migrations:
  Creating tables...
    Running deferred SQL...
  Installing custom SQL...
Running migrations:
  No migrations to apply.

```

と出るだけで、データがインポートされません。
SQLデータをDjangoにインポートする方法を教えていただけませんでしょうか。


ディレクトリ構造
```
.
└── avdatapage
    ├── avdatapage
    │   ├── __init__.py
    │   ├── __init__.pyc
    │   ├── settings.py
    │   ├── settings.pyc
    │   ├── urls.py
    │   ├── urls.pyc
    │   ├── views.py
    │   ├── views.pyc
    │   ├── wsgi.py
    │   └── wsgi.pyc
    ├── db.sqlite3
    ├── manage.py
    ├── portfolio
    │   ├── __init__.py
    │   ├── __init__.pyc
    │   ├── admin.py
    │   ├── admin.pyc
    │   ├── forms.py
    │   ├── forms.pyc
    │   ├── migrations
    │   │   ├── 0001_initial.py
    │   │   ├── 0001_initial.pyc
    │   │   ├── 0002_auto_20150817_0851.py
    │   │   ├── 0002_auto_20150817_0851.pyc
    │   │   ├── __init__.py
    │   │   └── __init__.pyc
    │   ├── models.py
    │   ├── models.pyc
    │   ├── sql
    │   │   └── actressmaster.sql
    │   ├── templates
    │   │   ├── about.html
    │   │   ├── base.html
    │   │   ├── contact.html
    │   │   ├── index.html
    │   │   ├── login.html
    │   │   ├── logout.html
    │   │   └── portfolio
    │   │       ├── detail.html
    │   │       └── edit.html
    │   ├── tests.py
    │   ├── urls.py
    │   ├── urls.pyc
    │   ├── views.py
    │   └── views.pyc
    ├── static
    │   └── portfolio
    │       ├── bootstrap
    │       │   ├── css
    │       │   │   ├── 4-col-portfolio.css
    │       │   │   ├── bootstrap.css
    │       │   │   └── bootstrap.min.css
    │       │   ├── fonts
    │       │   │   ├── glyphicons-halflings-regular.eot
    │       │   │   ├── glyphicons-halflings-regular.svg
    │       │   │   ├── glyphicons-halflings-regular.ttf
    │       │   │   ├── glyphicons-halflings-regular.woff
    │       │   │   └── glyphicons-halflings-regular.woff2
    │       │   └── js
    │       │       ├── bootstrap.js
    │       │       ├── bootstrap.min.js
    │       │       └── jquery.js

```

Django1.8.3 SQLデータのインポート

現在Python3.5.1 Django1.9.7を使ってWebサイトを製作しています。
そのなかで、HTMLのフォームからsubmitされたPOSTデータを次の飛び先で使用する方法がわからなくて困っています。流れとしては、フォームAで入力した文字列を、次のHTMLページにPOST送信し、そのHTMLのページでフォームAで入力してもらった文字列を解析を行い、色んなデータ(文字数など)を生成して、その複数のデータをデータベースに保存したいと考えています。

前のページのフォームデータを次のページで使用する方法について、もしご存じのお方がございましたらご教授お願いします。PythonやDjangoさらにはプログラミングについても初心者でありまして、質問内容が伝わってないかもしれませんが、どうかよろしくお願いいたします。

Django HTMLのフォームからPOST送信されたデータを次の飛び先で使用する方法

■環境
OS:CentOS Linux release 7.4.1708
apache:Apache/2.4.6

■実現したいこと
http、httpsのアクセスすべてに同一レスポンス（sorryコンテンツ）を返したい。
リダイレクトは使えない。

■問題点
上手くレスポンス返せていないが、そもそもproxyの設定が妥当か判断出来ない。（素人ですみません）

■現状　/etc/httpd/conf.modules.d/00-proxy.conf

# This file configures all the proxy modules:
LoadModule proxy_module modules/mod_proxy.so
LoadModule lbmethod_bybusyness_module modules/mod_lbmethod_bybusyness.so
LoadModule lbmethod_byrequests_module modules/mod_lbmethod_byrequests.so
LoadModule lbmethod_bytraffic_module modules/mod_lbmethod_bytraffic.so
LoadModule lbmethod_heartbeat_module modules/mod_lbmethod_heartbeat.so
LoadModule proxy_ajp_module modules/mod_proxy_ajp.so
LoadModule proxy_balancer_module modules/mod_proxy_balancer.so
LoadModule proxy_connect_module modules/mod_proxy_connect.so
LoadModule proxy_express_module modules/mod_proxy_express.so
LoadModule proxy_fcgi_module modules/mod_proxy_fcgi.so
LoadModule proxy_fdpass_module modules/mod_proxy_fdpass.so
LoadModule proxy_ftp_module modules/mod_proxy_ftp.so
LoadModule proxy_http_module modules/mod_proxy_http.so
LoadModule proxy_scgi_module modules/mod_proxy_scgi.so
LoadModule proxy_wstunnel_module modules/mod_proxy_wstunnel.so

<VirtualHost *>
  ServerName IPaddress
  DocumentRoot /var/www/html

  ProxyPass / https://IPaddress/sorry.html:443/
  ProxyPassReverse / https://IPaddress:443/
</VirtualHost>

apache2.4 httpsのproxyについて

こんにちは。

Webスクレイピング(データダウンロード)についての質問があります。

スクレイピングを、
GoogleSpreadSheet の GAS あるいは
Windows Excel VBA での IE コントロール
によって、何回か行ったことがあります。

GoogleSpreadSheet の GAS はWebで動くので
Mac環境などのユーザーでも動くため便利なのですが

あるWEBショップのデータダウンロードなどのときに
ログインが必要になる場合があります。

そうすると、普通のURL指定したダウンロードだけではなくなります。

Excel の IE 操作の場合は、
ブラウザの入力欄に文字を埋め込み
特定のボタンを押し、そして、データダウンロード
という操作ができるものの、

GoogleSpreadSheet の GAS では、
そのような操作ができるのかどうかわからず、困っています。

やり方をご存知の方、おられましたら
教えていただけると助かります。

自分の書いた記事ですが、GASでの通常のスクレイピングはこの内容のようにやっています。
[Google SpreadSheet のGAS(JavaScript)でスクレイピング(Webデータゲット) - Qiita](https://qiita.com/standard-software/items/16214dc4e64d28952c2d)


繰り返しになりますが、
ExcelVBAではそれはできるのですが、

GAS では、
ブラウザの入力欄に文字を埋め込み
特定のボタンを押し、そして、データダウンロード
という操作ができるものでしょうか？

また、
スプレッドシート使わない、node.jsを使ったJavaScriptや
Python Ruby PHP などでは、
そのようなブラウザ操作系のスクレイピングは
できるものでしょうか？

最初のとっかかりのやり方やテクニックサイトなどを教えていただけましたら助かります。
よろしくおねがいします。

Windows の Excel ではできるのですが
IEを操作するというやや不安定な動作になることと
IEの将来性などを考えると、違う方法を模索したいと思っております。

GoogleChrome の非表示モードと
Selenium Web Driver を使うというやり方は
どうやらできるらしいという程度しかしらないのですが
他にもやれる方法があるかもしれないと思って質問しております。
Selenium Web Driver でのやり方のサイトも、入力欄への文字の配置やwebページ上のボタンを押すやり方が存在すれば教えていただきたいです。

今のところ対象なのは、"ふるせる"というところなのですが
そこに限らず、一般的なWEBショップ、
あるいは、ブログなどのログインができるようになりたいと
思っております。

長々とすいません。
よろしくおねがいします。