常連

注目の的

自己紹介

Bashで複数CSVのヘッダを除去して連結する方法を教えてください。

以下のような３ファイルがあったとします。

###a.csv

```ここに言語を入力
ヘッダ
1111
2222
3333
```

###b.csv

```ここに言語を入力
ヘッダ
4444
5555
6666
```

###c.csv

```ここに言語を入力
ヘッダ
7777
8888
9999
```

---

これを以下のファイルとなるように連結したいですのですが、うまくいかず。
（最初のヘッダは後付でもよいのですが。。。）

```ここに言語を入力
ヘッダ
1111
2222
3333
4444
5555
6666
7777
8888
9999
```

連結順はファイル名の昇順です。
[こちら](http://spec.geekdevteam.com/post/csv-line-delete/) の方法では、以下のようになってしまいます。

```ここに言語を入力
1111
2222
3333
ヘッダ
4444
5555
6666
ヘッダ
7777
8888
9999
```

一見、↓これでもいけそうだと思ったのですが。。。

```ここに言語を入力
find . -name '*.csv' | sort | xargs sed  -e '1,1d' > output.csv
```

複数CSVのヘッダを除去して連結

※当方、機械学習によるモデル構築に取り組んではいますが、プログラミングや統計に関しては
　初心者レベルですので、初歩から教えていただければ幸甚です。

jupyter notebook上で、勾配ブースティングによる予測モデルの構築を行っていまして、
モデル精度検証にあたって検証用データを投入した際、以下のようなエラーコードが出ます。
「NotFittedError: This GradientBoostingClassifier instance is not fitted yet. Call 'fit' with appropriate arguments before using this method.」

♯利用したアルゴリズム：勾配ブースティング
♯パラメータチューニング：GridSearchCV

GradientBoostingClassifierに関しては、以下の通り学習を行っています。
「from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import GridSearchCV

GBC = GradientBoostingClassifier()

param_grid = {'n_estimators':[10,50,100,300],
              'max_depth':[3,5,10]}
              
grid_search = GridSearchCV(GBC, param_grid)

grid_search.fit(train_x, train_y)」

上記エラーについて、考えうる原因について教えていただけると幸いです。

Python3での勾配ブースティングによるモデル構築のエラーに関する質問

### 前提・実現したいこと

awsのlambda上でpandasを使いたく、[ここ](https://github.com/pbegle/aws-lambda-py3.6-pandas-numpy)のzipをS3に持ってきて、tmpフォルダにzipファイルをアップロードして解凍したいのですが、unzipコマンドが効かずに困っています

### 発生している問題・エラーメッセージ

```
Response:
null

Request ID:
"e5714beb-bcb5-11e8-a4c8-73f33fd3e079"

Function Logs:
START RequestId: e5714beb-bcb5-11e8-a4c8-73f33fd3e079 Version: $LATEST
total 8
-rw-rw-r-- 1 sbx_user1086 460  190 Sep 20 09:16 lambda.zip
drwxrwxr-x 3 sbx_user1086 460 4096 Sep 20 09:16 log

total 8
-rw-rw-r-- 1 sbx_user1086 460  190 Sep 20 09:16 lambda.zip
drwxrwxr-x 3 sbx_user1086 460 4096 Sep 20 09:16 log

/usr/bin/unzip

total 8
-rwxrwxr-x 1 sbx_user1086 460  190 Sep 20 09:16 lambda.zip
drwxrwxr-x 3 sbx_user1086 460 4096 Sep 20 09:16 log

END RequestId: e5714beb-bcb5-11e8-a4c8-73f33fd3e079
REPORT RequestId: e5714beb-bcb5-11e8-a4c8-73f33fd3e079	Duration: 1353.87 ms	Billed Duration: 1400 ms 	Memory Size: 128 MB	Max Memory Used: 34 MB	
```

### 該当のソースコード

```python
import boto3
import os
import os.path
import tarfile
import shutil


def lambda_handler(event, context):
    bucket_name = 'test-df'
    tmp_dir = '/tmp/'
    log_dir = '/tmp/log/sess/'
    file_name = 'lambda.zip'
    
    # ここはS3側
    key = file_name
    file_path = tmp_dir + file_name
    
    # === Step 1
    # create log dir
    if os.path.exists(log_dir) == False:
        os.makedirs(log_dir)
        
    # write log
    with open(log_dir + 'log1.txt', 'w') as file:
        file.write('hoge\n')
    with open(log_dir + 'log2.txt', 'w') as file:
        file.write('fuga\n')
    
    
    # create log archive
    with tarfile.open(file_path, mode='w:gz') as archive:
        archive.add(log_dir)

    # === Step 2
    # create s3 resource
    s3 = boto3.resource('s3')
    bucket = s3.Bucket(bucket_name)

    # upload log archive
    bucket.upload_file(file_path, key)

    # === Step 3
    # delete log archive
    if os.path.exists(file_path):
        os.remove(file_path)

    # download log archive
    bucket.download_file(key, file_path)
    
    import subprocess 
    
    out = subprocess.run(['ls', '-l', '../../tmp/'], stdout=subprocess.PIPE)
    print(out.stdout.decode())
    out = subprocess.run(['ls', '-l', '/tmp/'], stdout=subprocess.PIPE)
    print(out.stdout.decode())
    # 解凍するために権限付与
    subprocess.run(['chmod', '775', '/tmp/lambda.zip'], stdout=subprocess.PIPE)
    
    
    out = subprocess.run(['which', 'unzip'], stdout=subprocess.PIPE)
    print(out.stdout.decode())
    
    # エラー箇所　というかこのコマンドで実行ができない。
    subprocess.run(['unzip', '/tmp/lambda.zip'])
    out = subprocess.run(['ls', '-l', '../../tmp/'], stdout=subprocess.PIPE)
    print(out.stdout.decode())
    # print()

    # === Step 4
    # delete log dir
    if os.path.exists(log_dir):
        shutil.rmtree(log_dir)

    # extract log archive
    with tarfile.open(file_path, mode='r:gz') as archive:
        archive.extractall('/')
        
```

### 試したこと

which unzipは通っているのでコマンドはあるようなのですが、解凍したディレクトリができません。

この方法でなくともlambdaでpandas, sikitlearnを使う方法があれば教えていただきたいです。

よろしくお願いいたします。

AWS LambdaでアップロードしたZIPファイルが解凍できない。

```tekitou.txt
あいうえお
かきくけこ
さしすせそ
たちつてと
なにぬねの
はひふへほ
まみむめも
やゆよ
らりるれろ
わをん
あかさたな
はまやらわ
いきしちに
ひみり
うくすつぬ
ふむゆる
```

こんな感じのファイルがあったとして、これを、
1行を1つの単語として扱い、そして、5行ごとを1つの文書として扱いSCDVしたいのですが、その前準備として、このファイルを

```ここに言語を入力
0 あいうえお
0 かきくけこ
0 さしすせそ
0 たちつてと
0 なにぬねの
1 はひふへほ
1 まみむめも
1 やゆよ
1 らりるれろ
1 わをん
2 あかさたな
2 はまやらわ
2 いきしちに
2 ひみり
2 うくすつぬ
3 ふむゆる
```

のようなデータフレームにする必要がありそうなのですが、
pandasデータフレームにこのように文書番号の列を追加するコードがわかりません。

```Python2.7
# coding: UTF-8

#必要なライブラリをインポート
import pandas as pd

#

df = pd.read_csv('tekitou.txt',sep=('\n'),header=None)#ファイル読み込み

df['text_num'] = 0#とりあえずハリボテの列を追加

```
この後どのようなコードを書けば考えている通りの列を追加できるでしょうか。
お手数ですがご教示よろしくお願いします。

[pandas]pythonのpandasデータフレームで動的に列追加するコード

QiitaAPIを使いたいです。

認証画面を描画することはできましたが、メールアドレスとパスワードを入力し、ログインボタンを押してもcodeとstateのついたURLが返ってきません。

リダイレクトされていないようです。何が問題のでしょうか？
Flaskの開発中のURLである「http://127.0.0.1:5000/」をWebサイトのURLとし、
「http:127.0.0.1:5000/callback/」をリダイレクト先URLにしています。

http://127.0.0.1:5000/login/に認証画面をそのまま出力しています。
ログインボタンを押すと、postが登録されていないといわれたので、
一応、別のhtmlを描画するようにしてあります。

一体、どのようにすればcodeとstateの付与されたリダイレクトがされますか？

```python3
@app.route('/login', methods=['GET', 'POST'])
def login():
    if request.method == 'GET':
        r = get_user_id() # 認証画面を開く
        if r.status_code == 200:
            r = r.text
            return render_template('login.html', qiita=r)
    elif request.method == 'POST':
        return render_template('result.html')
```

```python3
import QiitaInfo
from requests import get, post

def get_user_id():
    client_id = QiitaInfo.ID
    url = 'https://qiita.com/api/v2/oauth/authorize'
    params = {
        'client_id': client_id,
        'scope': 'read_qiita',
        'state': 'b17785d811bb1913ef54b0a7657de780defaa2d'
    }
    results = get(url, params=params)
    return results
```

```python3
@app.route('/callback', methods=['GET', 'POST'])
def main():
    return render_template('result.html')
```

追記
Qiitaをログアウトした状態かつTwitterによる認証のみうまく動作しました。
Qittaをログインしている状態、メールアドレスとパスワードによる認証はうまくいっていません。

さらに追記
callbackのルーティングを記載しました。

さらに追加
/loginを別のものに変更すると、メールアドレスとパスワードによるログイン、認証ができました。

しかし、依然として、既にQiitaにログログインしている状態だと、認証ページが開かれません。もちろん、callbackへのリダイレクトもありません。

Qiitaにログインしていても、認証ページを開き、callbackへのリダイレクトをするにはどのような変更が必要なのでしょうか？


回答するにあたって必要な情報がありましたら、ご連絡ください。

QiitaAPIのリダイレクトが行われない

windowsでjupyter lab を利用していますが、置換ができません。

cntl　+　F　で検索はできるのですが、置換をする方法がわかりません。

また、escを押して編集モードというものがjupyter notebookにはあったようですが、notebookを使っているころからこちらもうまくいきません。

方法が分かる方いましたら教えてください。

jupyterlab の置換について

pythonのpandasで、 フォルダ内にある全てのエクセルファイルを1つのエクセルシートにまとめたいと思い、試したのですがエラーになってしまいます。
解決案をご教授ください。

フォルダのディレクトリー
/Users/macbookpro/OneDrive/７月以降競馬アプリ/スクレイピング


試したコード

```python

import os
import glob
import pandas as pd

# dataフォルダ内にあるxlsxファイルの一覧を取得
files = glob.glob("スクレイピング/*.xlsx")

# 全てのxlsxファイルを読み込み、dictに入れる（keyはファイル名）
dfs = {}
for file in files:
    dfs[os.path.basename(file)] = pd.read_xlsx(file, header=None)

# PANEL作成
pf = pd.Panel(dfs)
#xlsxファイル（max/min）を生成
pf.max(axis=0).to_xlsx("max.xlsx", index=None, header=None)
pf.min(axis=0).to_xlsx("min.xlsx", index=None, header=None)
```

発生したエラー

```python
ttributeError                            Traceback (most recent call last)
<ipython-input-14-bd712538e3b5> in <module>()
     14 pf = pd.Panel(dfs)
     15 #xlsxファイル（max/min）を生成
---> 16 pf.max(axis=0).to_xlsx("max.xlsx", index=None, header=None)
     17 pf.min(axis=0).to_xlsx("min.xlsx", index=None, header=None)

~/anaconda3/lib/python3.6/site-packages/pandas/core/generic.py in stat_func(self, axis, skipna, level, numeric_only, **kwargs)
   6340                                       skipna=skipna)
   6341         return self._reduce(f, name, axis=axis, skipna=skipna,
-> 6342                             numeric_only=numeric_only)
   6343 
   6344     return set_function_name(stat_func, name, cls)

~/anaconda3/lib/python3.6/site-packages/pandas/core/panel.py in _reduce(self, op, name, axis, skipna, numeric_only, filter_type, **kwds)
   1127 
   1128         axes = self._get_plane_axes(axis_name)
-> 1129         if result.ndim == 2 and axis_name != self._info_axis_name:
   1130             result = result.T
   1131 

AttributeError: 'float' object has no attribute 'ndim'
```

pandas フォルダ内にある全てのエクセルファイルをまとめたい

vb6で作ったexeファイルをpythonから起動させウィンドウを「最前面」へ出し　アクティブにしたいです。


下記コードを事項すると、windowsの下部タスクバーにアイコンが点滅するのですが、
ここをクリックしないと、フォームが表れてくれません。

はじめから、最前面に出てくれるようにするにはどうすればよいでしょうか。
座標指定など、任意の場所に出せればなおうれしいです。

お忙しいところ恐れ入りますが、よろしくお願いいたします。

環境 python3 windows10

```python3
import subprocess

file_exe=r"vb6.exe"
subprocess.run(file_exe, shell=False)
```

exeファイルをpythonから起動し　ウィンドウを「最前面」へ出し　アクティブにする

pythonディストリビューションのanacondaをインストール時のエラーメッセージについて

pythonディストリビューションのanacondaをインストールしようとしたところ、インストール先を尋ねられる場面で、

「error: due to incompatibility with several python libraries, 'destination folder' cannot contain non-ascii characters (special characters or diacritics). please choose another location.」 

とでてくるので、インターネットで解決方法を検索したら、
「インストール先のパス名には、日本語が含まれていない場所を指定して下さい」
というものをみつけました。

小生、PCを勉強中で、この解答の意味がよくわからないのですが、具体的にはどのような場所を指定したらいいのでしょうか？

pythonディストリビューションのanacondaをインストール時のエラーメッセージについて

前提
- テストコードをtestsディレクトリ内に書いています。前処理系はconftest.pyに書いています。
- 毎回、テストを実行するには、curlコマンドを叩いてhttp requestを送って挙動のテストを行っています。

質問
- APIのユニットテストをするには、以下のようなrequestを送るテストコードをconftestに書く必要があるのか？
- もしくは、テストコードそのものに書く必要があるのか？
- もしそうであれば、テストコードのrequest引数が必要な関数内に記述すべきか？
- もしくは、どの関数内でもなくテストコード内のトップレベルで書く必要があるのか？
- そもそも、以下のようなテストコードが必要なのか？あっているのか？
- 他に簡単にcurlコマンドを実行して確認する方法があるのか？
- conftest.pyに各APIへのrequestをする以下のようなコードをURLごとに書く必要があるのだろうか？
- その場合、request時に送るデータ(payload)は、APIの仕様書に合わせるべきか？データは、factorybotの・ようなものを使って自動で生成させるようにすべきか？


(そもそも、SQLAlchemyでORM化しようとしているので、curlコマンドが上手く叩かれてURLにアクセスできたかどうかをテストすればよいだけで、データをわざわざ送る必要はない気がしてきた...mockを使うべき？どこに？)

conftest.py
```
import pytest
from c.config import test
from c import capp

app = capp(test)
app.app_context().push()


@pytest.fixture(autouse=True)
def r():
    url = 'http://localhost:8080/v1/batch'
    usrPass = "xxxx"
    headers = {'Authorization': 'Bearer %s' % usrPass, 'Content-Type': 'application/json'}
    payload = {"requests":
               [{"method": "post",
                 "relative_url": "/as",
                 "body": {"u_id": "001"}},
                { "method": "post",
                  "relative_url": "/as",
                  "body": {"u_id": "002"}},
                {"method": "post",
                 "relative_url": "/as",
                 "body": {"u_id": "003"}}]}

    with app.test_request_context(url, method="POST") as req:
        req.request.args = payload
        req.request.headers = headers
        r = req.request

    return r
```

pythonでAPIを作るさいのテストコードを書く時、curlコマンドをいかに自動化するか？

pandasのDataframe型データにヒートマップのような色付けをしたいです。
ただし、その際のヒートマップの色付けは色付けしたいDataframeのデータとは別のものを参照した色付けをしたいです。
もしどなたか解決方法が分かる方いらっしゃればご教授いただけると幸いです。



文章のみの説明ですと分かり辛いと思うので
以下にやりたい事の霊を示させて頂きます。

**(以下、例)**

## データの説明
- df:あるDataframe
- coler_df:dfからの何らかの写像により得られたDataframe

dfとcolor_dfのshapeは同じです。

![![dfとcolor_dfの例](8899a132d6da46c3dccc9391c7490cb5.png)](b8ffdd529adff86a98029a8e61b63139.png)

## color_dfのヒートマップを求める
color_dfの値に基づいて、色付けられたnew_color_dfを得る。
以下では、高い値の方が濃い色になるという色付けをしている。
(ここまではDataframe.styleを使用することにより可能。)
![イメージ説明](f8bfc32a5c26cf323297903672f39469.png)

## dfにnew_color_dfと同じ色付けをする。
以下のようなnew_dfが得るのが目標。(ここが無理)
![イメージ説明](e000544eea6d250160bf4c7f95484bcd.png)

jupyterにてpandasのDataframeに色付けをしたい。

[やりたいこと]
　 HTTPヘッダーからエンコーディングを取得したい



```python3

import sys
from urllib.request import urlopen

f = urlopen('https://gihyo.jp/dp')

headers = {
"User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0",
}

encoding = f.info().get_content_charset(failobj="utf-8")
print('encoding:', encoding, file=sys.stderr)
text = f.read().decode(encoding)
print(text)

```

エラー内容
 Traceback (most recent call last):
  File "greet.py", line 4, in <module>
    f = urlopen('https://gihyo.jp/dp')
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 531, in open
    response = meth(req, response)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 641, in http_response
    'http', request, response, code, msg, hdrs)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 569, in error
    return self._call_chain(*args)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 503, in _call_chain
    result = func(*args)
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 649, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden


やったこと
　[参考にしたサイト](https://ja.stackoverflow.com/questions/27922/python3%E3%81%A7web%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%81%97%E3%81%9F%E3%81%84%E3%81%AE%E3%81%A7%E3%81%99%E3%81%8C%E5%AD%98%E5%9C%A8%E3%81%99%E3%82%8Burl%E3%81%8C%E9%96%8B%E3%81%91%E3%81%BE%E3%81%9B%E3%82%93)

以下の部分を付け加えました。しかし同じエラーが出ました。
headers = {
"User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0",
}

python3 webスクレイピング　urllib.error.HTTPError: HTTP Error 403: Forbiddenのエラーについて

### 前提・実現したいこと
クローリングの勉強を兼ね、scrapyを使って大学の過去問を掲示板から抽出したいです。
下記のサイトを参考にし、チュートリアルとして２つクローラーを作って勉強しました。
[python超初心者がスクレイピングしてみる](https://qiita.com/ritukiii/items/272d485e8a249d0d1bd7#%E3%83%81%E3%83%A5%E3%83%BC%E3%83%88%E3%83%AA%E3%82%A2%E3%83%AB%E3%81%AB%E6%9B%B8%E3%81%84%E3%81%A6%E3%81%82%E3%82%8B%E4%BD%9C%E6%A5%AD%E3%81%AE%E9%A0%86%E5%BA%8F)
[ScrapyによるWebスクレイピング](https://qiita.com/Amtkxa/items/4c1172c932264ae941b4)
しかしまだまだ力不足でわからないことだらけ、、、
ご教授願います！
僕が情報を拾いたい掲示板が[したらば掲示板のこのページ](https://jbbs.shitaraba.net/bbs/subject.cgi/school/21722/)からです！
### 発生している問題・エラーメッセージ
実行してエラーするのも問題ですが、エラーが出ないとしても僕の欲しい情報は今のままでは得られないと思います。
というのも、スレッドのHTMLの構造上各コメントが一つのboxに入っておらず、改行によってカンマが入ってしまうため'試験問題'を含むコメントではなく、'試験問題'という単語だけの情報しか抽出できません。
目的とするのは'試験問題'という語句を含む**一つのコメントの取得**なので苦戦しています。

`scrapy crawl tread_crawl -o text.csv`の実行結果がこれ
```
2018-08-26 13:07:38 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tests)
2018-08-26 13:07:38 [scrapy.utils.log] INFO: Versions: lxml 4.2.4.0, libxml2 2.9.8, cssselect 1.0.3, parsel 1.5.0, w3lib 1.19.0, Twisted 18.7.0, Python 3.5.2 (default, Aug 15 2018, 23:42:21) - [GCC 4.2.1 Compatible Apple LLVM 9.0.0 (clang-900.0.39.2)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0i  14 Aug 2018), cryptography 2.3.1, Platform Darwin-16.7.0-x86_64-i386-64bit
2018-08-26 13:07:38 [scrapy.crawler] INFO: Overridden settings: {'SPIDER_MODULES': ['tests.spiders'], 'ROBOTSTXT_OBEY': True, 'FEED_FORMAT': 'csv', 'DOWNLOAD_DELAY': 2.0, 'BOT_NAME': 'tests', 'NEWSPIDER_MODULE': 'tests.spiders', 'FEED_URI': 'test.csv'}
2018-08-26 13:07:38 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.memusage.MemoryUsage',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.logstats.LogStats',
 'scrapy.extensions.feedexport.FeedExporter',
 'scrapy.extensions.corestats.CoreStats']
2018-08-26 13:07:39 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2018-08-26 13:07:39 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2018-08-26 13:07:39 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2018-08-26 13:07:39 [scrapy.core.engine] INFO: Spider opened
2018-08-26 13:07:39 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2018-08-26 13:07:39 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2018-08-26 13:07:39 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://jbbs.shitaraba.net/robots.txt> (referer: None)
2018-08-26 13:07:41 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://jbbs.shitaraba.net/bbs/subject.cgi/school/21722/> (referer: None)
2018-08-26 13:07:41 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'jbbs.shitaraba.net': <GET https://jbbs.shitaraba.net/bbs/read.cgi/school/21722/1520839559/l50>
2018-08-26 13:07:41 [scrapy.core.engine] INFO: Closing spider (finished)
2018-08-26 13:07:41 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 522,
 'downloader/request_count': 2,
 'downloader/request_method_count/GET': 2,
 'downloader/response_bytes': 24383,
 'downloader/response_count': 2,
 'downloader/response_status_count/200': 2,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2018, 8, 26, 4, 7, 41, 774002),
 'log_count/DEBUG': 4,
 'log_count/INFO': 7,
 'memusage/max': 53772288,
 'memusage/startup': 53768192,
 'offsite/domains': 1,
 'offsite/filtered': 94,
 'request_depth_max': 1,
 'response_received_count': 2,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2018, 8, 26, 4, 7, 39, 100075)}
2018-08-26 13:07:41 [scrapy.core.engine] INFO: Spider closed (finished)
```

### 該当のソースコード
spider
```python
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from tests.items import TestsItem


class ThreadCrawlSpider(CrawlSpider):
    name = 'thread_crawl'
    allowed_domains = ['rentalbbs.shitaraba.com']
    start_urls = ['https://jbbs.shitaraba.net/bbs/subject.cgi/school/21722/']

    rules = (
        Rule(
            LinkExtractor(restrict_xpaths='/html/body/ul/li/a'),
        ),
        # まずスレッド一覧からかくスレッドのurlを取得
        Rule(
            LinkExtractor(restrict_xpaths='/html/body/div[3]/a[3]'),
            callback='parse_item'
        )
        # 次に各スレッドでコメントを全部表示するページに飛ぶためのurl取得
    )


    def parse_item(self, response):
        item = TestsItem()
        texts = []
        item['url'] = response.url
        for i,comment in enumerate(response.xpath('//*[@id="thread-body"]')):
            texts = comment.xpath('dd['+i+']//text()').extract()
            # eumerateを使ってコメントを一つずつ取っていく
            item['text'] = [d for d in texts if '試験問題'in d]
            #textsリストの中から'試験問題'を含むテキストを取得
            yield item
```
items.py
```python
# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class TestsItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    url = scrapy.Field()
    link = scrapy.Field()
    title = scrapy.Field()
    text = scrapy.Field()

```
### 試したこと
リンクを抽出してリンク先をクローリングするのに関しては、下記のサイトを参考にしました。
[ScrapyでURLが既知の複数のページをスクレイピング](https://note.nkmk.me/python-scrapy-start-urls-start-requests/)

### 補足情報（FW/ツールのバージョンなど）
python3.5.2
クローリング先サイトへの配慮として`DOWNLOAD_DELAY = 3.0`に設定しています。

pythonのscrapyを使って掲示板から過去問を拾いたい

#知りたいこと
以前、「私はテレビで泳ぐ彼女を見ていた」という文章のとらえ方は1つではなく、テレビを使って泳いでいる彼女を見ていたのか、泳ぐ彼女をテレビで見ていたのかというとらえ方があり、人間は当然後者が正しいとわかりますが、コンピュータは理解できません。そこで構文解析を使います。といったことをどこかのサイトで見たのですが、この場合は構文解析を使うのが正しいのでしょうか。
文章の中から名詞にかかる単語を探し、名詞とその名刺にかかる単語を出力するというプログラムを作りたいのですが、構文解析を使うのが正しいのでしょうか。それとも、構文解析以外に文章の構成を理解するものがあるのでしょうか。

Pythonで文章中の単語がどの単語にかかっているのかを理解させたい

Aというキーについて値が出てくる回数をカウントしたのですがこのなかからカウント数が500以上のもののみを取り出したいです。

```
data_table["A"].value_counts(sort=True)
```

```
85123A    2035
22423     1724
85099B    1618
84879     1408
47566     1397
20725     1317
22720     1159
20727     1105
POST      1099
23203     1098
22383     1083
...
84614A       1
90037B       1
90199B       1
22146        1
84227        1

```

500以上のカウントのみのデータを新しい変数に代入するにはどうしたら良いでしょうか

500以上のレコードのみを抽出したい

環境
OSはwindows10
pythonは'3.6.5 |Anaconda, Inc.|になります。



APIによるデータの収集と活用をしたいです。
 
スクリプトにAPIにかかる秘密のキーを書かないようにしたいです。

そのために環境変数から読み込み秘密キーを読み込む設定に挑戦しています。

os.environを使って環境変数から値を取得したいです。
 
```ここに言語を入力
import os 
CONSUMER_KEY = os.environ['CONSUMER_KEY'] 
CONSUMER_SECRET = os.environ['CONSUMER_SECRET'] 
ACCESS_TOKEN = os.environ['ACCESS_TOKEN'] 
ACCESS_TOKEN_CECRET = os.environ['ACCESS_TOKEN_SECRET']
```
__※最初の投稿で"と'が混ざっていたので訂正しました。__
カレントディレクトリに存在する.env.pyという名前のファイルから環境変数を読み取りたいです。

```ここに言語を入力
CONSUMER_KEY=zv9JyHxV******* 
CONSUMER_SECRET=DEaeaKF13kZ1rQovf9xq**********
ACCESS_TOKEN =4435244pd********
ACCESS_TOKEN_CECRET = isggdw******
```

本を読みながら、つまみつまみ実行しているので
環境変数から読み込み秘密キーを読み込む設定、実行ができれば上記のやり方じゃなくてもかまいません。

ご指導ください。よろしくお願いします。

ちなみの上記を実行すると
KeyError                                  Traceback (most recent call last)
<ipython-input-7-45ba344aa071> in <module>()
      1 import os
----> 2 CONSUMER_KEY = os.environ['CONSUMER_KEY']
      3 CONSUMER_SECRET = os.environ['CONSUMER_SECRET']
      4 ACCESS_TOKEN = os.environ['ACCESS_TOKEN']
      5 ACCESS_TOKEN_CECRET = os.environ['ACCESS_TOKEN_SECRET']

~\Anaconda3\lib\os.py in __getitem__(self, key)
    667         except KeyError:
    668             # raise KeyError with the original key value
--> 669             raise KeyError(key) from None
    670         return self.decodevalue(value)
    671 

KeyError: 'CONSUMER_KEY'

というエラーが生じてしまいます。

APIをスクリプトに秘密のキーを直接書かずに使用したい

for loopを利用して(importを使わずに)、[x1, y1, z1],[x2, y2, z2], [x3, y3, z3]という３つのリストに基づいて、新たな[x1+x2+x3, y1+y2+y3, z1+z2+z3]というリストを作りたいです。
例えば、リストが[1, 6, 3], [6, 9, 3], [4, 7, 9]というふうにあった場合、[11, 22, 15]という新たなリストを作りたいです。

Pythonで複数のリスト間の要素(数)の和を新たなリストとして表示したいです。

こんにちは。
下記のような外部のJsonデータを参照して結果をpandasを使って下記のようなStatsを作表しようとしています。環境はPythonです。

Jsonデータには各プレイヤー毎の取得ポイント合計と内訳(3ポイントの試投数と成功数だけをとりあえず表示）を下記のような感じに表示したいと思っています。


期待している結果
|Player#|Starting|PlayerName|Points|3PTM|3PTA|
||:--:|--:|
|0|1|Kevin Bacon|3|0|1|
|10|0|George Clooney |15|3|5|


Jsonデータ
```JSON
{
result: "OK",

- data: {
    - 1: [
      - {
                Code: 6,
                Period: "1Q",
                TeamNameJ: "Cicago Bulls",
                TeamID: "mn",
                LoopCount: 4,
             -  PlayerData:[
                 - {
                      PlayerNo: "0",
                      PlayerID: "1111",
                      StartingFlg: 1,
                      PlayerName: "Kevin Bacon",
                      Position: "PG/SG",
                      Point: 4,
                      PT3M: 0,
                      PT3A: 0,
                   },
                 - {
                      PlayerNo: "10",
                      PlayerID: "2222",
                      StartingFlg: 0,
                      PlayerName: "George Clooney",
                      Position: "PG",
                      Point: 0,
                      PT3M: 0,
                      PT3A: 0
                  }
]
```

そこでPythonで下記を書きましたがうまくいかず試行錯誤しています。
ヘッダーにはPlayerData: [ 以下のKeyを、
それぞれの数値は各Keyの値から取り出したいのですがうまくいきませんでした

どなたかアドバイスを頂ける方、いらっしゃいますでしょうか。

```Python
# Grab the headers to be used as column headers
headers = response.json()['data']['1'][0]['PlayerData'][0]

# Grab chart data
shots = response.json()['data']['1'][0]['PlayerData'][0]
shot_df = pd.DataFrame(shots, columns=['data']['1'][0]['PlayerData'][0])

# View the head of the DataFrame and all its columns
from IPython.display import display
with pd.option_context('display.max_columns', None):
    display(shot_df.head())
```




独学中の為、下記太字部分の表記は別の方の質問を参考に記載しました。
が、実際[0]の持つ意味が分かりません。エラーが返ってこなくなったところをみると大丈夫なのかな？と思っているのですが、
この辺りについて参考にするといいWebサイトや文献などあればアドバイス頂けると助かります。

headers = response.json()**['data']['1'][0]['PlayerData'][0]**

[こちら](https://teratail.com/questions/58031)

どうぞよろしくお願いします。

jsonデータを取り出してpandasで表示しようとしてうまく表示できず困っています

Ajaxを学習しようと思っています。
学習する経緯は、個人で作っているWebアプリの一部の機能に使うためです。

因に私はJavaScriptをたまに使うくらいで簡単なWebアプリにJSを使ったくらいで、
またAjaxを触ったことがありません。
そこで過去にAjaxを学習する際に使ったオススメのサイトや書籍などが
あれば教えていただけますか？


Ajaxを学習するにあったて

UNIX/Linuxにはchageコマンドというコマンドがあるのに、どうしてaskaコマンドはないのでしょうか？