常連

注目の的

社会貢献

質問力

回答者

情報収集家

Pythonでdataframe型に、要素数違いで列に値を代入するときのValueErrorについて質問です。

```ここに言語を入力
#        A   B   C  D  E
# ONE    0  B1  C1  0  NaN
# TWO    0  B2  C2  0  NaN
# THREE  0  B3  C3  0  NaN
```

と、データがあった時、

```ここに言語を入力
df['E'] = [0, 1, 2]
print(df)
#        A   B   C  D  E
# ONE    0  B1  C1  0  0
# TWO    0  B2  C2  0  1
# THREE  0  B3  C3  0  2
```

として、E列に値を代入できると思いますが、
```ここに言語を入力
df['E'] = [0, 1]
```
として、2行分だけを代入しようとすると、ValueErrorとなってしまいます。

下記サイトにも、同様に
追加するリストなどの要素数と行数が一致していないとエラー（ValueError）になる。
と書かれておりました。
https://note.nkmk.me/python-pandas-assign-append/

今回のように、3行ある内の2行分のみを代入したい。
となった場合には、どのようにすればできますでしょうか。

よろしくお願い致します。

Pythonのpandasでdataframe型に、要素数違いで列に値を代入するときのValueErrorについて

#前提・実現したいこと
pandasのDataFrameの中で、特定の要素を含む行を全て抽出したいのですが、方法が分かりません。
str.containsがやりたいことに最も近いのですが、カラムを指定しないとできません。
元データは何千万行何百列にわたるので、カラムを一個一個指定してstr.containsで判定するのではなく、一度に抽出する方法があれば知りたいです。

#試したこと
例えば、下記のように"li"を含むすべての行を１度に抽出したいのですが、str.containsではカラムを指定しないと実現できません。
本来やりたいデータは何千万行何百列にわたるのですが、説明のため下記のような簡単な例にしております。
```python
dfの構造例：
name1,name2,age,state,point
Alice,John,24,NY,64
Bob,Alice,42,CA,92
Charlie,Michel,18,CA,70
Dave,Alice,68,TX,70
Ellen,John,24,CA,88
Frank,David,30,NY,57

print(df["name1"].str.contains('li'))
# 0     True
# 1    False
# 2     True
# 3    False
# 4    False
# 5    False
# Name: name, dtype: bool

print(df.str.contains('li'))
期待する結果：
# 0     True
# 1     True
# 2     True
# 3     True
# 4    False
# 5    False
# Name: name, dtype: bool



```

DataFrameの中で、特定の要素を含む行を抽出したい

column1 
0        a   
1        b   
2        c  
3        d  
4        e  
5        f 

上記のデータを下記のようにまとめたいです。

     column1 
0      abc   
1      def   

下記のように列を一緒にする方法はすぐに出てきたのですが、
行を一緒にする方法は調べても出てきませんでした。
print(df_spec['column1'].str.cat(df_spec['column2']))

教えていただけないでしょうか？

Pandasで複数の行を同じにセルに入れたい（Python）

PythonのPandasで分析したいExcelファイルが、以下のように「事故状況」が２行で書かれているデータを扱いたいです。
この２行目に書かれた文章を、一つ前の「事故状況」のテキストの末尾に結合し、DataFrameを作成したいのですが、上手くやり方がわかりません。


|時間|日付|名前|事故状況|
|:--|:--:|:--:|--:|
|10時|26|山田たろう|山田さんの事故状|
|NaN|NaN|NaN|況の説明文があります。|
|11時|30|三木さだえ|杖を忘れて歩|
|NaN|NaN|NaN|いている途中で転倒。|


現状のコードは、名前のNaNを’-’で置き換え、
名前=='-'だったときに、事故状況の文章を一つ前の行に追記する・・・というロジックになっております。

正直、かなり回りくどいやり方になっている自覚はあるのですが、
これ以外のスマートにやる方法がわかりません。。。

どなたか、この状況で上手く２行を１行のPandasDataframeにするやり方、
わかる方いましたら、ご教示いただけますと、とても助かります。。。


```ここに言語を入力
file #任意のファイルパス
df = pd.read_excel(file, header=2)

# ループ処理回数に使う行数
df_len = len(df)

# NaNのif文での判定方法がわからず、'-'で置き換え
df2['名前'] = df['名前'].fillna('-')

for i in range(df_len):
    if df2.iloc[i]['名前'] == '-':
       ※ここに「事故状況」の文章つなげるコード
    else:
       つづき




```

Python Pandasでデータ分析したいExcelデータが、特定カラムのみ２行なので連結したいです。

### 前提・実現したいこと
42 5f 00 00 などの16進数が書かれた**テキストファイル**があります。
Pythonで、このデータをそのまま別の**バイナリファイル**に書き込みたいのですが手順が分かりません。どのような方法が良いのでしょうか？


### 試したこと

調べてみましたが、16進数を文字列に変換する例しか見つからず、苦戦しております。
テキストファイルを読み込んで一行ずつstr配列に入れてみました。

## イメージ
テキストファイルの内容はこんな感じです。
42 5f ff 00
00 00 00 00
22 00
22 00
00 00 00 00
00 00 00 00

完成したバイナリファイルをバイナリエディタでhex表示した内容はこの通りです
42 5f ff 00 00 00 00 00-22 00 22 00 00 00 00 00
00 00 00 00

pythonで、バイナリファイルに16進数から書き込みたいです

データフレーム内の要素の出現数を集計したいと考えております。

このようなデータフレームを

```dataframe
日付       おにぎりの具
2020/9/1   梅干し
2020/10/1  サケ
2020/11/1  タラコ
2020/12/1  タラコ
2021/1/1   梅干し

```
このようにしたい。
resampleで期間ごとに集計できる形式にするのが目的です。
```dataframe
日付　　　　 おにぎりの具	　梅干し　サケ　　タラコ
2020/9/1　　梅干し	　　　　　1
2020/10/1　 サケ		　　　　　　　1
2020/11/1　 タラコ			　　　　　　　　　1
2020/12/1　 タラコ			　　　　　　　　　1
2021/1/1    梅干し	　　　　 1
```


そこでdf.iterrowsで回して次の通り処理をしてるのですが、
速度面で難があります。

```python
gu = ["梅干し","サケ","タラコ"]
for g in gu:
	for i in df.iterrows():
		df.loc[df["おにぎりの具"] == g, g] = 1
```


そこでmapメソッドを使って、次の通り関数を適用させることで
解消しようとしてますが、エラーとなります。
エラーの原因がどうしてもわかりません。


```python
s = df["おにぎりの具"]

def onigiri_map():
    onigiri_str = ["梅干し","サケ","タラコ"]
    for oni in onigiri_str:
        df.loc[df["おにぎりの具"]==oni,oni] = 1

s = s.map(onigiri_map())

TypeError: 'NoneType' object is not callable
```

どうしてもmapにこだわる理由もないのですが、原因等分かればと思います。
分かりにくい説明となりましたが、どうぞご回答よろしくお願いします。

データフレームの集計を高速化したい

中央の大きな白い物体が今回取り出したいオブジェクトです。
今行いたい処理方法として周りの物体の削除と白い物体の中身を白で潰したいです。

なにか手法がありましたら、お願いいたします。

![イメージ説明](b099a4dce514df0bd9ece59ec5f0665e.png)

二値化後の処理方法について

下のようなデータフレームで、**インデックスは日付で保持**したままその日付の行が何番目なのかを把握するための番号の列（2019-11-01をゼロとする）を追加させたいです。

例えば注釈(annotation)をつける際、引数には行番号を記入する必要があるかと思いますがその時に特定の日付が何番目なのかを知りたいからです。（そもそもannotationに直接日付を引数に渡すことはできるのでしょうか）

どなたかご返答いただけますと幸いです。

```ここに言語を入力
from pandas_datareader import data
import pandas as pd
import matplotlib.pyplot as plt
from datetime import datetime
%matplotlib inline

start = '2019-11-01'
end = '2020-11-01'

df = data.DataReader('^N225','yahoo', start, end)
df
```

![イメージ説明](7a63ec0e62718d13fa1949f58bed459d.png)

データフレームに行番号を追加させたい

### 前提・実現したいこと


下記の１０行１０列のcsvを読み込み行の数字を読み込んで4つ以上の連番含む行は除外して新たにcsvを作成したいです
data.csvを読み込み処理しdata1.csv の作成

連番を含む行は除外
ーー 例 ーー　
1,2,3,4,6,8,15,20,22,26  　　　…除外（1,2,3,4）
4,6,8,15,16,20,25,35,40,44 　　…連番が４以下なので除外しない
5,8,10,11,12,13,17,20,22,25 　 …除外（10,11,12,13）
ーーーーーーーーーーーーーーーーーーーーーーー





data.csv
8,17,22,23,24,25,37,40,44,45
12,13,17,19,22,23,24,25,30,33
3,9,11,18,24,31,32,39,49,55
1,5,10,11,12,13,20,25,30,35
5,7,15,16,18,20,27,39,53,59
3,4,9,16,17,21,22,23,35,47
13,14,15,16,24,25,28,29,37,44
4,6,7,15,21,22,33,34,35,36
6,11,12,20,22,24,29,34,37,40
1,3,6,8,11,21,22,23,24,25


↓読み込み仕分けして削除それぞれ作成

連番が４個以上ある行を除外し以下のものだけ残したcsv作成




data1.csv
3,9,11,18,24,31,32,39,49,55
5,7,15,16,18,20,27,39,53,59
3,4,9,16,17,21,22,23,35,47
6,11,12,20,22,24,29,34,37,40



### 該当のソースコード

```pythno
import pandas as pd

df = pd.read_csv('data.csv', header=None)

#↓判断箇所
df = 


df = df.drop(, axis=0)
df.to_csv('data1.csv', header=None, index=None, encoding='utf_8_sig') 




```

### 参考にさせて頂いたサイト



> https://teratail.com/questions/132543
連番のcsvファイル（文字も含んでいる)の処理


> https://blog.fantom.co.jp/2020/02/03/determine-if-a-file-is-a-sequential-number-first/
名前に現在時刻を入れたファイルが連番かどうか判定



判断させる所の考え方等
助言等戴けると幸いです


### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

csv４つ以上の連番除外　python

### 困っていること
手持ちのデータフレームにおいて、ある行のデータセットが他の行のデータセットと重複している場合が散見され、かつデータ数も2000行以上と、かなり多い状況にあります。

今、私が実現したいことは、

たとえば、
10行目が 100行目,200行目,300行目と重複している
20行目が 700行目,800行目,900行目と重複している
のであれば、以下のように返ってくることを期待しています。

[[10,[100,200,300],
[20,[700,800,900]]

上記のことを実現させるために、自分でもfor文で回して作ってみたのですが、データフレームの行数が2000行以上あるので、異常に時間がかかっており、for文以外のもっと効率的に期待した結果を返す方法を知りたく思っています。どなたかお分かりの方、ご教授いただければ幸いです。



### 私が書いたコード
ちなみに、以下のようなコードを書いたのですが、異常に時間がかかって困っています。何か効率的に重複する行番号を出力する良い方法があれば教えていただきたいです。
```ここに言語を入力
results=[]
cnt=0
err=[]
for i in list(df[df.duplicated(keep=False)].index):
    tmp=[]
    for k in list(df[df.duplicated(keep=False)].index):
        if i!=k:
            if k not in err: 
                if list(df.iloc[i,:])==list(df.iloc[k,:]):
                    tmp.append(k)
                    err.append(k)
                    cnt+=1
    err.append(i)
    if len(tmp)>0:
        results.append([i,tmp])
```

[python] 行数の多いデータフレームで重複する行の行番号を効率よく出力する方法が分からず困っています

### 発生している問題・エラーメッセージ
ラズベリーパイ4 4GBにて、VSCodeでPythonを用いてMCP3208を制御するプログラムを作成し、
デバッグありで実行していたところ、ラズベリーパイは落ちておらず数日後止まっていました。
(止まった時の、詳細情報を残し忘れました)

ログとして、MCP3208からの読み取り値とCPU温度を追記モードでcsvファイルに残していました。
ログの情報によると雰囲気温度Max40℃前後，CPU温度Max50℃前後でした。

使用したVSCodeのバージョンは、1.29.0-1539702286 です。

### 試したこと
同一プログラムをVSCode上ではなくターミナルからコマンドで実行したところ、
雰囲気温度は異なりますが、止まった時間以上の実行しており、
プログラムには問題ないと思います。

MCP3208の通信エラーかと思いましたが、意図的に断線としても値表示されなかったため、
プログラムが落ちる原因ではないと思います。

### 教えて頂きたこと
VSCodeでデバッグありで実行すると、何か原因デバッグが止まる事はあるのでしょうか？
もし止まるとしたら、何が原因でしょうか？

実行時のコードもなく、申し訳ありませんが、
宜しくお願い致します。

ラズベリーパイ VSCode デバッグありでPython実行すると、数日後に止まる原因について

例えば、{"time":"yyyy/mm/dd HH:MM:SS"}
という配列があったとして、この配列をプログラムを動かしたい時間として設定し、
この時間になったら設定したプログラムを動かすということはどのようにすればいいのでしょうか？

配列の中に時間をセットし、その時間通りになったらプログラムを動かすというものです。

cron以外の方法でお願いします。

### 動かしたいプログラム
```
from gpiozero import LED
from time import sleep
 
drive1 = LED(20)
 
drive1.off()
 
while True:
    sleep(3)
    drive1.on()
    sleep(3)
    drive1.off()
```

### 環境
macOS Mojave
Raspberry Pi 3B

Pythonで設定した時間通りにプログラムを実行したい

フォルダに格納されたPDFファイル（test1～test10の10ファイル）のプロパティ（タイトルとファイル作成者）にエクセルファイルに入力されたデータを入力したいと考えています。

以下のようなコードを用いることにより処理をしようと考えているのですが、PDFファイルによって以下のようなエラーが生じ、エラーが生じたファイルが壊れて（0KBとなり読み込めなくなって）しまいます。
![イメージ説明](c66d09cb51d332c692eb5f76828bf19d.png)
```Python
import PyPDF2
import pandas as pd

df=pd.read_excel('Desktop\テスト/test.xlsx')
for row in df.itertuples():
    path,title,creator=row[1:]
    print(path,title,creator)
    
    src_pdf=PyPDF2.PdfFileReader('Desktop\テスト/'+path)
    dst_pdf=PyPDF2.PdfFileWriter()
    dst_pdf.cloneReaderDocumentRoot(src_pdf)

    d = {key: src_pdf.documentInfo[key] for key in src_pdf.documentInfo.keys()}

    d['/Title'] = str(title)
    d['/Author'] = str(creator)

    dst_pdf.addMetadata(d)

    with open('Desktop\テスト/'+path,'wb') as f:
        dst_pdf.write(f)
```

エラーメッセージ
PdfReadError                              Traceback (most recent call last)
<ipython-input-22-2eb6e479cf31> in <module>
     22 
     23         with open('Desktop\テスト/'+path,'wb') as f:
---> 24             dst_pdf.write(f)

~\Anaconda3\lib\site-packages\PyPDF2\pdf.py in write(self, stream)
    480         self.stack = []
    481         if debug: print(("ERM:", externalReferenceMap, "root:", self._root))
--> 482         self._sweepIndirectReferences(externalReferenceMap, self._root)
    483         del self.stack
    484 

~\Anaconda3\lib\site-packages\PyPDF2\pdf.py in _sweepIndirectReferences(self, externMap, data)
    569                     self.stack.append(data.idnum)
    570                     realdata = self.getObject(data)
--> 571                     self._sweepIndirectReferences(externMap, realdata)
    572                     return data
    573             else:

~\Anaconda3\lib\site-packages\PyPDF2\pdf.py in _sweepIndirectReferences(self, externMap, data)
    545             for key, value in list(data.items()):
    546                 origvalue = value
--> 547                 value = self._sweepIndirectReferences(externMap, value)
    548                 if isinstance(value, StreamObject):
    549                     # a dictionary value is a stream.  streams must be indirect

~\Anaconda3\lib\site-packages\PyPDF2\pdf.py in _sweepIndirectReferences(self, externMap, data)
    575                 if newobj == None:
    576                     try:
--> 577                         newobj = data.pdf.getObject(data)
    578                         self._objects.append(None) # placeholder
    579                         idnum = len(self._objects)

~\Anaconda3\lib\site-packages\PyPDF2\pdf.py in getObject(self, indirectReference)
   1629                         indirectReference.generation), utils.PdfReadWarning)
   1630             #if self.strict:
-> 1631             raise utils.PdfReadError("Could not find object.")
   1632         self.cacheIndirectObject(indirectReference.generation,
   1633                     indirectReference.idnum, retval)

PdfReadError: Could not find object.

PythonでPDFファイルのプロパティにExcelファイルの情報を入力したい

# 実現したいこと

UTF-8のデータが保存されたDBからレコードを取得し、Shift-JISでCSVに書き込み、出力したい。

# 困っていること

データの量が膨大なため、CSVを複数ファイルに分割して出力しているのですが、時々
`'shift_jis' codec can't encode character '\u3396' in position XXX: illegal multibyte sequence`
のようなエラーが出てCSVの作成に失敗します。
その都度、Pythonの出力部ではDBから取得したデータに対して`.replace('\u3396', '\uXZXZ')`のような変換処理をかませているのですが、この調子だとUnicode -> Shift_JISの全ての変換不能文字について上記のようなリプレイス処理を追記することになってしまい、あまりスマートでは無くなってしまうことを懸念しています。

UTF-8 から Shift-JIS に変換しつつ大量のデータを出力する場合、変換不能文字について上記のように代替となる文字に変換する以外に最適な対応策などありますでしょうか。また、代替文字に置き換える方法をとる場合、スマートな実装などあればご教示いただきたいです。

ご助力いただけると幸いです。
よろしくお願いします。

Shift-JIS - Unicode 間の文字化けについて

# 前提・実現したいこと

「Selenium × Firefox」の環境でブラウザ操作の自動化を行っています。

スクリプトを実行した時、事前にFirefoxブラウザにインポートしていた
クライアント証明書が反映されません。

ドライバー起動時の設定を変えればよいと考えてはいるのですが、
調べてもどのように設定してよいか分からず...
ご回答をよろしくお願いいたします。

少々抽象的な質問になってしまっているので、
必要な情報等あればご指摘ください。

### 該当のソースコード

```
from selenium import webdriver

# -----------------------------------------------------------------------
driver = webdriver.Firefox(executable_path = "ドライバーパス")

driver.maximize_window()
driver.get("サイトURL")

# クライアント証明書を使用する処理

driver.quit()
# ------------------------------------------------------------------------
```


### 補足情報（FW/ツールのバージョンなど）
OS：Windows10 1909
言語：Python 3.7.3
ブラウザ：Firefox 78.0.2(64bit)
WEBドライバー：geckodriver.exe 0.26.0(64bit)

「Selenium × Firefox × Python」の環境で自動スクリプト実行時、クライアント証明書が反映されていない

### 前提・実現したいこと

GASでスクレイピングに取り組んでいます。

### 発生している問題・エラーメッセージ
下記コードでは「書き込む行は最終行の次の行から」となっていますが、最終列を取得し、最終列の次の列にデータを追加していきたいです。
getLastColumn();などを使えば良いとはわかるのですが、上手くできません、お知恵を貸していただきたいです。

### 該当のソースコード

```JavaScript
ソースコード
``````ここに言語を入力
ここに言語を入力
```
function get_title_link() {
  // 対象ページのURL
  var getUrl = 'https://news.yahoo.co.jp/';
  // htmlをテキスト情報にして抽出
  var html = UrlFetchApp.fetch(getUrl).getContentText('UTF-8');
  // ニュースのタイトルを抽出
  var title_list = Parser.data(html).from('<div class="newsFeed_item_title">').to('</div>').iterate();
  // ニュースの公開された時間を抽出
  var time_list = Parser.data(html).from('<time class="newsFeed_item_date">').to('</time>').iterate();
  // 記事へのリンクを抽出
  var url_list = Parser.data(html).from('<a class="newsFeed_item_link" href="').to('" data-ylk="').iterate();
  // シートの指定．GoogleスプレッドシートのURLの「https://docs.google.com/spreadsheets/d/***************************************/edit#gid=0」の部分を使う．
  var spreadsheet = SpreadsheetApp.openById('1GnjV-4Gkl-w7w1Rkfb6dZrdMkmcpkrbpC_yj6ooopm8');
  // シート1をスポーツに命名(スポーツニュースのみに絞ってスクレイピング)
  var sheet = spreadsheet.getSheetByName('シート1');
  // 最終行を取得
  var lastrow = sheet.getLastRow();
  // 書き込む行は最終行の次の行から
  var recordrow = lastrow + 1;
  // 過去の記録を確認
  var oldurl_list = [];
  var start = 2;
  if (lastrow > 26){
    start = lastrow - 25;
  }
  for(var i = start; i <= lastrow; i++){
    oldurl_list.push(sheet.getRange("C" + i).getValue());
  }
  for(var i = url_list.length-1; i >= 0; i--){
    if(oldurl_list.indexOf(url_list[i]) == -1){
      sheet.getRange("A" + recordrow).setValue(time_list[i]);
      sheet.getRange("B" + recordrow).setValue(title_list[i]);
      sheet.getRange("C" + recordrow).setValue(url_list[i]);
      recordrow++;
    }
  }
}
```
![画像で言うと次に実行した時にはE列に出力できるようにしたいと言うことです](b2a34c021b7721d7807996880d8906d4.png)

GAS 最終列の次の列にデータを出力する方法がわかりません

### 前提・実現したいこと

Twitterのbotを作成しています。
ツイートを予め保管しておくために、スプレッドシートを使うことを考えています。流れは、スプレッドシートに保管した文字列をランダムで抽出しそれを呟く感じです。
ここで、認証に使うjsonファイルの中身を辞書型変数に保管しそれを利用します。最終的にHerokuへデプロイする予定なので、セキュアな内容は環境変数に保管しています。

### 発生している問題・エラーメッセージ
jsonファイルに格納されていた情報を.envに保管し それを辞書型変数の値にセットし
```python
credentials = ServiceAccountCredentials.from_json_keyfile_dict(CREDENTIAL, SCOPE_URL)
```
のようにしたところ、以下のようなエラーが出現しました。

```
Traceback (most recent call last):
  File "AutoTweet.py", line 60, in <module>
    credentials = ServiceAccountCredentials.from_json_keyfile_dict(CREDENTIAL, SCOPE_URL)
  File "/Users/ilovephys/.pyenv/versions/3.6.5/lib/python3.6/site-packages/oauth2client/service_account.py", line 253, in from_json_keyfile_dict
    revoke_uri=revoke_uri)
  File "/Users/ilovephys/.pyenv/versions/3.6.5/lib/python3.6/site-packages/oauth2client/service_account.py", line 185, in _from_parsed_json_keyfile
    signer = crypt.Signer.from_string(private_key_pkcs8_pem)
  File "/Users/ilovephys/.pyenv/versions/3.6.5/lib/python3.6/site-packages/oauth2client/_pure_python_crypt.py", line 182, in from_string
    raise ValueError('No key could be detected.')
ValueError: No key could be detected.
ERROR: exit status 1
```

### 該当のソースコード

```python
import gspread
from oauth2client.service_account import ServiceAccountCredentials
import tweepy
import os
import random as rnd

#Twitter認証
CK = os.environ["CK"]
CS = os.environ["CS"]
AT = os.environ["AT"]
ATS = os.environ["ATS"]

auth = tweepy.OAuthHandler(CK, CS)
auth.set_access_token(AT, ATS)
api = tweepy.API(auth)

#gspread認証
SCOPE_URL = 'https://spreadsheets.google.com/feeds'
GID = os.environ["GID"]
SHEET_NAME = '単発初心者向け'

CREDENTIAL = {
                "type":
                "service_account",
                "project_id":
                os.environ['PROJECT_ID'],
                "private_key_id": os.environ['PRIVATE_KEY_ID'],
                "private_key": os.environ["PRIVATE_KEY"],
                "client_email": os.environ['CLIENT_EMAIL'],
                "client_id":
                os.environ['CLIENT_ID'],
                "auth_uri":
                "https://accounts.google.com/o/oauth2/auth",
                "token_uri":
                "https://oauth2.googleapis.com/token",
                "auth_provider_x509_cert_url":
                "https://www.googleapis.com/oauth2/v1/certs",
                "client_x509_cert_url":  os.environ['CLIENT_X509_CERT_URL']
             }

TEMPLATE_FILE_NAME = 'spread_sheet_credential_template.txt'

credentials = ServiceAccountCredentials.from_json_keyfile_dict(CREDENTIAL, SCOPE_URL)
client = gspread.authorize(credentials)
sheet = client.open_by_key(gid)

worksheet = sheet.worksheet(SHEET_NAME)

#spreadSheet操作
TWEET_CULUMN = 3
TWEET_STR_COUNT = 4
HASH_TAG = 13

col_list = worksheet.col_values(TWEET_CULUMN)
print(len(col_list))
tweet_text = col_list[rnd.randint(1, len(col_list)-1)]

print(tweet_text)

try:
    api.update_status(status = tweet_text)
    print("\nSuccess Of Tweeting!!")
except tweepy.TweepError as error:
    if error.api_code == 187:
        # Do something special
        print('duplicate message')
    else:
       raise error

```

### 調べたこと

Google検索しましたが、多くの方は「Herokuにデプロイした際」
```
    raise ValueError('No key could be detected.')
ValueError: No key could be detected.
ERROR: exit status 1
```
が出たと言っていました。まだHerokuにデプロイしていない自分はその前段階のようです...

### 試したこと
JSON中のprivate keyには改行コード\nが含まれていますが、これが環境変数中では\nとなっている可能性があります。
とのご指摘を頂き

```
"private_key": os.environ.get('PRIVATE_KEY').replace('\n', '\n'),
```
を試しましたが、うまく動きませんでした。

### 助けて下さい！！

お忙しい中、誠に恐縮ですが どうかお時間のある際回答をいただけると幸いです。

google APIを使ってPythonでスプレッドシートを操作する際、jsonファイルが読み込めない

### 前提・実現したいこと

現在from concurrent.futures import ThreadPoolExecutorを使用し、スレッド処理にて高速requestsさせているのですがサイト自体を読み込むのに時間がかかりスレッドで複数実行して待機するよりも一つで何個もどんどん投げたほうが効率が良くなるかなと思い書き換えようと思っております。過去にも同様の質問がteratailにされており拝見させていただいたところ本質的な回答はされておらずスレッド処理を推奨していたので質問させていただきます。

この過去の質問と同様の状況でしてかなり情報が散らばっていたり昔の書式で合ったり自分なりにしっかりと調べたつもりでわからなかったので質問させていただいております。ここからは自分なりに調べてなんとなく動作が理解できているところを書かせていただきます。

できるだけ、今のコードを編集せずAsyncioを実装してみようと思い調べたところrequestsはそれ自体がnon blockingではないためrun_in_executor()を使用することで並列的に？requestsでも高速で処理ができるという記事を見ました。
さらにget_event_loop() でイベントループを取得し、run_until_complete()で Futureの完了を待ち、 結果を取得してイベントループをclose()などといったひとつひとつの動作はなんとなくりかいできたのですが書式などがいまいちよくわかりません。

もし、requestsでは非同期処理をすることはできない、やそれよりもaiohttpを使ったほうが速いなども教えていただけると嬉しいです。

また、async/awaitなどの使い方もわかりやすいサイトなどがあれば教えていただけると助かります。
いまいちそこの時点でこんがらがってしまい理解できてない気がするので...

最後に、grequestsも試しましたがなぜか簡単な一リクエストも実行されずお手上げでした。

### 該当のソースコード

```Python3
import requests
import json
import time
import re
import os
import sys
from bs4 import BeautifulSoup
from concurrent.futures import ThreadPoolExecutor

if os.path.exists("list.txt"):
    pass
else:
    print("\nエラー:list.txtが存在しません")
    time.sleep(3)
    sys.exit()

args = sys.argv
if len(args) == 2:
    input_file = args[1]
else:
    input_file = "list.txt"

keywords_list = [
    "",
    "",
    "",
    "",
]
proxies = {
    "http": "",
    "https": "",
}
ua = ""
headers = {"User-Agent": ua}
header = {"Authorization": "Bearer " + ""}
count = 0

logs = []

while True:

    start = time.time()

    def check_url(target_url, headers=headers, proxies=proxies, retry=3):

        for i in range(retry):

            try:
                start = time.time()

　　　　　　　　　#ここ↓のリクエストが時間がかかるので非同期処理をさせたい

                req = requests.get(
                    target_url, headers=headers, proxies=proxies, allow_redirects=False
                )
                logs.append(str(req.status_code) + "\t" + target_url)
                target_urlll = re.sub("(.*)(?=/)|/|(?=?)(.*)", "", target_url)
                print(str(req.status_code) + "\t" + target_urlll)

                if req.status_code == 404:
                    html = BeautifulSoup(req.text, "html.parser")
                    title = html.find("title").text
                    body = html.find("body").text

                    for keyword in keywords_list:
                        if keyword in body:

                        #ここからのリクエストは非同期処理をさせなくてよいので気にしないでください

                            target_url = re.sub(
                                "(.*)(?=/)|/|(?=?)(.*)", "", target_url
                            )

                            r = requests.get(
                                ""
                                + str(target_url)
                            )
                            jsondata = json.loads(r.text)
                            result = jsondata[""]

                            if result == True:
                                print("" + str(target_url))
                                message = "" + str(target_url)
                                payload = {"message": message}
                                requ = requests.post(
                                    "",
                                    headers=header,
                                    params=payload,
                                )

                            elif "" in r.text:
                                print("" + str(target_url))

　　　　　　　　　　　　　　　　　　#ここまで

                                break

                elif req.status_code == 200:
                    html = BeautifulSoup(req.text, "html.parser")
                    # print(str(html))
                    title = html.find("title").text
                    body = html.find("body").text

                    for keyword in keywords_list:
                        if keyword in body:

　　　　　　　　　　　　#ここからのリクエストは非同期処理をさせなくてよいので気にしないでください

                            target_url = re.sub(
                                "(.*)(?=/)|/|(?=?)(.*)", "", target_url
                            )

                            r = requests.get(
                                ""
                                + str(target_url)
                            )
                            jsondata = json.loads(r.text)
                            result = jsondata[""]

                            if result == True:
                                print("" + str(target_url))
                                message = "" + str(target_url)
                                payload = {"message": message}
                                requ = requests.post(
                                    "",
                                    headers=header,
                                    params=payload,
                                )

                            elif "" in r.text:
                                print("" + str(target_url))

　　　　　　　　　　　　　　　　　#ここまで

                                break

                return
            except requests.exceptions.ConnectTimeout:
                logs.append("TIMEOUT" + "\t" + target_url)
                time.sleep(10)

            except requests.exceptions.ConnectionError:
                logs.append("ERROR" + "\t" + target_url)
                time.sleep(10)

            except requests.exceptions.ChunkedEncodingError: 
                logs.append("ERROR" + "\t" + target_url)
                time.sleep(10)

    with open("list.txt") as f:
        urls = f.read().splitlines()

    threads = []

    with ThreadPoolExecutor(max_workers=()) as pool:
        threads = [res for res in pool.map(check_url, urls)]

    with open("log.txt", "w") as f:
        f.write("\n".join(logs))

    elapsed_time = time.time() - start

    count = count + 1

    print("\nelapsed_time:{0}".format(elapsed_time) + "[sec]\n")
    print(str(count) + "回目")

```

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Python3でrequestsを非同期処理させてどんどんリクエストを投げたい

### 前提・実現したいこと

データフレームに数字、文字列が混在した状態になっており、 
最終的には文字列に含まれる数字だけを残した列にしたいと 以下のような処理を行ったところ、
 数字の箇所がNaNになってしまい、
データ型が問題であるところまでは分かったのですが、
処理がうまく加なかったため、対応方法を教えていただけないでしょうか？

# 発生している問題・エラーメッセージ

2と3()はそれぞれ2と3で出てきますが、他のデータがNaNになってしまっています。

0    NaN
1    NaN
2    2
3    3
Name: 0, dtype: object



# 該当のソースコード

Python 3.8

import pandas as pd
s = pd.DataFrame([0,1,2.’2’, ‘3(電)’])
s_ans = a[0].str.replace(‘[(]降[)]’, ‘’)
s_ans

数字と文字列が混在したデータフレーム内の列に対する文字列処理について

最近pythonの勉強を独学で始めたものです。
3.6.5だと上手くturtleモジュールが上手く動かないのでバージョンを変えたいのですが
例えば
```python
pyenv global 3.7.7
```
で実行してもバージョンを確認すると3.6.5から変わりません。
特にエラー表示が出ているわけではないのですが原因と解決法がわかる方いらっしゃいましたら御教授下さいよろしくお願いします。
使用os:mac