6 columns passed, passed data had 0 columnsのエラー

Question

前提・実現したいこと

TwitterAPIを利用して特定のツイートに対するリプライの取得を行っております。
リプライ情報の中で、テキスト文以外にユーザーidやユーザー名を取得しようとし、実装中に以下のエラーメッセージが発生しました。
また、このデータ(ユーザーid・ユーザー名・テキスト等)をDataFrameを用いて表にし、かつcsvの形で保存したいです。

発生している問題・エラーメッセージ

ValueError                                Traceback (most recent call last)
~/opt/anaconda3/lib/python3.7/site-packages/pandas/core/internals/managers.py in create_block_manager_from_blocks(blocks, axes)
   1661                 blocks = [
-> 1662                     make_block(values=blocks[0], placement=slice(0, len(axes[0])))
   1663                 ]

~/opt/anaconda3/lib/python3.7/site-packages/pandas/core/internals/blocks.py in make_block(values, placement, klass, ndim, dtype)
   2713 
-> 2714     return klass(values, ndim=ndim, placement=placement)
   2715 

~/opt/anaconda3/lib/python3.7/site-packages/pandas/core/internals/blocks.py in __init__(self, values, placement, ndim)
   2369 
-> 2370         super().__init__(values, ndim=ndim, placement=placement)
   2371 

~/opt/anaconda3/lib/python3.7/site-packages/pandas/core/internals/blocks.py in __init__(self, values, placement, ndim)
    129             raise ValueError(
--> 130                 f"Wrong number of items passed {len(self.values)}, "
    131                 f"placement implies {len(self.mgr_locs)}"

ValueError: Wrong number of items passed 1, placement implies 6

During handling of the above exception, another exception occurred:

ValueError                                Traceback (most recent call last)
<ipython-input-78-0f418a9fed69> in <module>
      1 if __name__ == '__main__':
----> 2     main()

<ipython-input-61-f197ee9a00ff> in main()
     13     range = 100 # 検索回数の上限値(最大180/15分でリセット)
     14     # ツイート検索・リプライの抽出
---> 15     tweets = search_tweets(CK, CKS, AT, ATS, user_id, tweet_id, count, range)
     16 
     17 

<ipython-input-77-a76659ff5e8f> in search_tweets(CK, CKS, AT, ATS, user_id, tweet_id, count, range)
     36                                       'UserID',
     37                                       'UserScreenName',
---> 38                                       'PostMessage']) 
     39 
     40         df.to_csv('jr1.csv', encoding="utf-8") # CSV形式で保存

~/opt/anaconda3/lib/python3.7/site-packages/pandas/core/frame.py in __init__(self, data, index, columns, dtype, copy)
    521                     mgr = arrays_to_mgr(arrays, columns, index, columns, dtype=dtype)
    522                 else:
--> 523                     mgr = init_ndarray(data, index, columns, dtype=dtype, copy=copy)
    524             else:
    525                 mgr = init_dict({}, index, columns, dtype=dtype)

~/opt/anaconda3/lib/python3.7/site-packages/pandas/core/internals/construction.py in init_ndarray(values, index, columns, dtype, copy)
    232         block_values = [values]
    233 
--> 234     return create_block_manager_from_blocks(block_values, [columns, index])
    235 
    236 

~/opt/anaconda3/lib/python3.7/site-packages/pandas/core/internals/managers.py in create_block_manager_from_blocks(blocks, axes)
   1670         blocks = [getattr(b, "values", b) for b in blocks]
   1671         tot_items = sum(b.shape[0] for b in blocks)
-> 1672         raise construction_error(tot_items, blocks[0].shape[1:], axes, e)
   1673 
   1674 

ValueError: Shape of passed values is (6, 1), indices imply (6, 6)

csvも保存されておらずかつDataFrameも表示されません。

該当のソースコード

import urllib
from requests_oauthlib import OAuth1
import requests
import sys
import pandas as pd
from datetime import datetime, timedelta

def main():

    # APIの秘密鍵
    CK = '*****'
    CKS = '*****'
    AT = '*****'
    ATS = '*****'
    # ユーザー・ツイートID
    user_id = '*****'
    tweet_id = '*****' # str型で指定
    # 検索時のパラメーター
    count = 100 # 一回あたりの検索数(最大100/デフォルトは15)
    range = 100 # 検索回数の上限値(最大180/15分でリセット)
    # ツイート検索・リプライの抽出
    tweets = search_tweets(CK, CKS, AT, ATS, user_id, tweet_id, count, range)
    # 抽出結果を表示
    #ツイート数が52個までの意味
    print(tweets[0:52])

def search_tweets(CK, CKS, AT, ATS, user_id, tweet_id, count, range):
    # 文字列設定
    user_id += ' exclude:retweets' # RTは除く
    user_id = urllib.parse.quote_plus(user_id)
    # リクエスト
    url = "https://api.twitter.com/1.1/search/tweets.json?lang=ja&q="+user_id+"&count="+str(count)
    auth = OAuth1(CK, CKS, AT, ATS)
    response = requests.get(url, auth=auth)
    data = response.json()['statuses']
    # ２回目以降のリクエスト
    cnt = 0
    reply_cnt = 0
    tweets = []
    while True:
        if len(data) == 0:
            break
        cnt += 1
        if cnt > range:
            break
        for tweet in data:
            if tweet['in_reply_to_status_id_str'] == tweet_id: # ツイートIDに一致するものを抽出
                tweets.append(tweet['id_str'])#ツイートID
                tweets.append('{0:%Y-%m-%d %H:%M:%S}'.format(datetime.strptime(tweet['created_at'], "%a %b %d %H:%M:%S %z %Y") + timedelta(hours=9)))# 投稿日
                tweets.append(tweet['user']['name'])# ユーザー名
                tweets.append(tweet['user']['id_str'])# ユーザーID
                tweets.append(tweet['user']['screen_name'])# ユーザー表示名
                tweets.append(tweet['text']) # ツイート内容
                
                reply_cnt += 1
             maxid = int(tweet["id"]) - 1
        
    
        df = pd.DataFrame(tweets,columns=['TweetID',
                                      'PostedTime',
                                      'UserName',
                                      'UserID',
                                      'UserScreenName',
                                      'PostMessage']) 
        
        df.to_csv('jr1.csv', encoding="utf-8") # CSV形式で保存
            
        url = "https://api.twitter.com/1.1/search/tweets.json?lang=ja&q="+user_id+"&count="+str(count)+"&max_id="+str(maxid)
        response = requests.get(url, auth=auth)
        try:
            data = response.json()['statuses']
        except KeyError: # リクエスト回数が上限に達した場合のデータのエラー処理
            print('上限まで検索しました')
            break
    print('検索回数 :', cnt)
    print('リプライ数 :', reply_cnt)
    print(df)

    return tweets

if __name__ == '__main__':
    main()    

補足情報（FW/ツールのバージョンなど）

Jupiterで実行しています。
どなたか力をお貸しください。

以下jeanbiego様が回答してくださったものから修正したverです。
変更したdef search_tweetsの所のみ掲載します。

def search_tweets(CK, CKS, AT, ATS, user_id, tweet_id, count, range):
    # 文字列設定
    user_id += ' exclude:retweets' # RTは除く
    user_id = urllib.parse.quote_plus(user_id)
    # リクエスト
    url = "https://api.twitter.com/1.1/search/tweets.json?lang=ja&q="+user_id+"&count="+str(count)
    auth = OAuth1(CK, CKS, AT, ATS)
    response = requests.get(url, auth=auth)
    data = response.json()['statuses']
    # ２回目以降のリクエスト
    cnt = 0
    reply_cnt = 0
    tweets = []
    while True:
        if len(data) == 0:
            break
        cnt += 1
        if cnt > range:
            break
        for tweet in data:
            if tweet['in_reply_to_status_id_str'] == tweet_id: # ツイートIDに一致するものを抽出
                tweets.append([tweet['id_str']])#ツイートID
                tweets.append(['{0:%Y-%m-%d %H:%M:%S}'.format(datetime.strptime(tweet['created_at'], "%a %b %d %H:%M:%S %z %Y") + timedelta(hours=9))])# 投稿日
                tweets.append([tweet['user']['name']])# ユーザー名
                tweets.append([tweet['user']['id_str']])# ユーザーID
                tweets.append([tweet['user']['screen_name']])# ユーザー表示名
                tweets.append([tweet['text']]) # ツイート内容
                
                reply_cnt += 1
                
            maxid = int(tweet["id"]) - 1    
    
        url = "https://api.twitter.com/1.1/search/tweets.json?lang=ja&q="+user_id+"&count="+str(count)+"&max_id="+str(maxid)
        response = requests.get(url, auth=auth)
        
        try:
            data = response.json()['statuses']
        except KeyError: # リクエスト回数が上限に達した場合のデータのエラー処理
            print('上限まで検索しました')
            break
    
    df = pd.DataFrame([tweets],columns=['TweetID',
                                        'PostedTime',
                                        'UserName',
                                        'UserID',
                                        'UserScreenName',
                                        'PostMessage'])
    
    df.to_csv('jr1.csv', encoding="utf-8") # CSV形式で保存
    print('検索回数 :', cnt)
    print('リプライ数 :', reply_cnt)
    print(df)
    
    return tweets

エラー文です。tweetsの中に横並びで324個のデータが入ってしまっているようです。
全文載せようとしましたが字数制限にひっかかってしまいました。

ValueError: 6 columns passed, passed data had 324 columns

何度も申し訳ありません。分かる方がいらっしゃればよろしくお願いいたします。

Comments

[jeanbiego]

エラーは全文を記載するようにしてください。

[jeanbiego]

エラーの全文というのは、traceback（どのファイルの何行目にエラーが発生しているか）も含めて記載してくださいという意図でした。

[naochan1027]

意図を理解せず申し訳ありませんでした。
また、回答ありがとうございます。
今から回答いただいた部分を修正してみます。

Answer 1

Tracebackみないと正確なところはわかりませんが、多分ここかなあというところを。

エラー例：カラム1個×インデックス6個のデータフレームに、カラム6個を指定しようとしている

import pandas as pd
tweets = [*range(6)]  # [0, 1, 2, 3, 4, 5]
df = pd.DataFrame(tweets,columns=['TweetID',
                                      'PostedTime',
                                      'UserName',
                                      'UserID',
                                      'UserScreenName',
                                      'PostMessage']) 
print(df)
# ValueError: Shape of passed values is (6, 1), indices imply (6, 6)

たとえば、tweetsを[tweets]と指定してやると横長のデータフレームになります。これならエラーは出ません。

import pandas as pd
tweets = [*range(6)]  # [0, 1, 2, 3, 4, 5]
df = pd.DataFrame([tweets],columns=['TweetID',
                                      'PostedTime',
                                      'UserName',
                                      'UserID',
                                      'UserScreenName',
                                      'PostMessage']) 
print(df)
# TweetID  PostedTime  UserName  UserID  UserScreenName  PostMessage
# 0        0           1         2       3               4            5

追記

一度データフレームを作成してから、転置（行と列を入れ替え）して、カラム名をセットしています。

import pandas as pd

# テスト用データ
tweets = list()
for i in range(6):
    accounts = list()
    for a in "ABCDE":
        accounts.append(a+str(i))
    tweets.append(accounts)
print(tweets)
#[['A0', 'B0', 'C0', 'D0', 'E0'],
# ['A1', 'B1', 'C1', 'D1', 'E1'],
# ['A2', 'B2', 'C2', 'D2', 'E2'],
# ['A3', 'B3', 'C3', 'D3', 'E3'],
# ['A4', 'B4', 'C4', 'D4', 'E4'],
# ['A5', 'B5', 'C5', 'D5', 'E5']]
    
df = pd.DataFrame(tweets).T  # 転置
df.columns=['TweetID',
          'PostedTime',
          'UserName',
          'UserID',
          'UserScreenName',
          'PostMessage']
print(df)

#  TweetID PostedTime UserName UserID UserScreenName PostMessage
#0      A0         A1       A2     A3             A4          A5
#1      B0         B1       B2     B3             B4          B5
#2      C0         C1       C2     C3             C4          C5
#3      D0         D1       D2     D3             D4          D5
#4      E0         E1       E2     E3             E4          E5

Comments

[naochan1027]

エラーの原因を理解することができました。大変助かりました。
おかげさまでコードを修正したところ、"ValueError: 6 columns passed, passed data had 324 columns"といったエラーがでたため、54個のアカウントから6項目のデータを取得できているのですが、これを1アカウントずつ行にしたいです。
何度も申し訳ありませんがもし分かるようであれば教えていただきたいです。
(補足情報のところに修正したコードとエラーを追加いたしました。)

[jeanbiego]

コードを追記しましたので、ご確認下さい。

[naochan1027]

返信遅くなってしまいすみません。おかげさまで表示することができました。大変助かりました。何度も答えていただきありがとうございました。