Pythonでの形態素解析について

Question

表題の件で質問させてください
Pythonでjanomeを用いて形態素解析を行いたいと考えています
windowsを用いて開発しています

データベースからは
value列から”今日の天気は晴れ”、”昨日の天気は雨”という文字列を取得し、その文字列を単語区切りしたいです
idsという変数には['今日の天気は晴れ','昨日の天気は雨']とデータは取得できています

ただ、以下のコードで記入すると
tokens = t.tokenize(ids)の部分で
AttributeError:'list' object has no attribute 'strip'
とエラーが出ます
stripという型がないという意味と解釈したのですが対処法がが分からず苦戦しています
記述の仕方が間違っているのでしょうか
知識が浅いため初歩的な内容かもしれませんがアドバイスお願いいたします

こちらのサイトを参考にさせていただきました
Python初心者が1時間以内にjanomeで形態素解析できた方法

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from sqlalchemy import create_engine,Column,Integer,Text
from sqlalchemy.orm import sessionmaker
from sqlalchemy.ext.declaretive import declarative_base
from functional import seq
from janome.tokenizer import Tokenizer

Base = declarative_base()
class PythonTest(Base):
	__tablename__ = 'Python_test'
	id = Column(Integer,primary_key = True)
	value = column(Text)

if __name__ == '__main__':
	engine = create_engine('postgresql://postgres:postgres@localhost/Datatest')
	session = sessionmaker(bind = engine)
	sess = Session()

	pages = sess.query(PythonTest).all()
	ids = seq(pages).map(lamda x: x.value).to_list()
	print(ids)
        
    data = []

 　　t = Tokenizer()
    tokens = t.tokenize(ids)
    for token in tokens:
    　　　data.append(token.surface) 
　　　　　print(data)
             

Answer 1

idsが文字列のリストでtokenize関数が文字列を要求しているのであれば、以下のようにループ処理すればよいです。

# エラー再現例
['abc'].strip() # 'list' object has no attribute 'strip'
'abc'.strip()   # OK

# 修正例
for id in ids:
    #id は '今日の天気は晴れ'など
    tokens = t.tokenize(id)
        for token in tokens:
            data.append(token.surface) 
                print(data)

Answer 2

■原因
Tokenizer#tokenizeの引数には文字列を渡す必要があります。
リストの内容を文字列に展開する方法はいろいろありますがループを使った書き方です。

t = Tokenizer()  # Tokenizerの初期化は一回だけでOKです。
for text in ids:
    for token in t.tokenize(text):
        data.append(token.surface)
        print(data)

■余談
print(type(ids))
で変数の型が分かります。型判定はisinstanceを使ってくださいな。

Comments

[---stax---]

ありがとうございます
先ほど自己回答書いてしまったのですがtokenize(）の引数は文字列型でないといけなかったのですね。初歩的な理解が欠けていました。重ねての質問で申し訳ないのですが、教えていただいたコード部分なのですが、①ids内の要素分、変数textに代入を繰り返す　②①で繰り返す処理内容として変数textに代入された値を t.tokenize():させて繰返しを実施させていると思うのですが、 for text in ids:で変数textに代入された値は、この時点で文字列型になっているのでしょうか？配列の値を抜き出した時点で文字列型になるのでしょうか？明示的に文字列型を指定していない部分が疑問に感じました。初歩的な質問ですいませんが教えていただけたら幸いです。

[umyu]

コードの流れとしてはOKです。質問文の以下のコードで配列に入れてます。
1,この時に既に文字列型でlistに値を入れていると思うのですが。
ids = seq(pages).map(lamda x: x.value).to_list()
2,x.valueはPythonTestクラスでvalue = column(Text)で質問文は定義してますよね。

[---stax---]

回答ありがとうございます
配列についても認識が浅かったです
list型配列に入れている要素の型の概念を忘れていました
教えていただいた通りデータベースから取得した値は文字列型で（value = column(Text)で型を指定している）、その値を配列に格納してるということですよね。
なのでfor文で配列から1つ1つ回して配列から値を抜き出したものは文字列型として扱える（配列から抜き出した時点でその値はlist型（配列）ではない）、という理解で間違いないでしょうか

[umyu]

その認識で間違いないですー。

[---stax---]

ありがとうございます。
分かりやすく説明していただいてありがとうございました。
また宜しくお願い致します。

Answer 3

tokens = t.tokenize(ids)の引数は文字列でなければいけないと分かりました
idsはList型なのでエラーとなっていたようです
またstripと表記されていた部分もstring型のメソッド？の一種という事もわかりました