質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.53%
PostgreSQL

PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

3回答

6167閲覧

Pythonでの形態素解析について

---stax---

総合スコア148

PostgreSQL

PostgreSQLはオープンソースのオブジェクトリレーショナルデータベース管理システムです。 Oracle Databaseで使われるPL/SQLを参考に実装されたビルトイン言語で、Windows、 Mac、Linux、UNIX、MSなどいくつものプラットフォームに対応しています。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

1クリップ

投稿2018/01/24 01:45

表題の件で質問させてください
Pythonでjanomeを用いて形態素解析を行いたいと考えています
windowsを用いて開発しています

データベースからは
value列から”今日の天気は晴れ”、”昨日の天気は雨”という文字列を取得し、その文字列を単語区切りしたいです
idsという変数には['今日の天気は晴れ','昨日の天気は雨']とデータは取得できています

ただ、以下のコードで記入すると
tokens = t.tokenize(ids)の部分で
AttributeError:'list' object has no attribute 'strip'
とエラーが出ます
stripという型がないという意味と解釈したのですが対処法がが分からず苦戦しています
記述の仕方が間違っているのでしょうか
知識が浅いため初歩的な内容かもしれませんがアドバイスお願いいたします

こちらのサイトを参考にさせていただきました
Python初心者が1時間以内にjanomeで形態素解析できた方法

python

1#!/usr/bin/env python 2# -*- coding: utf-8 -*- 3from sqlalchemy import create_engine,Column,Integer,Text 4from sqlalchemy.orm import sessionmaker 5from sqlalchemy.ext.declaretive import declarative_base 6from functional import seq 7from janome.tokenizer import Tokenizer 8 9Base = declarative_base() 10class PythonTest(Base): 11 __tablename__ = 'Python_test' 12 id = Column(Integer,primary_key = True) 13 value = column(Text) 14 15if __name__ == '__main__': 16 engine = create_engine('postgresql://postgres:postgres@localhost/Datatest') 17 session = sessionmaker(bind = engine) 18 sess = Session() 19 20 pages = sess.query(PythonTest).all() 21 ids = seq(pages).map(lamda x: x.value).to_list() 22 print(ids) 23 24 data = [] 25 26   t = Tokenizer() 27 tokens = t.tokenize(ids) 28 for token in tokens: 29    data.append(token.surface) 30     print(data) 31

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答3

0

idsが文字列のリストでtokenize関数が文字列を要求しているのであれば、以下のようにループ処理すればよいです。

Python

1# エラー再現例 2['abc'].strip() # 'list' object has no attribute 'strip' 3'abc'.strip() # OK 4 5# 修正例 6for id in ids: 7 #id は '今日の天気は晴れ'など 8 tokens = t.tokenize(id) 9 for token in tokens: 10 data.append(token.surface) 11 print(data)

投稿2018/01/24 02:15

can110

総合スコア38230

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

ベストアンサー

■原因
Tokenizer#tokenizeの引数には文字列を渡す必要があります。
リストの内容を文字列に展開する方法はいろいろありますがループを使った書き方です。

Python

1t = Tokenizer() # Tokenizerの初期化は一回だけでOKです。 2for text in ids: 3 for token in t.tokenize(text): 4 data.append(token.surface) 5 print(data)

■余談
print(type(ids))
で変数の型が分かります。型判定はisinstanceを使ってくださいな。

投稿2018/01/24 02:11

編集2018/01/24 02:15
umyu

総合スコア5846

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

---stax---

2018/01/24 02:26

ありがとうございます 先ほど自己回答書いてしまったのですがtokenize()の引数は文字列型でないといけなかったのですね。初歩的な理解が欠けていました。重ねての質問で申し訳ないのですが、教えていただいたコード部分なのですが、①ids内の要素分、変数textに代入を繰り返す ②①で繰り返す処理内容として変数textに代入された値を t.tokenize():させて繰返しを実施させていると思うのですが、 for text in ids:で変数textに代入された値は、この時点で文字列型になっているのでしょうか?配列の値を抜き出した時点で文字列型になるのでしょうか?明示的に文字列型を指定していない部分が疑問に感じました。初歩的な質問ですいませんが教えていただけたら幸いです。
umyu

2018/01/24 02:34

コードの流れとしてはOKです。質問文の以下のコードで配列に入れてます。 1,この時に既に文字列型でlistに値を入れていると思うのですが。 ids = seq(pages).map(lamda x: x.value).to_list() 2,x.valueはPythonTestクラスでvalue = column(Text)で質問文は定義してますよね。
---stax---

2018/01/24 03:29 編集

回答ありがとうございます 配列についても認識が浅かったです list型配列に入れている要素の型の概念を忘れていました 教えていただいた通りデータベースから取得した値は文字列型で(value = column(Text)で型を指定している)、その値を配列に格納してるということですよね。 なのでfor文で配列から1つ1つ回して配列から値を抜き出したものは文字列型として扱える(配列から抜き出した時点でその値はlist型(配列)ではない)、という理解で間違いないでしょうか
umyu

2018/01/24 10:16

その認識で間違いないですー。
---stax---

2018/01/25 00:04

ありがとうございます。 分かりやすく説明していただいてありがとうございました。 また宜しくお願い致します。
guest

0

tokens = t.tokenize(ids)の引数は文字列でなければいけないと分かりました
idsはList型なのでエラーとなっていたようです
またstripと表記されていた部分もstring型のメソッド?の一種という事もわかりました

投稿2018/01/24 02:12

---stax---

総合スコア148

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.53%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問