質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
MongoDB

MongoDBはオープンソースのドキュメント指向データベースの1つです。高性能で、多くのリトルエンディアンシステムを利用することができます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

0回答

1983閲覧

pymongo.errors.BulkWriteError: batch op errors occurredが出てしまい、データベースの保存が失敗してしまいます。

owl55878

総合スコア10

MongoDB

MongoDBはオープンソースのドキュメント指向データベースの1つです。高性能で、多くのリトルエンディアンシステムを利用することができます。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2019/04/05 04:13

前提・実現したいこと

質問の観覧有難うございます。
pythonの勉強を始めた初心なのですが、現在『Pythonクローリング&スクレイピング』という本で勉強させていただいています。

youtubeの動画情報をMongoDBに収納し検索可能にする。を行うとしているのですが、下記のエラーが出てしまいます。

MongoDBがうまく起動していないかと思って色々試したのですが、

(scraping) hi:python test ○○$ brew services list
Name Status User Plist
mongodb started ○○ /Users/ ○○/Library/LaunchAgents/homebrew.mxcl.mongodb.plist
mysql stopped
unbound stopped

起動している用に思えます。

どうか助言をよろしくお願いします。

発生している問題・エラーメッセージ

Inserted 20 documents Traceback (most recent call last): File "save_youtube_video_metadata.py", line 77, in <module> main() File "save_youtube_video_metadata.py", line 21, in main save_to_mongodb(collection, items_per_page) File "save_youtube_video_metadata.py", line 63, in save_to_mongodb result = collection.insert_many(items, ordered=False) File "/Users/hiro/python test/scraping/lib/python3.7/site-packages/pymongo-3.7.2-py3.7-macosx-10.6-intel.egg/pymongo/collection.py", line 753, in insert_many blk.execute(write_concern, session=session) File "/Users/hiro/python test/scraping/lib/python3.7/site-packages/pymongo-3.7.2-py3.7-macosx-10.6-intel.egg/pymongo/bulk.py", line 521, in execute return self.execute_command(generator, write_concern, session) File "/Users/hiro/python test/scraping/lib/python3.7/site-packages/pymongo-3.7.2-py3.7-macosx-10.6-intel.egg/pymongo/bulk.py", line 349, in execute_command _raise_bulk_write_error(full_result) File "/Users/hiro/python test/scraping/lib/python3.7/site-packages/pymongo-3.7.2-py3.7-macosx-10.6-intel.egg/pymongo/bulk.py", line 140, in _raise_bulk_write_error raise BulkWriteError(full_result) pymongo.errors.BulkWriteError: batch op errors occurred ERROR: exit status 1

該当のソースコード

Python

1import os 2import sys 3 4from apiclient.discovery import build 5from pymongo import MongoClient, DESCENDING 6 7YOUTUBE_API_KEY = os.environ['YOUTUBE_API_KEY'] 8 9 10def main(): 11 ''' 12 メイン処理。 13 ''' 14 mongo_client = MongoClient('localhost', 27017) 15 16 collection = mongo_client.youtube.videos 17 18 collection.delete_many({}) 19 20 for items_per_page in search_videos('手芸'): 21 save_to_mongodb(collection, items_per_page) 22 23 show_top_videos(collection) 24 25 26def search_videos(query, max_pages=5): 27 ''' 28 動画を検索して、ページ単位でlistをyieldする 29 ''' 30 youtube = build('youtube', 'v3', developerKey=YOUTUBE_API_KEY) 31 32 search_request = youtube.search().list( 33 part='id', 34 q=query, 35 type='video', 36 maxResults=20, 37 ) 38 39 i = 0 40 while search_request and i < max_pages: 41 search_response = search_request.execute() 42 43 video_ids = [item['id']['videoId']for item in search_response['items']] 44 45 videos_response = youtube.videos().list( 46 part='snippet,statistics', 47 id=','.join(video_ids) 48 ).execute() 49 50 yield videos_response['items'] 51 52 search_request = youtube.search().list_next(search_request, search_response) 53 i += 1 54 55 56def save_to_mongodb(collection, items): 57 58 for item in items: 59 item['_id'] = item['id'] 60 61 for key, value in item['statistics'].items(): 62 item['statistics'][key] = int(value) 63 result = collection.insert_many(items, ordered=False) 64 print('Inserted {0} documents'.format(len(result.inserted_ids)), file=sys.stderr) 65 66 def show_top_videos(collection): 67 ''' 68 MongoDBのコレクションないでビュー数の上位を5位を表示する 69 ''' 70 71 for item in collection.find().sort('statistics.viewCount', DESCENDING).limit(5): 72 print(item['statistics']['viewCount'], item['snipper']['title']) 73 74 75if __name__ == '__main__': 76 77 main()

試したこと

ここに問題に対して試したことを記載してください。

補足情報(FW/ツールのバージョンなど)

ここにより詳細な情報を記載してください。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

argparse

2019/04/05 08:36

`pymongo.errors.BulkWriteError` はバルク操作に対するエラーの集合ですので、以下のドキュメントに記載のあるように、実際の細かなエラー内容はその `details` プロパティに保持されています。 http://api.mongodb.com/python/current/examples/bulk.html#ordered-bulk-write-operations まずは問題の例外を `except` して、その詳細を確認してみることを推奨致します。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだ回答がついていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問