Q&A
すみません、php.iniはどこから参照するのでしょうか？
###前提・実現したいこと
phpMyAdminにcsvデータをインポートする。
csvデータは国交省からダウンロードしたものです。
最初にインポートして失敗したときに、テーブルは作成されました。はじめの1000行以上はインポートに成功しています。
失敗したレコードから再度取り込むとうまくいくのですが、また1000レコードほど読み込んで失敗します。レコード数が30万ほどあるのでその都度行うのは現実的ではありません。
###発生している問題・エラーメッセージ
いつも同じ行でインポートが失敗します。
CSV 入力の書式が不正です (行: 1534)。
###該当のcsvデータ
失敗するデータ
"東京都","千代田区","紀尾井町","6","9","-35243.9","-9109.8","35.682288","139.732689","1","1","0","0"
インポートに成功しているデータ
"都道府県名","市区町村名","大字・町丁目名","街区符号・地番","座標系番号","Ｘ座標","Ｙ座標","緯度","経度","住居表示フラグ","代表フラグ","更新前履歴フラグ","更新後履歴フラグ" "東京都","千代田区","麹町六丁目","5","9","-34965.0","-9246.0","35.684800","139.731181","1","1","0","0"
###試したこと
下記設定で取り込んでいます。
- ファイルの文字セット：SHIFT-JIS
- 部分インポート：1行
- カラムの区切り記号:,
- カラム囲み記号:"
- カラムのエスケープ記号:\
- 行の終端記号:auto
エンコーディングへの変換:SHIFT-JIS や全角カナ
への変換を試しても失敗しました。
回答4件
0
まず問題を切り分けましょう。
該当の「失敗するデータ」をCSVファイル内の先頭行に持ってきて再度インポートしてみてください。
その結果を見て
・1行目で失敗する＝その行の書式やデータに問題がある
・また1000レコードくらいまで行く＝ファイルサイズや実行時間制限などそっち系の問題
投稿2016/11/30 07:18
総合スコア907
0
php.iniファイルを開いて「memory_limit」「post_max_size」「upload_max_filesize」の値を確認してください。
で、インポートしようとしているCSVファイルの容量を確認してください。
どれかがファイルサイズより小さいようであれば、インポートに失敗すると思います。
また、「max_execution_time」の値も確認してください。
大量のデータを取り込むと実行時間が長くなりますが、そのせいでタイムアウトしている可能性があります。
それぞれ、値を大きめに設定して再度実行してください。
またエラーが起きたとしても、エラーとなる行が大きく変わる場合は見どころは悪くないはずですので、さらに値を大きくしてみてください。
投稿2016/11/30 04:30
総合スコア5405
サーバ環境によるので一概には言えません。
SSH等でサーバにログイン出来る環境はありますか？
何のことかわからんと言うのであれば、サーバがどこにあるのか(どのレンタルサーバ事業者のどういうプランか、或いはローカルPCのVirtualBox等仮想環境に置いたCentOS等)等、サーバ周りの情報を提示いただけますか。
ご回答ありがとうございます。
サーバーはhetemlを使用してphpMyAdminに接続しています。
https://heteml.jp/support/manual/cgi/
また、環境はCakePHP3, PHP7で開発を行っています。
もしかしてこちらから設定を行うのでしょうか？
https://heteml.jp/support/manual/phpini/
諸事情により、すぐに確認したり設定を変えることはできないのですが
upload_max_filesizeを確認してみたいと思います。
あれ、なぜか書いたコメントが反映されてないっぽいですね？
部分的にでもphp.iniが編集できるようですので、そちらで対応出来そうですね。
参照先のURLを見る限りでは
max_execution_time
max_file_uploads
max_input_time
あたりも見てもらった方がいいと思います。
コメントありがとうございます。
csvファイルのサイズは約28MBなのですが、upload_max_filesizeを50MBにしても失敗しました。
試しに先頭の10レコードを消して読み込んでみましたが、同じレコード数を読んで失敗するのでやはりファイルサイズ絡みな気がしました。
教えていただいた項目も確認させていただきます。
下記の設定を行って再度チャレンジしましたが、状況変わりませんでした。
max_execution_time=120
max_file_uploads=100
max_input_time=120
「memory_limit」については128MBに固定されているようなので問題ないとおもうのですが。。
https://heteml.jp/info/detail/id/1421
何か改善点がありましたらご教示ください。
max_execution_time=120 と言う事は、2分後にエラーになる感じですかね？
であれば、さらに時間を延ばすか、2分で終わる程度の行数(エラーになっているあたりの少し手前)でファイルを分割して、一つずつ実行していけば通るように思います。
いえ、設定変更後もアップロード完了後、数秒でエラーが帰ってきました。
止まったレコード自体はインポートできることを確認していますので、やはりファイルサイズ関係だとは思うのですが。。
解決しなければおっしゃる通り、数は多くなりますがファイル分割して取り込むことを考えます。
先程のphp.iniのマニュアルページ最下部にも書いてありますが、php.iniの設定が反映されたかどうか、phpinfo();を使って確認してみてください。
設定出来ない「post_max_size」あたりが小さいんじゃないかなとも思いますので、ついでに確認いただけると。
見落としていました、ありがとうございます。
きちんと設定されていました。post_max_sizeはupload_max_filesizeと同じ値に自動設定されていました。（マニュアルページにある通り）
再度試しましたが、うまく行きませんでした。
また、いつも止まるレコードを消したら300レコードほど多く取り込めていました。しかもエラーなしでしたが、1,800/３０万なので結局止まっているようでした。
0
国土地理協会のデータですかね…
以前使っていたときは、phpMyAdmin じゃ、非力なので、FTPでサーバーに上げた後で、mysqlコマンドを書いたシェルスクリプトで対応しました。
処理の順番は
nkfで文字コード変換
mysqlにインポート
投稿2016/12/02 06:20
編集2016/12/02 06:22
退会済みユーザー
総合スコア0
0
自己解決
ダメ元でこちらのサイトのやり方を参考にしたら読み込めました！
http://singoro.seesaa.net/article/195209992.html
・csvの文字コードをUTF-8（BOM無し）に変換
・「CSV using LOAD DATA」を選択し、「フィールド区切り記号」を「;」から[,」に変更する。
なぜこの設定でできたのかはわかりませんが、ひとまず解決しました。
お二方ともたくさんご教示いただき、本当にありがとうございました。
投稿2016/12/02 06:17
総合スコア19
良かったですね。
今回のケースに限らず、SHIFT-JISっていろいろ面倒なのでなるべく全てをUTF-8に統一して使うクセをつけておくと無駄なトラブルが減るかと思います。
そうなんですか、勉強になります。ありがとうございます。
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2016/11/30 07:25
2016/11/30 07:55
2016/11/30 09:20
2016/11/30 09:23
2016/11/30 09:42
2016/11/30 10:21
2016/11/30 11:52
2016/12/02 04:01
2016/12/02 05:52
2016/12/02 06:10