常連

注目の的

社会貢献

質問力

質問者

模範生

### 前提・実現したいこと

- 定期的に、カラム数が可変のCSVファイルをBigqueryに挿入したい
- Bigquery側でスキーマを自動更新したい

### 発生している問題・エラーメッセージ

- カラムが固定のCSVを挿入することはできています (構造体にマッピングしてそれをPutする)
- 今回の場合、CSVのカラム数が可変のため、構造体をあらかじめ定義することができません

### 例

- 例えば、次のようなデータを同じテーブルに書き込みたい
- カラム数は可変ですが、それを事前にはわからず構造体をあらかじめ定義できないという前提です

```1.csv
id,name,value1,value2
1,hoge,10,20
2,hoge,20,30
```

```1.csv
id,name,value1,value2,value3
1,fuga,100,200,300
2,fuga,200,300,400
```



### 試したこと

色々と調べてみましたが、構造体にマッピングする方法しか出てこず、途方にくれています。
ヒントだけでもよいので、ご教示いただけると幸いです。
よろしくお願いします。

Bigqueryにカラム数が可変のCSVをインポートする方法

TypeError: expected str, bytes or os.PathLike object, not NoneTypeとエラーが出ました。現在、以下のサイトを見て勉強しています。
http://www.buildinsider.net/small/booktensorflow/0201
```ここに言語を入力
# coding: utf-8

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import os

import numpy as np
import tensorflow as tf
from PIL import Image

from reader import Cifar10Reader

FLAGS = tf.app.flags.FLAGS
tf.app.flags.DEFINE_string('file',None,"処理するファイルのパス")
tf.app.flags.DEFINE_integer('offset',0,"読み飛ばすレコード数")
tf.app.flags.DEFINE_integer('length',16,"読み込んで変換するレコード数")

basename = os.path.basename(FLAGS.file)
path = os.path.dirname(FLAGS.file)

reader = Cifar10Reader(FLAGS.file)

stop = FLAGS.offset + FLAGS.length

for index in range(FLAGS.offset,stop):
    image = reader.read(index)

    print('label: %d' % image.label)
    imageshow = Image.fromarray(image.byte_array.astype(np.unit8))

    file_name = '%s-%02d-%d.png' % (basename,index,image.label)
    file = os.path.join(path,file_name)
    with open(file,mode='wb') as out:
        imageshow.save(out,format='png')

reader.close()
```
のファイルを実行したときに上記のエラーが出ました。
エラーの全体は
Traceback (most recent call last):
  File "png10.py", line 20, in <module>
    basename = os.path.basename(FLAGS.file)
  File "/Users/XXX/anaconda/envs/py36/lib/python3.6/posixpath.py", line 144, in basename
    p = os.fspath(p)
TypeError: expected str, bytes or os.PathLike object, not NoneType

という内容です。
そもそもこのファイルは自分で作ったものではないです。
どこを直せばよいのでしょうか？

TypeError: expected str, bytes or os.PathLike object, not NoneTypeのエラー

```
class Post < ActiveRecord::Base
  has_many :comments
end

class Comment < ActiveRecord::Base
  belongs_to :post
  belogns_to :user
end

class User < ActiveRecord::Base
  has_one :comment
end
```
ブログシステムを作っているものとします。
記事には、コメントを複数登録することができます。
投稿されるコメントには、ログイン中のユーザを自動で記録します。

このようなシステムの時に **/posts** で「1つの記事に対して、コメントを最後に投稿したユーザ名を表示したい」です。

現在下記のようなコードになっていますが、N+1問題が発生しています。
### コントローラ
```
class PostsController < ApplicationController
  def index
    @posts = Post.includes(:comments).all
  end
end
```

### ビュー(posts.index.erb)
```
<table>
  <tr>
    <th>記事名</th>
    <th>本文</th>
    <th>最後にコメントしたユーザ名</th>
  </tr>
  <% @posts.each do |post| %>
   <tr>
    <td><%= post.name %></td>
    <td><%= post.cotent</td>
    <td><%= post.comments.order(:id).last.user.name %></td> 
   </tr>
</table>
```

> <td><%= post.comments.order(:id).last.user.name %></td>
N+1問題の発生源はlastメソッドだと思います。
どのように記述すると「コメントを最後に投稿したユーザを表示する」という要件満たしてN+1問題を回避できるでしょうか？

ご回答どうぞよろしくお願いします。以上です。

記事一覧に、最後にコメントしたユーザ名を表示したい

SQLを使用してフィアルアップロードができる掲示板を作成しています。
掲示板自体は別のページに飛ばしています。

現在、こちらのページを参考に作成しています。[リンク内容](http://qiita.com/mpyw/items/73ee77a9535cc65eff1e)
画像投稿とコメント、投稿者を同時にアップロードすることはできました。(下記のプログラムとは別です。)

動画をアップロードするにはどのようにすれば良いのでしょうか。
また、コメントのみの投稿ができるようにするにはどうすれば良いのでしょうか。


```
<?php
  session_start();
  if (!isset($_SESSION["ACCOUNT"])) {
    header("Location: logout.php");
    exit;
  }

  
  function h($str) {
    return htmlspecialchars($str, ENT_QUOTES, 'UTF-8');
  }
  header('Content-Type: text/html; charset=utf-8');
  $dbh->beginTransaction();
  try {
    // データベースに接続
    $pdo = new PDO(
        'mysql:host=localhost;dbname=データベース名;charset=utf8','root','root',[PDO::ATTR_EMULATE_PREPARES => false,PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION,PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC,]);

    $file_nm = $_FILES['upfile']['name'];
    $tmp_ary = explode('.', $file_nm);
    $extension = $tmp_ary[count($tmp_ary)-1];
    echo($extension);//ここで拡張子を表示している
    /* ファイルアップロードがあったとき */

    if(isset($_FILES['upfile']['error']) && is_int($_FILES['upfile']['error'])) {
      // バッファリングを開始
      ob_start();
      //トランザクション処理を開始
      try {
        if ($extension == 'jpg' || $extesion == 'JPG') {
          //jpg JPG の時
          // サムネイルをバッファに出力
          $create = str_replace('/', 'createfrom', $info['mime']);
          $output = str_replace('/', '', $info['mime']);
          if ($info[0] >= $info[1]) {
            $dst_w = 120;
            $dst_h = ceil(120 * $info[1] / max($info[0], 1));
          }
          else {
            $dst_w = ceil(120 * $info[0] / max($info[1], 1));
            $dst_h = 120;
          }
          if (!$src = @$create($_FILES['upfile']['tmp_name'])) {
            throw new RuntimeException('画像リソースの生成に失敗しました', 500);
          }
          $dst = imagecreatetruecolor($dst_w, $dst_h);
          imagecopyresampled($dst, $src, 0, 0, 0, 0, $dst_w, $dst_h, $info[0], $info[1]);
          $output($dst);
          imagedestroy($src);
          imagedestroy($dst);
          $stmt = $pdo->prepare('INSERT INTO image(name,type,raw_data,thumb_data,date,account) VALUES(?,?,?,?,?,?)');
          //コミットする前
          $stmt->execute([$_FILES['upfile']['name'],$info[2],file_get_contents($_FILES['upfile']['tmp_name']),ob_get_clean(),(new DateTime('now', new DateTimeZone('Asia/Tokyo')))->format('Y-m-d H:i:s'),$_POST['account'],]);
        }

        else if($extension == 'mov'){//動画投稿があった時

          $stmt = $pdo->prepare('INSERT INTO image(name,type,raw_data,thumb_data,date) VALUES(?,?,?,?,?)');
          //コミットする前
          $stmt->execute([$_FILES['upfile']['name'],$info[2],file_get_contents($_FILES['upfile']['tmp_name']),ob_get_clean(),(new DateTime('now', new DateTimeZone('Asia/Tokyo')))->format('Y-m-d H:i:s'),$_POST['account'],]);
        }

        $msgs[] = ['green', '投稿は正常にアップロードされました'];
      }

      catch (RuntimeException $e) {
        while (ob_get_level()) {
          ob_end_clean(); // バッファをクリア
        }
        http_response_code($e instanceof PDOException ? 500 : $e->getCode());
        $msgs[] = ['red', $e->getMessage()];
      }

    }
    /* ID指定があったとき */
    elseif (isset($_GET['id'])) {
      try {
        $stmt = $pdo->prepare('SELECT type, raw_data FROM image WHERE id = ? LIMIT 1');
        $stmt->bindValue(1, $_GET['id'], PDO::PARAM_INT);
        $stmt->execute();
        if (!$row = $stmt->fetch()) {
          throw new RuntimeException('該当する画像・動画は存在しません', 404);
        }
        header('X-Content-Type-Options: nosniff');
        header('Content-Type: ' . image_type_to_mime_type($row['type']));
        echo $row['raw_data'];
        exit;
      }
      catch (RuntimeException $e) {
        http_response_code($e instanceof PDOException ? 500 : $e->getCode());
        $msgs[] = ['red', $e->getMessage()];
      }
    }

    else if(isset($_FILES['upfile']['error']) && is_int($_FILES['upfile']['error'])){//ファイルアップロードがない場合
      $stmt = $pdo->prepare('INSERT INTO image(account,comment) VALUES(?,?)');
      //コミットする前
      $stmt->execute($_POST['account'],$_POST['comment']);
    }
    $dbh->commit();
  }
  catch (PDOException $e) {
    $dbh->rollBack();
    http_response_code(500);
    $msgs[] = ['red', $e->getMessage()];
}


?>




<!DOCTYPE html>
<html>
<head>
  <title>ファイルアップロード</title>
  <style><![CDATA[
    fieldset { margin: 10px; }
    legend { font-size: 12pt; }
    img {
        border: none;
        float: left;
    }
  ]]></style>
</head>
<body>
  <form enctype="multipart/form-data" method="post" action="">
    <fieldset>
      <legend>投稿フォーム</legend>
      名前：<br />
      <?php  $user =  htmlspecialchars($_SESSION["ACCOUNT"], ENT_QUOTES)?>
      <input type="text" name="account" size="30" value="<?php echo (htmlspecialchars($_SESSION["ACCOUNT"], ENT_QUOTES));
      ?>" /><br />
      コメント：<br />
      <textarea name="comment" cols="30" rows="5"></textarea><br />
      <legend>ファイルを選択</legend>
      <input type="file" name="upfile" /><br />
      <input type="submit" value="送信" />
    </fieldset>
  </form>
  <?php if (!empty($msgs)): ?>
  <fieldset>
    <legend>メッセージ</legend>
    <?php foreach ($msgs as $msg): ?>
    <ul>
        <li style="color:<?=h($msg[0])?>;"><?=h($msg[1])?></li>
        <li> <input type="button" onclick="location.href='new_keijiban.php'"value="掲示板へ"></li>
    </ul>
    <?php endforeach; ?>
  </fieldset>
  <?php endif; ?>
</body>
</html>
```

PHP　掲示板で、ファイル投稿(特に動画)がしたい

facebookライクなSNSのDBテーブル構造について

◆概要
現在、CakePHP2.XでSNSのフォロー機能を実装していますが、
フォロー機能の仕組みがいまいち理解できていません。
ユーザー検索結果でユーザーとフォローボタンを表示して、フォローします。
フォローはfollowsテーブルのuser_idとfollow_idにフォームにて記録できれば
実現できると考えております。
そのフォローボタンのフォームでuser_idとfollow_idがうまくFollowsテーブルに格納できずに悩んでいます。


◆テーブル
・users
・follows
・posts

usersには、id,usernameがあり、
followsには、user_id,follow_idを設けています。

フォロー状態を記録するには、followsにuser_idとfollow_idを記録できれば良いと思っています。

◆モデル
User.php
```cakePHP2
<?php
App::uses('AppModel', 'Model');
App::uses('BlowfishPasswordHasher', 'Controller/Component/Auth');
/**
 * User Model
 *
 * @property Follow $Follow
 */
class User extends AppModel {

	public $hasMany = array('Post','Follow');

	public function beforeSave($options = array()) {
	    if (isset($this->data[$this->alias]['password'])) {
	        $passwordHasher = new BlowfishPasswordHasher();
	        $this->data[$this->alias]['password'] = $passwordHasher->hash(
	            $this->data[$this->alias]['password']
	        );
	    }
	    return true;
	}

	public $validate = array(
        'username' => array(
        	'name_rule1' => array(
	            'rule' => array('lengthBetween', 4, 20),
	            'required' => true,
	            'message' => 'ユーザー名は４〜２０文字で入力してください',
	         ),
	        'name_rule2' => array(
	            'rule' => array('alphaNumeric'),
	            'message' => 'ユーザー名は文字と数字のみです'
	        ),
	        'duplicate1' => array(
	        'rule' => array('limitDuplicatesUsername'),
	        'message' => 'このユーザ名は登録済みです。'
	      	),
	      	'name_rule3' => array(
                'rule' => 'isUnique', 
                'message' => '入力されたユーザー名は既に登録されています'
            ), 
    	),
        'email' => array(
        	'email_rule1' => array(
	            'rule' => array('lengthBetween', 0, 100),
	            'required' => true,
	            'message' => 'メールアドレスは最大１００文字までです',
	         ),
	        'email_rule2' => array(
	            'rule' => array('email', true),
	            'message' => '有効なメールアドレスを入力してください'
	        ),
	        'duplicate2' => array(
		        'rule' => array('limitDuplicatesEmail'),
		        'message' => 'このメールアドレスは登録済みです。'
	      	),
    	),
    	'password' => array(
        	'pass_rule1' => array(
	            'rule' => array('lengthBetween', 4, 8),
	            'required' => true,
	            'message' => 'パスワードは４〜８文字で入力してください',
	         ),
	        'pass_rule2' => array(
	           	'rule' => array('custom', '/^[a-zA-Z0-9]+$/'),
	            'message' => '文字と数字のみです'
	        ),
	        'pass_rule3' => array(
                'rule' => 'passwordConfirm', 
                'message' => 'パスワードが一致していません'
            ), 
    	),
    	'password_confirm' => array(
            array(
                'rule' => 'notBlank', 
                'message' => 'パスワード(確認)を入力してください'
            ), 
        ),
    );

	public function limitDuplicatesUsername($check) {
    	return !$this->findByUsername($check['username']);
  	}

  	public function limitDuplicatesEmail($check) {
    	return !$this->findByEmail($check['email']);
  	}

  	public function passwordConfirm($check){

        //２つのパスワードフィールドが一致する事を確認する
        if($this->data['User']['password'] === $this->data['User']['password_confirm']){
            return true;
        }else{
            return false;
        }

    }
	
}
```

◆コントローラー
UserController.php
```CakePHP2

public function search() {
        $this->layout = '';
    }

    public function result() {
        $this->layout = '';

        $user = $this->Auth->user();

        if($this->request->is('post')){
        $search_users = $this->request->data['Search']['username'];
        $data = $this->User->find('all',array(
            'conditions'=>array('User.username Like'=>'%'.$search_users.'%')));
            $this->set('search_users',$data);
        }else{ //POST以外の場合
                    //Collectionモデルから全てのデータを検索
            $data = $this->User->find('all');
            //データの連想配列をセット
            $this->set('search_users',$data);
            }
    }
```

◆ビュー
Users/result.ctp

```CakePHP2
<!DOCTYPE html>

<head>

</head>
<body>

	<h3>検索結果</h3>

	<table>
		<?php foreach ($search_users as $target_user): ?>
		<tr>
			<td><?php echo $target_user['User']['username'] ?></td>
			<td>
				<?php
				echo $this->Form->create('Follow');
			    echo $this->Form->hidden('follow_id',array('value' => $target_user['User']['id']));
			    echo $this->Form->hidden('user_id',array('value' => AuthComponent::user('id')));
			    echo $this->Form->end('フォロー');
			    ?>
			</td>
		</tr>
		<?php endforeach; ?>
		<?php unset($target_user); ?>
	</table>


</body>
</html>
```

思うところとしては、モデルを連携するアソシエーションなんかが必要なのかな、と思っていますが、うまくできませんでした。
Followsのモデルやコントローラー、ビューに関してはファイルは作成していますが特に記述をしていません。
以上の情報で足りてるかわかりませんが、ご存知のことがあればご教示いただけると幸いです。