常連

WindowsのコマンドプロンプトからUTF-8でファイルに書き込むことは
できないのでしょうか。
コマンドプロンプトから直接実行するとTeraPadでは「Unicode」と
表示されました。
なぜ、バッチファイルからの実行では「SJIS」（日本語があると「UTF-8N」）で
コマンドプロンプトからでは「Unicode」になるのでしょうか。
「バッチファイルを作る」または「UTF-8で書き込めるエディタを使う」
の方法で解決はしています。ただ、しっかりわかっておかないと後々困りそうで
質問しました。


バッチファイルsamplewrite.batを作成し、ファイルに書き込みを
行って、TeraPadで開き文字コードを参照すると「SJIS」と表示されました。

samplewrite.bat
```
@echo off
chcp 65001
echo 1 > sample.txt
echo 2 >> sample.txt
echo 3 >> sample.txt
```
実行
```
PS C:\Users\hoge .\samplewrite.bat
```
TeraPadでは「SJIS」

```
set HOGE=ほげ
echo %HOGE%>>sample.txt
```
の２行を追加すると
を行うと、TeraPadでは「UTF-8N」と表示されました。


同様のことをバッチファイルではなく、コマンドプロンプトから
直接実行するとTeraPadでは「Unicode」と表示されます。


```
PS C:\Users\hogek> chcp 65001
Active code page: 65001
PS C:\Users\hoge> echo 1 > sample2.txt
PS C:\Users\hoge> more .\sample2.txt
﻿1
PS C:\Users\hoge> echo 2 >> sample2.txt
PS C:\Users\hoge> echo 3 >> sample2.txt
PS C:\Users\hoge> more .\sample2.txt
﻿1
2
3
```
TeraPadでは「Unicode」

Windows10コマンドプロンプトからUTF-8で書き込むには

### 実現したいこと
Linuxで文字コードがUTF-8のファイルに「￥」円記号（文字コード 0xC2A5）をスマートに検索して見つけ出す方法を知りたい。

[Linuxでsedコマンドが、utf-8の文字コードのファイルで正しく動かないようだ](https://teratail.com/questions/3qsds7rrd9v0ha)
で、コマンドの

` sed 's/\..*//'`

がうまく動かない原因が、バックスラッシュだと思っていた文字が実は円記号「￥」であり、円記号とバックスラッシュは区別されるためだったので、簡単な方法でUTF-8の文字コードのファイル中に含まれる円記号を、例えば円記号の文字コード「0xC2A5」を指定などするして見つけ出したい。

### 発生している問題・分からないこと
UTF-8コード表では「￥」記号は「0xC2A5」でバックスラッシュとは違う文字なのだが、コンソール画面ではバックスラッシュ文字のように表示されており、円記号とバックスラッシュを見た目で、区別することは難しい。
[UTF-8コード表](https://seiai.ed.jp/sys/text/java/utf8table.html)

`od -tx1a <ファイル名>`  というコマンドである程度見やすくなるが、c2a5 の文字列をもっと簡単に見つけたい。




### 該当のソースコード

```
特になし
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [ ] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
文字コードを指定して、円記号を検索する方法、または他の良い方法が見つけられなかった。

### 補足
使用しているシェル
[tada@linux shscript]$ echo $SHELL
/bin/bash

OSのバージョン
[tada@linux shscript]$ cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)

ローカライゼーション系の環境変数
[tada@linux shscript]$ locale
LANG=en_US.UTF-8
LC_CTYPE="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_PAPER="en_US.UTF-8"
LC_NAME="en_US.UTF-8"
LC_ADDRESS="en_US.UTF-8"
LC_TELEPHONE="en_US.UTF-8"
LC_MEASUREMENT="en_US.UTF-8"
LC_IDENTIFICATION="en_US.UTF-8"
LC_ALL=

Linuxで文字コードがUTF-8のファイルに「\」記号（文字コード 0xC2A5）をスマートに検索して見つけ出す方法を知りたい

### 前提・実現したいこと
System.out.println("番号  名前      点数  評価");
番号　名前　　　点数　評価


  javaを勉強中の者なのですが、’￥u3000’は不正な文字ですと出てしまいエラーになってしまいます。

### 発生している問題・エラーメッセージ

```
myjava.java:23: エラー: ’¥u3000’は不正な文字です
  System.out.println("番号  名前      点数  評価”);
                                           ^
myjava.java:23: エラー: ’¥u3000’は不正な文字です   
  System.out.println("番号  名前      点数  評価”);
                                            ^

エラー2個                                     

```

### 該当のソースコード

```java
System.out.println("番号  名前      点数  評価")
```

### 試したこと
ネットで調べてみた所空白が全角だと起こるといった記事を見かけ、半角空白にしてみましたがエラーが出てきてしまいました。
思い切って空白を取り除いたりしましたがやはり同じエラーを出してしまいました。

### 補足情報（FW/ツールのバージョンなど）

　osはWindowsです。PowerShellをコンパイル、実行用に使っています。
　メモ帳で書いています。
　コンパイルする際、javac -encoding utf-8 myjava.javaを入力してコンパイルしています。

¥u3000は不正な文字ですと出てしまうのですが…

sqlserver2017を使用してます
今、文字コードがshift-jisになっているテーブルがあります
このテーブルを既に登録されているデータを含め
UTF-8へ変換するにはどのような方法がありますか？
ご教授ください

SQLServer UTF8へ文字コード変換

こんにちは。
もしご存知の方がいらっしゃいましたらアドバイスをいただけたら幸いです。

対象データベースは、SQLServer 2017です。PCのOSはWindows10です。
"|"区切りのテキストデータを、BULK INSERTでテーブルに取り込みたいのですが、
BULK INSERT実行時に以下のエラーが発生します。

###### ■エラーの内容：
メッセージ 4832、レベル 16、状態 1、行 1
一括読み込み: データ ファイルで予期しないファイルの終了が検出されました。
メッセージ 7399、レベル 16、状態 1、行 1
リンク サーバー "(null)" の OLE DB プロバイダー "BULK" により、エラーがレポートされました。プロバイダーからエラーに関する情報を取得できませんでした。
メッセージ 7330、レベル 16、状態 2、行 1
リンク サーバー "(null)" の OLE DB プロバイダー "BULK" から行をフェッチできません。

###### ■実行したSQL：
BULK INSERT BulkInsertTest FROM 'C:\temp\bi\STORE_20190323.txt' WITH (DATAFILETYPE='widechar', FORMATFILE='C:\temp\bi\BulkInsertTest.fmt')

###### ■取り込もうとしたデータ(STORE_20190323.txt UTF-8(BOM無) 改行LF)：
00001|あ|1|N|T
00002|a|1|N|This store is already closed.

###### ■フォーマットファイル(BulkInsertTest.fmt)：
14.0
5
1       SQLCHAR             0       5       "|\0"      1     StoreCd                Japanese_CI_AS
2       SQLNCHAR            0       200     "|\0"      2     StoreName              Japanese_CI_AS
3       SQLINT              0       4       "|\0"      3     SeqNo                  ""
4       SQLCHAR             0       1       "|\0"      4     DlvStatCd              Japanese_CI_AS
5       SQLNCHAR            0       400     "\n\0"     5     DlvNGRsn               Japanese_CI_AS

###### ■対象のテーブル(BulkInsertTest)：
![対象のテーブル(BulkInsertTest)](3256a6dd7dae1c23b36b405b2f042a35.jpeg)

些細な点でも構いませんので、ご意見等いただけたら幸いです。
よろしくお願いいたします。

###### ■テキストの中身
![イメージ説明](2084abc9b52f5aca5ac400d548a6c86c.jpeg)

SQL Server 2017 BULK INSERTでエラーが発生する

###前提・実現したいこと
自然言語処理のプログラムをpythonで書いています。エラーを消したいです。

###発生している問題・エラーメッセージ
エラーは文字コード関連です。ちなみにこのエラーは何度も実行しているとたまにエラーが出ないでプログラムが動くことがあります。
```
line 115, in tokenize
    yield node.surface.lower()
UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 1-2: invalid continuation byte

```

###該当のソースコード
```python
def tokenize(self,text):#形態素解析して名詞だけ取り出す

        sentence = str(text)
        node = self.mecab.parseToNode(sentence)

        while node:
            if node.feature.split(',')[0] == '名詞':
                yield node.surface.lower()
            node = node.next
```

###試したこと
エンコードやデコードを試しましたが無理でした。それに、何回か実行すれば通ってしまうことがあるのが不思議です。

###補足情報(言語/FW/ツール等のバージョンなど)
使っているバージョンはpython3.6.1です。
OSはMacのSierraです。

pythonの文字コード系のエラーで困っています。

###前提・実現したいこと
XAMPPのmysql(MariaDB)に、CSVファイルのデータを取り込みたいです。
しかし日本語のデータが文字化けしてしまいます。

環境は
Windows7
XAMPP v3.2.2
mysql(MariaDB)
です。不足があればご指摘ください。

###発生している問題・エラーメッセージ

```
csvデータもutf8、mysql側の設定もすべてutf8なのに、日本語のデータがmysqlのテーブル上で文字化けしてしまいます。
```

###該当のソースコード
my.iniの設定は以下のとおりです。
```

[client] 
# password       = your_password 
port            = 3306
socket          = "C:/xampp/mysql/mysql.sock"
default-character-set=utf8

[mysqld]
port= 3306
socket = "C:/xampp/mysql/mysql.sock"
basedir = "C:/xampp/mysql" 
tmpdir = "C:/xampp/tmp" 
datadir = "C:/xampp/mysql/data"
pid_file = "mysql.pid"
# enable-named-pipe
key_buffer = 16M
max_allowed_packet = 1M
sort_buffer_size = 512K
net_buffer_length = 8K
read_buffer_size = 256K
read_rnd_buffer_size = 512K
myisam_sort_buffer_size = 8M
log_error = "mysql_error.log"
character-set-server=utf8
#default-character-set=utf8
init-connect=SET NAMES utf8
collation_server=utf8_general_ci
skip-character-set-client-handshake

[mysqldump]
quick
max_allowed_packet = 16M
default-character-set = utf8
character_set_server=utf8

[mysql]
no-auto-rehash
# Remove the next comment character if you are not familiar with SQL
#safe-updates
default-character-set = utf8

## UTF 8 Settings
#init-connect=SET NAMES utf8
#collation_server=utf8_general_ci
character_set_server=utf8
#skip-character-set-client-handshake
character_sets-dir="C:/xampp/mysql/share/charsets"
```

###試したこと
「xamppの文字化け回避メモ」
http://qiita.com/guzuri/items/643c1311224e8d482278
「MySQLで文字化けしたときの対処法」
http://qiita.com/WizowozY/items/5d7224be92aa8364a42a

以上のサイトに書いてあることはすべて試したつもりです。

mysql上で

show variables like "chara%";

と入力すると以下のとおりの結果が出ます。
character_set_client:utf8
character_set_connection:utf8
character_set_database:utf8
character_set_filesystem:binary
character_set_results:utf8
character_set_server:utf8
character_set_system:utf8
character_set_dir:C:\xampp\mysql\share\charsets\

上のとおり、すべてutf8に設定されているのですが、どこで文字化けが起きてしまっているのでしょうか…

###補足情報(言語/FW/ツール等のバージョンなど)
環境は
Windows7
XAMPP v3.2.2
mysql(MariaDB)
です。不足があればご指摘ください。

MySQLで文字コード設定をすべてUTF-8にしても、文字化けしてしまいます。

Windows使用でPython,Django,pipenvインストール。
VScode上でこのサイト↓を
```
def post_list(request):
    return render(request, 'blog/post_list.html')

```
表示させようすると、
下記のエラーが表示されます。
```
UnicodeDecodeError at /
'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

Request Method: 	GET
Request URL: 	http://127.0.0.1:8000/
Django Version: 	3.0.2
Exception Type: 	UnicodeDecodeError
Exception Value: 	

'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

Exception Location: 	C:\Users\ユーザー名\AppData\Local\Programs\Python\Python37\lib\codecs.py in decode, line 323
Python Executable: 	C:\Users\ユーザー名\AppData\Local\Programs\Python\Python37\python.exe
Python Version: 	3.7.6

Python Path: 	

['C:\Users\ユーザー名\Desktop\django_girl',
 'C:\Users\ユーザー名\AppData\Local\Programs\Python\Python37\python37.zip',
 'C:\Users\ユーザー名\AppData\Local\Programs\Python\Python37\DLLs',
 'C:\Users\ユーザー名\AppData\Local\Programs\Python\Python37\lib',
 'C:\Users\ユーザー名\AppData\Local\Programs\Python\Python37',
 'C:\Users\ユーザー名\AppData\Roaming\Python\Python37\site-packages',
 'C:\Users\ユーザー名\AppData\Local\Programs\Python\Python37\lib\site-packages']
```


```
django_girl> python manage.py runserver  
Watching for file changes with StatReloader
Performing system checks...

System check identified no issues (0 silenced).
January 29, 2020 - 20:46:26
Django version 3.0.2, using settings 'config.settings'
Starting development server at http://127.0.0.1:8000/ 
Quit the server with CTRL-BREAK.
```
C:\Users\ユーザー名\AppData\Local\Programs\Python\Python37\lib\codecs.py in decode, line 323の部分が関係しているということでしょうか？
line 323の前後の内容は↓　
```ここに言語を入力
def decode(self, input, final=False):
        # decode input (taking the buffer into account)
        data = self.buffer + input
        (result, consumed) = self._buffer_decode(data, self.errors, final)
323→     # keep undecoded input until the next call
        self.buffer = data[consumed:]
        return result
```
どうしたらよいのでしょうか？　'utf-8'の何か設定を再度しなければいけないのでしょうか？
アドバイスよろしくお願いいたします。