常連

Linuxコマンドでcsvファイルの各列を洗って重複する単語があれば片方を削除したいです。
考えているのは各行ループの中で、`cut -d ,`等でカンマを区切り文字として重複単語を見つけ、削除したいです。
具体的には以下のような感じです。

```
kingyo,panda,pig,pig
neko,inu,sakana,penguin
sea,see,sea,mountain
taro,taro,taro1,taro2
kanji,hiragana,katakana,eigo,kanji
```

を
```
kingyo,panda,pig
neko,inu,sakana,penguin
sea,see,mountain
taro,taro1,taro2
kanji,hiragana,katakana,eigo
```
のように変換したいです。

何か解決策はございますでしょうか？

【以降追記】

解凍していただいた皆様、ありがとうございます。

追加で各単語の行末についている数字を削除する必要が出てきたので以下のように`datamash transpose`を用いてループの中で一行ずつやりました。
$1に元のファイル、$2に書き出し先のファイル名を指定しています。

```shell
while read row; do
    echo $row |

    sed -e 's/,/\t/g' |  # , =>tab
    datamash transpose | # transpose
  
    # 行末についている1〜2桁の数字を削除
    sed -e "s/[0-9]*$//" |
    sed -e "s/[0-9][0-9]*$//" |
    
    sort -u | # 重複行削除
    tr '\n' ',' | # 改行をカンマにして一列へ戻す
    sed "s/^,//g"  >> $2 # 行頭のカンマ削除
done < $1
```

こちらのやり方で何かよくない点等ありましたらご意見いただけるとありがたいです。

P.S. このデータは元データの5カラム目以降を`cut`して作業しています。作業後元のファイルに結合する必要がありますが、`paste`コマンドで結合したところ数カ所で一つのセルに複数の行・列が格納されてしまいました。なので元のデータを切り取って作業するのではなく元のデータのままで`sed`コマンドなどを「〜列目以降のモノに対してだけ」使いたいと思ってます。これに関して何か良い方法はありますか？

linuxコマンドで各列の重複単語を削除したい

### 質問したいこと

私は今、データベースの勉強をしています。
ネットや書籍を中心に情報を収集しております。RDBや、DBS、SQLなど、様々な知識を学ぶことはできるのですが、１つ私の中で大きな疑問があり、その疑問については、どの媒体も説明していないように感じたので、ここで質問させていただきます。

その疑問は、「そもそも、データベースは物理的に、どのようなPCパーツ？（部品）で組み立てられていて、データはどのような手順でどこに保存されるのか」という内容です。

保存されたデータをどのように呼び出すか、データベースをどのように管理するか、などと言った知識については本当に多くの説明がありますが、例えば私が、ローカルの環境でmysqlを立ち上げ、dogsというテーブルを作成し、{name: ポチ, age: 3, owner: 佐藤さん}のようなデータを保存した場合には、何がどう動いて、この文字情報はどのように変換され、最終的にどのような部品にどう格納される？のか、といった根本的な流れに対する説明は無いように感じます。
（ローカルの環境ではなく、例えばAWSにEC2アカウントを作成し、RDSを使用した場合、RDSに上記のdogsテーブルとデータを登録した場合はローカルとどう動きが異なるのかも気になります）

恐れ入りますが、この私の疑問にご回答いただけますと幸いです。また、もし可能であれば、私はこのような「そもそも」の疑問をいつももってしまうので、このような疑問に対する回答が掲載されている書籍、サイトなどをご教示いただけると幸いです！
何卒よろしくお願いします。

そもそもデータベースって何で出来ていて、どこの何にどう保存されるのでしょうか。。

### 前提
SQL言語のスーパータイプとサブタイプについて、質問します。
参考としている教科書があります。末尾に記述します。
### 問題点
複数のスーパータイプから単数のサブタイプを構成する場合、主キーは何を設けるべきでしょうか。
参考書には、スーパータイプの１つから主キーを選ぶ趣旨の内容が、記述されていました。
私の感覚では、スーパータイプの主キーの全てをサブタイプの主キーとする方法が、正しく思えます。つまり、複合キーとする方法です。
上記が間違いであるならば、どうして間違いなのか、ご説明いただけると幸いです。
### まとめ
SQL言語のスーパータイプとサブタイプについて、質問します。ご回答、よろしくお願い申し上げます。
### 参考
データベーススペシャリスト2022年版

複数のスーパータイプと単数のサブタイプにおける、主キーの扱い方

### 質問

データベースの制約において、主キーと候補キーのNULL許容が異なる理由は何故でしょうか。
（主キーは「UNIQUEで**NOT NULL**」、候補キーは「UNIQUEで**NULLABLE**」と制約が違う理由は何故でしょうか？）


### 考えたこと：
- ①…候補キーにおいて、NULLがあるとUNIQUEにはならないのでは？（そもそもNULLABLEとUNIQUEは両立しないのでは？）
⇒NULLも値として取り扱い、NULLが1つであればUNIQUEたり得るから大丈夫、という事でしょうか？


- ②…①の理由が正しいとすると、主キーがNOT NULLとされている理由は何か？（NULLABLEではどのような不都合となるか？）（主キーと候補キーの制約が同じでは何故ダメなのか？）



実装の経験があればすぐに見えるものなのかもしれませんが、宜しくお願い致します。

主キーと候補キーのNULL許容が異なる理由


N-gramで分析した結果から単語のカウントを行いたいのですがやり方がよく分かりませんでした。実行結果のような処理をしたのちに、単語ごとのカウントを行いたいと考えています。こちらの例に対して出力したい内容としては、
煮干し,3
最近,3
濃い,3
.,2
ラーメン屋,1
さん,1
です,1
といったように左側に単語、右側に出現数のカウントを行いたいです。



### 該当のソースコード

```Python
import pandas as pd
import MeCab
import re
from collections import Counter
import numpy as np
import matplotlib.pyplot as plt

# ファイル読み込み
# 対象ファイルの読み込みと形態素解析の実施
with open('data/review_high.csv', encoding='utf-8') as f:
    str = f.read()

def format_text(text):
    text = text.lower()
    text = re.sub(r'[0-9０-９a-zA-Z]+', "", text) #半角
    text = re.sub(r'[!$%&\’\\\\()*+,-./:;?@[\\]^_`{|}~「」〔〕“”〈〉『』【】＆＊・（）＄＃＠？！｀＋￥％]', "", text)

    return text

mecab = MeCab.Tagger("-Ochasen -u \"C:/laboratory/MeCab/dic/neologd/neologd.dic\"")
str = format_text(str)
work_mecab_arry = mecab.parse(str).splitlines()

# 形態素解析結果の配列形式の変更
mecab_arry = []
for u in work_mecab_arry:
    member = []
    member = re.split('\t',u)
    mecab_arry.append(member)

# 形態素解析結果から単語部分の抽出
word_arry = []
for u in mecab_arry:
    word_arry.append(u[0])

with open('data/japanese.txt',encoding='utf-8') as f:
    stop_words = f.read().splitlines()

result_word_list = []

for line in mecab.parse(str).splitlines():
    if line is None or line == '' or line == 'EOS' or len(line.split()) < 4:
        continue
        for target_part_of_speech in target_parts_of_speech:
            if target_part_of_speech == line.split()[3]:
                word = line.split()[2]
                if not word in stop_words:
                    result_word_list.append(word)

# 2-gram, 3-gramの配列作成
bg_list = list(zip(word_arry[:-1],word_arry[1:]))
tg_list = list(zip(word_arry[:-2],word_arry[1:-1],word_arry[2:]))

# 2-gram, 3-gramの頻度のカウント
bigram_arry = Counter(bg_list)
trigram_arry = Counter(tg_list)

# 分析結果の表示
for k, v in sorted(bigram_arry.items(), key=lambda x:x[1], reverse=True):
    print(k, v)

for k, v in sorted(trigram_arry.items(), key=lambda x:x[1], reverse=True):
    print(k, v)


```

### ここまでの実行結果（一部抜粋）

```実行結果
('です', '．', '最近') 1
('．', '最近', '濃い') 1
('最近', '濃い', '煮干し') 1
('濃い', '煮干し', 'ラーメン屋') 1
('煮干し', 'ラーメン屋', 'さん') 1
```


N-gramで出現している単語のカウントの仕方を知りたい

データベースについて色々調べたところ以下のような索引があることがわかりました。

・主キー索引
・ユニーク索引
・非ユニーク索引
・クラスタ索引
・非クラスタ索引
（他にも種類があればぜひ教えてください）

これらの索引について質問です。

1. 主キー索引・ユニーク索引はテーブル定義時にPRIMARY KEY制約・UNIQUE制約を付与した列に関しては自動でインデックスが作られるのでしょうか？

2. PRIMARY KEY制約・UNIQUE制約をテーブル定義時に付与していない列に関して主キー索引・ユニーク索引は作れるのでしょうか？

3. 索引はどのように使い分けるのでしょうか？
索引の順番と実データの順番を同じにするクラスタ索引がもっとも効率がよく思われます。
それ以外の索引（非ユニーク索引、非クラスタ索引）を用いるのはどのようなケースでしょうか？


根本的な勘違いがあるかもしれません。
部分的な回答でも結構ですのでよろしくおねがいしますm(_ _)m

データベースの索引について詳しい方教えてください

### 背景
**1年に約1.1万件増えていく**在庫データがあります(現在3万件近く)。
Airtable、kintoneのようなDBaaSというかデータベースアプリを使って運用していて、APIを叩いたり、帳票機能やビュー切替機能、権限コントロールなどすごく便利で使い倒しています。

私は、Pythonで業務の自動化をするところからキャリアが始まった社内SEで、データベースにそもそもどんな種類のものがあって、一般的にどういう運用がされているものなのかに疎いです。最近SQLの勉強を始めたところです。インフラ周りの知識もないです。
### 課題
**そもそもバックアップをとっていない**し、件数が増えたせいか、最近アプリの動作が重く感じるので、**全行程が終了したデータ**というのは別にアプリ内になくてもよいので**どこかに移したいで**す。
移しても通年の分析に使うのにビッグクエリーやGoogleデータポータル(旧データスタジオ)などに繋げたいとは思っています。
### そこで質問
ざっくり聞くと、**この場合はどんな運用方法がいいでしょうか？**
クラウドストレージにcsvで5000件ずつ吐き出す、5000件ごとにGoogleスプレッドシートに吐き出していく、などでもいいです。
この方向で、というのが分かったら勉強するので、**データアーカイビングってどんなツールを使ってどうやってやるものでしょうか？**というのが知りたいです。
軽くググった感じ、Amazon S3とか使う感じですか？？
### 注意
割と厄介なのかなと思うのが、データベースはみんなが触ってるので**例外的な値が珍しくなかったり**(基本選択肢が`[東京,大阪,名古屋]`だとすると、実際のデータには`[東京,大阪,名古屋,東京(横浜),東京(千葉)]`がある)、**構造や名称が途中で変わったり**(例えばある列のデータが`"〇"と"×"`だったのが`"到着"と"未着"`にある時期から変更される、列が増えているなど）と、必ずしも構造が一定でなかったりします。Power Queryくらい柔軟であってほしかったり、CSVやエクセルなどのように簡単にデータが入ってほしかったりします。

それから、バックアップとアーカイブは別物だと思うのですが、バックアップはより高いプランに課金すればアプリ内でできるので、どっちかというとアーカイビング・データの退避が主眼です。

kintone, Airtable, FileMakerなどのDBaaSというかDBアプリのデータバックアップ・データアーカイブ先

#前提
```
698504,14098,619113,278937567,8885,44,20921,0,17:31:46:181429
698504,14098,619114,278937573,8885,44,20921,0,17:31:46:204821
698505,14098,619117,278937576,8885,44,20921,0,17:31:46:220813
698506,14098,619119,278937579,8885,44,20921,0,17:31:46:234116
698506,14098,619121,278937581,8885,44,20921,0,17:31:46:251062
698507,14098,619128,278937583,8885,44,20921,0,17:31:46:272607
698507,14098,619129,278937585,8885,44,20921,0,17:31:46:289761
```
このようなCSVファイルがあります．**一番右の列がタイムスタンプ**となっているデータセットです．
使用言語はPython3.6.0です．
タイムスタンプには規則性はなく，とにかくぐるぐるプログラムを回して記録しまくっています．

#実現したいこと
上のCSVデータはかなりの狭範囲で時系列にデータを蓄積しています．ここから，**0.1sごと**にデータを綺麗に抽出したいです．
この場合，どのようなライブラリを使用して，どのようなコードを書けばダウンサンプリングできるのかご教授願いたいです．

日付のサンプリングを実現するコードはネット上に転がっているのですが，0.1s単位でデータを取得する物に関してはあまり文献が見つけられなかったので，Python初学者の私にはわかりませんでした．

Pythonのライブラリで便利なのはありませんでしょうか？

Pythonエキスパートのご回答お待ちしております．