100MB以上のファイルが入っているSVNリポジトリをGitHub用のGitに変換したい

Question

実現したいこと

100MB以上のファイルが入っているSVNリポジトリをGitHub用のGitに変換したい

前提

SVNで管理していたリポジトリを、"git svn"を使ってGitに変換し、
それをGitHubで管理しようとしています。

ほとんどのリポジトリはうまくいっているのですが、
100MB以上のファイルが複数入っているリポジトリを変換して、
それをGitHubにプッシュしようとすると、エラーになってしまいました。

調べてみたところ、GitHubでは、
100MB以上のファイルはプッシュできない仕様になっていました。

試したこと

そのファイル自体は、無理ならリポジトリから外しても構わないものだったので、
SVNから変換し終わったものをGit上で削除してみましたが、
追加されたログが残っている時点でダメなのか、エラーは消えません。

また、SVNのリポジトリの中には、過去に追加して、
すでに削除済みになっている100MB以上のファイルもあると記憶しています。

このように、SVNで大きなファイルをコミットしてしまっていたリポジトリを、
"git svn"で変換してGitHubにプッシュしたい場合、どのような方法がありますでしょうか。

Git LFSというサービスもあるようですが、アカウントごとの課金制のようですし、
それは最後の手段として考えています。

よろしくお願いいたします。

Answer 1

svnadmin dumpコマンドでリポジトリをテキストファイル形式に吐き出せます。またこのテキストファイルはsvnadmin loadコマンドで新規のリポジトリに流し込めます。

ですので、吐き出したテキストファイルを編集してからリポジトリに戻せば、特定のファイルを履歴から消し去るなど、リポジトリの履歴を様々に加工できます。ただ、手作業で編集するのは (まったく不可能というわけではないですが) 現実的ではないです。

svndumpfilterコマンドを使えば、上のテキストファイルから特定のファイルパスやブランチの情報だけを抽出したり、逆に削除したりもできます。

svnadminやsvndumpfilterの使いかたについてはドキュメントを見てください。

Comments

[n_ito]

お二方、解説いただきありがとうございます。

Gitに変換してから削除する方法と、SVNの方で削除する方法と両方調べさせていただきましたが、
以下のGitのコマンドで、指定したファイルをリポジトリ内から完全に消去できました。
(--tag-name-filter catのオプションで、タグも自動変換できました)

git filter-branch --index-filter 'git rm --cached --ignore-unmatch ○○○' --tag-name-filter cat -- --all

また、original/refsに変換前のブランチやタグがバックアップされていたので、
それらを手動で削除したところ、GitHubにプッシュすることができました。

ありがとうございました。

Answer 2

gitからであれば、以下のようなコマンドで対象のファイルを削除出来るそうです。

たとえば、password.txt というファイルをコミット履歴から消去したい場合は、次のようにします。

git filter-branch --index-filter 'git rm --cached --ignore-unmatch password.txt' HEAD

このようにすることで、全履歴をさかのぼって、コミット履歴から 'password.txt' を削除することができました。

（引用元）

詳細は引用元で確認してください。

Comments

[n_ito]

お二方、解説いただきありがとうございます。

Gitに変換してから削除する方法と、SVNの方で削除する方法と両方調べさせていただきましたが、
以下のGitのコマンドで、指定したファイルをリポジトリ内から完全に消去できました。
(--tag-name-filter catのオプションで、タグも自動変換できました)

git filter-branch --index-filter 'git rm --cached --ignore-unmatch ○○○' --tag-name-filter cat -- --all

また、original/refsに変換前のブランチやタグがバックアップされていたので、
それらを手動で削除したところ、GitHubにプッシュすることができました。

[ikedas]

> original/refsに変換前のブランチやタグがバックアップされていたので
私もこういうものの扱いがどうなるのか気になったので (gitにこういうものをお掃除するコマンドがあったような気もするけどすぐにわからなかった)、私の回答ではsubversionのリポジトリの時点でいらないものを削除しておく方法を紹介しました。
origin/refsを整理すればいいと分かったとのことで、何よりです。