llama3がどのような構造になっているかをソースコードを見ながら調べたい

Question

実現したいこと

ソースコードを追いかけて、llama3がどのような構造になっているのかを確認したいです。

発生している問題・分からないこと

検索をかけてもllama3のソースコードが見つからず、ggufファイルのみ手にある状態です。

該当のソースコード

特になし

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

近しいものとして？transformers/src/transformers/models/llama下のファイルは手元にあり、ソースコードは見てみましたが、構造まで把握できたかと言うと微妙な状態です。

補足

ggufファイルはLlama-3-ELYZA-JP-8B-q4_k_m.ggufです

Answer 1

ソースコードではありませんが論文はどうでしょうか？

The Llama 3 Herd of Models

Comments

[salmonyukke]

ありがとうございます！
ぜひ参考にしたいと思います。