2024年09月13日 [Python] llama.cppを使ってElyza 7bを動かしてみる
_ [Python] llama.cppってなんやねん
流行りが通り過ぎてイマイチ使えるかどうかわかんねえなとか，ちょっと文脈の最尤度を優先しすぎて事実と異なることを出してくんなとか，色々とメッキが剥がれつつある大規模言語モデルだけど，ある一定の可能性を示している現状だと使ってみたくなるよね？ だから大規模言語モデルを利用して推論するエンジン，llama.cppを試すやり方を書いておくよ．
% git clone https://github.com/ggerganov/llama.cpp.git % cd llama.cpp % make -j
これでllamap.cppのビルドはokay．
_ [Python] LLMのモデル
LLMのデータベースとして
があるんだけどどれを使ったらいいかわかんないよね．だったら某研究室からスピンアウトしたベンチャーが作っているLLMを手軽に選んで使ってみよう．
% wget https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-7b-fast-instruct-gguf/resolve/main/ELYZA-japanese-Llama-2-7b-fast-instruct-q4_0.gguf % cd .. % ./llama-cli -m 'models/ELYZA-japanese-Llama-2-7b-fast-instruct-q4_0.gguf' -n 32 -p '富士山の高さは？'
こんな感じ
[ツッコミを入れる]