https://akenji3.github.io/tags/elyza/ Recent content in Elyza on akenji's lab Hugo ja Fri, 03 May 2024 00:00:00 +0000 https://akenji3.github.io/post/20240503_llama-cpp-python/ Fri, 03 May 2024 00:00:00 +0000 https://akenji3.github.io/post/20240503_llama-cpp-python/ <h2 id="モチベーション">モチベーション</h2> <p>LLMを手元のワークステーション（GPUのメモリ12〜16GB）で動かすには量子化が必須となる。この投稿では、llama-cpp-pythonを使って、GPU資源を最大限に活用することに挑戦したので、その内容をまとめる。</p> <p>自分の理解不足のためハマったところもあるので、自分が失敗した箇所も含めた内容となっている。</p>