量子化による日本語LLMの実行 January 2, 2024に投稿 | • 翻訳:en モチベーション この記事において量子化については、否定的な言い方で終わったが、少し調べてみると興味深い領域であると思い直し、量子化について実験したので、その内容をここにまとめる。 [続きを読む] japanese llm TITAN-V" quantize
日本語LLMをオンプレミス環境で実行する December 30, 2023に投稿 | • 翻訳:en モチベーション 2023年を振り返ってみると、多くの日本語LLM(Large Language Models)がリリースされた一年だった。自分もいくつかの日本語LLMを自宅の環境で動作させてみたので、ここにまとめる。 [続きを読む] japanese llm RTX A4000 TITAN-V