はじめに
昨日作成したテキストデータからRAGで使えるデータベースを作成し、数個の特定文字列を用意し、それを検索して評価する。
[続きを読む]自分の興味ある分野について、調べたり、実際に手を動かしたり、分かったことをここにまとめている。
LangChainを使ってRAGを試しているのだが、確認用に使用するデータに何を使おうかと考えていたところ、wikipediaのダンプデータを使うことにした。全体ではボリュームを大きいので、自分の興味のある天文関係のカテゴリーのデータを使うことにした。
ここでは、wikipediaダンプデータから特定のカテゴリーのデータのみを取り出す一連の手順をまとめた。
[続きを読む]NumPy 2.0.0が6月16日にリリースされた。先日、lang-chainを使ってRAGを試してみようとして、dockerコンテナをビルドする際にエラーとなって初めて気付いた。その後、llama-cpp-pythonを組み込む際にCMakeでエラーが発生した。
[続きを読む]LLMを手元のワークステーション(GPUのメモリ12〜16GB)で動かすには量子化が必須となる。この投稿では、llama-cpp-pythonを使って、GPU資源を最大限に活用することに挑戦したので、その内容をまとめる。
自分の理解不足のためハマったところもあるので、自分が失敗した箇所も含めた内容となっている。
[続きを読む]