LLM on akenji's lab

Open WebUIをフロントエンドにしてollamaのLLMと会話する

Sat, 23 Nov 2024 00:00:00 +0000

はじめに

昨日のこの投稿でollamaをdockerコンテナで起動し、JupyterLabからLLMを使うことについてまとめた。この投稿では、Open WebUIをコンテナで立ち上げ、それをフロントエンドとして、手元のブラウザから接続して、ollamaのLLMを使うことについてまとめる。

ollamaを使ってローカル環境でLLMを動かす

Fri, 22 Nov 2024 00:00:00 +0000

モチベーション

この投稿で、ナレッジグラフを構築できるLLMは、OpenAIとMistral（何もAPI経由）であると述べた。ネットでは、この記事のようにollamaを使ってGraphRAG環境を構築している事例を見かけるようになった。

自分もローカル環境でナレッジグラフを構築することにチャレンジしたい。今回の投稿では、ollamaをインストールするまでをまとめる。

PLaMo β版を試す

Sun, 01 Sep 2024 00:00:00 +0000

はじめに

8/8にこの記事を読んだ。それによると、GPT-4を超える日本語性能を持つLLMをPreferred Networksの子会社（PFE）が、商用版提供に先駆けて無料トライアルの提供開始すると。

早速、無料トライアルに申し込んで、受付完了のメールを受け取って、アカウント発行の通知を待っていた。通知メールは、8/9に受け取っていたのだが、自分が見過ごしてしまって、申し込んだこともすっかり忘れていた。最近、この記事を読んで、無料トライアルの件を思い出し、メールを再確認し、アカウント通知を見つけた。

この投稿では、無料トライアル版を試した内容をまとめる。

WikipediaダンプデータからRAG向けテキストデータ作成

Tue, 13 Aug 2024 00:00:00 +0000

モチベーション

LangChainを使ってRAGを試しているのだが、確認用に使用するデータに何を使おうかと考えていたところ、wikipediaのダンプデータを使うことにした。全体ではボリュームを大きいので、自分の興味のある天文関係のカテゴリーのデータを使うことにした。

ここでは、wikipediaダンプデータから特定のカテゴリーのデータのみを取り出す一連の手順をまとめた。

LlamaIndexを使ってRAGを試す

Sat, 25 May 2024 00:00:00 +0000

モチベーション

Chatbot UIを試したこの投稿で、今後挑戦したいことの一つにRAG（Retrieval Augmented Generation）との連携と述べた。この投稿ではLlamaIndexを使ってRAGを実現する方法についてまとめた。

実は昨年末にLangchainを使ってRAGを試してみた。その後、LlamaIndexとのキーワードを良く聞いてきたので、今回LlamaIndexを使ってRAGを実現することにした。