PLaMo β版を試す

はじめに

8/8にこの記事を読んだ。それによると、GPT-4を超える日本語性能を持つLLMをPreferred Networksの子会社（PFE）が、商用版提供に先駆けて無料トライアルの提供開始すると。

早速、無料トライアルに申し込んで、受付完了のメールを受け取って、アカウント発行の通知を待っていた。通知メールは、8/9に受け取っていたのだが、自分が見過ごしてしまって、申し込んだこともすっかり忘れていた。最近、この記事を読んで、無料トライアルの件を思い出し、メールを再確認し、アカウント通知を見つけた。

この投稿では、無料トライアル版を試した内容をまとめる。

情報源

PLaMo β版の無料トライアルの申込受付本家（Preferred Networks）のニュースリリース。
トライアル申込 PLaMo β版トライアルAPI利用申請のページ。このページからログインすると、APIキーを取得でき、使い方のサンプルなども記載されている。
PLaMo β版　無料トライアル実際に利用された方のQiita記事。

jupyterlabから使う

ChatGPTと同じAPIなので、これまでのコードを使って、簡単に試せそうなので、早速試してみる。

コードについては、こちらの投稿の内容を参照されたい。

APIキーの設定

今回取得した、APIキー、およびサンプルコードを参考にして、以下の通り2つの環境変数を設定する。

import os

os.environ['OPENAI_API_KEY'] = 'xxxxxxxxxx'
os.environ['API_HOST'] = 'URL'

llmインスタンス作成部分についてもサンプルコードを参考にした。

PLaMo βの利用の仕方

今回、次の3つの利用形態で質問を投げることにした。

PLaMo βのみ（単体で利用）
PLaMo βを使ったRAG（FAISSによるベクトルストア）
PLaMo βを使ったRAG（FAISSによるベクトルストア＋BM25によるキーワード検索のアンサンブル）

アンサンブル部分のコード

以前の投稿に掲載していない、アンサンブル部分のコードを以下に示す。

# Ensemble Retrieverを準備

from langchain.retrievers import EnsembleRetriever

ensemble_retriever = EnsembleRetriever(
    retrievers = [bm25_retriever, faiss_retriever],
    weights = [0.5, 0.5]
)

併せて、chainの部分も次のように変更した。

# LangChain（LCEL）でChainを構築

from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnableParallel, RunnablePassthrough

prompt = ChatPromptTemplate.from_template(template)
output_parser = StrOutputParser()
setup_and_retrieval = RunnableParallel(
    {"context": ensemble_retriever, "question": RunnablePassthrough()}
)
chain = setup_and_retrieval | prompt | llm | output_parser

langchainを使うと、これまでのコードをほんの少し変更するだけで、いろいろなことが試せることが実感できた。

まとめ

実行結果

質問内容は、こちらの投稿と同じ。出力結果をそのまま掲載（改行は挿入）。

PLaMo βのみ	FAISS	ensemble
r過程についてご説明いたします。 r過程」とは、宇宙における元素合成過程の一つです。元素合成過程とは、宇宙空間で元素が作られるプロセスのことで、大きく分けて「s過程」「r過程」「p過程」という3つの過程が存在します。その中でも「r過程」は、爆発的な元素合成過程であり、主に中性子星同士の合体や、超新星爆発といった高密度で高温度な極限状態の環境下で起こると考えられています。「r過程」では、鉄よりも重い元素、特に金やウランといった重元素が生成されると考えられています。この過程では、速い中性子捕捉と、それによって生じる核分裂反応によって、原子番号の大きい元素が次々と合成されます。この過程は非常に短時間で進行し、数秒程度で終了するとされています。「r過程」の特徴の一つとして、元素の生成量が極めて少ないことが挙げられます。そのため、地球上では非常に希少な元素である金やウランも、宇宙空間では比較的多く存在していると考えられています。近年の観測技術の発達により、中性子星の合体や超新星爆発の際に、「r過程」によって生成されたと考えられる元素が実際に検出されています。このことにより、「r過程」が宇宙における元素合成の重要な過程であることが確認されつつあります。今後も研究が進められることが期待されています。以上が、「r過程」についての概要となります。ご参考になれば幸いです。	s過程、rp過程とともに宇宙に存在する重元素の生成にかかわっている元素合成過程の一つです。中性子に富む側の安定性が問題になる点が、陽子に富む側の安定性が問題になるrp過程とかなり違っています。r過程の終了点(生成することの出来る最重元素)は、テルルより先へ反応が進まないことがわかっているものの、いまだによくわかっていません。	r過程とは、高速中性子捕獲過程（Rapid Neutron Capture Process）の略語で、宇宙に存在する重元素（原子番号が大きい元素）の生成に関係する核反応プロセスの一つです。これは、超新星爆発や中性子星の合体などの天体物理学的な現象において、中性子を多く含む物質に高速で中性子が捕獲されることで起こります。このプロセスでは、鉄より重い元素が生成され、その速度はs過程（slow neutron capture process）やr過程（rapid neutron capture process）よりも速いとされています。r過程の研究は、宇宙における元素の存在比を説明する上で重要であり、特に金、ウラン、プルトニウムなどの重元素の起源を解明するために不可欠です。最近の研究では、中性子星の合体においてr過程が起こることが示唆されており、この現象を観測的に研究することで、r過程の理解が深まることが期待されています。ただし、r過程の具体的な発生場所やメカニズムについては、まだ完全には解明されていない部分もあり、現在も研究が進められています。
もちろんです。喜んで、あなたが尋ねたナンシー・グレース・ローマン宇宙望遠鏡について、説明させていただきます。ナンシー・グレース・ローマン宇宙望遠鏡とは、アメリカ合衆国のNASA（アメリカ航空宇宙局）が開発中の新しい宇宙望遠鏡の名称です。この望遠鏡の名前は、天文学者ナンシー・グレース・ローマンにちなんで付けられました。彼女は、NASAのゴダード宇宙飛行センターに勤務していた著名な天文学者で、赤外線天文学の分野で多大な貢献をした人物です。この望遠鏡の最大の特徴は、従来の宇宙望遠鏡よりも広い範囲を観測できることです。そのため、より遠くの宇宙を観測し、宇宙の歴史や進化についての理解を深めることができます。また、高い解像度を持つため、銀河や恒星の形成や進化についての詳細な観測も可能になります。さらに、この望遠鏡は太陽系外惑星の探索にも利用される予定です。惑星の大気の組成や特性を調べることで、生命の存在を示す兆候を探すことができるかもしれません。ナンシー・グレース・ローマン宇宙望遠鏡は、直径約6.5メートルの主鏡を備えており、これはジェームズ・ウェッブ宇宙望遠鏡（JWST）の主鏡（約6.5メートル）とほぼ同じ大きさです。しかし、JWSTは赤外線観測に特化しているのに対し、ナンシー・グレース・ローマン宇宙望遠鏡は可視光線から近赤外線までの幅広い波長で観測を行うことができます。このため、より多様な天体現象を観測することができます。ナンシー・グレース・ローマン宇宙望遠鏡は、現在、開発段階にあり、打ち上げは2025年以降に予定されています。この望遠鏡が稼働すれば、宇宙の謎に迫る多くの発見が期待されています。	ナンシー・グレース・ローマン宇宙望遠鏡は略称「ローマン宇宙望遠鏡 (Roman Space Telescope )」と呼ばれています。この望遠鏡は2020年代半ばに打ち上げが予定されており、日本を含む国際協力で進められている、NASAの広視野赤外線宇宙望遠鏡の計画です。当初は、「広視野近赤外線サーベイ宇宙望遠鏡」の頭文字を取ってWFIRSTという名称で計画が進められていました。この望遠鏡は、近赤外線・赤外線の観測に特化しており、地球と太陽のラグランジュ点（L2）に位置することで、地球近傍の塵の影響を避け、より高精度の観測を可能としています。これにより、ハッブル宇宙望遠鏡よりも大幅な高性能化が図られています。一方で、同じような計画として、2021年12月25日に打ち上げられたジェームズ・ウェッブ宇宙望遠鏡（JWST）があります。こちらも口径約6.5mの六角形の鏡を18枚組み合わせた主鏡を備えており、近赤外線・赤外線の観測が可能ですが、近紫外線・可視光の観測能力は持っていません。ただし、ナンシー・グレース・ローマン宇宙望遠鏡とジェームズ・ウェッブ宇宙望遠鏡の具体的な性能や機能についての詳細な情報は、提供された情報からは分かりません。以上のように、ナンシー・グレース・ローマン宇宙望遠鏡は、NASAが主導する近赤外線・赤外線観測に特化した次世代の宇宙望遠鏡であり、ジェームズ・ウェッブ宇宙望遠鏡とは異なる計画ですが、どちらも宇宙観測の分野で重要な役割を果たすことが期待されています。	ナンシー・グレース・ローマン宇宙望遠鏡は、アメリカ航空宇宙局（NASA）が2020年代半ばに打ち上げ予定の広視野赤外線宇宙望遠鏡です。この望遠鏡は当初、WFIRST（広視野赤外線サーベイ宇宙望遠鏡）という名称で計画されていましたが、2020年5月に天文学者であり教育者、女性の権利擁護者でもあったナンシー・グレース・ローマンの功績をたたえ、彼女の名前が付けられました。ローマンは、NASAの宇宙望遠鏡計画において重要な役割を果たし、特にハッブル宇宙望遠鏡の計画実現のために尽力したことで知られています。彼女は「ハッブルの母」と呼ばれ、天文学コミュニティや議会に働きかけ、ハッブルの基礎を築きました。ナンシー・グレース・ローマン宇宙望遠鏡は、直径約2.4メートルの主鏡を持ち、地球から約1.5万光年離れたL2ラグランジュ点に配置される予定です。この望遠鏡は、主に赤外線と近赤外線の波長域で観測を行い、宇宙の初期の銀河や恒星の進化、ダークマターやダークエネルギーの研究に貢献することが期待されています。同望遠鏡の打ち上げは、当初2011年に予定されていましたが、技術的な課題や予算の問題により、何度も延期されました。しかし、2020年に計画が再開され、2025年までに打ち上げが予定されています。まとめると、ナンシー・グレース・ローマン宇宙望遠鏡は、天文学の発展に大きく貢献した女性科学者の名前を冠した、赤外線観測に特化した宇宙望遠鏡であり、宇宙の謎に迫るための重要なツールとなることが期待されています。
もちろんです、B2FH論文についてご説明しましょう。B2FHというのは、物理学者のブライアン・ジョセフソン、レオナルド・サスキンド、ジョン・ホールの3人が、1980年にPhysical Review Lettersという雑誌に発表した論文のことです。この論文は、超伝導とトポロジーという2つの分野で重要な意味を持つ「分数量子化」の概念を紹介しました。この論文では、まず超伝導体という物質について説明しています。超伝導体は、ある温度以下で電気抵抗がゼロになり、磁場を完全に排除するという性質を持つ物質です。この性質を利用して、強力な磁石や高速コンピューターなどの技術が開発されています。次に、この論文ではトポロジーという数学の概念を説明しています。トポロジーとは、物体の形や大きさ、つなぎ目などの特性を研究する分野で、物体を変形させたり、切断したりしても変化しない性質を調べます。そして、B2FH論文では、超伝導体の電子状態がトポロジーの影響を受けることを示しました。具体的には、超伝導体の表面に「分数量子化」と呼ばれる現象が起こり、電子の振る舞いが変化します。これによって、超伝導体の表面には、通常の物質とは異なる特殊な状態が出現することがわかりました。この発見は、その後の物理学の研究に大きな影響を与えました。特に、トポロジカルな超伝導体の研究は、量子コンピューターやスピントロニクスなどの分野で進歩をもたらす可能性があります。以上のように、B2FH論文は物理学における重要な概念を導入し、その後の研究に大きな影響を与えた画期的な論文として知られています。	B2FH論文は、「星のなかでの元素合成」というタイトルで、マーガレット・バービッジ、ジェフリー・バービッジ、ウィリアム・ファウラー、フレッド・ホイルの4人の天文学者によって、1955年から1956年にケンブリッジ大学とカリフォルニア工科大学で執筆されました。この論文は、科学雑誌「レビューズ・オブ・モダン・フィジックス」に掲載され、星の内部で元素がどのように形成されるかを明らかにし、宇宙化学と天体物理学の分野に多大な影響を与えました。著者たちの頭文字を取って「B2FH」として知られています。なお、提供されたコンテキストでは、「b（.02）とTOI-1670」についてはB2FH論文との関連性が明記されていないため、これらについては回答できません。	B2FH論文とは、マーガレット・バービッジ、ジェフリー・バービッジ、ウィリアム・ファウラー、フレッド・ホイルによって書かれた「Synthesis of the Elements in Stars」というタイトルの論文です。この論文は、恒星内での元素生成に焦点を当てた画期的なもので、1957年に発表されました。著者の頭文字を取ってB2FH論文と呼ばれています。この論文では、恒星内での元素合成の過程が詳細に分析され、特に炭素を生成するトリプルアルファ反応について議論されています。ウィリアム・ファウラーはこの論文の共同著者の一人であり、彼の実験によって、トリプルアルファ反応が起こるために必要なエネルギー準位が炭素原子核に存在することが証明されました。この発見は、後の元素合成理論の発展に大きく貢献しました。また、B2FH論文は科学史において、人間原理に関する議論も引き起こしました。ウィリアム・ファウラーがこの論文の執筆に先立ち、宇宙における人間の存在について言及していたことが指摘されています。ただし、この論文自体は人間原理と直接的に関係しているわけではなく、主に恒星内での元素生成について論じています。以上のように、B2FH論文は、宇宙における元素の起源と進化に関する理解を大きく深めた重要な研究であると言えます。

評価

回答内容は、興味深い結果である。事実関係を確認すると次の通り。

PLaMo βのみ
- ナンシー・グレース・ローマン宇宙望遠鏡の口径は2.4mであり、6.5ｍではない。
- B2FH論文についての内容は誤り。
RAG（FAISSによるVector Store）
- r過程の回答内容は、rp過程の説明のようだ。ベクトル検索の問題のように思う。
- ナンシー・グレース・ローマン宇宙望遠鏡の回答で、「…望遠鏡の具体的な性能や機能についての詳細な情報は、提供された情報からは分かりません。」との回答は良い。
- B2FH論文の回答で、「なお、提供されたコンテキストでは、「b（.02）とTOI-1670」についてはB2FH論文との関連性が明記されていないため、これらについては回答できません。」もベクトル検索の問題のようだ。「TOI-1670」は、太陽系外惑星を持つ恒星のこと。
RAG（VSとキーワード検索のensemble検索）
- r過程の回答で、「r過程（rapid neutron capture process）よりも速いとされています。」は間違っている。
- ナンシー・グレース・ローマン宇宙望遠鏡の回答で、「直径約2.4メートルの主鏡を持ち、地球から約1.5万光年離れたL2ラグランジュ点に配置される予定です。」口径の説明はあっているが、L2ラグランジュ点は、地球から1.5百万（150万）Kmの位置。単位を間違えたか？
- B2FH論文の回答で、「人間原理」に触れている理由は分からない。

最後に

VSによるRAGで、「分からない」や「回答できない」との回答が含まれている点は良いと思う。これは、テンプレートに「なお、コンテキスト情報に無い情報は回答に含めないでください。また、コンテキスト情報から回答が導けない場合は「分かりません」と回答してください。」と設定したことによると判断する。

実は、「Llama-3-ELYZA-JP-8B-q4_k_m.gguf」モデルを使ってensemble検索を実施していたが、結果があまり良くなかったので、ensamble検索については評価を控えていたが、今回PLaMo βを使ってみると、比較的良い結果を得ることができた。