Building GraphRAG with ollama

# パッケージをimport

import os
import pprint
from tempfile import NamedTemporaryFile

from langchain_community.document_loaders import TextLoader
from langchain_community.graphs import Neo4jGraph
from langchain_community.vectorstores import Neo4jVector
from langchain_experimental.graph_transformers import LLMGraphTransformer
from neo4j import GraphDatabase
import pandas as pd

# neo4j用の環境変数を設定

os.environ['NEO4J_URI'] = 'bolt://xxx.xxx.xxx.xxx:7687'
os.environ['NEO4J_USERNAME'] = 'neo4j'
os.environ['NEO4J_PASSWORD'] = 'password'

graph = Neo4jGraph()
graph.query('MATCH (n) DETACH DELETE n;')

# Load documents from a text file
WIKI_TEXT = "./wiki_text2"
CHUNK_SIZE = 300
CHUNK_OVERLAP = 30

from langchain.text_splitter import RecursiveCharacterTextSplitter

loader = TextLoader(file_path=WIKI_TEXT, encoding = 'UTF-8')
docs = loader.load()
# Split documents into chunks
text_splitter = RecursiveCharacterTextSplitter(chunk_size=CHUNK_SIZE, chunk_overlap=CHUNK_OVERLAP)
documents = text_splitter.split_documents(documents=docs)

# ollama(gemma-2-2b-jpn）をLLMとして設定

from langchain_ollama.llms import OllamaLLM

llm = OllamaLLM(base_url = "http://xxx.xxx.xxx.xxx:11434", model="schroneko/gemma-2-2b-jpn-it", temperature=0)

llm_transformer = LLMGraphTransformer(llm=llm)

# ここでLLMでgraph化
graph_documents = llm_transformer.convert_to_graph_documents(documents)
graph.add_graph_documents(
    graph_documents,
    baseEntityLabel=True,
    include_source=True
)

pprint.pprint(graph.query("MATCH (s)-[r:!MENTIONS]->(t) RETURN s,r,t LIMIT 50"))

from langchain_ollama import OllamaEmbeddings

# ollama embeddings
embeddings = OllamaEmbeddings(
    model="mxbai-embed-large",
    base_url = "http://192.168.11.4:11434",
)

from langchain.vectorstores import Neo4jVector

vector_index = Neo4jVector.from_existing_graph(
    embeddings,
    search_type="hybrid",
    node_label="Document",
    text_node_properties=["text"],
    embedding_node_property="embedding"
)

# Connect to the Neo4j, then create a full-text index
driver = GraphDatabase.driver(
    uri=os.environ["NEO4J_URI"],
    auth=(os.environ["NEO4J_USERNAME"], os.environ["NEO4J_PASSWORD"])
)

def create_fulltext_index(tx):
    query = '''
    CREATE FULLTEXT INDEX `fulltext_entity_id` 
    FOR (n:__Entity__) 
    ON EACH [n.id];
    '''
    tx.run(query)

try:
    with driver.session() as session:
        session.execute_write(create_fulltext_index)
        print("Fulltext index created successfully.")
except Exception as e:
    print(f"Failed to create index: {e}")

driver.close()

MATCH p=()-[]-() RETURN p

# python --version
Python 3.11.10

# ollama(gemma-2-2b-jpn）をLLMとして設定

from langchain_ollama.llms import OllamaLLM
from langchain_ollama import ChatOllama

#llm = OllamaLLM(base_url = "http://192.168.11.4:11434", model="schroneko/gemma-2-2b-jpn-it", temperature=0, format="json")
#llm = ChatOllama(base_url = "http://192.168.11.4:11434", model="schroneko/gemma-2-2b-jpn-it", temperature=0, format="json")
#llm = OllamaLLM(base_url = "http://192.168.11.4:11434", model="llama3.2", temperature=0, format="json")
llm = ChatOllama(base_url = "http://192.168.11.4:11434", model="llama3.2", temperature=0, format="json")

print(chain.invoke("R過程について教えてください"))
{ "R過程" : "中性子星の衝突などの爆発的な現象によって起こる、元素合成における中性子を多くもつ鉄より重い元素のほぼ半分を合成する過程。迅速かつ連続的に中性子をニッケル56のような核種に取り込むことで起きる。" } 

print(chain.invoke("ナンシー・グレース・ローマン宇宙望遠鏡"))
{"ナンシー・グレース・ローマン宇宙望遠鏡"   : "2020年代半ばに打ち上げを目指し、日本を含む国際協力で進められているアメリカ航空宇宙局 (NASA) の広視野赤外線宇宙望遠鏡計画。主鏡の口径は2.4m、視野はハッブル宇宙望遠鏡よりも100倍広く、焦点距離は短くなる。太陽系外の惑星の撮影や、ダークエネルギーの存在確認に役立てることができると考えられる。}"}

print(chain.invoke("ナンシー・グレース・ローマン宇宙望遠鏡について教えて"))
{"ナンシー・グレース・ローマン宇宙望遠鏡"  		 	 	:"ナンシー・グレース・ローマン宇宙望遠鏡は、2020年代半ばの打ち上げを目指し、日本を含む国際協力で進められているアメリカ航空宇宙局 (NASA) の広視野赤外線宇宙望遠鏡計画。正式名称は「ナンシー・グレース・ローマン宇宙望遠鏡（Nancy Grace Roman Space Telescope）」です。"}

print(chain.invoke("B2FH論文"))
{"B2FH論文" : "元素の起源に関する記念碑的な論文。著者はマーガレット・バービッジ、ジェフリー・バービッジ、ウィリアム・ファウラー、フレッド・ホイルの4名で、1955年から1956年に執筆され、1957年にアメリカ物理学会の査読付き学術誌" }

print(chain.invoke("B2FH論文について教えてください"))
{
  "B2FH論文" : {
    "題名" : "Synthesis of the Elements in Stars",
    "執筆期間" : 1955    
    , "執筆場所" : "ケンブリッジ大学とカリフォルニア工科大学",
    "査読誌" : "Reviews of Modern Physics"
  }
}