!pip install colab-xterm

%load_ext colabxterm

!pip install langchain_core

%xterm

!ps aux | grep ollama

!ollama list

%%time

from langchain_core.prompts import ChatPromptTemplate
from langchain_ollama.llms import OllamaLLM

template = """Question: {question}
Answer: Let's think step by step."""

# ChatPromptTemplate를 사용하여 템플릿을 생성합니다.
prompt = ChatPromptTemplate.from_template(template)

# 모델 초기화
model = OllamaLLM(model="mistral")

# 체인을 생성하여 질문과 답변을 연결합니다.
chain = prompt | model

# 체인을 실행하여 질문에 대한 답변을 얻습니다.
chain.invoke({"question": "LLM 모델에는 어떤 것이 있을까? 한글 답변 가능하니?"})

from langchain_community.llms import Ollama
from langchain.memory import ConversationSummaryBufferMemory
from langchain.schema.runnable import RunnablePassthrough
from langchain.prompts import ChatPromptTemplate, MessagesPlaceholder

# Ollama 모델 초기화
llm = Ollama(model="gemma2:9b")

# 대화 메모리 설정
memory = ConversationSummaryBufferMemory(
    llm=llm,
    max_token_limit=80,
    memory_key="chat_history",
    return_messages=True,
)

# 메모리 로드 함수
def load_memory(input):
    return memory.load_memory_variables({})["chat_history"]

# 프롬프트 템플릿 설정
prompt = ChatPromptTemplate.from_messages([
    ("system", f"너는 사용자 메시지를 한글을 영어로 바꾸는 휼륭한 번역가란다."),
    MessagesPlaceholder(variable_name="chat_history"),
    ("human", "{question}"),
])

# 체인 설정
chain = RunnablePassthrough.assign(chat_history=load_memory) | prompt | llm

# 체인 호출 함수
def invoke_chain(question):
    result = chain.invoke({"question": question})
    memory.save_context(
        {"input": question},
        {"output": result},
    )
    print("번역 결과:", result)

while True :
    print("저는 당신이 입력한 것을 잘 번역할 수 있어요.")
    userInput = input("입력해 주세요.(종료 : q or quit)")

    if userInput.lower() in ['q', 'quit']:
        print("프로그램을 종료합니다.")
        break

    invoke_chain(userInput)

# 필요한 라이브러리 임포트
import base64
from io import BytesIO
from IPython.display import HTML, display
from PIL import Image
from langchain_core.output_parsers import StrOutputParser
from langchain_community.chat_models import ChatOllama
from langchain_core.messages import HumanMessage

def image_to_base64(img_path):
    """
    이미지 파일을 Base64 인코딩된 문자열로 변환하는 함수

    :param img_path: 이미지 파일 경로
    :return: Base64로 인코딩된 이미지 문자열
    """
    with Image.open(img_path) as img:
        buffer = BytesIO()  # 메모리 내 바이트 스트림 생성
        img.save(buffer, format="JPEG")  # 이미지를 JPEG 형식으로 버퍼에 저장
        return base64.b64encode(buffer.getvalue()).decode("utf-8")  # Base64로 인코딩 후 문자열로 변환

def display_base64_image(b64_str):
    """
    Base64로 인코딩된 이미지를 IPython 환경에서 표시하는 함수

    :param b64_str: Base64로 인코딩된 이미지 문자열
    """
    display(HTML(f'<img src="data:image/jpeg;base64,{b64_str}" />'))  # HTML 태그를 사용하여 이미지 표시

def create_prompt(input_data):
    """
    LLM에 전달할 프롬프트를 생성하는 함수

    :param input_data: 이미지와 텍스트 정보를 포함한 딕셔너리
    :return: LLM에 전달할 메시지 객체 리스트
    """
    image_part = {
        "type": "image_url",
        "image_url": f"data:image/jpeg;base64,{input_data['image']}",  # Base64 이미지를 데이터 URL로 변환
    }
    text_part = {"type": "text", "text": input_data["text"]}  # 텍스트 부분
    return [HumanMessage(content=[image_part, text_part])]  # 이미지와 텍스트를 포함한 HumanMessage 객체 생성

# 이미지 처리 및 표시
image_path = "./Dog_rawPixel01.jpg"  # 처리할 이미지 파일 경로
base64_image = image_to_base64(image_path)  # 이미지를 Base64로 인코딩
display_base64_image(base64_image)  # 인코딩된 이미지 표시

import base64
from io import BytesIO
from IPython.display import HTML, display
from PIL import Image
from langchain_core.output_parsers import StrOutputParser
from langchain_community.chat_models import ChatOllama
from langchain_core.messages import HumanMessage

def image_to_base64(img_path):
    with Image.open(img_path) as img:
        buffer = BytesIO()
        img.save(buffer, format="JPEG")
        return base64.b64encode(buffer.getvalue()).decode("utf-8")

def display_base64_image(b64_str):
    display(HTML(f'<img src="data:image/jpeg;base64,{b64_str}" />'))

def create_prompt(input_data):
    image_part = {
        "type": "image_url",
        "image_url": f"data:image/jpeg;base64,{input_data['image']}",
    }
    text_part = {"type": "text", "text": input_data["text"]}
    return [HumanMessage(content=[image_part, text_part])]

# 이미지 처리
image_path = "./Dog_rawPixel01.jpg"
base64_image = image_to_base64(image_path)
display_base64_image(base64_image)

from langchain_core.output_parsers import StrOutputParser
from langchain_community.chat_models import ChatOllama
from langchain_core.messages import HumanMessage

# ChatOllama 멀티모달 언어 모델을 불러옵니다.
multimodal_model = ChatOllama(model="llava:latest", temperature=0)

# 프롬프트 함수, 언어 모델, 출력 파서를 연결하여 체인을 생성합니다.
processing_chain = create_prompt | multimodal_model | StrOutputParser()

# 체인을 호출하여 쿼리를 실행합니다.
result = processing_chain.invoke(
    # 텍스트와 이미지를 전달합니다.
    {"text": "Describe the image", "image": base64_image}
)

print(result)  # 쿼리 결과를 출력합니다.

Model	Parameters	Size	Download Command
Llama 3.2	3B	2.0GB	`ollama run llama3.2`
Llama 3.2	1B	1.3GB	`ollama run llama3.2:1b`
Llama 3.1	8B	4.7GB	`ollama run llama3.1`
Llama 3.1	70B	40GB	`ollama run llama3.1:70b`
Llama 3.1	405B	231GB	`ollama run llama3.1:405b`
Phi 3 Mini	3.8B	2.3GB	`ollama run phi3`
Phi 3 Medium	14B	7.9GB	`ollama run phi3:medium`
Gemma 2	2B	1.6GB	`ollama run gemma2:2b`
Gemma 2	9B	5.5GB	`ollama run gemma2`
Gemma 2	27B	16GB	`ollama run gemma2:27b`
Mistral	7B	4.1GB	`ollama run mistral`
Moondream 2	1.4B	829MB	`ollama run moondream`
Neural Chat	7B	4.1GB	`ollama run neural-chat`
Starling	7B	4.1GB	`ollama run starling-lm`
Code Llama	7B	3.8GB	`ollama run codellama`
Llama 2 Uncensored	7B	3.8GB	`ollama run llama2-uncensored`
LLaVA	7B	4.5GB	`ollama run llava`
Solar	10.7B	6.1GB	`ollama run solar`

구글 코랩 무료 버전에서 Ollama 시작하기¶

환경 구축하기¶

Ollama 는 무엇일까요?¶

Ollama 서비스 및 설치¶

Model library¶

필수 라이브러리 설치¶

xterm 띄우기¶

프로세스 확인¶

mistral 활용해 보기¶

Gemma2를 이용한 번역기 만들기¶

멀티 모달 시스템¶

Bakllava 모델¶

LLaVa 모델¶

REF¶