現状、ローカルLLMでOpen Interpreterを使うなら、Ollamaが楽かもしれない
公開 2024/04/03 14:21
最終更新
2024/04/04 09:25
単なるチャットで使うなら、LM Studioが使いやすいんですが、使えるmodelに制約があるもののOllamaのほうが使いやすいかもです。
ollama pull deepseek-coder
でモデルをダウンロードし、
ollama run deepseek-coder
でモデルを実行させる。
別のターミナル(コマンドプロンプト)から、
interpreter --model ollama/deepseek-coder
とやると実行できる。
Ollamaもcudaが利用できるようになっていれば、使ってくれるようだ。
サンプルプロンプトの"What time is it in Seattle?"を実行させると、何回目かには適切な回答が得られました。エラーメッセージが出れば、なんとか訂正をしながらも使えそうなコードに仕上げてくれます。
一度、ハマってしまうとなかなか同じエラーから抜け出せなくなりますけれども。
ただ、interpreterのオプションで-yはハマってしまうとただループするだけで無駄だから、あまり賢くないローカルLLMでは使わないほうがいいんじゃなかろうか。
コードを提示した後、"Would you like to run this code? (y/n)"に対して、問題がありそうなら"n"として、訂正内容を具体的に指示すれば、訂正版のコードを出力してくれる場合がある。
賢いLLMなら、エラーメッセージを適切に判断して修正してくれるんだろうが、そうでないなら人が部分的に手を入れることができるあたり、それはそれで賢いんじゃないかと思う。
ollama pull deepseek-coder
でモデルをダウンロードし、
ollama run deepseek-coder
でモデルを実行させる。
別のターミナル(コマンドプロンプト)から、
interpreter --model ollama/deepseek-coder
とやると実行できる。
Ollamaもcudaが利用できるようになっていれば、使ってくれるようだ。
サンプルプロンプトの"What time is it in Seattle?"を実行させると、何回目かには適切な回答が得られました。エラーメッセージが出れば、なんとか訂正をしながらも使えそうなコードに仕上げてくれます。
一度、ハマってしまうとなかなか同じエラーから抜け出せなくなりますけれども。
ただ、interpreterのオプションで-yはハマってしまうとただループするだけで無駄だから、あまり賢くないローカルLLMでは使わないほうがいいんじゃなかろうか。
コードを提示した後、"Would you like to run this code? (y/n)"に対して、問題がありそうなら"n"として、訂正内容を具体的に指示すれば、訂正版のコードを出力してくれる場合がある。
賢いLLMなら、エラーメッセージを適切に判断して修正してくれるんだろうが、そうでないなら人が部分的に手を入れることができるあたり、それはそれで賢いんじゃないかと思う。
