llamafileって何だ？
公開 2024/04/05 10:40
最終更新
-
落ち着いて考えてみたら、llamafileって何か知らなかった。
ggufとかggmlとかLLMの配布形式の一つかと思っていた。
Open Interpreterでうまく利用できないみたいだから、Open Interpreter側でllamafileに対する扱いが特殊なんだろうと思っていたのだけれども、llamafileって調べてみたら、OllamaやLM Studioのサーバーモードなどと同様に利用できるものと分かった。
llamafile自体が実行ファイルで、.exeとつければWindowsでも実行できるのだと。
( https://gigazine.net/news/20231210-llamafile/ )
でも、うまく使えていません。
llamafileが実行できていれば、以下で利用できるはずなんですが。
interpreter --api_base https://localhost:8080/v1
ggufとかggmlとかLLMの配布形式の一つかと思っていた。
Open Interpreterでうまく利用できないみたいだから、Open Interpreter側でllamafileに対する扱いが特殊なんだろうと思っていたのだけれども、llamafileって調べてみたら、OllamaやLM Studioのサーバーモードなどと同様に利用できるものと分かった。
llamafile自体が実行ファイルで、.exeとつければWindowsでも実行できるのだと。
( https://gigazine.net/news/20231210-llamafile/ )
でも、うまく使えていません。
llamafileが実行できていれば、以下で利用できるはずなんですが。
interpreter --api_base https://localhost:8080/v1
