LFM 2.5 1.2B ビジネス専門家 (Q4_K_M GGUF)
📌 モデル概要
本プロジェクトは、LiquidAI/LFM2.5-1.2B-JP をベースとした、ビジネスシーン、専門的なコンサルティング、および論理的推論に特化した量子化済みモデルです。
最新の llama.cpp を使用し、Q4_K_M 形式で量子化を行いました。731MB という極めて軽量なサイズながら、高い推論能力を維持しています。
- アーキテクチャ: LFM (Liquid Foundation Model) - 線形回帰と畳み込みを組み合わせた非 Transformer 構造。
- パラメータ数: 1.2B
- 量子化形式: GGUF (Q4_K_M)
- ファイルサイズ: 731 MB
- 主な用途: モバイルデバイスでの実行、低スペックサーバー、ビジネス対話エージェント。
🚀 使い方
1. llama.cpp で実行
./llama-cli -m LFM-Business-Perfect-Q4.gguf -n 512 --prompt "<|im_start|>user\n新規事業のキャッシュフローを最適化する方法を教えてください。<|im_end|>\n<|im_start|>assistant\n"
2. Python (llama-cpp-python) で実行Pythonfrom llama_cpp import Llama
llm = Llama(model_path="./LFM-Business-Perfect-Q4.gguf", n_ctx=2048)
output = llm("<|im_start|>user\nビジネスプランの添削をお願いします。<|im_end|>\n<|im_start|>assistant\n", max_tokens=512)
print(output["choices"][0]["text"])
🛠 量子化の詳細Q4_K_M 量子化により、モデルの知能指数を最大限に保持しつつ、メモリ消費を大幅に削減しました。1.2B クラスのモデルにおいて、CPU 環境での実行に最も適したバランスです。項目詳細オリジナルサイズ~2.5 GB量子化後サイズ731 MB推奨 RAM2GB 以上⚠️ 免責事項このモデルは学習および研究目的で公開されています。生成される回答はアルゴリズムによるものであり、正確性や法的効力を保証するものではありません。実際のビジネス判断に際しては、専門家にご相談ください。🤝 謝辞優れたベースモデルをオープンソースとして公開してくださった Liquid AI チームに深く感謝いたします。
- Downloads last month
- 324