llmfit – automatyczne sprawdzanie sprzętu pod AI

Projekt llmfit to narzędzie działające w terminalu (CLI), którego głównym celem jest dopasowanie modeli językowych (LLM) do możliwości sprzętowych komputera użytkownika.

Główne funkcje:

• Ocena sprzętu: Program automatycznie wykrywa parametry Twojego komputera, takie jak ilość pamięci RAM, procesor (CPU) oraz kartę graficzną i jej pamięć (GPU/VRAM).
• Rekomendacja modeli LLM: Posiada bazę setek modeli od różnych dostawców. Na podstawie wykrytego sprzętu, llmfit ocenia każdy model i podpowiada, które z nich będą działać płynnie na Twojej maszynie.
• Analiza wielowymiarowa: Modele są oceniane pod kątem czterech wymiarów:
  • Fit (dopasowanie): Czy model zmieści się w pamięci (RAM/VRAM).
  • Speed (prędkość): Szacowana szybkość generowania tokenów.
  • Quality (jakość): Jakość generowanego tekstu przez dany model.
  • Context (kontekst): Obsługiwana długość okna kontekstowego (ile tekstu model może przeanalizować naraz).
• Benchmarking (testowanie wydajności): Pozwala na uruchomienie testu na własnym sprzęcie (llmfit bench), aby sprawdzić rzeczywistą wydajność (np. liczbę generowanych tokenów na sekundę – tok/s). Wynikami można się również podzielić, co pomaga w lepszym szacowaniu wydajności dla innych użytkowników o podobnym sprzęcie.

Dodatkowe cechy:

• Interfejs: Działa z poziomu terminala, oferując zarówno klasyczny tryb tekstowy (CLI), jak i interaktywny, wizualny interfejs (TUI – Terminal User Interface).
• Kompatybilność: Obsługuje konfiguracje z wieloma kartami graficznymi (multi-GPU), architektury MoE (Mixture of Experts), a także współpracuje z popularnymi środowiskami do uruchamiania modeli lokalnie, takimi jak: Ollama, llama.cpp, MLX, czy LM Studio.
• Instalacja: Narzędzie można łatwo zainstalować na systemach Windows, macOS i Linux za pomocą popularnych menedżerów pakietów (np. Homebrew, Scoop) lub uruchomić w kontenerze Docker.

Podsumowując, jeśli chcesz uruchomić lokalnie sztuczną inteligencję (np. Llama, Mistral) i nie wiesz, który z setek dostępnych modeli nie „zawiesi” Ci komputera i będzie działał w miarę szybko, llmfit to narzędzie, które wykona tę analizę za Ciebie i poda gotowe rekomendacje.

Jak to zainstalować i przetestować u siebie? 🛠️

🐳 Docker (dla tych, co nie chcą niczego instalować): Możesz pominąć instalację i od razu uruchomić wizualny interfejs (TUI) bezpośrednio w jednorazowym kontenerze:

docker run --rm -it ghcr.io/alexsjones/llmfit --tui

🐧 Linux / macOS: Najszybciej załatwisz to skryptem:

curl -fsSL https://llmfit.axjns.dev/install.sh | sh

🪟 Windows: Błyskawicznie przez menedżer Scoop:

scoop install llmfit

🚀 Uruchomienie (przy instalacji lokalnej): Po instalacji wystarczy wpisać w terminalu: 👉 llmfit – otwiera interaktywny, czytelny interfejs (TUI) z pełnym podsumowaniem Twojej maszyny. 👉 llmfit fit – generuje klasyczną, szybką tabelę tekstową.

(Mały bonus dla fanów automatyzacji: narzędzie obsługuje też flagę --json, co świetnie sprawdza się do parsowania wyników np. przez jq w skryptach).

🔗 Github: https://github.com/AlexsJones/llmfit