Tag: LLM

Do porządkowania firmowej skrzynki użyłem małego polskiego modelu decyzyjnego Basal (1,5 mld parametrów) uruchomionego lokalnie na karcie NVIDIA Tesla T4. Model nie pisze tekstu. Dostaje treść maila i zamknięte pytania („do jakiej kategorii należy?”, „czy trzeba coś zrobić?”), a odpowiada rozkładem prawdopodobieństwa. Pierwszy przebieg zmniejszył skrzynkę odbiorczą z 638 do 200 wiadomości, a liczbę nieprzeczytanych z 527 do 145. Decyzja na podstawie pięciu pytań zajmuje w medianie 0,62 s. Najważniejszy wniosek jest jednak inny: model działa najlepiej razem z prostymi regułami deterministycznymi, a nie zamiast nich.