Postanowiłem dać LLMowi nietypowy problem, byłem ciekawy jak zdestylowany #deepseek sobie z tym poradzi. Prompt i wynik w komentarzu. Z problemem dają radę albo wysokie kwantyzacje 14B/32B albo 70B z niskim kwantem.

EDIT: jednak nie, llama sobie nie poradziła ( ͡° ͜ʖ ͡°) To znaczy poradziła, bo w segmencie myślowym ma prawidłową odpowiedź, niestety nie przeniesioną do finalnej odpowiedzi, z czym często spotykam się w modelach z silną kwantyzacją, robią jakby "literówki". Czyli chyba lepiej iść w wyższe kwantyzacje mniejszych modeli.

#ai #sztucznainteligencja #llama #qwen #llm #technologia #ciekawostki #si #selfhosted