Szykuje się do kupna maszyny do:
-
programowanie -full stack, co dokładnie to zależy od projektu
-
modelowanie 3d CAD - mało skomplikowane modele
-
LLM - tutaj to trudny temat, jeszcze się zapoznaje z tematem. Na ten moment moje potrzeby to odpalić model ok 70b bez kwantyzacji z racjonalną prędkością w formie RAG. Ew. trochę wolniej i w tle dorzucić 7b do np. generowania słów kluczowych dla bazy wektorowej. Pojawią się pewnie też jakieś fine tuningi.
To są najważniejsze rzeczy. Pozostałe raczej nie są szczególnie zasobożerne. Od gierek mam konsole. Urządzenie stacjonarne. Najlepiej żeby nie robiło za grzejnik i symulator odrzutowca (hałas). Wiadomo, to jest kierunek więc jak będzie trochę się grzać czy jakiś wiatrak kręcił to nie ma problemu jeśli warto. Lubie mieć rzeczy otwarte, tj. nie zamykam programu do 3d
Budżet to ok 20k ale musi być nowy, najlepiej jako jeden "produkt" tj. np. dell jakiś tam a nie karta z tego sklepu, płyta z tego itd.
Oglądam mac studio i podoba mi się pod wieloma względami (szczególnie współdzielony ram więc np. biorąc wersje 128gb ram można rzucić i 100gb do gpu). Jest też dzięki temu bardziej elastyczny. Jednak przepustowość tego ramu jest niższa niż ram w "typowym" gpu.
Tak więc pytanie czy jest jakaś lepsza opcja?
No chyba, że jest coś w dużo niższej cenie co uciągnie LLMy na poziomie m1 z 16gb ram. Wtedy wezmę to i przeczekam obserwując rozwój rzeczy.
#pcmasterrace #komputery #llm
@dolitd dzięki, widziałem. Tyle, że to nie odpowiada na moje pytanie. Po pierwsze - nie robię serwera llm tylko narzędzie na którym między innymi będę pracował z llm. To będzie mój "daily". Po drugie z tego mogę wyekstrahować listę części do zamówienia, nie gotowy komputer. Wiem, że zwykle z części jest lepszy/szybszy/tańszy niż gotowy set, ale gotowy set jest, właśnie, gotowy. Nie ma ryzyka pomyłki w doborze, przychodzi, kilkam guzik i jest "gotowy" do pracy. Jestem gotów zapłacić więcej/dostać trochę słabsze parametry za gotowe narzędzie do pracy. Niestety ciężko przekopać się przez konfigurację producentów, sam mak, który ma stosunkowo małą ofertę jest trudny do zdecydowania. Stąd pytam czy może ktoś miał podobną rozterkę. Zwłaszcza, że mój budżet jest mały.
@mortt - albo właściwie kupujesz serwer pod kilka kart graficznych i z grubymi gigabajtami pamięci - albo do programowania i 3D normalnego kompa i LLM robisz w chmurze
@koszotorobur problem w tym, że nie mogę llm wynieść poza moją sieć bo używam go m.in. do rzeczy związanych z danymi klientów. Gdyby coś się kiedykolwiek wydarzyło mosty mam spalone do końca życia
@mortt - no to chyba już wiesz jaka opcja Ci pozostała.
Jak nie chcesz wydać fortuny to można dostać serwer poleasingowy... no ale karty graficzne to bym proponował brać jednak nowe.
Potem część kasy można odzyskać sprzedając zestaw dalej.
@koszotorobur być może źle sformułowałem problem. Szukam maszyny o podobnych możliwościach (do moich potrzeb) jak mak studio tylko opartą o klasyczne rozwiązanie dla zwykłego konsumenta czyli oddzielne cpu i gpu. Wtedy byłbym w stanie porównać i podjąć decyzję. Ale widzę, że w świecie PC dalej dominuje składanie z klocków i ciężko znaleźć alternatywę.
Edit: i przyznaje, że nie mam pojęcia jak stwierdzić na poziomie poszukiwań czy dany pc jest takim odpowiednikiem czy nie. Mając jakieś nazwy mogę szukać porównań i testów. Inaczej musiałbym porównywać wszystko a trochę tego jest na rynku
@mortt jeśli chcesz robić w LLM w ogóle nie patrz na RAM bo on w tym procederze w ogóle nie bierze udziału. Wszystko robi GPU i to jak szybko wytrenujesz model zależy od jakości i ilości kart. Tak sobie myślę, że to czego szukasz nie istnieje. Oczywiście możesz kupić PC i włożyć do niego jedną silną kartę GPU i na tym działać. Problem pojawia się gdy potrzebujesz to rozbudować o kolejną kartę. Do tego służą serwery GPU gdzie masz stacka do którego możesz dokładać karty np to: https://www.gigaserwer.pl/supermicro-tower-2xscalable-7049gp-trt,t42856/3/28/101 . Ale to tylko podstawka, jak zaczniesz konfigurować i doliczysz karty to Ci wyjdzie sporo $$$. Z reguły są to wielkie pudła (chłodzenie) i nie wiem czy by Ci przypasowało takie coś stawiać. Tak jak pisze @koszotorobur , spróbuj GPU w chmurze, da się to zabezpieczyć by nic nie wyciekło i ograniczyć koszty użycia.
@tmg nie chodzi o trenowanie tylko fine tuning i to miał być tylko dodatek. To trochę różne rzeczy, nie mówiąc już o tym, że tego akurat jedynie chce się nauczyć na ten moment więc bardziej się to opłaca na małym modelu lokalnie bo w razie błędu nie idziesz z torbami a wyniki nie są tak istotne.
Chodziło o uruchamianie modeli i tu ram jest bardzo istotny. Stąd mac wydaje się być strzałem w 10 bo tu tam jest wspólny dla cpu i gpu. Mając maka 128gb ram możesz np. Poświęcić 100gb na gou na odpalenie modelu i nadal masz niemal 30 do normalnego funkcjonowania
@mortt nigdy nie używałem CPU do uruchamiania, tuningu i trenowania LLM. Tylko do preprocessingu. Oczywiście możesz to robić ale będzie Ci wolno szło w porównaniu z GPU. To w takim razie po prostu kup jakiegoś wypasionego markowego PC np. (HP czy Dell), nawkładaj tam szybkiego ramu + dobrą kartę graficzną. Np. coś takiego, ale układania klocków nie unikniesz.
@tmg nie rozumiesz jak dziala mac. To jest architektura ktora ma jeden i ten sam ram zarowno dla cpu jak i gpu.
Jak masz maka z procesorem M i 128gb ram to mozesz to wykorzystac zarowno na cpu jak i gpu. Nie wiem jak to inaczej opisiac.
@mortt rozumiem, ale myślałem że pytasz o lepsze opcje niż mak.
@tmg ok to ja źle zrozumiałem to całe "nie skupiaj się na ram".
Zaloguj się aby komentować