Programowanie

@htcone nie mam zbytnio przykładu w pytonie bo robiłem to w node. Prawda jest taka, że i tak najcięższe zadania dzieją się poza aplikacją.

Zależy co chcesz zrobić ale najbardziej bazowe rozwiązanie to indeksowanie całych plików bez analizowania ich. Wtedy to jest tylko kwestia zrobienia tego co opisałem. Vector z plików zapisać do chromy przy użyciu ollama embedings (longchain ma to wbudowane) a potem wyciągnąć z chromy kolekcję i zrobić chain longchainowy łączący vektor z ollamą i voila. Można czekać na pełny respons albo stresmować. Więcej roboty jest z tym, żeby uploadować pliki albo wskazać ścieżkę i zaindeksować albo żeby napisać klienta do tego niż samo gadanie llm z wektorami

@Catharsis Tyle że ja niczego nie chcę pobierać, tylko wylistować sobie wszystkie obrazy - na wykopie był kiedyś tryb galerii we wpisach i chciałem coś podobnego zrobić, tyle że dla każdej strony.

Akurat używam firefoxa i znalazłem ani jednego dodatku który by działał w podobny sposób tak jak to teraz to zrobiłem

@mike-litoris Zwykle chowam, ale tutaj nie musiałem. To jest przeglądarka uruchomiona poleceniem web-ext specjalnie do tworzenia dodatków i przy każdym uruchomieniu się czyści sama

@libertarianin Nie sądzę, nie znalazłem ani tego wbudowanego ani jako dodatku(jeśli istnieje, to porzucam to co robię i zaczynam używać wbudowanej funkcji, bo to łatwiejsze)

Wiem że w narzędziach w menu gdzieś była opcja żeby wyświetlić media na danej stronie ale nie jestem pewny czy dalej jest

@dotevo akurat w rust pisanie testów tak mi jakoś bardzo dobrze podchodzi. Ale to prawda jak koncepcja się szybko zmienia albo to POC to testowanie czasem bywa bez sensu

@Orzech Dopiero się uczę, pewnie jeszcze dużo nie wiem. Ale clippy mi pomaga, ustawiłem na pedantic xd

@Klopsztanga Wstępnie przeglądałem i nie zauważyliśmy żadnych powiązań z wysypywaniem się a kolejnością uruchamiania systemowych.

Cała aplikacja uruchamia się jest zależna od redisa, który dość późno się uruchamia, więc raczej gdy aplikacje się importują, to już wszystko w systemie prawie wstało.

@wonsz - akurat jak z ręki go uruchamiamy po dłuższym okresie czasu, to problemy raczej nie występują(choć pewni nie jesteśmy). Więc dodanie delayu, pewnie nieco by problem zmniejszyło, ale jest dla nas bardzo ważne jest by ta aplikacja się uruchamiała jak najszybciej jak to możliwe.

@qarmin ok, ale opóżnienia możecie użyć do określenia wymagań środowiska do poprawnego uruchomienia skryptu. jakiś skrypt puścić co weżmie jakieś opóźnienie, zrzuci info o środowisku, spróbuje odpalić skrypt, zanotuje czy się wyjebał, zaktualizuje odpowiednio wartość opóźnienia do kolejnej iteracji, restart...i zostawić na weekend niech napierdala i zbiera dane

@666 Cały system z zależnościami jest zbudowany przez nas przy użyciu Yocto i szans na wgranie dockera tam nie ma.

@qarmin no to moze raz zbudowac z tego skryptu binarke (pod konkretna platforme) tak zeby za kazdym razem nie interpretowac kodu - o ile sie nie myle to python jest interpretowalny? JIT?

@koszotorobur próbuję się wyzbyć metody szukania "poprawnego rozwiązania" więc bardzo dziękuję Ci za Twojego posta.

Generalnie chciałem postawić jakoś instancję bazy danych żebym mógł z niej korzystać w kontenerkach. A dzięki Twojej sugestii zmieniłem trochę zapytanie do google i dostałem tutorial na prostszych komponentach które już z nam więc plan właśnie uległ zmianie https://www.digitalocean.com/community/tutorials/how-to-deploy-postgres-to-kubernetes-cluster

Wysokopoziomowo - jestem programistą. Jestem nieskromnie mówiąc niezły w pisanie programów. Ale całe środowisko w którym te programy były uruchamiane były własnością firmy w której pracowałem. W ten sposób zawsze uczyłem się procedur które ktoś mi przygotował, ale na własne potrzeby nadal korzystałem z `./binarka &` bo w sumie działa.

No i z wiekiem odczuwam potrzebę podzielenia się wiedzą jak tworzyć cyfrowe produkty, ale do tego potrzebuję środowiska uruchomieniowego które uczeń będzie mógł zreplikować i rozszerzać według własnych potrzeb. A i mi się przyda wyrobić opinię i usystematyzować stack bo często ciekawe pomysły upadają jak staję przed wizją pierdół do wykonania zanim się zaczną ciekawe zadania.

@wombatDaiquiri - widzę, że zacząłeś od bardzo wysokiego poziomu abstrakcji i komplikacji, którym jest Kubernetes (nawet w konfiguracji Sinlge Node K8s) - dobrze go oczywiście znać ale do swoich zastosowań często jest to overkill jeśli nie wybrałeś tego rozwiązania świadomie ze wglądu na benefity, które faktycznie Tobie oferuje (a dalej musisz płacić cenę za skomplikowanie projektu).

Ja od zeszłego roku preferuję Podmana zamiast Dockera gdyż Docker wymaga dwóch daemonów ciągle działających na systemie (dockerd oraz containerd) a Podman jest daemonless i może uruchamiać aplikacje od razu w podach (i też można użyć z nim Compose).

Jeśli chodzi o super prosty deployment Postgresa (jak nie masz klastra K8s) to możesz uruchomić go w łatwy sposób z obrazu kontenera tak by mieć data persistance oraz być w stanie zrobić backup.

Utwórz dwa foldery na serwerze ~/postgres_data oraz ~/postgres_backup.

Uruchom kontener:

podman run -p 5432:5432 --name postgres -v ~/postgres_data:/var/lib/postgresql/data -v ~/postgres_backup:/home -e POSTGRES_PASSWORD=<YOUR_PASS> -d docker.io/library/postgres:alpine

A tak wywołać psql w działającym kontenerze:

podman exec -it <CONTAINER_NAME_OR_ID> psql -U postgres

Od tego kroku, droga jest prosta uruchamiania w ten sam sposób narzędza pg_dump lub pg_dumpall czy pg_basebackup (i zrobienia backupu do folderu /home kontenera) a następnie potem zbackupowania dumpa z folderu ~/postgres_backup serwera na innego hosta przy pomocy narzędzia rsync.

@sierzant_armii_12_malp Właśnie wymyśliłem, że przecież i tak te obiekty muszę najpierw pobrać funkcją API, a potem wszelkie zmiany zatwierdzić innymi funkcjami, więc już na etapie ich pobierania mogę im przypisać klucz. A gdybym tworzył nowy obiekt, to nic nie stoi na przeszkodzie, aby pobrana kolekcja (w sensie obiekt) również trzymała klucz i przekazywała go obiektom w miarę potrzeby.

Czasem wystarczy napisać posta na hejto i rozwiązanie samo przychodzi ( ͡° ͜ʖ ͡°)

@wombatDaiquiri - zaoszczędziłeś mi wymądrzania się

@ataxbras poprawię, dam ci znać

@rayros widać napracowanko, widać też inne rzeczy...

@fadeimageone no właśnie nad czymś takim pracuję: natywna aplikacja zewnętrzna + wrapper C++/CLI i reszta w C#. Chodzi mi natomiast o konkretny problem ze ścieżkami do wszystkich potrzebnych dll-ek. Nie mogą się znajdować gdziekolwiek, gdyż wtedy to nie działa.

I jak teraz na to patrzę, to chyba najefektywniej będzie po prostu napisać własny resolver, w którym będzie wskazana ścieżka do ich wyszukiwania.

@MostlyRenegade  zobacz jeszcze tutaj

• https://learn.microsoft.com/en-us/archive/msdn-magazine/2005/october/c-at-work-writing-loading-and-accessing-plug-ins
  

• https://www.codeproject.com/Articles/1052356/Creating-a-Simple-Plugin-System-with-NET

@koszotorobur na gitlabie można mieć konto uczelniane z logowaniem przez e-science i łatwiej jest prowadzącemu zebrać wszystkich w gitlabie połączonym z e-science i mieć maile studenckie do wszystkich

@camonday - ma to sens

@Shivaa problem taki że zaczęłam w zeszły czwartek (to już drugie laby) a uczelnianego gitlaba wskrzesili w ten piątek

ja na studiach wszystko od razu na repo wrzucałem po tym jak raz mi dysk padł, a termin oddania pracy był za 2dni XD