przetwarzanie rozproszone - boinc

FORUM BOINC

Zaloguj się lub zarejestruj.

Zaloguj się podając nazwę użytkownika, hasło i długość sesji
Witaj na forum poświęconemu wspieraniu nauki poprzez platformę BOINC. Pobierz i zacznij zmieniać świat od teraz
Strony: 1 2 3 4 [5]

Storj - Adaptive Storage - Open Compute Project (Przeczytany 31073 razy)

Tobas

  • Fundacja
  • Starszy Liczydłowy
  • *
  • Offline Offline
  • Wiadomości: 1 910
  • Avatar forum naukowego

    Storj - Adaptive Storage - Open Compute Project

    Odpowiedź #160 05 Listopad 2017, 20:08
    Ja myślę, że za chwilę się odbije na co najmniej 0.00015 BTC

    Cyfron

    • Newsmani
    • Kalkulator
    • ***
    • Offline Offline
    • Wiadomości: 7 083

      Storj - Adaptive Storage - Open Compute Project

      Odpowiedź #161 05 Listopad 2017, 20:38
      a coś się zapowiada? Bo śledząc kursy to jedyne podbicia były tylko w momencie, kiedy uruchamiali kolejne giełdy + największy w momencie ogłoszenia współpracy z FileZilla

      Tobas

      • Fundacja
      • Starszy Liczydłowy
      • *
      • Offline Offline
      • Wiadomości: 1 910
      • Avatar forum naukowego

        Storj - Adaptive Storage - Open Compute Project

        Odpowiedź #162 05 Listopad 2017, 20:44
        Za chwilę pewnie znowu coś ogłoszą.

        TJM

        • Grupa Reagowania Operacyjno-Manewrowego
        • BOINC Fanatyk
        • *****
        • Offline Offline
        • Wiadomości: 3 031
        • Avatar forum naukowego
        • Smokin` 5 clients to nachapać more

          Storj - Adaptive Storage - Open Compute Project

          Odpowiedź #163 01 Kwiecień 2018, 10:26
          Dorwałem starszego gatunku sprzęt, który może wziąć na klatę trochę dysków SATA. Ze względu na oszczędność zasobów przebiłem się przez tutorial storjshare w wersji command line i na gołym i wesołym debianie 9 odpaliłem 8 node po 8TB używając dysków które wypadły z różnych macierzy z takich czy innych względów. Przestrzeni mam nawet znacznie więcej ale limitem są wymagania sprzętowe samych node.

          Node oczywiście na chwilę obecną stoją praktycznie puste, mam nadzieję, że to dlatego, że są nowe i mają niską, startową reputację.

          W trakcie testów, odpalania i działania podłubałem też z ciekawości od strony klienta, testując jakieś command line klienty które tak trochę słabo według mnie wypadają + oczywiście FileZillę która działa dość nieźle. Transfery w obie strony są super i ogólnie nawet zaczynam się zastanawiać, czy samemu nie zacząć z tego korzystać do przechowywania chociażby jakichś mniej istotnych danych. Trafiłem jednak na parę dziwnych rzeczy:
          - po dłuższej chwili testów zaczęło mi w logu wyrzucać mi komunikat, że używany klucz nie pasuje do części bucketów (nie wiem wtf bo od początku jest tylko jeden klucz, chyba że mam tam jakieś dane wrzucone dawno temu, których FileZilla nie widzi)
          - uploadując plik jakoś za każdym razem wysyłany jest jakby dwa razy, a nawet nie wiem czy czasami i nie 3, bo przesyłane są strasznie duże ilości danych - trochę to ostudziło mój zapał jeśli chodzi o przechowywanie np. dużych snapshotów, bo nie dałbym rady ich raczej wysłać.
          - początek uploadu każdego większego pliku zamraża na chwilę klienta, chyba liczy wtedy jakieś drzewo sum kontrolnych, ale mogłoby to wyglądać lepiej i z jakimś paskiem postępu, bo u mnie wygląda po prostu jakby się zwiesił
          - plików większych niż kilka GB nie udało mi się wysłać, zawsze po chwili w logu waliło na czerwono jakimś błędem
          - no i najciekawsze - w trakcie testów przesłałem grube kilkadziesiąt GB w obie strony i trochę to gdzieś w świecie poleżało, część jeszcze leży, tymczasem na moim koncie na stronie w polach bandwidth i storage mam <0.01. Ciekawe więc kto płaci za to tym co to przechowują i wysyłają  :ph34r:

          Cyfron

          • Newsmani
          • Kalkulator
          • ***
          • Offline Offline
          • Wiadomości: 7 083

            Storj - Adaptive Storage - Open Compute Project

            Odpowiedź #164 02 Kwiecień 2018, 21:10
            może lagi w statystykach? Może za krótko przetrzymywane? O ile się nie mylę to w storj nie płaci się za przesył tylko za przechowywanie...

            TJM

            • Grupa Reagowania Operacyjno-Manewrowego
            • BOINC Fanatyk
            • *****
            • Offline Offline
            • Wiadomości: 3 031
            • Avatar forum naukowego
            • Smokin` 5 clients to nachapać more

              Storj - Adaptive Storage - Open Compute Project

              Odpowiedź #165 03 Kwiecień 2018, 08:18
              O lagu nie ma mowy bo nie pojawiło się do tej pory, jest tam zresztą podział na dni i w historii wstecz pusto. Prędzej jakiś błąd w zliczaniu albo coś o czym nie wiem. Co do płatności to chyba wyskakują też z jakiegoś grosza za wysyłanie danych (na pewno w teorii przechowujący dane buli za pobranie).

              Póki co u mnie prawie pusto i z tego co wyczaiłem w różnych statystykach, za szybko się to nie zmieni. Jest tam w ścisłej czołówce gość co ma prawie 120 nodów a na nich łącznie ledwo 40TB danych, cała reszta to ma praktycznie jakieś ochłapy.

              Tobas

              • Fundacja
              • Starszy Liczydłowy
              • *
              • Offline Offline
              • Wiadomości: 1 910
              • Avatar forum naukowego

                Storj - Adaptive Storage - Open Compute Project

                Odpowiedź #166 05 Kwiecień 2018, 11:39
                @TJM, a bawiąc się command line nie mógłbyś obczaić jak zrobić prosty wrapper do BOINC
                Postawilibyśmy serwer, który by hostował jakieś przestrzenie liczydłowych.

                TJM

                • Grupa Reagowania Operacyjno-Manewrowego
                • BOINC Fanatyk
                • *****
                • Offline Offline
                • Wiadomości: 3 031
                • Avatar forum naukowego
                • Smokin` 5 clients to nachapać more

                  Storj - Adaptive Storage - Open Compute Project

                  Odpowiedź #167 05 Kwiecień 2018, 17:10
                  Moim zdaniem to chyba najprościej byłoby zrobić przez wysłanie gotowej wirtualnej maszyny, może z jakąś gołą konfiguracją która przy pierwszym uruchomieniu dokonfiguruje się jeszcze o nowy nodeid i ewentualne inne wymagane dane. To akurat według mnie byłoby spokojnie do oskryptowania, bo jak masz wirtualkę z preinstalowanymi zależnościami i stroj-share, to do uruchomienia demona i node wystarczy praktycznie adres portfela.

                  Pytanie tylko jak miałoby to potem działać, bo zadanie o nieskończonej długości raczej nie przejdzie (tym bardziej CPU intensive), a tu jeszcze wypadałoby zachowywać wszystkie dane (w tym przypadku całą wirtualkę/wirtualki) pomiędzy kolejnymi uruchamianymi zadaniami, inaczej nie miałoby to sensu. Do tego dochodzi kwestia uruchomienia i przechowywania równolegle tyle tych wirtualek, ile użytkownik chciałby na danym hoście odpalić. Jeśli udałoby się trzymać obrazy na dysku tak, żeby nie znikały i zrobić jakiś "starter" który z listy dostępnych lokalnie VMów brałby pierwszy lub losowy z nie uruchomionych, to już jest jakiś punkt zaczepienia do cyklicznego powtarzania (długich) zadań na hoście.

                  krzyszp

                  • Wszechstronny dyletant
                  • Moderator
                  • Kalkulator
                  • *
                  • Offline Offline
                  • Wiadomości: 7 632
                  • Avatar forum naukowego

                    Storj - Adaptive Storage - Open Compute Project

                    Odpowiedź #168 06 Kwiecień 2018, 12:15
                    Postawilibyśmy serwer, który by hostował jakieś przestrzenie liczydłowych.
                    Mam to w notatniku na przyszły tydzień, ale nie w wersji TJM'a (maszyna wirtualna), ale z parametrem usera, ile chce tego dysku dać.

                    AiDec

                    • Grupa Reagowania Operacyjno-Manewrowego
                    • BOINC Fanatyk
                    • *****
                    • Offline Offline
                    • Wiadomości: 3 602
                    • Avatar forum naukowego
                    • Ny dag, ny muligheter ;)

                      Storj - Adaptive Storage - Open Compute Project

                      Odpowiedź #169 06 Kwiecień 2018, 12:57
                      Nie wiem czy na chwile obecna uda Wam sie naciagnac na tyle duzo danych zeby zapchac spore dyski.
                      Ja mam "ze starych" czasow 2TB danych, ale w ostatnich dwoch miesiacach zalapalem tylko 500GB nowych danych.
                      Moze na lepszym laczu/serwerze mozna dostac wiecej danych, ale na chwile obecna (prywatnie) uwazam ze stawianie duzego HDD/serwera do tego projektu nie ma sensu (ale to punkt widzenia prywatnego uzytkownika).

                      TJM

                      • Grupa Reagowania Operacyjno-Manewrowego
                      • BOINC Fanatyk
                      • *****
                      • Offline Offline
                      • Wiadomości: 3 031
                      • Avatar forum naukowego
                      • Smokin` 5 clients to nachapać more

                        Storj - Adaptive Storage - Open Compute Project

                        Odpowiedź #170 07 Kwiecień 2018, 09:17
                        Wystarczy pogrzebać w różnych statystykach, żeby zobaczyć że faktycznie tak jest. Paru gości ma udostępnione setki jak nie tysiące TB a zajęte max kilka % z całości. U mnie na dyskach pustki aż echo słychać  :D
                        Na storjstat tylko 1 użytkownik przekracza avg/node 1TB a reszta ma max po kilkaset GB, więc dużo w jednym node na pewno nie opłaca się udostępniać póki co.

                        W ogóle testując trochę przechowywanie danych doszedłem do wniosku, że trochę bałbym się tam trzymać coś ważnego. Ostatnio wrzuciłem (przez Filezillę) 2 archiwa po ok. 1GB i ściągnąłem z powrotem, pierwsze zassało się ok a drugie po ściągnięciu było ok. 1,8x większe niż powinno i oczywiście nie dało się go otworzyć, a cały plik w środku wyglądał dość dziwnie - nigdzie nie było nagłówka archiwum więc cholera wie co to w ogóle były za dane. Po skasowaniu i zassaniu drugi raz było dobre, więc wtf ?
                        edit: 07 Kwiecień 2018, 10:45 - TJM

                        goofyx

                        • Fundacja
                        • BOINC Fanatyk
                        • *
                        • Offline Offline
                        • Wiadomości: 3 318
                        • Avatar forum naukowego
                        • Po prostu goofyx :)

                          Storj - Adaptive Storage - Open Compute Project

                          Odpowiedź #171 16 Kwiecień 2018, 09:38
                          Wystarczy pogrzebać w różnych statystykach, żeby zobaczyć że faktycznie tak jest. Paru gości ma udostępnione setki jak nie tysiące TB a zajęte max kilka % z całości. U mnie na dyskach pustki aż echo słychać  :D
                          Na storjstat tylko 1 użytkownik przekracza avg/node 1TB a reszta ma max po kilkaset GB, więc dużo w jednym node na pewno nie opłaca się udostępniać póki co.

                          W ogóle testując trochę przechowywanie danych doszedłem do wniosku, że trochę bałbym się tam trzymać coś ważnego. Ostatnio wrzuciłem (przez Filezillę) 2 archiwa po ok. 1GB i ściągnąłem z powrotem, pierwsze zassało się ok a drugie po ściągnięciu było ok. 1,8x większe niż powinno i oczywiście nie dało się go otworzyć, a cały plik w środku wyglądał dość dziwnie - nigdzie nie było nagłówka archiwum więc cholera wie co to w ogóle były za dane. Po skasowaniu i zassaniu drugi raz było dobre, więc wtf ?
                          Pisałem już na ten temat bardzo dawno. Miałem udostępnione w sumie 150TB i używane tylko 10 megabajtów.
                          Pisałem zapytanie o tą sytuację na forum storj.io i do jakiegoś admina projektu w odpowiedzi zostałem dosłownie wyśmiany. Admin stwierdził, że moje 150TB jest nic nie warte bo oni sami mają PetaBajty z priorytetem <- po tym zrezygnowałem ze storj, pokasowałem konta na forum itp

                          TJM

                          • Grupa Reagowania Operacyjno-Manewrowego
                          • BOINC Fanatyk
                          • *****
                          • Offline Offline
                          • Wiadomości: 3 031
                          • Avatar forum naukowego
                          • Smokin` 5 clients to nachapać more

                            Storj - Adaptive Storage - Open Compute Project

                            Odpowiedź #172 16 Kwiecień 2018, 17:45
                            Te używane parę MB to prawie na bank jakiś problem z konfiguracją. Żeby to działało trzeba przeglądać logi i analizować co się dzieje i ponadto node musi być w miarę cały czas dostępny bez jakichś dużych faili. Każde zatrzymanie kiedy szybko sam nie wróci psuje mu staty tak ze później widzi dane jak świnia niebo. Dodatkowo host nie może być zbytnio przymulony bo to też się odbija na statystykach. Warto też pokombinować z portami bo domyślnie proponowany zakres zaczynający się od 4000 czasami coś źle działa (w moim przypadku od razu to widać bo liczba peerów jest niska rzedu np. 30 podczas gdy inny node ma 100++) i to jest bardzo dziwna sprawa, bo ten sam problem miałem w dwóch dość odległych od siebie lokalizacjach i na całkiem innych łączach.

                            U mnie teraz każdy node ma zajęte po kilkadziesiąt GB (stan z soboty) - nadal mało ale chociaż coś mi tam skapnie do portfela. Nie rozumiem jeszcze tylko czemu na storjstat pokazuje mi uparcie 0, ale możliwe że żeby pokazywało ile miejsca jest wykorzystane trzeba zainstalować share monitora, czego mi się nie chce robić.
                            Strony: 1 2 3 4 [5]   Do góry

                            GoogleTagged


                            SMF spam blocked by CleanTalk

                            Hosting dzięki uprzejmości InnerVision sp. z o.o.
                            SMF © 2011, Simple Machines