przetwarzanie rozproszone - boinc

FORUM BOINC

Zaloguj się lub zarejestruj.

Zaloguj się podając nazwę użytkownika, hasło i długość sesji
Witaj na forum poświęconemu wspieraniu nauki poprzez platformę BOINC. Pobierz i zacznij zmieniać świat od teraz
Strony: [1]

Jak stworzyć własny klaster komputerów (Przeczytany 13377 razy)

Cyfron

  • Newsmani
  • Kalkulator
  • ***
  • Offline Offline
  • Wiadomości: 7 021
    Witajcie

    Mam pytanie - kolega zadał mi je i nie byłem w stanie mu odpowiedzieć, ale powiedziałem, że Wy mnie nie zawiedziecie :)

    Czy i ewentualnie jak można spiąć 2 komputery tak, aby pod np Windowsem było to widoczne jako jeden komputer z jego możliwościami przerobowymi (prockami).
    Chodzi o możliwość odpalania programów, które są na Windowsa na szybkim sprzęcie i zamiast kupowania 1 mega szybkiego kompa może by kuć 2 szybkie, jakoś je połączyć i mieć taki klaster.

    Jak coś niejasno się wypowiedziałem, to proszę pisać, bo czasem mam problemy z sprecyzowaniem swoich wymagań :)

    Pozdrawiam

    armar

    • Młodszy Liczydłowy
    • *
    • Offline Offline
    • Wiadomości: 457
    • Avatar forum naukowego

      Jak stworzyć własny klaster komputerów

      Odpowiedź #1 16 Grudzień 2011, 11:59
      Z Windows to tak chyba się nie da.
      Dlatego pisze się programy np. pod MPI.

      andy101fah

      • Liczydłowy
      • **
      • Offline Offline
      • Wiadomości: 754
      • Avatar forum naukowego

        Jak stworzyć własny klaster komputerów

        Odpowiedź #2 16 Grudzień 2011, 12:10
        Pod windowsem legalnie stworzyć klaster jest dosyć drogo.  Należy zakupić odpowiedni system operacyjny do pracy współdzielonej.

        Clustering is available in Windows Server 2008 Enterprise and Windows Server 2008 Datacenter editions


        http://www.chinama.com.cn/maintenance_windows_cluster_en.html

        http://blogs.msdn.com/b/clustering/archive/2008/01/18/7151154.aspx

        Zakup dedykowanej maszyny jest zdecydowanie tańszy.

        24 rdzenie lub 48 rdzeni

        48 - core
        http://www.tyan.com/product_SKU_spec.aspx?ProductType=BB&pid=434&SKU=600000186
        4x AMD Opteron 6176 (2.2 GHz, 12-core)
        32x 4 GB Kingston DDR3-1333 ECC Reg.


        24 core

        EVGA SR-2
        Intel® Xeon® Processor X5680 (12M Cache, 3.33 GHz, 6.40 GT/s Intel® QPI)
        @ 4,5 GHz
        6x 4GB
        edit: 16 Grudzień 2011, 12:16 - andy101fah

        armar

        • Młodszy Liczydłowy
        • *
        • Offline Offline
        • Wiadomości: 457
        • Avatar forum naukowego

          Jak stworzyć własny klaster komputerów

          Odpowiedź #3 16 Grudzień 2011, 13:04
          Pod windowsem legalnie stworzyć klaster jest dosyć drogo.  Należy zakupić odpowiedni system operacyjny do pracy współdzielonej.

          Clustering is available in Windows Server 2008 Enterprise and Windows Server 2008 Datacenter editions

          Czyli konkretnie na klastrze np. 20 jednordzeniowych serwerów 2008 można uruchomić boinc, który będzie widział wszystkie 20 rdzeni?

          andy101fah

          • Liczydłowy
          • **
          • Offline Offline
          • Wiadomości: 754
          • Avatar forum naukowego

            Jak stworzyć własny klaster komputerów

            Odpowiedź #4 16 Grudzień 2011, 13:09
            Dokładnie,tyle że instalujesz jeden system datacenter na storage dyskowym a pozostałe kompy spinasz po gigabitlanie. Niezbędna jest jedynie identyczna architektura procesorów. W przypadku procesorów jednordzeniowych spełniających wymogi instalacji systemu datacenter, niezbędne są procesory 64 bit.
            edit: 16 Grudzień 2011, 15:23 - andy101fah

            GRID

            • Administrator
            • Starszy Liczydłowy
            • *
            • Offline Offline
            • Wiadomości: 2 630
            • nauk pasja
            • Stworzony by pomagać :D

              Jak stworzyć własny klaster komputerów

              Odpowiedź #5 16 Grudzień 2011, 16:28
              Ja do tej chwili, w kwestii klastrów znałem rozwiązania jedynie na Linux (np system PelicanHPC, Mosix, OpenMosix, ). Teraz jestem ciekawszy który system lepiej współpracuje z BOINC. Bo postawić klastra to jeszcze początek, problemem jest czasami znaleźć programy które potrafią taka architekturę wykorzystać.

              PPB miał podobno przetłumaczone jakieś materiały na klaster + BOINC na takowy klaster.  :whistle:

              pszyklejony

              • Liczydłowy
              • **
              • Offline Offline
              • Wiadomości: 926
              • Avatar forum naukowego

                Jak stworzyć własny klaster komputerów

                Odpowiedź #6 16 Grudzień 2011, 17:55
                Da się już na 2003, co prawda mi się nie udało, ale to nic nie znaczy :)

                HaNocri

                • Bywalec forum
                • **
                • Offline Offline
                • Wiadomości: 43

                  Jak stworzyć własny klaster komputerów

                  Odpowiedź #7 17 Grudzień 2011, 00:49
                  OpenMosix jest już od lat nie rozwijany, używa się OpenMPI, MPICH... A czy program nie musi być pisany specjalnie ze wsparciem dla MPI, żeby mógł pracować w takim środowisku? Chyba to tak nie działa, że odpalamy byle co i ma dostęp do np 1024 procesorów w klastrze (przykładowo). Niestety też nie znam się na tym i tylko powtarzam to co gdzieś tam zasłyszałem.
                  W takich rasowych klastrach do łączenia węzłów używa się nie ethernetu, a np. InfiniBand przepustowość do 300 Gbit/s :whistle:

                  Troll81

                  • Troll forumowy
                  • Newsmani
                  • Starszy Kalkulator
                  • *****
                  • Offline Offline
                  • Wiadomości: 32 484
                  • Avatar forum naukowego
                  • Owoc żywota twojego je ZUS

                    Jak stworzyć własny klaster komputerów

                    Odpowiedź #8 17 Grudzień 2011, 14:28
                    Windowsy można spinać w klastry ale tylko serwerowe edycje a to jest drogie. i mniej wydajne niż linuxy. poza tym prokram musi umiec wykorzystać takie środowisko. wydajniej jest stawiac boinca na każdej maszynie bo w przypadku klastrów będzie spory narzut mocy tracony na komunikację pomiędzy węzłami...

                    Tomasz R. Gwiazda

                    • Kalkulator
                    • ***
                    • Offline Offline
                    • Wiadomości: 5 971
                    • Avatar forum naukowego

                      Jak stworzyć własny klaster komputerów

                      Odpowiedź #9 17 Grudzień 2011, 15:58
                      znaczy nie jest tak do konca jak mowisz

                      klasty windows sa o tyle drozsze o ile licencje na windowsa...
                      usluga (Rola) klaster jest za darmo

                      czy mniej wydajne niz linuxy? nie sadze. zreszta nie ma jak sprawdzic tego :)

                      a i potwierdzam. klaster z 20 kompow bedzie mniej wydajny niz 20 kompow (boinc)

                      Troll81

                      • Troll forumowy
                      • Newsmani
                      • Starszy Kalkulator
                      • *****
                      • Offline Offline
                      • Wiadomości: 32 484
                      • Avatar forum naukowego
                      • Owoc żywota twojego je ZUS

                        Jak stworzyć własny klaster komputerów

                        Odpowiedź #10 17 Grudzień 2011, 16:11
                        Cytuj
                        Windows is also notorious for requiring antivirus and anti-spam software as it receives the bulk of computer viruses and worms. The net effect of all this extra software on each node is that I/O operation is severely hindered, Landman says. Linux, like Mac operating systems, both of which are Unix-based, tends to be generally more resistant to viral invasions. "I have had my entire [Linux] computer lock up maybe two times in eight years, have never experienced a virus, and don't even have antivirus software," says Kai Staats, CEO of Terra Soft, a Linux software vendor. "I simply can't imagine beating off viruses on a single Windows box, let alone an entire cluster which is already a complex beast in and of itself."

                        Cytuj
                        still many major bioinformatics tools that have not been compiled to run on Windows as well as they run on Linux machines. Staple bioinformatics tools, such as molecular simulation suites NAMD, Amber, and Charmm, which are offered in parallel versions for Linux, do not exist in parallel Windows flavors, says Wortman. Users are thus limited to a single command line version from a Windows compiler like Cygwin or the Windows command line — hardly ideal. For this reason, Wortman's cluster still includes 85 dual Opteron Linux machines to run a handful of life science applications.

                        Cytuj
                        And while Microsoft's new cluster software might be able to offer an easier, more familiar way of accessing high-performance computing so researchers don't have to worry about the IT side of things, at roughly $469 per node, it will still be a challenge to make the financial case against the open-source Linux. "If you have to buy 100 licenses to install [Windows] on your cluster, how can that be lower acquisition costs than something that costs you zero?" asks HPC expert Joe Landman, founder of Scalable Informatics, a high-performance computing solutions vendor.

                        Tomasz R. Gwiazda

                        • Kalkulator
                        • ***
                        • Offline Offline
                        • Wiadomości: 5 971
                        • Avatar forum naukowego

                          Jak stworzyć własny klaster komputerów

                          Odpowiedź #11 17 Grudzień 2011, 17:33
                          obiektywizm az razi :D

                          Troll81

                          • Troll forumowy
                          • Newsmani
                          • Starszy Kalkulator
                          • *****
                          • Offline Offline
                          • Wiadomości: 32 484
                          • Avatar forum naukowego
                          • Owoc żywota twojego je ZUS

                            Jak stworzyć własny klaster komputerów

                            Odpowiedź #12 17 Grudzień 2011, 19:40
                            obiektywizm obiektywizmem. Ale prawda jest taka że windows serwerowy bardziej obciąża kompa niż linux. Tego nie zmienisz.

                            Tomasz R. Gwiazda

                            • Kalkulator
                            • ***
                            • Offline Offline
                            • Wiadomości: 5 971
                            • Avatar forum naukowego

                              Jak stworzyć własny klaster komputerów

                              Odpowiedź #13 17 Grudzień 2011, 19:48
                              a Windows w wersji Core ?
                              bez interfejsu graficznego?

                              wiele sie zmienilo, i teraz sie instaluje na sprzecie tylko potrzebne Role ktore dany serwer bedzie wykonywal

                              OxyOne

                              • Liczydłowy
                              • ***
                              • Offline Offline
                              • Wiadomości: 1 044
                              • Avatar forum naukowego
                              • Mam dynamiczne przydzielanie IQ

                                Jak stworzyć własny klaster komputerów

                                Odpowiedź #14 17 Grudzień 2011, 20:23
                                windows: windows hpc
                                linux: rockhpc (redhat), debianhpc (debian)
                                statystyki hpc serwer/host/node linux: ganglia

                                Strony: [1]   Do góry

                                GoogleTagged


                                Hosting dzięki uprzejmości InnerVision sp. z o.o.
                                SMF © 2011, Simple Machines