Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]

[ryszard.korczyk]

Kamraci, mobilizacja, nie możemy przegapić takiego wyścigu w projekcie Universe@Home. Wszyscy do wioseł, startujemy tej nocy po 1:00 polskiego czasu.
PS: Krzyszp, powodzenia!  :arrr:

[cp]

No ba!

:arrr:

[AL]

Coś mi się zdaje, że serw znowu tego nie wytrzyma ;)

[krzyszp]

No i amerykańce nas łyknęli w nocy...

[Krzysiak]

Tak tylko ich czas startu był o sensownej godzinie a ja dopiero o 7 zacząłem swój sprzęt przestawiać !!!  :wth:

[Ufol]

Jankesi dosłownie gnają, w mordę kotkę, mogą nam odjechać, koszą punkty ostro.

[cp]

Ano, odskoczyli. Jednocześnie udało im się skontrować nasz atak na pudło w wyścigu Einstein@Home |-? Jeśli nic się nie zmieni, przegramy na obydwu frontach. Zatem zwracam się z odezwą do wszystkich kamratów. Nie będzie jankes pluł nam w twarz :whistle: Skierujcie wszystkie rdzenie CPU wciąż jeszcze mielące WU E@H na Universe (samo GPU powinno wystarczyć do utrzymania niezłego, 4. miejsca). To jest dużo ważniejszy (przede wszystkim propagandowo) odcinek. Do boju, kamraci! Do wioseł!  :whip:

[kva.pl]

Walcze z calych sil, ale to udzial honorowy na tle czolowki  :whip:

[necavi]

Dla porządku podaję link do statystyk wyścigu.

Tak mi się wydaje, że pierwsza 4-ka pozostanie bez zmian...

[kva.pl]

Tez tak mysle, ja sie odlaczam i wracam do WCG :)

[Sebastian M. Bobrecki]

Wyścig w E@h dobiega już końca więc przepinam się tutaj. Tyle że strasznie słabo walidują mi się zadania. Ponad 6000 zadań w Validation pending i rośnie. Może co dziesiąte dostaje punkty na bieżąco. W związku z tym nie wiem czy to przyniesie jakieś sensowne punkty przed końcem wyścigu.

[krzyszp]

Właśnie trafiłeś na czas, kiedy musiałem włączyć generowanie WU, bo bardzo szybko schodzą :)

Niestety, samo generowanie trwa około 6 godzin (zakończyło się o 8:45 rano), teraz trzeba czekać, aż serwer "się ogarnie" i zacznie nadrabiać opóźnienia, co również potrwa kilka godzin.
Najpóźniej jutro powinien już obrabiać na bieżąco, o ile podsystem dyskowy da radę (to on jest wąskim gardłem).

Jako ciekawostka:
Przy obecnej obróbce, jakiej musi po stronie serwera być poddany każdy wynik, nie spodziewałem się, że serwer wytrzyma więcej niż 35 tysięcy WU na dobę - za ostatnie 24h przeliczyło się 86'000 WU... :)

Edit:

Przypominam, że w projekcie jest quorum = 2.

[pawg]

Co oznacza sytuacja gdy dwa komputery już odesłały to samo WU (jest quorum = 2) i zadania nadal mają status "Zakończone, oczekuje na walidację" ?

[Sebastian M. Bobrecki]

Oczywiście zdaję sobie sprawę że quorum wynosi 2.

A ile będzie tych zadań? Pytam bo dziś wieczorem będę chciał oddelegować do liczenia do końca wyścigu jakieś 440 wątków. Przy średnim czasie liczenia poniżej 30 minut. Powinienem być w stanie robić ponad 20k zadań na dobę i jestem ciekaw czy ich wystarczy.

Wzywam też wszystkich kamratów do pełnego wsparcia może uda się odbić pierwsze miejsce. W końcu jeszcze zostało ponad 2,5 doby.

[krzyszp]

Co oznacza sytuacja gdy dwa komputery już odesłały to samo WU (jest quorum = 2) i zadania nadal mają status "Zakończone, oczekuje na walidację" ?

Właśnie to, co pisałem wyżej. Dysk się nie wyrabia, dlatego walidacja jest opóźniona. W tej chwili to opóźnienie wynosi ok. 6 godzin i powinno stopniowo się zmniejszać lub chociaż utrzymać na tym poziomie (dlatego, że wciąż więcej danych napływa, amerykanie naprawdę przycisnęli).

Cały proces nadrabiania opóźnień powinien trwać jeszcze kilka godzin, ale ile dokładnie to nie wiem - teraz jestem bardziej na gruncie spekulacji, gdyż jeszcze nie spotkałem się z taką ilością przerabianych WU. Z moich wcześniejszych wyliczeń wynikało, że serwer powinien się zatkać całkowicie przy 35k WU na dobę, tymczasem w tej chwili licznik wskazuje już prawie 88k...

Co do ilości WU, to ja wygenerowałem w nocy następne 200k, ale jak będzie trzeba, to i milion wygeneruję (oczywiście spowoduje to następne opóźnienie, dlatego generuję mniejszymi ilościami).

[kva.pl]

jakieś 440 wątków

:o

[pawg]

Śmiało oddeleguj je na 1,5 doby, powinny zdążyć się zwalidować  ;) Nie odbijemy 1 miejsca, ale przynajmniej zmniejszy się strata do Amerykanów

[borno]

Hej kamraci, też troszkę wspomogę projekt  :attack:
Szkoda że nie przyuważyłem wcześniej
http://stats.free-dc.org/stats.php?page=team&proj=unit&team=138&sort=today

[krzyszp]

Niestety, serwer w obecnej konfiguracji osiągnął kres swojej wydolności... Ledwo przerabia bieżące WU, ale i tak walidacja się przeciąga niestety w czasie. Sytuacja powinna wrócić do normy, ale myślę że stanie się to dopiero jak przez kilka godzin źródełko będzie suche...

Obecnie przerabiamy ponad 100k WU na dobę, mając moc w okolicach 8,6 TFLOPs.

Jak pisałem wcześniej, zakładałem pojawienie się problemów przy przerobie na poziomie 35k WU na dobę :)

[Aegis Maelstrom]

A właśnie o to Cię miałem pytać Krzysztofie, jak tam próba obciążeniowa serwera.  XD

Pisałeś, że szacowałeś wydajność na 35 tys. jednostek dziennie, a dziś na stronie uniwersalnego (jeśli ktoś nie śledzi) o ponad 100 000 WU w 24h i ponad 8 TFLOPSach. Tak czy inaczej, moje grrratulacje :parrrty:  i trzymam kciuki za serwer.

Dobrze też wiedzieć, że ta moc idzie w merytoryczne obliczenia i lecimy z koksem dla zespołu badawczego.  XD Mam nadzieję, że oficjalny serwer stabilny będzie już wkrótce i będzie bardziej wyporny.  :attack:

[krzyszp]

Serwer doszedł do prawie 108k WU, jednak już się nie wyrabiał z walidowaniem próbek. Wąskie gardło już namierzyłem (jest nim HDD), ale niewiele teraz mogę z tym zrobić, niemniej w planach mam optymalizacje.
Oczywiście, optymalizacje będą zastosowane na serwerze produkcyjnym, gdzie mam zamiar osiągnąć wystarczającą wydajność w znacznie większych przedziałach, niemniej serwer testowy pokazał mi dobitnie, na czym się koncentrować.
Przy okazji, podczas tych zawodów serwer wytrzymał obciążenie kilkukrotnie większe nić podczas poprzednich i nie padł - złapał tylko opóźnienia :)

Co do obliczeń i merytoryki.
Już od dłuższego czasu na stronie projektu wisi news na ten temat :)

[kva.pl]

W jaki sposob udalo sie okreslic ze to akurat dyski nie daja rady?

[krzyszp]

W jaki sposob udalo sie okreslic ze to akurat dyski nie daja rady?

Łatwo (;)):

Kod [Zaznacz] Rozwiń

https://www.dropbox.com/s/i5gi6jr60xia01x/dysk.png?dl=0

[kva.pl]

No to faktycznie wiele wyjasnia ;)
A obciazenie ramu i procesora mozesz pokazac?

[krzyszp]

No to faktycznie wiele wyjasnia ;)
A obciazenie ramu i procesora mozesz pokazac?

RAM ma zajęte 10 z 16GB (bo tak ustawiłem MySQL'a), load skacze między 2 a 4, ale to głównie przez IO...

[Sebastian M. Bobrecki]

Źródełko wyschło :(

[krzyszp]

Źródełko wyschło :(

Generowanie trwa, wstrzymałem daemony na ten czas, aby je przyśpieszyć :)

[mimeq]

Kod [Zaznacz] Rozwiń

2015-01-25 12:55:41 | Universe@Home | Scheduler request completed: got 28 new tasks