BOINC@Poland

Zaloguj się lub zarejestruj.

Zaloguj się podając nazwę użytkownika, hasło i długość sesji
Szukanie zaawansowane  

Aktualności:

W MEDIA znajdziesz grafiki, banery i avatary

Strony: 1 [2]   Do dołu

Autor Wątek: DrugDiscovery@Home - opis  (Przeczytany 11265 razy)

0 użytkowników i 1 Gość przegląda ten wątek.

kva.pl

  • _
  • Starszy Liczydłowy
  • ****
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 2 241
  • Aller Funkverkehr ist Landesverrat.
    • Zobacz profil
DrugDiscovery@Home - opis
« Odpowiedź #40 dnia: 22 Marzec 2017, 12:51 »

A kiedy apka GPU?
Zapisane

goofyx

  • Moderator
  • BOINC Fanatyk
  • *
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 3 324
  • Po prostu goofyx :)
    • Zobacz profil
    • Blog goofyx'a
DrugDiscovery@Home - opis
« Odpowiedź #41 dnia: 22 Marzec 2017, 13:15 »

A kiedy apka GPU?
Dla apki GPU są teraz warunki:
1. zbiórka pre-ICO <- która ma się rozpocząć 01.04
2. czekamy jeszcze na wytyczne od naszego science team <- jakieś swoje optymalizacje mieli dać

Zapisane

goofyx

  • Moderator
  • BOINC Fanatyk
  • *
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 3 324
  • Po prostu goofyx :)
    • Zobacz profil
    • Blog goofyx'a
DrugDiscovery@Home - opis
« Odpowiedź #42 dnia: 25 Marzec 2017, 23:21 »

Mały sukces...
Jako, że jestem głównym adminem DD@H, który ciągle boryka się z małą ilością miejsca na dysku dla nowych WU (w zasadzie mam tylko 150-170GB dysku do dyspozycji, ale najczęściej 75-100GB) i jednocześnie jako Polak (pokombinowałem), znalazłem inne, ale choć wieloetapowe tworzenie WU, które pozwala na posiadanie zapasu kilku milionów WU.

1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia
2. Przesyłam wygenegowane zadania na serwer DD@H
3. w crontab co 10 minut generuje WU przesłane zadania

Pomimo 3 etapów oszczędzam kilka godzin (i stres) na serwerze.

I właśnie dlatego zamiast 100k WU do wysłania mogę mieć na serwerze 1M do wysłania + w sumie 14M zadań w kolejce.
W pierwszym wyścigu na DD@H spędziłem 50h z 72h weekendu przy komputerze, żeby utrzymać serwer w ruchu, teraz potrzebuje 2h w takim przypadku.
Zapisane

goofyx

  • Moderator
  • BOINC Fanatyk
  • *
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 3 324
  • Po prostu goofyx :)
    • Zobacz profil
    • Blog goofyx'a
DrugDiscovery@Home - opis
« Odpowiedź #43 dnia: 25 Marzec 2017, 23:27 »

A kiedy apka GPU?
1. Będzie w kwietniu jeśli pre-ICO odniesie sukces
2. zespół naukowy da mi informację o tym jakie zmiany potrzebuje w kodzie źródłowym gromacs żeby wystartować <- robią własne zmiany na podstawie sieci NN, jakie robią na podstawie obliczeń które są teraz w DD@H (czyli vina i smina)
Zapisane

kva.pl

  • _
  • Starszy Liczydłowy
  • ****
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 2 241
  • Aller Funkverkehr ist Landesverrat.
    • Zobacz profil
DrugDiscovery@Home - opis
« Odpowiedź #44 dnia: 26 Marzec 2017, 00:14 »

Mały sukces...
Jako, że jestem głównym adminem DD@H, który ciągle boryka się z małą ilością miejsca na dysku dla nowych WU (w zasadzie mam tylko 150-170GB dysku do dyspozycji, ale najczęściej 75-100GB) i jednocześnie jako Polak (pokombinowałem), znalazłem inne, ale choć wieloetapowe tworzenie WU, które pozwala na posiadanie zapasu kilku milionów WU.

1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia
2. Przesyłam wygenegowane zadania na serwer DD@H
3. w crontab co 10 minut generuje WU przesłane zadania

Pomimo 3 etapów oszczędzam kilka godzin (i stres) na serwerze.

I właśnie dlatego zamiast 100k WU do wysłania mogę mieć na serwerze 1M do wysłania + w sumie 14M zadań w kolejce.
W pierwszym wyścigu na DD@H spędziłem 50h z 72h weekendu przy komputerze, żeby utrzymać serwer w ruchu, teraz potrzebuje 2h w takim przypadku.

Bardzo mi sie ten post podoba :D
Zapisane

goofyx

  • Moderator
  • BOINC Fanatyk
  • *
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 3 324
  • Po prostu goofyx :)
    • Zobacz profil
    • Blog goofyx'a
DrugDiscovery@Home - opis
« Odpowiedź #45 dnia: 26 Marzec 2017, 00:15 »

Mały sukces...
Jako, że jestem głównym adminem DD@H, który ciągle boryka się z małą ilością miejsca na dysku dla nowych WU (w zasadzie mam tylko 150-170GB dysku do dyspozycji, ale najczęściej 75-100GB) i jednocześnie jako Polak (pokombinowałem), znalazłem inne, ale choć wieloetapowe tworzenie WU, które pozwala na posiadanie zapasu kilku milionów WU.

1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia
2. Przesyłam wygenegowane zadania na serwer DD@H
3. w crontab co 10 minut generuje WU przesłane zadania

Pomimo 3 etapów oszczędzam kilka godzin (i stres) na serwerze.

I właśnie dlatego zamiast 100k WU do wysłania mogę mieć na serwerze 1M do wysłania + w sumie 14M zadań w kolejce.
W pierwszym wyścigu na DD@H spędziłem 50h z 72h weekendu przy komputerze, żeby utrzymać serwer w ruchu, teraz potrzebuje 2h w takim przypadku.

Bardzo mi sie ten post podoba :D
hmm....
w jakim sensie?
Zapisane

kva.pl

  • _
  • Starszy Liczydłowy
  • ****
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 2 241
  • Aller Funkverkehr ist Landesverrat.
    • Zobacz profil
DrugDiscovery@Home - opis
« Odpowiedź #46 dnia: 26 Marzec 2017, 00:21 »

Pozytywnym :)
Zapisane

Troll81

  • Troll forumowy
  • Newsmani
  • Starszy Kalkulator
  • *****
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 32 521
  • Owoc żywota twojego je ZUS
    • Zobacz profil
DrugDiscovery@Home - opis
« Odpowiedź #47 dnia: 26 Marzec 2017, 09:06 »

 :respect: brak mi słów by wyrazić swój szacun
Zapisane

Argento

  • Młodszy Liczydłowy
  • *
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 531
  • Ten, kto wolny, nad swym losem nie płacze.
    • Zobacz profil
DrugDiscovery@Home - opis
« Odpowiedź #48 dnia: 26 Marzec 2017, 14:16 »

1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia

goofyx, jeżeli to wiedza nietajemna, w jaki od strony technicznej sposób odbywa się generowanie WU z materiału podesłanego przez ekipę naukową?
Zapisane


--
Pozdrawiam
Z poważaniem
Argento

goofyx

  • Moderator
  • BOINC Fanatyk
  • *
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 3 324
  • Po prostu goofyx :)
    • Zobacz profil
    • Blog goofyx'a
DrugDiscovery@Home - opis
« Odpowiedź #49 dnia: 26 Marzec 2017, 18:35 »

1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia

goofyx, jeżeli to wiedza nietajemna, w jaki od strony technicznej sposób odbywa się generowanie WU z materiału podesłanego przez ekipę naukową?
1. ekipa udostępnia nam (mnie i kp) pliki z danymi do sprawdzenia + konfiguracje dla jakich chcą zrobić obliczenia
2. przygotowujemy strukturę katalogów pod którą napisane są skrypty
3. skrypt przelatuje po katalogach i tworzy gotowe pliki WU

Całość składa się z kilku plików:
- 1 plik z danymi
- 3-6 plików konfiguracji
i w sumie te 4-7 plików trzeba spakować w jednego zipa. Cała operacja jest w zasadzie banalna, jednak jeśli rozmawiamy o 2 milionach plikach do sprawdzenia w np.: 3-4 konfiguracjach to jest już 6-8M plików WU co przy założeniu, że utworzenie 1WU potrzebuje po zoptymalizowaniu ok.10-12 operacji dyskowych (kopiowanie z 2-3 katalogów, dopasowanie nazw, pakowanie itp) robi się z tego dziesiątki jeśli nie setki milionów operacji dyskowych do samego przygotowania WU dla projektu.
Dane od ekipy naukowej zajmują np.: 25giga, które po przerobieniu zajmują mają zajmować np.: 500-600giga na dysku (katalog download, katalogi tymczasowe,baza danych).
Dlatego po licznych i długich rozmowach z KP oraz sprawdzeniu kilku jeśli kilkunastu różnych rozwiązań doszliśmy do wniosku, że najwygodniej będzie jeśli generowanie WU będzie przechodziło przez domowy serwer któregoś z nas. Dlatego w tej chwili 90% rzeczy związanych z generowaniem WU dzieje się u mnie. Z kolei kp przygotował i udostępnił na swoim serwerze kolejne kilka TB dysków na pozostałe archiwa tworzone przez serwer.
Dzięki temu serwer robi co ma robić z niezłym zapasem WU do wysłania (w tej chwili w gotowości jest ponad 1M WU na serwerze), a my mamy dostęp do ponad 20TB dysków na jego potrzeby tak w razie czego.
Zapisane

goofyx

  • Moderator
  • BOINC Fanatyk
  • *
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 3 324
  • Po prostu goofyx :)
    • Zobacz profil
    • Blog goofyx'a
DrugDiscovery@Home - opis
« Odpowiedź #50 dnia: 26 Marzec 2017, 18:39 »

ps.: jeszcze o jednym zapomniałem.
Na serwerze są w crontabie skrypty które sprawdzają ustawiony katalog z plikami pod WU.
W tej chwili wystarczy, że ja lub kp wrzucimy pliki przez ftp na serwer i reszta dzieje się automatycznie
Zapisane

Argento

  • Młodszy Liczydłowy
  • *
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 531
  • Ten, kto wolny, nad swym losem nie płacze.
    • Zobacz profil
DrugDiscovery@Home - opis
« Odpowiedź #51 dnia: 26 Marzec 2017, 19:22 »

goofyx, lektura do poduszki jak znalazł  :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa  :parrrty:.
Zapisane


--
Pozdrawiam
Z poważaniem
Argento

krzyszp

  • Wszechstronny dyletant
  • Moderator
  • Kalkulator
  • *
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 7 986
    • Zobacz profil
    • Roads Business Software Ltd
DrugDiscovery@Home - opis
« Odpowiedź #52 dnia: 26 Marzec 2017, 20:42 »

goofyx, lektura do poduszki jak znalazł  :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa  :parrrty:.
Lektura do poduszki, to wszystko co kompilator wywala na ekran podczas stodwudzestodziewiątego kompilowania Gromacs'a ;)
Zapisane


Należę do drużyny BOINC@Poland
 Moja wizytówka

Argento

  • Młodszy Liczydłowy
  • *
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 531
  • Ten, kto wolny, nad swym losem nie płacze.
    • Zobacz profil
DrugDiscovery@Home - opis
« Odpowiedź #53 dnia: 26 Marzec 2017, 20:49 »

goofyx, lektura do poduszki jak znalazł  :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa  :parrrty:.
Lektura do poduszki, to wszystko co kompilator wywala na ekran podczas stodwudzestodziewiątego kompilowania Gromacs'a ;)

krzyszp, zabrzmiało jak hexologia autorstwa kompilatora  ;). Nie długo będzie jej więcej niż samego kodu Gromacs'a  :parrrty:.
Zapisane


--
Pozdrawiam
Z poważaniem
Argento

krzyszp

  • Wszechstronny dyletant
  • Moderator
  • Kalkulator
  • *
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 7 986
    • Zobacz profil
    • Roads Business Software Ltd
DrugDiscovery@Home - opis
« Odpowiedź #54 dnia: 26 Marzec 2017, 21:12 »

Próba zrobienia z Gromacs'a (w wersji ze wsparciem dla GPU) aplikacji typu portable to jest coś, co robię zawsze wtedy, gdy mam za dobry humor... To potrafi doprowadzić na skraj nędzy i rozpaczy... ;)
Zapisane


Należę do drużyny BOINC@Poland
 Moja wizytówka

Argento

  • Młodszy Liczydłowy
  • *
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 531
  • Ten, kto wolny, nad swym losem nie płacze.
    • Zobacz profil
DrugDiscovery@Home - opis
« Odpowiedź #55 dnia: 26 Marzec 2017, 21:33 »

Gromacs nie odprowadzi Ciebie na skraj nędzy i rozpaczy, ponieważ z punktu widzenia dynamiki molekularnej proces ten trudno zauważyć..., a tym samym zdaje się być naprawdę odległy  XD.
Zapisane


--
Pozdrawiam
Z poważaniem
Argento

krzyszp

  • Wszechstronny dyletant
  • Moderator
  • Kalkulator
  • *
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 7 986
    • Zobacz profil
    • Roads Business Software Ltd
DrugDiscovery@Home - opis
« Odpowiedź #56 dnia: 27 Marzec 2017, 03:16 »

Gromacs nie odprowadzi Ciebie na skraj nędzy i rozpaczy, ponieważ z punktu widzenia dynamiki molekularnej proces ten trudno zauważyć..., a tym samym zdaje się być naprawdę odległy  XD.
Z tego punktu widzenia równie trudno zauważyć moje konto oszczędnościowe ;)
Zapisane


Należę do drużyny BOINC@Poland
 Moja wizytówka

goofyx

  • Moderator
  • BOINC Fanatyk
  • *
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 3 324
  • Po prostu goofyx :)
    • Zobacz profil
    • Blog goofyx'a
DrugDiscovery@Home - opis
« Odpowiedź #57 dnia: 27 Marzec 2017, 12:33 »

goofyx, lektura do poduszki jak znalazł  :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa  :parrrty:.
Lektura do poduszki, to wszystko co kompilator wywala na ekran podczas stodwudzestodziewiątego kompilowania Gromacs'a ;)
będziesz miał co wnukom opowiadać...
"Wiesz co wnuczku, bo dziadziuś skompilował gromacsa w wersji mobilnej dla gpu" <- to brzmi dumnie  :respect:
Zapisane

Troll81

  • Troll forumowy
  • Newsmani
  • Starszy Kalkulator
  • *****
  • Offline Offline
  • Płeć: Mężczyzna
  • Wiadomości: 32 521
  • Owoc żywota twojego je ZUS
    • Zobacz profil
DrugDiscovery@Home - opis
« Odpowiedź #58 dnia: 27 Marzec 2017, 20:57 »

 :respect:
Zapisane
Strony: 1 [2]   Do góry
 

SMF spam blocked by CleanTalk