DrugDiscovery@Home nie jest nowym projektem. Jest to kontynuacja dawnej wersji, ale w zamierzeniu dużo bardziej rozbudowana (w planach jest nawet 20 różnych aplikacji).
Projekt ten jest trochę inny od całej reszty projektów BOINC, gdyż jest on częściowo komercyjny - to oznacza, że część obliczeń (prawdopodobnie około połowy, ale to może się płynnie zmieniać w obie strony, w zależności od potrzeb) będzie komercyjna, na zlecenie firm farmaceutycznych... To może się nie podobać, ale aktualna koncepcja jest taka, że nie będzie to "żerowanie" na wolontariuszach, lecz współdzielenie się osiąganymi przychodami z wolontariuszami projektu.
No dobrze, ale jak liczący ma być opłacony?
W dużym skrócie, w projekcie będzie będzie utworzona nowa kryptowaluta, bazująca na kodzie Ethereum. Różnicą w stosunku do innych walut będzie sposób jej finansowania.
Otóż w momencie zlecenia badań przez firmę farmaceutyczną nie będzie ona kupowała obliczeń, ale będzie kupowała określoną liczbę monet kryptowaluty od twórców projektu. Wykonanie przez wolontariusza obliczeń będzie premiowane określoną wartością monet naszej waluty, którą wolontariusz będzie mógł wymienić na realną gotówkę otrzymując ją właśnie z pieniędzy wpłaconych przez klientów projektu. Zachowany więc zostanie stały dopływ realnego pieniądza do puli kryptowaluty gwarantując jej (w miarę) stabilny kurs. Docelowo, w przeciągu kilku miesięcy waluta ta będzie wpleciona w systemy handlu na popularnych giełdach kryptowalut.
Oczywiście, będąc jednym z adminów projektu nie jestem do końca obiektywny, jednak wydaje mi się, że takie sprzężenie waluty z obliczeniami może zwrócić pokaźną część środków wkładanych przez wolontariuszy w sprzęt i w prąd, a nawet uzyskanie przez nich realnego dochodu w przypadku przynajmniej części aplikacji. Dodatkowo, jeżeli waluta będzie miała tendencję wzrostową - może być niezłą okazją przetrzymanie środków.
Czy ta kryptowaluta będzie sprzężona wyłącznie z tym projektem?
Nie. Obliczenia na platformie BOINC to dopiero początek. W planach jest stworzenie znacznie większego organizmu służącemu całej palecie zastosowań i różnych obliczeń - gdy tylko ta platforma powstanie (a prace nad nią już się zaczęły - tylko to nie moja "działka"), to waluta ta również tam będzie zastosowana, co praktycznie przeniesie ją na wyższy poziom wartości, gdyż do sieci dołączą komercyjne firmy potrzebujące specyficznych zastosowań i mocy obliczeniowych, co powinno skutkować automatycznym wręcz napędzaniem wartości tej waluty.
Pytanka:
1. Czy liczący otrzyma:
- tylko monety w kryptowalucie?
- czy może punkty i monety w kryptowalucie?
2. Czy planuje się automatyczne przekierowanie monet kryptowalut na dofinansowanie poszczególnych projektów (tak jak to jest w BOINC UTOPIA) lub bezpośrednio na stronę Waszej Fundacji...
Ad 1.
Dostanie i punkty i kryptowalutę.
Ad 2.
Troszkę inaczej.
Wszystkie projekty komercyjne będą wykonywać pewną ilość obliczeń, za którą będzie przydzielana określona ilość "monet". Więc niezależnie od tego którą aplikację się wybierze (czy podprojekt), za tę samą ilość obliczeń będzie ta sama ilość waluty (odnośnikiem będzie specjalnie zakupiona przeze mnie maszyna jako "wzorcowa", w stosunku do której będzie wyliczana wartość pracy (czyli ilość monet).
Nadal się zastanawiamy nad pewnym dodatkowym rozwiązaniem, ze specyficznym scenariuszem:
Zakładając, że pojawi się koncern, któremu np. będzie mocno zależeć na czasie obliczeń i w związku z tym wyłoży większą ilość gotówki na swoje zlecenie, to prawdopodobnie posłużymy się technologią smart contracts, aby to specjalnie premiować.
Jedna uwaga - nie będzie to platforma wspierania różnych projektów poprzez kopanie monet - tutaj w praktyce chodzi o odpłatne wykonywanie zleceń białkowych dla konkretnych labolatoriów badawczych. Badania te będą wykonywane za pomocą takich aplikacji jak Gromacs, Autodock, OpenBabel, Vina - nie żadne liczenie hashy.
A duże koncerny są zainteresowanie badaniami w tej formie? Nie sądzę, że chętnie dzielą się informacjami ze światem zewnętrznym mając do dyspozycji potężne centra przetwarzania w których mogą podpisać klauzule poufności i badania odbywają się w zamkniętym środowisku.
No więc właśnie, jakieś badania potencjalnego zainteresowania byly?
Cytat: stasieks w 28 Grudzień 2016, 22:13
A duże koncerny są zainteresowanie badaniami w tej formie? Nie sądzę, że chętnie dzielą się informacjami ze światem zewnętrznym mając do dyspozycji potężne centra przetwarzania w których mogą podpisać klauzule poufności i badania odbywają się w zamkniętym środowisku.
O dziwo - są.
Nie zapominajcie, że pojedyncze WU to baaaardzo mały wycinek pracy, a implementacja kryptografii nie jest taka wcale trudna...
Niemniej tak - są zainteresowani. Mało tego, gdyby nie opóźnienie ze startem niezależne od nas, to już by leciał pierwszy, niewielki bo testowy kontrakt. Obecnie zlecenie tej firmy liczy się na chmurze Amazonu.
Różnica jest taka, że to nie do końca wygląda "liczcie to i tamto, na 1000 kart graficznych" - ekipa projektu jest naukowa i to trzon teamu opracowuje konkretne badania (ja tylko adminuję serwerem).
Generalnie, więcej materiałów dostępnych jest na http://drugdiscoveryathome.com
dawaj znać jak będzie to działać - chętnie sprawdzę jak działają te komercyjne projekty :)
Na czym planowane jest dokonywanie obliczeń? Tylko gpu ( grafiki którego producenta lepiej się nadadzą ), tylko cpu czy może będą mieszane typy?
Czy będzie wiadomo, co w danym momencie liczymy?
Cytat: toms83 w 29 Grudzień 2016, 13:56
Na czym planowane jest dokonywanie obliczeń? Tylko gpu ( grafiki którego producenta lepiej się nadadzą ), tylko cpu czy może będą mieszane typy?
Czy będzie wiadomo, co w danym momencie liczymy?
Na ten moment właśnie testujemy aplikację "short" Gromacs'a (wstępne przygotowanie materiału do badań) dla CPU pod Linuksem (ta aplikacja "krótka" będzie tylko pod Linuksem). To jest wersja CPU, jutro powinna się pojawić wersja CUDA i OpenCL.
Następnym etapem będzie krok drugi tej aplikacji, czyli wyniki z "krótkiej aplikacji" będą danymi wejściowymi dla aplikacji "długiej" również wykorzystującej Gromacs'a - ale tutaj już tylko GPU (na obie platformy + być może Intel OpenCL).
Nie mogę teraz jeszcze powiedzieć, które karty lepiej będą sobie radzić - nie mam na czym porównać, bo wszystkie trzy karty jakie mam są "z innych parafii" (ATI7770, GTX650 i 1060 6GB) oraz zbyt mało przeliczonych zadań na nich, żeby wysnuć wnioski... Wydaje mi się, że CUDA radzą sobie ciut lepiej, ale niestety nie mam już Radeona RX480 - a on może mieć niezłego kopa.
Co do pytania, co jest przeliczane... No cóż, myślę, że z każdą kolejną większą serią będzie info o niej na forum projektu, oczywiście można to też wywnioskować z samej aplikacji (Gromacs, Vina itd) oraz plików wejściowych. Nie jestem biologiem, ale dla fachowców te pliki są jasne. Na potrzeby testów odpalamy na razie ten sam zestaw danych, który jest po prostu wygenerowany z jakiegoś przykładu ze strony Gromacs'a.
Przydałaby się możliwość zaznaczenia, czy chcemy liczyć tylko na GPU. Oraz oczywiście wybór projektów w których chcemy uczestniczyć.
Taki standardzik z innych projektów...
Cytat: tito w 29 Grudzień 2016, 20:48
Przydałaby się możliwość zaznaczenia, czy chcemy liczyć tylko na GPU. Oraz oczywiście wybór projektów w których chcemy uczestniczyć.
Oczywiście, że będzie, to funkcja wbudowana w serwer BOINC (pojawia się w ustawieniach z chwilą dodania apki GPU).
w razie czego mam GPU intela to mogę pomóc w testowaniu apki (jak będzie to jakieś proste a nie wymagające jakiegoś kodzenia i stawania na głowie ;) )
Cytat: Cyfron w 30 Grudzień 2016, 09:36
w razie czego mam GPU intela to mogę pomóc w testowaniu apki (jak będzie to jakieś proste a nie wymagające jakiegoś kodzenia i stawania na głowie ;) )
Na CPU już chodzi jedna apka i wypuszczamy testowe serie próbek. Z GPU to może dzisiaj apkę wrzucimy dla CUDA, z Intelem gorzej niestety...
Zakładam, że jak porządnie kurz Sylwestrowy opadnie to zacznie się liczenie "na serio".
@krzyszp
- Projekt jest podczepiony pod jakiś uniwersytet czy to jest prywatna firma?
- Powiedzmy, że niektórzy liczydłowi będą woleli tradycyjną walutę, przelewaną np. na konto PayPal i zgadzają się na to, że część dochodu zjedzą prowizje, koszty systemu itp. Będzie taka możliwość, czy krypto-waluta jest tutaj alfą i omegą?
- Projekt będzie prowadził również swoje własne badania. Z tych obliczeń będą wypłacane liczydłowym jakieś pieniądze? Pytam, bo informacje na stronie projektu sugerują właśnie takie rozwiązanie (długa prezentacja, slajd 15)
- Powiedzmy, że liczydłowy nie chce wypłacania monet w zamian za udzielone projektowi zasoby, ale zamiast tego chciałby mieć udział w sprzedaży medykamentów, które zostaną wprowadzone na rynek dzięki badaniom projektu. Wysokość dywidendy zależałaby od ilości pracy włożonej w projekt, mierzoną w punktach kredytowych. Czy będzie taka możliwość?
- Czy mógłbyś rozwinąć poniższe?
Cytat: krzyszp w 28 Grudzień 2016, 19:24
W planach jest stworzenie znacznie większego organizmu służącemu całej palecie zastosowań i różnych obliczeń
- Jaką część dochodów zachowa sobie zespół prowadzący projekt, a ile z tego trafi do
wolontariuszy liczydłowych?
- Pytanie odnośnie poufności:
Cytat: krzyszp w 29 Grudzień 2016, 15:10
Co do pytania, co jest przeliczane... No cóż, myślę, że z każdą kolejną większą serią będzie info o niej na forum projektu, oczywiście można to też wywnioskować z samej aplikacji (Gromacs, Vina itd) oraz plików wejściowych. Nie jestem biologiem, ale dla fachowców te pliki są jasne.
Firmom zewnętrznym zlecającym komercyjne badania będzie zależało na ukryciu właśnie takich informacji. Sam pisałeś, że implementacja kryptografii jest tutaj prosta. Jak więc będzie z tym weryfikowaniem co liczymy?
1. Firma prywatna.
2. Raczej wyłącznie kryptowaluta, niemniej pracuje się nad tym, aby pojawiła się na popularnych giełdach kryptowalut jak najprędzej po starcie (może nawet równocześnie ze startem zadań komercyjnych).
3. Tak, jest taki plan.
4. Niestety, takiej możliwości nie będzie. Zresztą nierealne to jest choćby z tego powodu, że zleceniodawcy by na takie coś nigdy nie poszli.
5. Nie bardzo mogę rozwinąć, nie mam na razie uprawnień do tego. Mogę jednak napisać, że BOINC i DD@H będą częścią większej platformy badawczo-naukowej.
6. Ok 70-80% przychodów będzie trafiać do liczydłowych, reszta zostanie dla firmy (w tym także na koszty). Oczywiście mówię o kwocie netto, po odprowadzeniu podatków.
7 Tak, tu jest problem i jednocześnie go nie ma. Wiedza, co liczy dana próbka pozwala nie przekłada się nijak na całość obliczeń, niemniej w razie faktycznie położonego nacisku na poufność danych jest możliwość ich szyfrowania. Szczerze, to jestem gotów na taką ewentualność, jednak z oczywistych względów ten problem się na razie nie pojawił. Myślę, że do dyskusji trzeba będzie wrócić później i jakoś to rozwiązać.
Cytat: krzyszp w 02 Styczeń 2017, 12:16
4. Niestety, takiej możliwości nie będzie. Zresztą nierealne to jest choćby z tego powodu, że zleceniodawcy by na takie coś nigdy nie poszli.
Ok, zewnętrzni zleceniodawcy odpadają. A co z badaniami należącymi bezpośrednio do DD@H? Wyniki i patenty zostaną spieniężone na zasadzie "sprzedaję raz i zapominam" czy będą udostępniane na licencji? W tym drugim przypadku istnieje możliwość uzyskania udziału w sprzedaży gotowego produktu medycznego. Kwestia odpowiedniego skonstruowania umowy. Jak zespół DD@H zapatruje się na coś takiego?
Dlaczego w ogóle jest rozkręcana nowa krypto-waluta, zamiast oprzeć się na istniejącym już projekcie, który jest rozpoznawalny, ma już wypracowaną jakąś wartość, jest akceptowany nie tylko na chwiejnych giełdach, ale i w np. w konkretnych sklepach itp.?
Cytat: Ósemka w 02 Styczeń 2017, 23:18
Cytat: krzyszp w 02 Styczeń 2017, 12:16
4. Niestety, takiej możliwości nie będzie. Zresztą nierealne to jest choćby z tego powodu, że zleceniodawcy by na takie coś nigdy nie poszli.
Ok, zewnętrzni zleceniodawcy odpadają. A co z badaniami należącymi bezpośrednio do DD@H? Wyniki i patenty zostaną spieniężone na zasadzie "sprzedaję raz i zapominam" czy będą udostępniane na licencji? W tym drugim przypadku istnieje możliwość uzyskania udziału w sprzedaży gotowego produktu medycznego. Kwestia odpowiedniego skonstruowania umowy. Jak zespół DD@H zapatruje się na coś takiego?
Dlaczego w ogóle jest rozkręcana nowa krypto-waluta, zamiast oprzeć się na istniejącym już projekcie, który jest rozpoznawalny, ma już wypracowaną jakąś wartość, jest akceptowany nie tylko na chwiejnych giełdach, ale i w np. w konkretnych sklepach itp.?
"Własne" badania ekipy projektu to będą właśnie prace dla organizacji non-profit. Nie same obliczenia, ale także przygotowanie danych, obróbka itd. Nie będzie z tego patentów, bo te dane i wyniki będą publicznie dostępne dla wszystkich zainteresowanych (albo na stronie projektu albo na stronach organizacji zlecających badania).
Co do nowej kryptowaluty... Problemem już istniejących setek kryptowalut jest to, że stoi za nimi tylko idea... W tym wypadku w zamierzeniu jest stały dopływ "realnej" waluty do niej - czyli tej wpływającej od zleceniodawców, podtrzymującej jej wartość.
Edit:
Wiem, to nie jest pełna odpowiedź, ale jesteśmy w trakcie przygotowywania dokumentacji i pewnych pismach prawniczych i kilka kwestii jest jeszcze rozwojowych.
Na dniach będzie publikacja "whitepaper" i tam będzie więcej szczegółów.
Cytat: krzyszp w 03 Styczeń 2017, 03:00
[...]
Co do nowej kryptowaluty... Problemem już istniejących setek kryptowalut jest to, że stoi za nimi tylko idea... W tym wypadku w zamierzeniu jest stały dopływ "realnej" waluty do niej - czyli tej wpływającej od zleceniodawców, podtrzymującej jej wartość. [...]
W jaki sposób zabezpieczysz kryptowalutę? Zamkniesz złoto w sejfie i obiecasz, że zostanie tam na zawsze? Odłożysz pieniądze na kupkę której nikt nie ruszy? Nie rozumiem pomysłu.
Cytat: stasieks w 03 Styczeń 2017, 13:48
Cytat: krzyszp w 03 Styczeń 2017, 03:00
[...]
Co do nowej kryptowaluty... Problemem już istniejących setek kryptowalut jest to, że stoi za nimi tylko idea... W tym wypadku w zamierzeniu jest stały dopływ "realnej" waluty do niej - czyli tej wpływającej od zleceniodawców, podtrzymującej jej wartość. [...]
W jaki sposób zabezpieczysz kryptowalutę? Zamkniesz złoto w sejfie i obiecasz, że zostanie tam na zawsze? Odłożysz pieniądze na kupkę której nikt nie ruszy? Nie rozumiem pomysłu.
Zakładam, że pewnie 95% liczących będzie ją po prostu systematycznie wymieniać na walutę jak tylko będzie ją dostawać.
I tak - pieniądze na to będą właśnie na specjalnym rachunku bankowym.
Tak jak pisałem, gdy ktoś będzie chciał ją wymienić (a zakładam że tak będzie), to właśnie do tego użyje tej waluty na giełdzie (będzie ona wpięta w kilka popularnych giełd).
Będzie także najprawdopodobniej ustalony minimalny (jakby "referencyjny") kurs, po którym właśnie będziemy odkupować.
Rozumiem oczywiście, że gdyby nagle skoczyła mocno jej wartość, to ta zabezpieczona kwota była by za mała, dlatego będzie ten "oficjalny" kurs.
Niemniej, jeszcze jest ciut za wcześnie rozmawiać o szczegółach - do momentu zadziałania wszystkiego produkcyjnie wciąż toczą się burze mózgów jak to zrobić najlepiej...
Jakiś przybliżony czas uruchomienia obliczeń jest już znany?
Jak widzę istnieją dwie strony DD o różnych od siebie layout'ach...
http://www.drugdiscoveryathome.com/ (http://www.drugdiscoveryathome.com/)
http://boinc.drugdiscoveryathome.com/ (http://boinc.drugdiscoveryathome.com/)
Cytat: Argento w 03 Styczeń 2017, 17:51
Jak widzę istnieją dwie strony DD o różnych od siebie layout'ach...
http://www.drugdiscoveryathome.com/ (http://www.drugdiscoveryathome.com/)
http://boinc.drugdiscoveryathome.com/ (http://boinc.drugdiscoveryathome.com/)
Tak, na stronie projektu jest layout domyślny serwera.
Cytat: toms83 w 03 Styczeń 2017, 17:37
Jakiś przybliżony czas uruchomienia obliczeń jest już znany?
Zaraz po ustabilizowaniu apek Gromacs i AutoDocs Vina. W tej chwili jeszcze nie wiem jak będzie z OpenBabel (czy będzie potrzebna natychmiast, czy raczej później).
Najwięcej zamieszania jest z Gromacsem, bo to soft przewidziany do zainstalowania w systemie i przygotowanie w pełni standalone exeka zajmuje cholernie dużo czasu. W dodatku nie jest to proste uruchomienie apki, ale cała lista poleceń dla niej korzystająca z wielu plików z danymi.
Z Vina powinno być prościej i zwykły wrapper powinien wystarczyć, ale na razie czekam na przykładowe dane, żeby to sprawdzić.
Niemniej, mam nadzieję, że do końca miesiąca zdążymy, jednak na część spraw nie mam wpływu (kwaluta, crowdfunding itd).
Cytat: krzyszp w 03 Styczeń 2017, 03:00
Na dniach będzie publikacja "whitepaper" i tam będzie więcej szczegółów.
Daj znać jak tylko się pojawi, mam jeszcze trochę pytań.
Oczywiście, pamiętaj jednak że ja zajmuję się serwerem i apkami projektu, o pozostałych sprawach mam jakieś pojęcie, ale też nie wiem wszystkiego.
Myślę, że najlepszym miejscem do pytań będzie forum projektu.
A mnie tam podoba się sama idea projektu szukającego leku :D Kryptowaluty wcale nie nie pociągają...
Witam.
Czy nastąpił jakiś progres w pracach zbliżających do uruchomienia projektu? Zima wraca, najlepszy moment na dogrzewanie. :cold:
Projekt już od jakiegoś czasu liczy, jednak nadal walczę z apką GPU, która wkrótce powinna być dostępna dla Linuksów.
Czemu data ważności próbki upływa tak szybko? Zadania trzeba przeliczyć w ciągu doby od pobrania. To, po mojemu, może odstraszać część liczydłowych. Czy aplikacja na gpu ma szansę pojawić się w bliskiej przyszłości, np. za miesiąc? A jeżeli tak, to na jakich grafach i systemach operacyjnych będzie działać?
Aplikacje mają deadline jeden dzień, bo są bardzo krótkie (kilka minut), więc nie ma sensu dawać większego.
Co do apki GPU to tak, intensywnie nad nimi pracujemy, niemniej to nadal się ciągnie... Na pewno pierwsza będzie apka pod Linuksa, dopiero w dalszej kolejności postaramy się zrobić wersję Windows.
Cytat: krzyszp w 07 Marzec 2017, 13:57
Aplikacje mają deadline jeden dzień, bo są bardzo krótkie (kilka minut), więc nie ma sensu dawać większego.
Również zwróciłem uwagę na deadline jednodniowy. Natomiast
krzyszp zauważ, że zdarzają się i to nie są wyjątki WU, które potrzebują nawet kilkadziesiąt minut obróbki (Smina for mol), a to przekłada się na to, że menadżer głupieje pobierając zapas. A to idzie w parze z przekroczeniem deadline.
Po wyścigach wydłużymy deadline pewnie o jeden dzień. Mam też nadzieję, że szybko uruchomimy Gromacs'a, wtedy czasy apek znacznie się wydłużą i zmniejszy się dzięki temu ilość "składowanych" WU na serwerze, co mocno go odciąży.
Menedżer boincowy autentycznie głupieje, tzn. ściąga zbyt duży zapas próbek, nawet przy ustawionym małym buforze. Skutkiem tego część zadań ulega przedatowaniu. Dlatego apeluję o wydłużenie terminu na odesłanie wyników. Poza tym tak skrajnie wyśrubowane warunki czasowe ograniczają projekt do wąskiej grupy liczydłowych, czyt. totalnych świrów. Liczący okazyjnie, np. kilka godzin w ciągu dnia, w takim przedsięwzięciu udziału praktycznie brać nie mogą.
Cytat: krzyszp w 07 Marzec 2017, 13:57
Aplikacje mają deadline jeden dzień, bo są bardzo krótkie (kilka minut), więc nie ma sensu dawać większego.
Cytat: krzyszp w 07 Marzec 2017, 14:43
Po wyścigach wydłużymy deadline pewnie o jeden dzień.
Zakładany czas obróbki
Smina wydłużył się blisko 3x. Taka partia WU czy już takie czasy pozostaną?
Natomiast
deadline pozostał bez zmian (24h).
Cytat: Argento w 21 Marzec 2017, 08:47
Cytat: krzyszp w 07 Marzec 2017, 13:57
Aplikacje mają deadline jeden dzień, bo są bardzo krótkie (kilka minut), więc nie ma sensu dawać większego.
Cytat: krzyszp w 07 Marzec 2017, 14:43
Po wyścigach wydłużymy deadline pewnie o jeden dzień.
Zakładany czas obróbki Smina wydłużył się blisko 3x. Taka partia WU czy już takie czasy pozostaną?
Natomiast deadline pozostał bez zmian (24h).
Jeśli apka natrafi na jakiś lepszy wynik to go męczy trochę dłużej.
Dlatego są takie rozbieżności w czasach przerobu (od 30s do 10-15minut) <- niestety to jest niezależne od nas.
Serie vina A13 i smina_mol2 A7 powinny mieć już ustawione deadLine 2 dni
Cytat: goofyx w 21 Marzec 2017, 10:27
Jeśli apka natrafi na jakiś lepszy wynik to go męczy trochę dłużej.
goofyx, dobrze rozumiem i zgadzam się z Twoimi słowami. Natomiast ja pisałem o czasie "zakładanym/szacunkowym", który jest wskazywany jeszcze przed rozpoczęciem obróbki WU. I tak w Simna_mol2 A7 owe czasy zwiększyły się z w moim przypadku z ~8 min. do ~21 min.. Co może wskazywać na większą ilość danych wejściowych dla algorytmu lub jego modyfikacja w celu uzyskania dokładniejszych wyników.
Cytat
Serie vina A13 i smina_mol2 A7 powinny mieć już ustawione deadLine 2 dni
U mnie te serie nadal maja 1 dzień.
Cytat: Argento w 21 Marzec 2017, 10:45
Cytat: goofyx w 21 Marzec 2017, 10:27
Jeśli apka natrafi na jakiś lepszy wynik to go męczy trochę dłużej.
goofyx, dobrze rozumiem i zgadzam się z Twoimi słowami. Natomiast ja pisałem o czasie "zakładanym/szacunkowym", który jest wskazywany jeszcze przed rozpoczęciem obróbki WU. I tak w Simna_mol2 A7 owe czasy zwiększyły się z w moim przypadku z ~8 min. do ~21 min.. Co może wskazywać na większą ilość danych wejściowych dla algorytmu lub jego modyfikacja w celu uzyskania dokładniejszych wyników.
Cytat
Serie vina A13 i smina_mol2 A7 powinny mieć już ustawione deadLine 2 dni
U mnie te serie nadal maja 1 dzień.
1. ja też się z Tobą zgadzam. Tylko, że ja też nie uzyskuje informacji, że dane pliki mogą być dłużej obrabiane :(
2. Aktualne serie A13 vina i A7 simna_mol2 były generowane w sobotę rano. DeadLine przestawiłem dopiero wczoraj i dopiero dzisiaj wieczorem lub jutro rano będę generował nowe WU z tymi 2-ma dniami.
Cytat: goofyx w 21 Marzec 2017, 12:12
Tylko, że ja też nie uzyskuje informacji, że dane pliki mogą być dłużej obrabiane :(
Przekazałem je powyżej ;).
Cytat: Argento w 21 Marzec 2017, 12:40
Cytat: goofyx w 21 Marzec 2017, 12:12
Tylko, że ja też nie uzyskuje informacji, że dane pliki mogą być dłużej obrabiane :(
Przekazałem je powyżej ;).
Tak widziałem, ale...
znowu generuje serie z kolejnych plików jakie otrzymałem i... znowu nie wiadomo jak długo będą się liczyć.
Mogę tylko podejrzewać, że jeszcze dłużej ponieważ pliki konfiguracyjne mają 1,2megabajta a nie 200kilobajty jak wcześniejsze.
Zobaczymy.
W tej chwili mam materiału na 50M WU vina i 5M smina.
Może DD@H zostanie wybrany na projekt miesiąca ;) ?
A kiedy apka GPU?
Cytat: kva.pl w 22 Marzec 2017, 12:51
A kiedy apka GPU?
Dla apki GPU są teraz warunki:
1. zbiórka pre-ICO <- która ma się rozpocząć 01.04
2. czekamy jeszcze na wytyczne od naszego science team <- jakieś swoje optymalizacje mieli dać
Mały sukces...
Jako, że jestem głównym adminem DD@H, który ciągle boryka się z małą ilością miejsca na dysku dla nowych WU (w zasadzie mam tylko 150-170GB dysku do dyspozycji, ale najczęściej 75-100GB) i jednocześnie jako Polak (pokombinowałem), znalazłem inne, ale choć wieloetapowe tworzenie WU, które pozwala na posiadanie zapasu kilku milionów WU.
1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia
2. Przesyłam wygenegowane zadania na serwer DD@H
3. w crontab co 10 minut generuje WU przesłane zadania
Pomimo 3 etapów oszczędzam kilka godzin (i stres) na serwerze.
I właśnie dlatego zamiast 100k WU do wysłania mogę mieć na serwerze 1M do wysłania + w sumie 14M zadań w kolejce.
W pierwszym wyścigu na DD@H spędziłem 50h z 72h weekendu przy komputerze, żeby utrzymać serwer w ruchu, teraz potrzebuje 2h w takim przypadku.
Cytat: kva.pl w 22 Marzec 2017, 12:51
A kiedy apka GPU?
1. Będzie w kwietniu jeśli pre-ICO odniesie sukces
2. zespół naukowy da mi informację o tym jakie zmiany potrzebuje w kodzie źródłowym gromacs żeby wystartować <- robią własne zmiany na podstawie sieci NN, jakie robią na podstawie obliczeń które są teraz w DD@H (czyli vina i smina)
Cytat: goofyx w 25 Marzec 2017, 23:21
Mały sukces...
Jako, że jestem głównym adminem DD@H, który ciągle boryka się z małą ilością miejsca na dysku dla nowych WU (w zasadzie mam tylko 150-170GB dysku do dyspozycji, ale najczęściej 75-100GB) i jednocześnie jako Polak (pokombinowałem), znalazłem inne, ale choć wieloetapowe tworzenie WU, które pozwala na posiadanie zapasu kilku milionów WU.
1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia
2. Przesyłam wygenegowane zadania na serwer DD@H
3. w crontab co 10 minut generuje WU przesłane zadania
Pomimo 3 etapów oszczędzam kilka godzin (i stres) na serwerze.
I właśnie dlatego zamiast 100k WU do wysłania mogę mieć na serwerze 1M do wysłania + w sumie 14M zadań w kolejce.
W pierwszym wyścigu na DD@H spędziłem 50h z 72h weekendu przy komputerze, żeby utrzymać serwer w ruchu, teraz potrzebuje 2h w takim przypadku.
Bardzo mi sie ten post podoba :D
Cytat: kva.pl w 26 Marzec 2017, 00:14
Cytat: goofyx w 25 Marzec 2017, 23:21
Mały sukces...
Jako, że jestem głównym adminem DD@H, który ciągle boryka się z małą ilością miejsca na dysku dla nowych WU (w zasadzie mam tylko 150-170GB dysku do dyspozycji, ale najczęściej 75-100GB) i jednocześnie jako Polak (pokombinowałem), znalazłem inne, ale choć wieloetapowe tworzenie WU, które pozwala na posiadanie zapasu kilku milionów WU.
1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia
2. Przesyłam wygenegowane zadania na serwer DD@H
3. w crontab co 10 minut generuje WU przesłane zadania
Pomimo 3 etapów oszczędzam kilka godzin (i stres) na serwerze.
I właśnie dlatego zamiast 100k WU do wysłania mogę mieć na serwerze 1M do wysłania + w sumie 14M zadań w kolejce.
W pierwszym wyścigu na DD@H spędziłem 50h z 72h weekendu przy komputerze, żeby utrzymać serwer w ruchu, teraz potrzebuje 2h w takim przypadku.
Bardzo mi sie ten post podoba :D
hmm....
w jakim sensie?
Pozytywnym :)
:respect: brak mi słów by wyrazić swój szacun
Cytat: goofyx w 25 Marzec 2017, 23:21
1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia
goofyx, jeżeli to wiedza nietajemna, w jaki od strony technicznej sposób odbywa się generowanie WU z materiału podesłanego przez ekipę naukową?
Cytat: Argento w 26 Marzec 2017, 14:16
Cytat: goofyx w 25 Marzec 2017, 23:21
1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia
goofyx, jeżeli to wiedza nietajemna, w jaki od strony technicznej sposób odbywa się generowanie WU z materiału podesłanego przez ekipę naukową?
1. ekipa udostępnia nam (mnie i kp) pliki z danymi do sprawdzenia + konfiguracje dla jakich chcą zrobić obliczenia
2. przygotowujemy strukturę katalogów pod którą napisane są skrypty
3. skrypt przelatuje po katalogach i tworzy gotowe pliki WU
Całość składa się z kilku plików:
- 1 plik z danymi
- 3-6 plików konfiguracji
i w sumie te 4-7 plików trzeba spakować w jednego zipa. Cała operacja jest w zasadzie banalna, jednak jeśli rozmawiamy o 2 milionach plikach do sprawdzenia w np.: 3-4 konfiguracjach to jest już 6-8M plików WU co przy założeniu, że utworzenie 1WU potrzebuje po zoptymalizowaniu ok.10-12 operacji dyskowych (kopiowanie z 2-3 katalogów, dopasowanie nazw, pakowanie itp) robi się z tego dziesiątki jeśli nie setki milionów operacji dyskowych do samego przygotowania WU dla projektu.
Dane od ekipy naukowej zajmują np.: 25giga, które po przerobieniu zajmują mają zajmować np.: 500-600giga na dysku (katalog download, katalogi tymczasowe,baza danych).
Dlatego po licznych i długich rozmowach z KP oraz sprawdzeniu kilku jeśli kilkunastu różnych rozwiązań doszliśmy do wniosku, że najwygodniej będzie jeśli generowanie WU będzie przechodziło przez domowy serwer któregoś z nas. Dlatego w tej chwili 90% rzeczy związanych z generowaniem WU dzieje się u mnie. Z kolei kp przygotował i udostępnił na swoim serwerze kolejne kilka TB dysków na pozostałe archiwa tworzone przez serwer.
Dzięki temu serwer robi co ma robić z niezłym zapasem WU do wysłania (w tej chwili w gotowości jest ponad 1M WU na serwerze), a my mamy dostęp do ponad 20TB dysków na jego potrzeby tak w razie czego.
ps.: jeszcze o jednym zapomniałem.
Na serwerze są w crontabie skrypty które sprawdzają ustawiony katalog z plikami pod WU.
W tej chwili wystarczy, że ja lub kp wrzucimy pliki przez ftp na serwer i reszta dzieje się automatycznie
goofyx, lektura do poduszki jak znalazł :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa :parrrty:.
Cytat: Argento w 26 Marzec 2017, 19:22
goofyx, lektura do poduszki jak znalazł :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa :parrrty:.
Lektura do poduszki, to wszystko co kompilator wywala na ekran podczas stodwudzestodziewiątego kompilowania Gromacs'a ;)
Cytat: krzyszp w 26 Marzec 2017, 20:42
Cytat: Argento w 26 Marzec 2017, 19:22
goofyx, lektura do poduszki jak znalazł :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa :parrrty:.
Lektura do poduszki, to wszystko co kompilator wywala na ekran podczas stodwudzestodziewiątego kompilowania Gromacs'a ;)
krzyszp, zabrzmiało jak hexologia autorstwa kompilatora ;). Nie długo będzie jej więcej niż samego kodu Gromacs'a :parrrty:.
Próba zrobienia z Gromacs'a (w wersji ze wsparciem dla GPU) aplikacji typu portable to jest coś, co robię zawsze wtedy, gdy mam za dobry humor... To potrafi doprowadzić na skraj nędzy i rozpaczy... ;)
Gromacs nie odprowadzi Ciebie na skraj nędzy i rozpaczy, ponieważ z punktu widzenia dynamiki molekularnej proces ten trudno zauważyć..., a tym samym zdaje się być naprawdę odległy XD.
Cytat: Argento w 26 Marzec 2017, 21:33
Gromacs nie odprowadzi Ciebie na skraj nędzy i rozpaczy, ponieważ z punktu widzenia dynamiki molekularnej proces ten trudno zauważyć..., a tym samym zdaje się być naprawdę odległy XD.
Z tego punktu widzenia równie trudno zauważyć moje konto oszczędnościowe ;)
Cytat: krzyszp w 26 Marzec 2017, 20:42
Cytat: Argento w 26 Marzec 2017, 19:22
goofyx, lektura do poduszki jak znalazł :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa :parrrty:.
Lektura do poduszki, to wszystko co kompilator wywala na ekran podczas stodwudzestodziewiątego kompilowania Gromacs'a ;)
będziesz miał co wnukom opowiadać...
"Wiesz co wnuczku, bo dziadziuś skompilował gromacsa w wersji mobilnej dla gpu" <- to brzmi dumnie :respect:
:respect: