BOINC@Poland

Projekty => Nieskategoryzowane => Enigma@home => Wątek zaczęty przez: TJM w 27 Lipiec 2007, 16:22

Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Lipiec 2007, 16:22
Czy ktokolwiek z was ma jakiekolwiek doświadczenie od strony 'serwerowej' jakiegoś projektu ? :->
Rozważam możliwość stworzenia małego, dość sensownego projektu, który potrwałby co najmniej kilka miesięcy. Jednak jak sobie popatrzyłem na tutoriale, wygląda na to, że stworzenie od zera jakiegoś projektu jest nieźle skomplikowane i chyba przerasta moje możliwości. Na dodatek podane gdzieś na oficjalnej stronie wymagania co do maszyny hostującej sam serwer projektu są jak dla mnie po prostu astronomiczne, aż się nie chce wierzyć, żeby tyle mocy było potrzebne.

Enigma na Wiki (http://www.boincatpoland.org/wiki/Enigma@home)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Simek w 27 Lipiec 2007, 17:42
Dużo, Ci nie pomogę, ale z tego co pamiętam NagrzewanieStali@Home stało na laptopku razem ze stronką. (nie była to żadna super maszyna, no ale były problemy ze stroną)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 27 Lipiec 2007, 17:53
generalnie grunt zeby miec szybkie lacze, malo uzytwkonikow, reszta jakos przejdzie...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 04 Sierpień 2007, 23:29
---------- 03:07 28.07.2007 ----------

Szybkie łącze odpada, bo mnie na to nie stać %-) Na szczęście nie mam w planach przesyłania dużej ilości danych. Samo wysyłanie danych, weryfikacja wyników itp to nic strasznego dla mojego sprzętu, 'projekt' od dawna działa, nic nawet nie jest dokładnie optymalizowane, np. niektóre (stałe) części work unitsów wysyłane są przy każdym kontakcie z serwerem, chociaż mogłyby być wysyłane tylko raz i przechowywane lokalnie. Bardziej martwi mnie sama strona projektu i forum (takie standardowe BOINCowe) - podejrzewam, że jedno wejście na stronę zechlałoby więcej transferu niż wysłanie i odebranie kilkuset work unitów. Ciekawe, czy da się jakoś oddzielić stronę/forum od samego serwera (forum chyba bez problemu, zawsze mogę gdzieś na komercyjnym serwie phpbb zainstalować).

Gdyby kogoś interesowało nad czym główkuję:

Tutaj http://linkownia.net/1267 [EDIT: musiałem 'skrócić adres, bo oryginalny ma spację i się kaszanił] można znaleźć sporo różnych tekstów zaszyfrowanych na Enigmie (głównie M3). Spora część już złamana, ale jeszcze dużo zostało nietkniętych. Część z nich na pewno da się rozszyfrować, kwestia poświęcenia odpowiedniej ilości czasu CPU. Dysponuję dwoma progsami które mogą łamać takich wiadomości, jeden można zapożyczyć z projektu M4 (o ile autor się zgodzi, ale nie wie czemu miałby się nie zgodzić, skoro jego program jest open source i źródła są dostępne), drugi napisałem sam, działa na podobnych zasadach ale nieco inaczej, dlatego jest dobrym uzupełnieniem tego pierwszego.
Dodatkowo, oprócz tekstów zaszyfrowanych na M3 (oraz tekstów z nieznanej maszyny, {są tam gdzieś na stronie} które też można by przetestować przy okazji) mógłbym 'zapożyczać' work unity z projektu M4, którego autor jakoś nie ma chęci przesiadać się na BOINCa (w ubiegłym roku tłumaczył to faktem, że została tylko jedna wiadomość do rozszyfrowania i nie wiadomo, czy jest sens - minął rok, a wiadomość dalej nie 'pękła'). Prosty wrapper dałby radę pobierać stamtąd work unity i rozpowszechniać dalej już jako BOINCowe, po czym po weryfikacji wyników zwracać je z powrotem do tamtego serwera. Tak więc jest co liczyć, przynajmniej na jakiś czas.

---------- 07:29 05.08.2007 ----------

Postudiowałem parę (dość nędznych tutoriali), popatrzyłem na te wszystkie źródła serwerowej części BOINCa... Kurcze jak dla mnie to wygląda po prostu odpychająco :/ Sam serwer wymaga masę 'śmieci' w systemie, na moim obecnym systemie bałbym się to odpalać ze względów bezpieczeństwa (pomijam to, że po 3 dniach kombinowania nawet nic nie dałem rady skompilować na moim OSie, ze względu na braki w bibliotekach itp pierdołach), więc musiałbym zmarnować na to jeszcze jedną maszynę...
Dla porównania, własny serwer stworzyłem od zera dosłownie w ciągu jednego długiego dnia (od rana do rana, na paru litrach kawy %-)), w tym czasie wykrzesałem kompletny system przydzielania zadań, odbierania i weryfikacji rezultatów + system zarządzania work unitami. Dnia starczyło jeszcze na napisanie na szybko 'na kolanie' programiku do komunikacji z serwerem i uruchamiania w tle właściwej aplikacji wykonującej obliczenia...

BOINC kusi dostępną mocą obliczeniową, nawet zgarniając niewielką liczbę userów (skakałbym do góry z radości już przy 100 userach) zawsze wpadnie sporo mocy przerobowej. Niestety jak pomyślę, ile trzeba roboty, żeby projekt uruchomić, to się trochę odechciewa %-) Postawienie serwera to dopiero początek, trzeba jeszcze przerobić progsy pod BOINCa (albo napisać jakiś wrapper), stworzyć stronkę projektu (najlepiej wielojęzyczną) i przetestować całość...

Orientuje się ktoś z was, czy projekt da się w ogóle potestować po cichu, tak, żeby w statystykach nie pojawiła się w ogóle żadna wzmianka o nim ? Kijowo by było, jakbym zaczął coś dłubać i gdzieśtam w statsach wyskoczyłby URL praktycznie niedziałającego projektu %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 05 Sierpień 2007, 00:04
znajac zycie, nawet bez eksportu statystyk znalazlo by sie okolo 150 entuzjastow ktorzy dolaczaja sie do doslownie kazdego projektu (prym wioda amerykanie niemcy czesi, troszke my), ktorzy chetnie potestuja bez wzgledu na bledy (aczkolwiek, mile widziane nie krzaczace sie probki i sprawiedliwe (a nawet b. korzystne) przydzielanie kredytow (z tymi wykrzaczacymi wlacznie))

zreszta... admin ma absolutna kontrole nad tym, ilu uzytkownikow stworzy konta w jego projekcie (chyba ze zaspi;) )
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Sierpień 2007, 20:24
Przebrnąłem przez instalację i (z grubsza) konfigurację serwera, o ile nie pojawią się jakieś komplikacje, to może za jakiś czas projekt ujrzy światło dzienne  8) Niestety prace posuwają się wolno do przodu, bo ilość kawy jaką da się wypić w ciągu jednej doby jest ograniczona i trzeba trochę spać  :lol:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: jaskij w 24 Sierpień 2007, 20:36
Co do rozdzielania strony od serwera BOINC: jak dla mnie jest to kwestia odpowiedniego skonfigurowania połączeń z bazą danych (typowo MySQL), co do hostingu, to gorąco polecam ovh.org (http://ovh.org) - 60 MB na serwerze, 4 MB na bazę,, żadnych reklam, ale nie używaj przemo(forum), bo Ci wywali CPU time limit exceeded (czy coś takiego).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Sierpień 2007, 20:42
4MB na bazę danych to raczej trochę mało.
Co z forum/stroną to się jeszcze zobaczy, najpierw muszę uruchomić do końca serwer i jakieś testowe aplikacje.

(http://kfd.no-ip.org/images/146_xuxsz_enigmaa.png)

Ciekawe kiedy 'łowcy projektów' wygoglują project-url %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 24 Sierpień 2007, 22:27
najpierw musi byc on indeksowany przez google i miec troche inna nazwe niz "test project"

;)

ale bedzie latwiej jak odrazu podasz adres;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Sierpień 2007, 23:19
Na to jeszcze przyjdzie pora  :lol:

Jak myślicie, będą jakieś problemy, jeśli sam serwer projektu będzie na niestandardowym porcie ? 80 mam już zajęty przez inną maszynę (mój główny serw http) i musiałbym ostro przykombinować, żeby oba serwery były osiągalne na tym samym porcie.

EDIT: postępów ciąg dalszy, BOINC ściąga już aplikację i jednostki do przeliczenia, ale coś jest nie teges, bo expiration ustawiony jest w przeszłość %-) Poza tym nie mam jeszcze validatora i podejrzewam, że prace nad nim mogą potrwać nawet kilka dni.  Czas pomału wymyślać nazwę projektu (Enigma@Home ?) 8)

(http://kfd.no-ip.org/images/159_1tu2b_postepowciagdalszy.png)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 28 Sierpień 2007, 18:13
Cytat: "TJM"Jak myślicie, będą jakieś problemy, jeśli sam serwer projektu będzie na niestandardowym porcie ? 80 mam już zajęty przez inną maszynę (mój główny serw http) i musiałbym ostro przykombinować, żeby oba serwery były osiągalne na tym samym porcie.

Z tego co wiem to niektóre strony ze statystykami mają problem z pobieraniem danych z innego portu niż 80 - ale przynajmniej ja osobiście innych przeciwskazań nie znam.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 28 Sierpień 2007, 18:21
Cytat: "TJM"Czas pomału wymyślać nazwę projektu (Enigma@Home ?) 8)

Może być :D
Widzę będziemy kontynuować kryptologiczne tradycje :P  
A tak w ogóle co tak wszyscy bez emocji przyjmują powstawanie polskiego projektu?
Rozumiem, żeby nie zapeszać :wink:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: czajmen w 28 Sierpień 2007, 18:58
dokladnie :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 28 Sierpień 2007, 19:34
statystyki mozna przerzucac na inny serwer przeciez (chociazby na wczesniej wspomniane ovh.org, a od biedy na statsy styknie nawet takie konto na republika.pl) jeski chodzi o deadline, to NS tez mialo taki problem (deadline na 1970rok)... recepta jest chyba dodanie do deadline'a ilosc sekund od 1970 jakie minelo...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 29 Sierpień 2007, 08:53
Właśnie, lepiej nie zapeszać, bo jeszcze trafi mi się problem nie do przeskoczenia, siedzę nad tym w pojedynkę po nocach, a na stronie napisane, że stawianie serwa przewidziane jest dla 3-osobowego teamu na miesiąc  :lol:

Co już mam:
skonfigurowany serwer BOINCa, z grubsza działający, testowałem na kilku testowych aplikacjach (uppercase i takie tam pierdoły) i na tej właściwej (wrapper + enigma).
Aplikacje - dostępne kody źródłowe dają się łatwo kompilować na linuchu i na windzie, pod windowsa mam exeki przygotowane pod większość procesorów (żadna tam super optymalizacja, po prostu włączenie odpowiednich flag w kompilatorze - ale i tak użycie odpowiedniego exeka daje czasami nawet 200% prędkości w porównaniu z zwykłym).
Z exekami pod linuxa może być problem, bo z tego co zauważyłem, nie są do końca przenośne. Na szczęście łatwo zrobić własny, wystarczy system gdzie działa kompilator, cała kompilacja wprowadza się do wpisania make...

Brakuje nadal validatora, prace trwają ale na razie posuwają się do przodu bardzo powoli, bo po drodze musiałem jeszcze skrobnąć wrapper do projektu M4, skąd mam zamiar brać work unity. Wrapper na szczęście nie był zbyt skomplikowany i aktualnie jest w fazie testów.

Zastanawiałem się też trochę nad sposobem przydziału punktów za zadania - wychodzi na to, że przy takiej różnicy prędkości, jakie osiągają niektóre zoptymalizowane exeki na odpowiednich procesorach (w porównaniu do 'gołej' aplikacji), bez sensu byłoby polegać na pomiarze czasu procesora i benchmarkach BOINCa, bo byłoby to po prostu nieuczciwe. Dlatego zadania najprawdopodobniej będą miały punkty przypisane na stałe, zależnie od długości. Na starym serwie tak mam właśnie zrobione i działało nieźle.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AdNet w 29 Sierpień 2007, 10:11
---------- 09:10 29.08.2007 ----------

Czy Ty dostałes wczoraj moją wiadomość na PW wogóle ?
Napisałem Ci tam, że moge spróbować pomóc, choć mało co wiem o tworzeniu projektu (nic prócz tego wątku)
ale wiesz.. jak mi powiesz co i jak to zawsze 1 osoba więcej do pracy :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 29 Sierpień 2007, 13:26
Cytat: "TJM"
Zastanawiałem się też trochę nad sposobem przydziału punktów za zadania - wychodzi na to, że przy takiej różnicy prędkości, jakie osiągają niektóre zoptymalizowane exeki na odpowiednich procesorach (w porównaniu do 'gołej' aplikacji), bez sensu byłoby polegać na pomiarze czasu procesora i benchmarkach BOINCa, bo byłoby to po prostu nieuczciwe. Dlatego zadania najprawdopodobniej będą miały punkty przypisane na stałe, zależnie od długości. Na starym serwie tak mam właśnie zrobione i działało nieźle.


ja bym na twoim miejscu nie bawil sie w optymalizacje... co to bedzie za radosc jesli wszystko skonczysz w tydzien albo miesiac... jak juz sie meczysz z tym, to daj nam troche radosci przez pol roku... poza tym.. uzytkownicy linuksa sa przyzwyczajeni chyba do dostawania zanizonej ilosci punktow. zrob tylko checkpointy, a jesli nie, to przydzielanie punktow blednym jednostka, to wszyscy beda zadowoleni. mozesz rozpatrzyc stala ilosc punktow, ale ta wartosc ustaw tak, zeby nikt nie byl stratny...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 29 Sierpień 2007, 15:49
Checkpointy są wystarczająco dobre w w oryginalnym progsie, całość jest tak pomyślana, że startuje z pliku z danymi który podczas pracy uzupełnia. Dzięki temu tak samo odpala się świeży work unit jak i restartuje już zaczęty. Można nawet uruchomić już przeliczony work unit i wtedy progs od razu go odsyła, więc nie ma mowy, żeby powstały jakieś błędy. Checkpointy robią się regularnie co parę minut i do tego co niezależnie przy kolejnych etapach obliczeń, więc w razie czego dużo czasu przeliczania się nie traci.
Gorzej z tym, że w wersji z wrapperem (a na początku jedynie taka wchodzi w grę, bo dorabianie BOINC-api do gotowej aplikacji może zająć trochę czasu) może nie działać pokazywanie postępów obliczeń... Nie wiem jeszcze dokładnie jak to działa, być może BOINC sam da radę jakoś obliczać postępy na podstawie podanych dla każdego zadania danych o spodziewanym użyciu proca (w takim wypadku pewnie obliczenia pi razy drzwi i nagły przeskok z 80% na 100 albo długie przesiadywanie na 99% %-)). Najwyżej coś się pomyśli w tej kwestii, dopisanie do oryginalnego wrappera czegoś do przeglądania pliku z checkpointem i wnioskowania o postępach nie powinno być zbyt trudne.

Ciekawą rzeczą w tym projekcie (o ile ruszy %-)) będą wymagania sprzętowe - goły, nie optymalizowany klient rusza bez problemu na Pentium bez MMX, K5, Cyrixach itp. Powinien ruszyć nawet na 486... Sam progs wymaga około 400-900kB pamięci, wrapper powiedzmy drugie tyle i dochodzą jeszcze wymagania samego BOINCa - tak więc praktycznie na każdym kompie, na którym da się uruchomić windowsa/linucha powinno ruszyć bez problemu.

Zadania da się bezproblemowo skracać i wydłużać, można np. dopasowywać do aktualnej wydajności sieci, wydłużająć je kiedy serw zaczyna się zapychać i skracając kiedy pracuje niewielka liczba kompów. Standardowe zadanie wzięte z projektu M4 trwa około 4h na Athlonie 1400 przy użyciu odpowiedniego exeka.

Zaniżać wydajności sieci przez brak optymalizacji nie ma sensu, bo z tego co widzę jest co przeliczać, chyba, że nagle ktoś połamie wszystkie zaległe wiadomości, których trochę jeszcze zostało.
Optymalizacje samym kompilatorem są nawet nienajgorsze, przykładowo na Athlonie TB 1400 czas benchmarkowego testu skraca się z 84 do 62s po zastosowaniu exeka od Athlona XP. Dla innych procesorów różnie to jest, ale nawet w najgorszych przypadkach zysk prędkości sięga co najmniej 15%, najwięcej zyskują chyba P4 i celerony na nich oparte.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 29 Sierpień 2007, 20:30
planujesz robic optymalizacje jedna na wszystkie procesory, czy planujesz wysylac rozne aplikacje na rozne procki (w sensie, roznica optymalki na SSE do athlona XP i SSE2 do semprona?)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AdNet w 29 Sierpień 2007, 22:10
---------- 19:41 29.08.2007 ----------

poszperałem trochę w internecie i znalazłem ten twój program
ściągnołem, do katalogu głownego przegrałem pliki exe z Core2 - taki mam procesor.

Pierwszy WU sie ściąnoł, przeliczył, odesłał a potem juz był problem

29-08 19:00 *** Nazwa użytkownika: Anonim
29-08 19:00 *** Synchronizuję słowniki...
29-08 19:00 *** Zasysam bidict - 1941
29-08 19:00 *** Zasysam tridict - 1941
29-08 19:00 *** Zasysam bidict - Naval
29-08 19:00 *** Zasysam tridict - Naval
29-08 19:00 *** Pobieram Work Unit...
29-08 19:00 *** Pobieram Ciphertext...
29-08 19:00 *** Enigma pid:3728 WU:83681 działa w tle.
29-08 19:01 *** Nazwa użytkownika: AdNEt, Boinc@Poland Team
29-08 19:01 *** Synchronizuję słowniki...
29-08 19:01 *** Wznawiam przerwane obliczenia
29-08 19:01 *** Enigma pid:2824 WU:83681 działa w tle.

do tego czasu all ok

29-08 19:34 *** Odsylam wyniki...
29-08 19:34 *** Pobieram Work Unit...
[Error: Niewłaściwy format pliku]
29-08 19:34 *** Nazwa użytkownika: AdNEt, Boinc@Poland Team
29-08 19:34 *** Synchronizuję słowniki...
29-08 19:34 *** Pobieram Work Unit...
[Error: Niewłaściwy format pliku]
29-08 19:35 *** Nazwa użytkownika: AdNEt, Boinc@Poland Team
29-08 19:35 *** Synchronizuję słowniki...
29-08 19:35 *** Pobieram Work Unit...
[Error: Niewłaściwy format pliku]
29-08 19:37 *** Nazwa użytkownika: AdNEt, Boinc@Poland Team
29-08 19:37 *** Synchronizuję słowniki...
29-08 19:37 *** Pobieram Work Unit...



Co jest grane, że nie moge pobrac kolejnego WU ?

---------- 21:10 ----------

Update:
ściągnołem raz jeszcze, odpaliłem zmieniłem nic na taki który nie ma przecinka
i jak na razie działa OK

co więcej, nawet z podmianą .exe na C2D

Tylko tak jakos dziwnie sie zachowuje sam program, liczy 1 próbkę w około minute ?!


29-08 21:10 *** Enigma pid:2908 WU:81435 działa w tle.
29-08 21:10 *** Pobieram Work Unit...
29-08 21:10 *** Serwer przyznał 28 punktów.
29-08 21:10 *** Odsylam wyniki...
29-08 21:09 *** Enigma pid:2648 WU:81432 działa w tle.
29-08 21:09 *** Pobieram Work Unit...
29-08 21:09 *** Serwer przyznał 28 punktów.
29-08 21:09 *** Odsylam wyniki...
29-08 21:08 *** Enigma pid:2268 WU:81430 działa w tle.
29-08 21:08 *** Pobieram Work Unit...
29-08 21:08 *** Serwer przyznał 28 punktów.
29-08 21:08 *** Odsylam wyniki...
29-08 21:07 *** Enigma pid:1768 WU:81429 działa w tle.
29-08 21:07 *** Pobieram Work Unit...
29-08 21:07 *** Serwer przyznał 28 punktów.
29-08 21:07 *** Odsylam wyniki...
29-08 21:06 *** Enigma pid:3704 WU:81428 działa w tle.
29-08 21:06 *** Pobieram Work Unit...
29-08 21:06 *** Serwer przyznał 28 punktów.
29-08 21:06 *** Odsylam wyniki...
29-08 21:05 *** Enigma pid:3468 WU:81426 działa w tle.
29-08 21:05 *** Pobieram Work Unit...
29-08 21:05 *** Serwer przyznał 28 punktów.
29-08 21:05 *** Odsylam wyniki...
29-08 21:05 *** Enigma pid:3780 WU:81424 działa w tle.
29-08 21:05 *** Pobieram Work Unit...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 31 Sierpień 2007, 21:14
---------- 08:30 30.08.2007 ----------

To normalne, te krótkie zadania to była część stress-testu sieci - około 30 kompów z takimi zadaniami symulowało napór co najmniej 2000-3000 maszyn średniej klasy. Test dawno się zakończył, ale testowy serwer ma jeszcze trochę takich zadań w zanadrzu i latają sobie w sieci razem z testem wrappera.
Normalne są dużo dłuższe, licząc po punktach statystyk przydzielanych przez serwer 1274/28 = wychodzi, że przeciętne zadanie trwa 45 razy dłużej.

Sama aplikacja (ten skrypt w wersji 0.5a) jest w sumie napisana na kolanie, ale zazwyczaj mimo to działa bardzo stabilnie w typowych sytuacjach. To testy wrappera potrafią jakoś zdestabilizować progsa  :D Ten śmieszny kliencik korzysta teraz z tego samego zaplecza, co BOINCowy serwer (ta sama baza, te same zadania, jedynie inny 'interfejs' serwera), dlatego używam go do alpha-testów całego podsystemu pobierania zadań z serwera M4 projektu i odsyłania wyników. Niewykluczone, że w bazie są jakieś zadania, na których ten klient może się zacinać.

Testowałem dziś trochę niestandardowy sposób dodawania nowych zadań - zamiast zamieszania z plikami można operować bezpośrednio na bazie, dla projektu który nie używa zbyt wielu plików jest to dużo wygodniejsze, łatwo tworzyć 'hurtowe' ilości zadań.

(http://kfd.no-ip.org/images/172_yepjl_lamanieenigmy.png)

W ten sam sposób mam zamiar zbudować assimilatora i validatora - obydwie te funkcje da się wcisnąć do niezbyt skomplikowanego skryptu (w przypadku tego projektu). Jednak żeby to zrobić, muszę postudiować trochę strukturę bazy danych i sprawdzić czy serwer pozwoli modyfikować dane bezpośrednio 'na zapleczu' w przypadku tabel z resultsami i zadaniami. Może ktoś widział gdzieś jakiś dokładniejszy opis całej struktury bazy ?

---------- 05:14 01.09.2007 ----------

Gdyby ktoś chciał 'zaznaczyć swoją obecność' i ewentualnie zaklepać sobie UserID o niskim numerku, jutro może będzie okazja; oczyściłem trochę defaultową stronę projektu ze zbędnych linków, jeszcze tylko wypadałoby trochę teksty uzupełnić (kto ma englisza na wysokim poziomie i trochę czasu ?  :lol:) i można by trochę przetestować działanie serwera np. uppercasem :lol:
Statsów jednak nie wyeksportuję póki główna aplikacja i jej wrapper/validator nie będą dokładnie przetestowane, bo nie chcę robić ogólnoświatowej chały :D
Dla osób, które bawią sie klientem od mojego starego serwera, być może przepiszę statsy po starcie projektu, kwestia przeliczenia punktów z starego serwera na nowy - zakładając, że da się ręcznie w bazie podłubać przy statystykach.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 31 Sierpień 2007, 21:28
Cytat: "TJM"
Gdyby ktoś chciał 'zaznaczyć swoją obecność' i ewentualnie zaklepać sobie UserID o niskim numerku, jutro może będzie okazja; oczyściłem trochę defaultową stronę projektu ze zbędnych linków, jeszcze tylko wypadałoby trochę teksty uzupełnić (kto ma englisza na wysokim poziomie i trochę czasu ?  :lol:) i można by trochę przetestować działanie serwera np. uppercasem :lol:
Statsów jednak nie wyeksportuję póki główna aplikacja i jej wrapper/validator nie będą dokładnie przetestowane, bo nie chcę robić ogólnoświatowej chały :D
Dla osób, które bawią sie klientem od mojego starego serwera, być może przepiszę statsy po starcie projektu, kwestia przeliczenia punktów z starego serwera na nowy - zakładając, że da się ręcznie w bazie podłubać przy statystykach.


no ja znam angielski na poziomie wyzej srednim (znaczy ze sie dogaduje w swiecie boinca) i mam troche czasu (ostatni weekend wakacji :( ) niski numerek to ja poprosze ;)

z tego co patrzalem na te statystyki z tego co masz zrobione teraz, to zeby na moim kompie chodzilo dobrze, to powinines podzielisc punkty przez 90-95...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 31 Sierpień 2007, 22:15
Jak zwykle jak coś ciekawego się dzieje to mnie w domu nie będzie :cry:
Ja też chcę niski numerek!
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 31 Sierpień 2007, 22:44
Cytat: "AL"Jak zwykle jak coś ciekawego się dzieje to mnie w domu nie będzie :cry:
Ja też chcę niski numerek!

to ci zarezerwuje jak bedziesz chcial ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 31 Sierpień 2007, 22:50
Cytat: "bartsob5"
Cytat: "AL"Jak zwykle jak coś ciekawego się dzieje to mnie w domu nie będzie :cry:
Ja też chcę niski numerek!

to ci zarezerwuje jak bedziesz chcial ;)
No pewno, że chce - patrz pw.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AdNet w 31 Sierpień 2007, 23:43
a jakie namiary będa na Project URL ?

przydało by się to wiedzieć nie :p
no i godzina startu też,żeby można było trafić w 1) miejsce
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 31 Sierpień 2007, 23:44
i ja i ja :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 31 Sierpień 2007, 23:47
Nie zapominajcie o mnie. Pomóc też mogę, ale po niedzieli  :P
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 01 Wrzesień 2007, 20:20
Trochę się opóźni, miałem dziś mase roboty i dopiero na dobre do kompa usiadłem. Zmiany na stronie zostawię na później (albo na jutro), bo bez tego reszta działa, wygeneruję trochę nowych zadań i przekompiluję uppercase, żeby 'obliczenia' trwały trochę dłużej (standardowo koło 10s na zadanie). Myślę, że powinienem zmieścić się w 2 godzinach, czyli okolice 22-giej to najbardziej prawdopodobny czas rozpoczęcia testu, chyba, że coś się zmieni. Z grubsza wiem, że jako tako działa bo sam 'przeliczyłem' już parę tysięcy WU, ale np. jeden komp z 6-ciu nie chciał mi się przyłączyć do projektu i nie mam zielonego pojęcia czemu...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 01 Wrzesień 2007, 20:30
to tylko jeszcze zarzuc linkiem do projektu;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 01 Wrzesień 2007, 20:42
I będziem działać i testować :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 01 Wrzesień 2007, 21:58
2 minuty przed czasem (według mojego zegarka)

http://enigma.no-ip.net:443/enigma/
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 01 Wrzesień 2007, 22:03
CytatAccount number
Used in URLs   3
:D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 01 Wrzesień 2007, 22:03
konto z numerem 2 założone - pierwsze jednostki pobrane
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 01 Wrzesień 2007, 22:07
Zwróćcie uwagę, czy niektóre zadania nie kończą się z błędem przekroczenia maksymalnego dopuszczalnego czasu procesora... Za pierwszym razem wpisałem astronomiczną, jak mi się wydawało liczbę z wieloma zerami i wyskakiwał ten błąd już przy 10 sekundach  8O Teraz wpisana liczba jest '100 razy astronomiczniejsza' co w założeniu powinno pozwalać na max 1000 sekund czasu proca.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 01 Wrzesień 2007, 22:09
No to liczymy!
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 01 Wrzesień 2007, 22:12
zauważyłem, że jak próbka zaczyna się przeliczać, to jej postęp wskakuje od razu na 50%
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 01 Wrzesień 2007, 22:19
a ja poczekam na udostępnienie w projekcie aplikacji pod Linuksa
enigma-suite-0.76 (http://www.bytereef.org/enigma-suite.html) :wink:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: cezar w 01 Wrzesień 2007, 22:45
Konto nr 5 założone i aktywne. Może jakieś info na stronie głownej o projekcie :?:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: ka_ga w 01 Wrzesień 2007, 22:53
no to już wiem kto mi sprzątnął moją szczęśliwą 5  :D  ale szóstka też nie jest zła :P

TJM, może napiszesz co przedstawia wygaszacz bo mi to przypomina przewrócony pionek do gry  :wink:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 01 Wrzesień 2007, 22:58
Zanim skończę prace nad brakującymi częściami jeszcze zapewne minie sporo czasu, gdybym widział, że to tyle roboty, to bym nie zaczynał  :)
Enigma elegancko kompiluje się pod linuksem, podobnie jak i boincowe przykładowe aplikacje, ale sęk w tym, że exeki skompilowane na moich linuksach niekoniecznie muszą działać na innych :/ Np. teraz dodałem do apps uppercase skompilowany na najnowszym debianie, wszystko ładnie wygląda ale już np. na nieco starszym systemie nie rusza.
Wychodzi na to, że użytkownicy linuksa powinni sami sobie kompilować aplikacje na własnym systemie :lol:
Na razie nie będę sobie tym głowy zawracał, jak dokończę serwer, to na pewno znajdzie się ktoś, kto pomoże przygotować jakiś uniwersalny exek który ruszy na większości linuksów + instrukcje jak zrobić własny i podmienić.

Co przedstawia wygaszacz nie mam pojęcia, to defaultowa aplikacja z zestawu dołączonych do BOINCa więc może tam gdzieś będzie pisać. Nawet nie wiedziałem, że ma jakiś tryb graficzny i bym się nie dowiedział gdyby nie ten post  :lol:

EDIT: orientujecie się, czy któreś z 'mniej zasobożernych' projektów są pod linuksa ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Tomislaw w 01 Wrzesień 2007, 23:17
Pobrałem i zostałem UotDejem
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 01 Wrzesień 2007, 23:22
Enigma  - > upperCASE 5.11 pod Linuksa - poszedł bez problemu
CytatEDIT: orientujecie się, czy któreś z 'mniej zasobożernych' projektów są pod linuksa ?
'mniej zasobożernych' = ??? (RAM, łącze,..)
np teraz liczę SIMAP:
jednostka SIMAP RAM = 20 MB, łącze = 2 MB jednostka
jednostka HMMER RAM = 30 MB, łącze = 5 MB jednostka
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Tomislaw w 01 Wrzesień 2007, 23:32
---------- 07:22 02.09.2007 ----------

Unity jeszcze nie zaczęły się liczyć, ale czas przeliczania próbek wskazuje 00:00:00  :?

---------- 07:32 ----------

Już pierwsze próbki odesłane. Czas przeliczania ok. 1,5 min
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 01 Wrzesień 2007, 23:33
Cytat: "TJM"... Np. teraz dodałem do apps uppercase skompilowany na najnowszym debianie, wszystko ładnie wygląda ale już np. na nieco starszym systemie nie rusza.
Wychodzi na to, że użytkownicy linuksa powinni sami sobie kompilować aplikacje na własnym systemie ...
ldd może pomoże
przykład
Cytat[localhost enigma.no-ip.net_443_enigma]$ ldd uppercase_5.11_i686-pc-linux-gnu
       linux-gate.so.1 =>  (0xffffe000)
       libssl.so.0.9.8 => /usr/lib/libssl.so.0.9.8 (0xf7f68000)
       libcrypto.so.0.9.8 => /usr/lib/libcrypto.so.0.9.8 (0xf7e05000)
       libdl.so.2 => /lib/libdl.so.2 (0xf7e01000)
       libnsl.so.1 => /lib/libnsl.so.1 (0xf7deb000)
       libz.so.1 => /lib/libz.so.1 (0xf7dd7000)
       libpthread.so.0 => /lib/libpthread.so.0 (0xf7dc3000)
       libstdc++.so.6 => /usr/lib/libstdc++.so.6 (0xf7cdf000)
       libm.so.6 => /lib/libm.so.6 (0xf7cb8000)
       libc.so.6 => /lib/libc.so.6 (0xf7b89000)
       libgcc_s.so.1 => /lib/libgcc_s.so.1 (0xf7b7e000)
- widzimy jakich bibliotek używa (wymaga) aplikacja i w jakiej wersji
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 01 Wrzesień 2007, 23:47
Wiedziałem, że o czymś zapomniałem - work unit template nie ma podanego szacowanego czasu procesora, dlatego klient nie pokazuje czasu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: cezar w 02 Wrzesień 2007, 00:12
Nie od razu RZYM zbudowano   :wink:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AdNet w 02 Wrzesień 2007, 01:44
---------- 00:28 02.09.2007 ----------

Ja po prostu kurde wiedziałem, że Wy mi to zrobicie jak będę dziś na noc w pracy ....
a specjalnie caly dzień czekałem na otwarcie tego projektu !!

No ale coś sie tam zaczyna pobierać
No ale nie jest tak źle, załapałem sie na pierwszą 10-tkę :)


A kiedy w planach będzie doliczenie punktów ze statystyk, które powstały przy użyciu projektu enigma 0.5 ?

---------- 00:44 ----------

PS. To ja sie zgłaszam na ochotnika, jeśli padnie pytanie - "czy ktoś ma ochotę zająć sie stroną główną projektu Enigma?"
Tak Ja :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 02 Wrzesień 2007, 09:35
czy skończyły się jednostki? bo przestało mi pobierać
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Wrzesień 2007, 11:14
Wszystkich było 10,000 i z tego co widzę, zostały jeszcze 3k. Z tym, że ustawiłem limit 100*liczba rdzeni na dobę dla hosta, więc to może być przyczyną Nawiasem mówiąc, dziwnie ten limt działa, czasami 'rozpędem' udaje się łyknąć nawet 150.
Dodam później trochę poprawionych zadań, z ustawionym przewidywanym czasem - z tego co widzę, chyba można go brać z bazy, z tych już przeliczonych. Zadania muszą mieć jakiś czas ustawiony, inaczej pierwszy host który się podłączy, oblicza sobie, że da radę przetworzyć kilka tysięcy na dobę, po czym pobiera tyle i BOINC manager się zapycha  :D

Z tymi statsami z starego klienta coś wkrótce pomyślę, muszę jakoś proporcjonalnie przeliczyć to co jest w bazie, żeby pasowało pod BOINCowe statsy, a później przestawić serwer tak, żeby od razu obliczał w BOINCowych jednostkach.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Simek w 02 Wrzesień 2007, 15:05
Gratuluje uruchomienia projektu! ;)

Tez już liczę jakieś jednostki ;P
Chętnie mogę pomóc w upiększeniu i stworzeniu bardziej unikalanego wyglądu... :P (CSS, grafika, co chcesz xD)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 02 Wrzesień 2007, 15:52
co sie dzieje z upload/download server   Ravager ?????

mam chyba z 80 probek do odeslania!
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Simek w 02 Wrzesień 2007, 15:53
Mi nie chciało odsyłać ale ręcznie zaktualizowałem projekt i pomogło... Ale zauważyłem, że max. 2 próbki na raz odsyła...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: kempler w 02 Wrzesień 2007, 15:54
Ja dopiero co się przyłączyłem do projektu i u mnie wszystko ładnie śmiga, jednostki się ładnie odsyłają.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Wrzesień 2007, 16:05
Strona to najmniejszy problem i na razie nie ma co jej ruszać raczej, przynajmniej dopóki reszta nie będzie skończona. Chociaż jakieś logo na górze ładnie by wyglądało %-)

Dłubię przy ostatecznej wersji aplikacji, podejrzewam, że jeszcze trochę to potrwa, zależnie ile czasu w tym tygodniu będę mógł na to przeznaczyć. Podejrzewam, że na pewnym etapie będę musiał przyblokować dostęp do serwera od strony netu, żeby wasze klienty nie pościągały jakichś niedorobionych wersji enigmy; nie można wykluczyć sytuacji w której niedokończony klient przyblokuje całego managera :D

Edit: serwer raczej działa, przynajmniej jeszcze przed chwilą tak było.
Zadania czasami nie są odsyłane automatycznie, bo w momencie kiedy klient dostaje komunikat od serwera, że wyczerpał limit zadań, ustawia czas następnej komunikacji z serwerem dość daleko (z tego co widzę w logu 5-7 godzin).

Cytat2007-09-02 16:07:12|enigma|Requesting 17280 seconds of new work
2007-09-02 16:07:17|enigma|Scheduler RPC succeeded [server version 511]
2007-09-02 16:07:17|enigma|Message from server: No work sent
2007-09-02 16:07:17|enigma|Message from server: (reached daily quota of 100 results)
2007-09-02 16:07:17|enigma|Deferring communication for 7 hr 58 min 42 sec
2007-09-02 16:07:17|enigma|Reason: requested by project

Dla ostatecznej wersji aplikacji nie będzie raczej takich 'problemów', bo przy standardowej długości zadań niewiele znajdzie się hostów, które dadzą radę przeliczyć więcej niż 30 dziennie, a limit planuję ustawić na 50.

Jeśli coś się nie pobiera/nie odsyła, wklejajcie logi, łatwiej będzie wypatrzeć co jest nie teges.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 02 Wrzesień 2007, 17:00
Cytat: "TJM"Edit: serwer raczej działa, przynajmniej jeszcze przed chwilą tak było.
Zadania czasami nie są odsyłane automatycznie, bo w momencie kiedy klient dostaje komunikat od serwera, że wyczerpał limit zadań, ustawia czas następnej komunikacji z serwerem dość daleko (z tego co widzę w logu 5-7 godzin).

Cytat2007-09-02 16:07:12|enigma|Requesting 17280 seconds of new work
2007-09-02 16:07:17|enigma|Scheduler RPC succeeded [server version 511]
2007-09-02 16:07:17|enigma|Message from server: No work sent
2007-09-02 16:07:17|enigma|Message from server: (reached daily quota of 100 results)
2007-09-02 16:07:17|enigma|Deferring communication for 7 hr 58 min 42 sec
2007-09-02 16:07:17|enigma|Reason: requested by project

Dla ostatecznej wersji aplikacji nie będzie raczej takich 'problemów', bo przy standardowej długości zadań niewiele znajdzie się hostów, które dadzą radę przeliczyć więcej niż 30 dziennie, a limit planuję ustawić na 50.

Jeśli coś się nie pobiera/nie odsyła, wklejajcie logi, łatwiej będzie wypatrzeć co jest nie teges.

ja odswiezam odsylanie i projekt co chwile, wiec to nie jest kwestia czasu do nastepnej aktualizacji...

probka moich logow:

Cytat
2007-09-02 16:59:53|enigma|[file_xfer] Temporarily failed upload of test_1_3801_0_1: system connect
2007-09-02 16:59:53|enigma|Backing off 1 hr 28 min 32 sec on upload of file test_1_3801_0_1
2007-09-02 16:59:53||[file_xfer_debug] PERS_FILE_XFER::poll(): file transfer status -107
2007-09-02 16:59:53|enigma|[file_xfer] Temporarily failed upload of test_1_4073_0_1: system connect
2007-09-02 16:59:53|enigma|Backing off 40 min 19 sec on upload of file test_1_4073_0_1
2007-09-02 16:59:53|enigma|[file_xfer] Started upload of file test_1_4074_0_1
2007-09-02 16:59:53||[file_xfer_debug] PERS_FILE_XFER::start_xfer(): URL: http://enigma.no-ip.net:443/enigma_cgi/file_upload_handler
2007-09-02 16:59:53|enigma|[file_xfer] Started upload of file test_1_4075_0_1
2007-09-02 16:59:53||[file_xfer_debug] PERS_FILE_XFER::start_xfer(): URL: http://enigma.no-ip.net:443/enigma_cgi/file_upload_handler
2007-09-02 16:59:53||[http_xfer_debug] HTTP: wrote 1095 bytes
2007-09-02 16:59:53||[http_xfer_debug] HTTP: wrote 1428 bytes
2007-09-02 16:59:53||[http_xfer_debug] HTTP: wrote 791 bytes
2007-09-02 16:59:54||Access to reference site succeeded - project servers may be temporarily down.
2007-09-02 17:00:02|QMC@HOME|[mem_usage_debug] last_bench15_jsch2005s22.1364_0: RAM 79.70MB, page 220.88MB, 0.00 page faults/sec, user CPU 723.172, kernel CPU 0.797
2007-09-02 17:00:12|QMC@HOME|[mem_usage_debug] last_bench15_jsch2005s22.1364_0: RAM 79.70MB, page 220.88MB, 0.00 page faults/sec, user CPU 730.438, kernel CPU 0.813
2007-09-02 17:00:14||[cpu_sched_debug] enforce_schedule(): start
2007-09-02 17:00:14|Einstein@Home|[cpu_sched_debug] want to run: h1_0530.85_S5R2__326_S5R2c_1
2007-09-02 17:00:14||[mem_usage_debug] enforce: available RAM 818.78MB
2007-09-02 17:00:14|Einstein@Home|[cpu_sched_debug] processing h1_0530.85_S5R2__326_S5R2c_1
2007-09-02 17:00:14|Einstein@Home|[cpu_sched_debug] didn't preempt last_bench15_jsch2005s22.1364_0: tr 2200.406250 tsc 242.750000
2007-09-02 17:00:14||[cpu_sched_debug] finished preempt loop, nrunning 1
2007-09-02 17:00:14|Einstein@Home|[cpu_sched_debug] h1_0530.85_S5R2__326_S5R2c_1 sched state 1 next 1 task state 0
2007-09-02 17:00:14|QMC@HOME|[cpu_sched_debug] last_bench15_jsch2005s22.1364_0 sched state 2 next 2 task state 1
2007-09-02 17:00:14|boincsimap|[cpu_sched_debug] 7090103.019932_0 sched state 1 next 1 task state 9
2007-09-02 17:00:14||[cpu_sched_debug] enforce_schedule: end
2007-09-02 17:00:15||Project communication failed: attempting access to reference site
2007-09-02 17:00:15||[file_xfer_debug] FILE_XFER_SET::poll(): http op done; retval -107
2007-09-02 17:00:15||[file_xfer_debug] FILE_XFER_SET::poll(): http op done; retval -107
2007-09-02 17:00:15||[file_xfer_debug] PERS_FILE_XFER::poll(): file transfer status -107
2007-09-02 17:00:15|enigma|[file_xfer] Temporarily failed upload of test_1_4074_0_1: system connect
2007-09-02 17:00:15|enigma|Backing off 10 min 30 sec on upload of file test_1_4074_0_1
2007-09-02 17:00:15||[file_xfer_debug] PERS_FILE_XFER::poll(): file transfer status -107
2007-09-02 17:00:15|enigma|[file_xfer] Temporarily failed upload of test_1_4075_0_1: system connect
2007-09-02 17:00:15|enigma|Backing off 2 hr 48 min 49 sec on upload of file test_1_4075_0_1
2007-09-02 17:00:15|enigma|[file_xfer] Started upload of file test_1_4076_0_1
2007-09-02 17:00:15||[file_xfer_debug] PERS_FILE_XFER::start_xfer(): URL: http://enigma.no-ip.net:443/enigma_cgi/file_upload_handler
2007-09-02 17:00:15|enigma|[file_xfer] Started upload of file test_1_4077_0_1
2007-09-02 17:00:15||[file_xfer_debug] PERS_FILE_XFER::start_xfer(): URL: http://enigma.no-ip.net:443/enigma_cgi/file_upload_handler
2007-09-02 17:00:16||[http_xfer_debug] HTTP: wrote 1095 bytes
2007-09-02 17:00:16||[http_xfer_debug] HTTP: wrote 1428 bytes
2007-09-02 17:00:16||[http_xfer_debug] HTTP: wrote 791 bytes
2007-09-02 17:00:16||Access to reference site succeeded - project servers may be temporarily down.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Simek w 02 Wrzesień 2007, 17:03
Co do loga ciężko zrobić logo do strony która nie ma lay'a ;P
Nawet nie mam pojęcia jakiego rozmiaru ma być i jakichch kolorów użyć xD

Takie bezosobowe logo ;) Biało-czarne... Nic nadzwyczajnego ;) Chodziło o to, żeby nie było proste w wyglądzie, trochę trudne do odczytania, ale czytelne ;)
(http://img130.imageshack.us/img130/9343/logopn5.png)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 02 Wrzesień 2007, 17:11
bartsob5 - miałem podobny problem (EDIT - boinc nie odsyłał wyników)  - pomogło wyłączenie i ponowne włączenie BOINC'a
teraz nadrabiam straty, zostawiliście mnie na szarym końcu :wink:
EDIT: widzę,że coś pomogło  8)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 02 Wrzesień 2007, 17:18
Cytat: "RAD-Poland"bartsob5 - miałem podobny problem (EDIT - boinc nie odsyłał wyników)  - pomogło wyłączenie i ponowne włączenie BOINC'a
teraz nadrabiam straty, zostawiliście mnie na szarym końcu :wink:
EDIT: widzę,że coś pomogło  8)


rzeczywiscie zadzialalo... kiedy byly te czasy co wykorzystywalem najprosztsze metody?:|
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Wrzesień 2007, 17:20
Mhm kombinowałem z przeliczaniem punktów z starej wersji na nową, według tego co pokazuje klient BOINCa dzielnik wychodzi nie 80-90 tylko 240-250 %-) 150 punktów = 0.60498 w przeliczeniu na BOINCowe jednostki. Wychodzi nieco mniej niż 7 punktów na godzinę dla Athlona 1400. Jak to wygląda na tle innych projektów ?
Ostateczny przelicznik jeszcze się może zmienić, bo wciąż nad tym pracuję. Punkty za zadania ze starego serwera można dodawać bez problemu do bazy BOINCa, ale raczej nie w czasie rzeczywistym, tylko np. skryptem raz dziennie.

Ze stroną za bardzo szaleć nie można, bo jak nietrudno zauważyć, serwer stoi na neo i dysponuje uploadem rzędu 32kB/s (+ kompresja w locie). Dla samego projektu to nie problem bo przesyłane ilości danych są znikome (poniżej 0,5kB na zadanie), ale np. forum koniecznie musi znaleźć się na innym serwie, a strona musi być 'odchudzona' %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 02 Wrzesień 2007, 17:43
ale liczysz to dla probek optymalizowanych czy standartowych?

ja liczylem probke 65 minut i dostalem za nia 1274 pkt...
czyli wychodzi 1176 pkt/h
na projekcie boinc zgodnie z benchmarkami (klient 5.10.8 ) powinienem dostawac 13,16pkt/h
czyli 90,5 raza mniej...

standartowa aplikacja, sempron 3100+ @2,25GHz...

a wg twojego rozumowania 150 = 0,605 wychodzi mi 5,1383pkt/h a nie 7...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Wrzesień 2007, 17:57
To jest dla gołej aplikacji, wiadomo że zoptymalizowane dadzą lepsze wyniki i o to właśnie chodzi.
Jak zmierzyłeś te 65 minut ? Ja liczę według czasu procesora potrzebnego na zadanie, zawsze wychodzi sporo mniej od normalnego upływu czasu, nawet kiedy nic innego w tym czasie nie działało. Zrobiłem na tę okazję specjalną wersję enigmy, kiedy skończy obliczać zatrzymuje się a nie wyłącza, dzięki czemu faktycznie użyty czas procesora mogę zobaczyć choćby process explorerem.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 02 Wrzesień 2007, 18:19
testowalem clienta 0.5... i oprocz kilkudziesieciu probek wartych 28 punktow przez 65 minut liczylem jedna wieksza, za ktora dostalem 1274 pkt (lub cos okolo tego)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Wrzesień 2007, 21:56
Hm zastanawiam się, skąd mogły się brać te problemy z odsyłaniem danych. Jedyne co mi przychodzi do głowy, to problemy z odświeżaniem IP dynamicznych domen (niestety zdarza się w niektórych sieciach, 'dodatkowy' soft też może to powodować, np. niektóre firewalle mają DNS cache). Z tym, że zmiana IP zazwyczaj odbywa się u mnie w nocy, chyba, że po jakiejś awarii netu/padzie prądu się godzina przestawi, ale zazwyczaj szybko to poprawiam.
Jednak taka teoria nie wyjaśnia, czemu restart BOINCa pomógł. Chyba, że sam BOINC też ma swój DNS-cache.
Na razie dopisuję to do ArchiwumX problemów nie wyjaśnionych  :lol:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 02 Wrzesień 2007, 22:09
Taki problem miałem już w kilku projektach ( niestety teraz nie przypominam sobie dokładnie jakich ), więc to może być problem samego mgr BOINC.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 03 Wrzesień 2007, 14:15
---------- 06:20 03.09.2007 ----------

Taki problem w różnych projektach może oznaczać po prostu przeciążenie serwera - sam to już zaobserwowałem parę razy, np. w ufluids to praktycznie standard, zwłaszcza w godzinach porannych naszego czasu. Jednak w moim przypadku to nie wchodzi w grę, odkąd postawiłem ten serwer najwięcej czasu proca wciągnął top odpalony w jednej konsoli.
Kolejna hipoteza to problem z miejscem na dysku - partycja gdzie siedzi cała część serwerowa ze wszystkimi plikami zadań, logami itp ma tylko 5GB i jak się okazuje, logi już zatkały to do poziomu 98% (serwer jest trochę głupkowaty i zapisuje non stop statusy do logów nawet jak nic się nie dzieje), co może oznaczać, że nie-root userzy (w tym user na którym pracuje BOINC) mogą mieć trudności z zapisem %-)


Ten uppercase to nawet niezła rzecz do testów, zadania łatwo się przygotowuje i od razu widać, czy jako tako działa strona serwerowa; na dodatek zadania są krótkie, więc test odbywa się w przyspieszonym tempie. 10k zadań przy użyciu normalnych work unitów enigmy to pewnie ze 2 tygodnie pracy co najmniej kilkudziesięciu niezłych kompów.

Nawiasem mówiąc, wczoraj Stefan Krah udostępnił mi testowy serwer, z którego teraz łykam zadania. Testy wrappera pomiędzy jego serwerem a moim jak na razie przebiegają nieźle, na około 1100-1200 work unitów trafiło się 5 błędów, co moim zdaniem jest do przyjęcia, zwłaszcza jak na pierwszą wersję i fakt, że protokół używany przez tamtejszy serwer nie przewiduje żadnych poprawek -- jeśli coś się nie powiedzie podczas transferu, to zadanie przepada.
Na dodatek testowe zadania są krótkie (poniżej 1/26 czasu normalnego zadania) dzięki czemu od razu jestem w stanie ocenić wydajność wrappera. Wygląda na to, że pojedyńczy potrafi zweryfikować i odesłać około 10-12 zadań na minutę, co daje 14,4k+ zadań dziennie, a takich wrapperów pewnie można odpalić kilka - prędkość odsyłania zadań limitowana jest przez sam sposób komunikacji, wszystko odbywa się tak, że bez problemu można ręcznie połączyć się telnetem i odsyłać zadania wklejając z pliku z wynikami to, o co prosi serwer.
Żeby w pełni nasycić nawet jedno ciągłe połączenie z serwerem projektu M4, potrzeba by około 400 core2 duo 1.86 pracujących non stop 24/7.

---------- 22:15 03.09.2007 ----------

Mhm jak myślicie, jeśli za jakiś czas projekt ruszy 'pełną parą' i wyeksportuję statsy, nie będzie problemów żadnych w związku z tym, że niektórzy userzy od razu na starcie będą mieli sporo punktów zdobytych w czasie testów ?
Gdybym ja prowadził jakiś sajt ze statsami, to by mi pachniało cheatowaniem, bo przecież w sumie każdy może sobie postawić serwer boinca i wpisać ręcznie do bazy odpowiednią ilość punktów.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 03 Wrzesień 2007, 14:29
pon 03 wrz 2007 14:27:00 CEST|enigma|Message from server: No work sent
pon 03 wrz 2007 14:27:00 CEST|enigma|Message from server: (reached daily quota of 100 results)
pon 03 wrz 2007 14:27:00 CEST|enigma|Deferring communication for 10 hr 16 min 12 sec

Domyslam sie, ze ustawiles dzienny limit na 100 WU ?

A co do punkow, zrob jak uwazasz, dla mnie to raczej obojetne, chociaz dobrze byloby miec jakies pkty za testy.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: ka_ga w 03 Wrzesień 2007, 14:50
a jest w ogóle jeszcze jakaś praca? to u mnie wyskakuje:

Cytat2007-09-03 14:40:27|enigma|Sending scheduler request: Requested by user
2007-09-03 14:40:27|enigma|Requesting 101081 seconds of new work
2007-09-03 14:40:32|enigma|Scheduler RPC succeeded [server version 511]
2007-09-03 14:40:32|enigma|Deferring communication for 7 sec
2007-09-03 14:40:32|enigma|Reason: requested by project
2007-09-03 14:40:32|enigma|Deferring communication for 1 hr 42 min 17 sec
2007-09-03 14:40:32|enigma|Reason: no work from project
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 03 Wrzesień 2007, 14:54
Cytat: "TJM"Mhm jak myślicie, jeśli za jakiś czas projekt ruszy 'pełną parą' i wyeksportuję statsy, nie będzie problemów żadnych w związku z tym, że niektórzy userzy od razu na starcie będą mieli sporo punktów zdobytych w czasie testów ?
Gdybym ja prowadził jakiś sajt ze statsami, to by mi pachniało cheatowaniem, bo przecież w sumie każdy może sobie postawić serwer boinca i wpisać ręcznie do bazy odpowiednią ilość punktów.

O to się nie martw. Wiele projektów powstawało w ten sposób i te kilkaset punktów które zdobyliśmy w trakcie testów to mały pikuś w porównaniu do tego ile punktów podczas testów innych projektów nastrzelały poszczególne osoby w innych projektach i jakoś nikt nigdy z tego powodu problemu nie robił.

BTW. Koniec WU (http://enigma.no-ip.net:443/enigma/server_status) do przeliczania, mi zostało jeszcze przychodowanych na jednej instalacji BOINC niecałe 200 sztuk (nie ma to jak kilka zapasowych instalacji na pendrivie :wink: ) i myślę, że do około 2 godzin się z nimi uporam.

Rozumiem, że skoro wspominasz już powoli o eksporcie statystyk - myślisz już powoli o międzynarodowym upublicznieniu projektu? Ja narazie coś tylko wspominałem tutta55 (http://home.scarlet.be/boinc/) o Twoim projekcie - ale bez Twojej zgody adresu www mu nie podam. Myślę, że w tym samym czasie pewno Bober da cynk na forum BOINCSynergy i tak naprawdę wtedy dopiero zaczną się prawdziwe testy i oblężenie strony projektu, choć zauważyłem, że już jedna jaskółka z USA wyczaiła projekt i o mały włos by nas jeszcze wszystkich wyprzedziła w punktacji ogólnej - ale nie damy się!
Ja myślę, że zanim damy cynk za granicę - to wpierw przydałoby się jednak dokończyć stronę projektu ( w wersji angielskiej ) i uruchomić forum. No i podstawa to opisać na stronie głównej projektu czym on się będzie zajmował, nawet jeśli w tej chwili liczymy tylko upercasa jako aplikację testową - to jak będzie dobra i czytelna informacja czym tak naprawdę po testach (fazie alpha, beta) projekt będzie zajmował - to naprawdę nikomu nie będzie przeszkadzało liczenie narazie upercasa i pomaganie w testach.
Tak mi jeszcze do głowy przyszło, że może tymczasowo u nas na forum jaiś dział zrobić poświęcony tylko temu projektowi (takie jakby subforum). Wiem, że to rozwiązanie to tylko półśrodek - ale kuszący - bo możliwy do wykonania w bardzo krótkim czasie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 03 Wrzesień 2007, 15:02
ja mysle, ze jesli tjm juz teraz zablokuje tworzenie nowych kont (lub na przyklad po osiagnieciu 50 uzytkownikow) to mozna spokojnie oglaszac adres  na boincstatsach...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 03 Wrzesień 2007, 15:19
Cytat: "AL"Ja narazie coś tylko wspominałem tutta55 (http://home.scarlet.be/boinc/) o Twoim projekcie - ale bez Twojej zgody adresu www mu nie podam. Myślę, że w tym samym czasie pewno Bober da cynk na forum BOINCSynergy

Heheh, jak Tutta55 się dowie to ja nawet nie zdążę dotknąć klawiatury a już cały świat będzie znał adres projektu  :lol:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 03 Wrzesień 2007, 17:28
Dziś rano się dołączyłem :) Tylko jak to jest z próbkami? Mi na A64 3700 i C2D 1,66 liczy poniżej 2 minut (na obu jakieś 118sekund) i dostaję za nie odpowiednio 0,46 i 0,35 pkt. Natomiast w top10 za próbki dostawali (ten sam czas) 0,66. Skąd taka rozbieżność?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 03 Wrzesień 2007, 17:39
Bo niektórzy mają zawyżone benchmarki przez klienta 5.9.0 od Crunch3r'a.
TJM wspominał, że może zrobi stałą ilość punktów za jednostkę. To by rozwiązało problem.
Na benchmarkach nie ma co polegać  :P
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 03 Wrzesień 2007, 17:48
obecnie przyznawane punkty są na podstawie benchmarków Menagera
tito
w twoim przypadku:
- wydajność obu twoich komputerów jest na tym samym poziomie
- na obu masz tę samą wersję Managera 5.10.13
- a fakt jest taki, że procesory C2D mocno zaniżają benchmarki, dlatego masz taką różnicę punktacji
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 03 Wrzesień 2007, 19:29
Cytat: "RAD-Poland"obecnie przyznawane punkty są na podstawie benchmarków Menagera
tito
w twoim przypadku:
- wydajność obu twoich komputerów jest na tym samym poziomie
- na obu masz tę samą wersję Managera 5.10.13
- a fakt jest taki, że procesory C2D mocno zaniżają benchmarki, dlatego masz taką różnicę punktacji

Dzięki :) i wszystko jasne.
Miejmy nadzieję, że punkty będą "fixed" - zdecydowanie preferuję takie rozwiązanie jako bardziej uczciwe.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 03 Wrzesień 2007, 19:46
Punkty na pewno będą przyznawane w zależności od prawdziwej długości zadań, moim zdaniem to jedyny sensowny sposób. Zwłaszcza, że zoptymalizowane klienty są dużo szybsze od standardowego i niektóre procesory radzą sobie z enigmą lepiej niż inne.
Już wiem skąd się bierze ten rozrzut długości zadań. Początkowo cały system serwerowy był przewidziany tylko dla enigmy M3, nie przewidziałem tego, że dodatkowe rotory dostępne w M4 wydłużają czas przeliczania zadań, jeśli są użyte. Dla M4 każde zadanie ma 3 możliwe długości, zależnie od tego czy oba lub jeden (albo żaden) rotory z prawej to VI-VIII

Tak to wygląda z czasem przeliczeń, dla benchmarku:

276:

real    4m47.606s
user    4m36.069s
sys     0m0.040s

236:

real    2m23.649s
user    2m18.093s
sys     0m0.028s


235:

real    1m20.063s
user    1m16.953s
sys     0m0.020s

jak widać, różnica w czasie znaczna. Doszedłem do wniosku, że nie będę kombinował z obliczaniem długości 'w locie' przez skrypt do weryfikowania zadań, po prostu dla każdej serii zadań zrobię 3 pomiary i zapiszę wyniki w bazie. Potem na etapie tworzenia zadania będzie można przypisywać do niego punkty. Porządne przygotowanie zadania do 'odpalenia' w sieci rozproszonej i tak zajmuje mi sporo czasu, te dodatkowe parę minut na ręczne obliczenia i parę godzin czekania na wyniki testów nie zrobią żadnej różnicy.

Normalne (testowe) zadanie tego typu co na samym dole trwa 6 minut 32 sekundy na mojej referencyjnej maszynie (Athlon 1400), przy niezoptymalizowanym kliencie i na chwilę obecną przewiduję za nie 0.60498 punktu. Zoptymalizowany klient rozpędza trochę obliczenia (tak pi razy drzwi do 5 minut i paru sekund, wczoraj robiłem testy ale nie zapisałem dokładnych wartości) i te same 0.60498 punktu dostaje się szybciej.

Być może w późniejszym czasie wyjdą jeszcze jakieś dodatkowe różnice między zadaniami, na razie nic innego nie widzę.
Zadania testowe uppercasa się skończyły, następne będą już chyba na normalnej aplikacji (oby). Późnym wieczorem serwer na jakiś czas odepnę od netu, bo muszę przetestować działanie samej enigmy, bez sensu byłoby gdyby aplikacje z błędami 'poszły w świat'.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 03 Wrzesień 2007, 20:24
jesli mozna prosic, to uzupelnij na stronie informacje o projekcie
Czekamy na WU i zabieramy sie do liczenia :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 04 Wrzesień 2007, 09:41
Z 'prawdziwymi' work unitami to jeszcze nie tak prędko, najpierw trzeba zbetatestować enigmę, która w środowisku BOINCa działa z defaultowym BOINCowym wrapperem. Teoretycznie można by do progsa dorobić BOINC API (lepsze rozwiązanie), źródła są dostępne więc pewnie jest to wykonalne, jednak na obecnym etapie rzeczy do zrobienia jest jeszcze tyle, że nawet nie chce mi się myśleć o przeróbkach.
Zanim to odpalę muszę jeszcze 'przyuczyć' się do dodawania zadań na tyle, żeby zrobić skrypt który będzie je automatycznie generował na podstawie mojej głównej bazy. Wczoraj zacząłem przy tym dłubać (dlatego serwer off), ale w międzyczasie zacząłem testować różne typy zadań i obliczać punkty za nie, na tym się skoncentrowałem, a dalsze kombinowanie z zadaniami zostawiłem na dziś. Aktualną punktację bez/z optymalizacjami można na żywo obejrzeć w starym kliencie 0.5, jest w pełni kompatybilny z BOINCowym zapleczem, mimo, że po stronie klienta z BOINCem nie ma nic wspólnego. Zamiast 3 tak jak wczoraj kombinowałem, zadania podzielone są na 4 grupy długości, w obrębie grup istnieje też niewielki rozrzut (+/- 5-15% zależnie od procesora), ale nad tym nie ma co się głowić, po prostu przyjąłem średnią wartość i raz za zadanie wpadnie trochę mniej punktów niż by się należało, a raz troche więcej, przy wielu zadaniach samo się wyrówna do odpowiedniej wartości.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: jaskij w 04 Wrzesień 2007, 19:14
Co do strony, forum, itp. itd. to z mojej strony pomagać mogę głównie z angielskim. Co do serwera to podobno na kablu nie idzie wyciągnąć przyzwoitego uploadu... Ew. radio albo jakieś łącze dla firm ale jest to strasznie drogie...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 04 Wrzesień 2007, 23:19
Prędkość łącza to najmniejszy problem, w projekcie tego typu bardziej liczy się wydajność bazy danych, bo na pewnym etapie to zaczyna limitować prędkość wysyłania work unitów.
Gdyby wszystko miało działać na jednym kompie, pewnie nie byłoby mnie stać na maszynę która miałaby uciągnąć nawet średniej wielkości bazę. Jednak świetnie sprawdza się podział, który wprowadziłem kiedyś przebudowując stary serwer - główna baza stoi na oddzielnym kompie, który może być byle słabizną, bo nie generuje nic w czasie rzeczywistym. Główny serwer operuje na mniejszej bazie i jedynie raz na jakiś czas uzupełnia listę work unitów zasysając nowe z głównej i oddając już przeliczone. W ten sposób baza projektu jest malutka i byle sprzęt daje radę to ciągnąć.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 04 Wrzesień 2007, 23:25
Myślę, że ciekawe i pożyteczne dla Twoich naśladowców porady opisujesz - a jak dzisiejsze postępy nad enigmą - bo cały czas strona niedostępna ( a to oznacza, że coś przy enigmie robiłeś) a i na Twoim blogu od paru dni żadnych nowych newsów.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: kempler w 04 Wrzesień 2007, 23:31
Tak się przyglądam i czytam ale się nie angażuje bo się kompletnie na tym nie znam, czarna magia. Tak jak Al napisał porady są bardzo ciekawe i myślę że po zakończeniu projektu można by pomyśleć nad jakimś poradnikiem w języku polskim, jak zacząć, jakie mogą pojawić się problemy itp. Widzę że wszelkie problemy pokonujesz z marszu :) Taki poradnik to byłaby nie lada gradka dla następnych :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: PMG w 05 Wrzesień 2007, 00:45
7 punktów na godzinę dla Athlona 1400

Mam 1,7+ (czyli 1,44) i spokojnie mogę powiedzieć ze to w miarę uczciwe staty. Średni gdzieś dostaje 5,5 - 7 ( i tylko Einstein punktował mi 12 p/ h) więc to twoje punktowanie jest ok.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 05 Wrzesień 2007, 00:52
Trochę jednak za mało IMO. 8pkt/h dla takiego Athlona 1,4 byłoby bardziej zachęcające  :wink:
To i tak nie byłoby jakieś przegięcie. W takim ABC ten sam Athlon pewnie wyciągnie 11-12.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Wrzesień 2007, 12:49
---------- 09:58 05.09.2007 ----------

To są punkty na standardowej aplikacji, bez żadnych optymalizacji. Podmiana exeka na Athlon/AthlonXP daje przyrost prędkości na poziomie 20%, więc z tych 7 punktów na godzinę robi się 8.4
Na niektórych procach przyrost prędkości jest znacznie większy. Np. na Celeronie D 2.13@3.65 zmiana exeka z gołego na PIV daje kopa mniej więcej +40% czyli dość mocnego %-) A to wszystko tylko przez dodanie flag kompilatora w Dev-Cpp. Spróbuję jeszcze exeków budowanych w innych kompilatorach.

Jutro zapodam benchmarka, fajnie byłoby w sumie porównać jak prędkość wygląda między róznymi procesorami, może wtedy jeszcze raz bym przeliczył punkty. Aktualnie świadomie trochę je zaniżyłem (15% poniżej średniej wyciągniętej z paru projektów), bo pękam trochę, że proce typu C2D z optymalizacjami mogą potem zgarniać astronomiczne ilości punktów na godzinę.

Prace nad projektem posuwają się powoli do przodu - ciężko trochę, bo dokumentacja jest dość skąpa prawdę mówiąc i np. natknąłem się na problemy przy przydzielaniu dla zadania kilku różnych plików, z czego jedne są wspólne dla całej grupy zadań, a inne specyficzne dla każdego zadania. BOINC uparcie chce ściągać wszystkie za każdym razem, co jest bez sensu, bo samo zadanie to plik tekstowy zawierający aż dwie linijki (~100-200 bajtów), a pozostałe pliki mają po parędziesiąt kB.
Widzę jednak, że można to prawdopodobnie obejść dodając te stałe pliki jako część aplikacji. W moim wypadku są to słowniki, mam dwa zestawy, więc musiałbym dodać dwie 'różne' aplikacje, różniące się tylko słownikami. Tak najprawdopodobniej zrobię, ale popatrzę jeszcze na możliwość rozwiązania tego inaczej.

Liczę na to, że w tym tygodniu uda mi się doszlifować aplikację i system automatycznego generowania zadań, wtedy pozostałoby mi poskładać do kupy validator i teoretycznie miałbym komplet po stronie serwera i po stronie klienta.
Nawet zanim poskładam validator, na pewno pojawią się jakieś limitowane serie zadań, żebym miał go na czym testować, a ewentualne 100-200 testowych zadań dziennie to da radę ręcznie zweryfikować.
Najgorzej z dociągnięciem wszytkiego do etapu, kiedy wszystkie części będą działać, bo później to już można powoli każdą z osobna przerabiać, upgrejdować i ulepszać.

---------- 10:37 ----------

Zresztą benchmark w sumie już jest, prymitywny ale to najlepszy sposób na zmierzenie prawdziwego czasu procesora aplikacji pod windowsem, jaki znam.
Potrzebny jest process explorer albo jakieś inne narzędzie pozwalające podejrzeć czas procesora dla wybranej aplikacji (process explorer jest dobry, bo okno zostaje kiedy aplikacja się zakończy). Benchmark odpala się batem (Start.bat), następnie trzeba znaleźć w process explorerze enigma-benchmark.exe i wejść w properties, po czym poczekać aż zadanie się skończy i luknąć na czas procesora. Inne odpalone programy raczej nie wpływają na wynik, jedynie na czas oczekiwania do zakończenia testu.

(http://kfd.no-ip.org/images/178_hsohz_Clipboard01.png)



pod linuksem wystarczy exek skompilowany ze źródeł z bytereef.org, pliki zawarte w archiwum i polecenie time enigma -R -o results.txt 00trigr.naval 00bigr.naval bench_cipher

---------- 01:37 07.09.2007 ----------

Powoli do przodu %-)
Dwa dni przekopywałem się przez archiwum list mailingowych, żeby trochę przykładów nałapać, jak tworzyć zadania korzystające z wielu plików, z których niektóre są stałe, a inne się zmieniają. Daje się ostro we znaki skąpość informacji w manualach, a na dodatek niektóre są po prostu błędne. Część naprawdę przydatnych informacji jest po prostu nie do znalezienia, o ile dokładnie nie wie się czego się szuka.
Wydaje mi się, że posiadłem już wystarczającą wiedzę teoretyczną, żeby odpalić wszystko dokładnie tak jak potrzebuję - tzn na cztery pliki wymaganie przez exek trzy będą częścią aplikacji, przypisane do konkretnej wersji, a czwarty będzie ściągany z każdym zadaniem. Jednak na dziś mam już dość kombinowania, chyba jutro od rana popróbuję.

---------- 22:37 ----------

Kolejne dwa etapy mam za sobą: uruchomiłem aplikację, działa zgodnie z oczekiwaniami, jest pewien problem z updejtowaniem postępów na defaultowym wrapperze - będę musiał go kiedyś przerobić. Jednak czas pozostały do końca pokazuje (chyba) poprawnie.

(http://kfd.no-ip.org/images/180_5yyko_tttttt.png)

oprócz tego dokończyłem automatyczny generator zadań - co prawda na razie jeszcze nie sprawdzałem, jak poradzi sobie zostawiony samopas, ale odpalany ręcznie ładnie uzupełnia bazę zadaniami.

---------- 12:49 09.09.2007 ----------

Odpalam dziś ponownie serwer, z normalną aplikacją i normalnymi work unitami (co prawda z test serwera, ale poza długością nie różnią się niczym od tych z głównego).

Znane problemy na dziś:
Nie widać postępu, żeby to naprawić trzeba będzie dodać trochę kodu do domyślnego BOINCowego wrappera, odkładam to na razie na bliżej-nieokreślone-później, bo ze wszystkich języków użytych w projekcie c++ znam najsłabiej.

Szacowany czas trwania zadania czasami pokazywany jest dobrze, a czasami źle :P Zadania różnią się długością i muszę wymyślić jakiś patent na automatyczne wpisywanie odpowiedniego czasu. W zasadzie to bardziej patent na automatyczne jego obliczanie.

Checkpointowanie na pierwszy rzut oka nie działa - po restarcie zadania wrapper pokazuje 0 czasu procesora i zadanie idzie jakby od nowa. W praktyce jednak sama enigma dba o poprawne checkpointowanie i po restarcie wszystko oblicza się od ostatniego checkpointu. Gęstość checkpointów zależy od zadania i szybkości procesora, nie sądzę jednak, żeby w razie problemów dało się stracić więcej niż 5 minut czasu procesora. No chyba, że ktoś podłączy archaiczną maszynę typu Pentium 100 i od checkpointa do checkpointa będzie miał z 30-40 minut
Jedyne, na co ma wpływ problem z błędnym czasem procesora po restarcie, to claimed credit, co i tak nie ma znaczenia, bo kredyty są przydzielane na podstawie danych wpisanych w zadanie.

Na Win98 jest dodatkowy problem. System dość archaiczny i jak się okazuje, nawet BOINCowy wrapper nie działa tam do końca poprawnie. Po uruchomieniu zadania wyskakuje puste okienko konsoli z nazwą exeka. Mimo to, wszystko działa poprawnie.
Problem pewnie dałoby się rozwiązać, gdyby stworzyć osobną platformę dla Win98, ale póki co nie wiem jak to zrobić.

Dzienna ilość zadań w czasie pierwszych testów będzie limitowana, bo mimo, że wszystko jak na razie działa, to nie mogę oczywiście wykluczyć jakichś nieprzewidzianych problemów, a nie chciałbym do głównego serwera odesłać kilku tysięcy skopanych rezultatów. Dlatego pilnuję dodawania nowych zadań i ręcznie przeglądam rezultaty przed odesłaniem.

Trzeba też wymyślić jakiś patent na podmianę pliku exe na zoptymalizowaną wersję, bo po zwykłej, ręcznej podmianie BOINC to wyczaja i ściąga ponownie oryginalny plik.


Zanim odpalę wszystko ponownie, przydałby się ktoś z engliszem co najmniej na dobrym poziomie, żeby przetłumaczyć parę tekstów do newsów i samej stronki. Mój englisz niestety daleki jest od perfekcji, gramatyka dość kuleje  :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: jaskij w 09 Wrzesień 2007, 13:07
Z engliszem mogę pomóc, c++ to już zależy co trza zrobić, ale jest całkiem spora szansa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: krzyszp w 09 Wrzesień 2007, 13:21
Niestety, od paru dni nie mogę odesłać przeliczonych jednostek, ponieważ"


2007-09-09 12:17:20|enigma|[file_xfer] Started upload of file test_1_9519_0_1
2007-09-09 12:17:43||Project communication failed: attempting access to reference site
2007-09-09 12:17:43|enigma|[file_xfer] Temporarily failed upload of test_1_9519_0_1: system connect
2007-09-09 12:17:43|enigma|Backing off 3 hr 28 min 35 sec on upload of file test_1_9519_0_1
2007-09-09 12:17:44||Access to reference site succeeded - project servers may be temporarily down.


Czy serwer faktycznie nie chodzi, czy to jakiś błąd?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Wrzesień 2007, 13:42
Serwer od paru dni jest odłączony od netu, w tym czasie uruchamiałem enigmę w BOINCowym środowisku. Patrząc na liczbę błędnych work unitów w moim profilu, wyłączenie dostępu do serwera z zewnątrz było bardzo dobrym pomysłem %-)

Zmiany po stronie serwera są tak duże, że nie wiem czy w ogóle zaakceptuje jeszcze próbki z uppercase. Najlepiej zrób screenshota(y), tak żeby było widać numery zadań i wyślij mi przez PM, a potem anuluj wszystkie lub najlepiej opuść projekt do czasu ponownego uruchomienia serwera - świeży start będzie najlepszym rozwiązaniem.
To samo dotyczy wszystkich, którzy brali udział w pierwszym teście serwera.
W razie problemu kredyty dopisuję ręcznie w wolnej chwili.
Dla wszystkich, którzy bawili się starym klientem 0.5, kredyty zostały przepisane (może zaniżone, ale taki już urok wczesnych testów) i dalej są przepisywane automatycznie (mniej więcej co 48h), jeśli komuś się ten klient podoba, to może dalej go używać. Różnica taka, że rezultatów z niego nie widać w profilu, za to progs nie ma praktycznie żadnych wymagań i można go odpalać na 486 z 8MB RAMu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 09 Wrzesień 2007, 14:53
Cytat: TJMTrzeba też wymyślić jakiś patent na podmianę pliku exe na zoptymalizowaną wersję, bo po zwykłej, ręcznej podmianie BOINC to wyczaja i ściąga ponownie oryginalny plik.
do tego celu służy plik app_info.xml wgrywany do katalogu projektu
za przykład może służyć plik z optymalki SETI lub Einsteina
EDIT jakiś przykład znalazłem na naszym forum
<app_info>
<app>
<name>einstein_S5R1</name>
</app>
<file_info>
<name>einstein_S5R1_4.02_windows_intelx86.exe</nam e>
<executable/>
</file_info>
<app_version>
<app_name>einstein_S5R1</app_name>
<version_num>402</version_num>
<file_ref>
<file_name>einstein_S5R1_4.02_windows_intelx86.exe </file_name>
<main_program/>
</file_ref>
</app_version>
<app>
<name>einstein_S5R1</name>
</app>
<file_info>
<name>einstein_S5R1_4.10_windows_intelx86.exe</nam e>
<executable/>
</file_info>
<app_version>
<app_name>einstein_S5R1</app_name>
<version_num>410</version_num>
<file_ref>
<file_name>einstein_S5R1_4.10_windows_intelx86.exe </file_name>
<main_program/>
</file_ref>
</app_version>
</app_info>

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AdNet w 09 Wrzesień 2007, 20:03
Hej

Zresetowałem cały projekt, ale efekt dalej taki sam, że nie pobiera mi nowych zadań, a ciągle mam informację, że Serwer Off Line.
Jakieś prace podejrzewam? Kiedy wszystko ruszy 'od nowa' ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Wrzesień 2007, 00:12
---------- 20:03 09.09.2007 ----------

Mhm to trzeba porobić takie pliki do kilku wersji enigmy. W ogóle, wypadałoby posprawdzać, jakie są różnice między nimi na różnych procesorach - bo np. Athlon TB działa szybciej z exekiem przewidzianym dla Athlona XP, więc automatycznie ten od Athlona TB staje się zbędny. Z kolei Celeron D z exe od PIII działa tylko 0.5% wolniej, niż z exekiem od PIV. Pewnie inne proce tej klasy podobnie.To z kolei sugerowałoby, żeby pozbyć się exeka PIV, bo sam PIII pasuje też do PIII, Celerona FCPGA i Tualatinów, więc jest bardziej uniwersalny.
Być może liczbę dodatkowych exeków udałoby się zredukować do 2-3.
Może dałoby się podokładać te pliki do katalogu aplikacji na serwerze, tak żeby po ściągnięciu klient sam sobie wybierał właściwy ?

---------- 00:12 10.09.2007 ----------

Serwer up, mam nadzieję, że się nie wysypie w najbliższym czasie.
Edit: kredyty za pierwsze zadania mogą być zaniżone (lub zawyżone), po pierwszych kilkudziesięciu zadaniach powinno się samo naprawić.
Edit2: Dokładnie wszystkich zadań z źle ustawionymi kredytami jest około 90, trzeba to jakoś przeboleć, bo dłubanie w bazie zajęłoby za dużo czasu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: miszol w 10 Wrzesień 2007, 03:15
a mi wywala coś takiego:

2007-09-10 03:11:29|Enigma@Home|Started download of file 00hc_wu_90483
2007-09-10 03:11:30|Enigma@Home|Finished download of file 00hc_wu_90483
2007-09-10 03:11:30|Enigma@Home|Throughput 687 bytes/sec
2007-09-10 03:11:32||Rescheduling CPU: files downloaded
2007-09-10 03:11:32|Enigma@Home|Can't copy projects/enigma.no-ip.net_443_enigma/test2_1_90483 _0_0 to slots/0/00hc.resume
2007-09-10 03:11:32|Enigma@Home|Unrecoverable error for result test2_1_90483_0 (Couldn't start or resume: 2)
2007-09-10 03:11:32||Rescheduling CPU: start failed
2007-09-10 03:11:32|Enigma@Home|Unexpected state 7 for task test2_1_90483_0
2007-09-10 03:11:33|Enigma@Home|Computation for task test2_1_90483_0 finished


to coś u mnie nie tak?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 10 Wrzesień 2007, 07:03
U mnie na obu hostach idzie:)

Coś krótkie te unity: 800-1200 sekund? i granted credits też jakoś mało: 2-3 ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Wrzesień 2007, 09:23
Jak pisałem wyżej, z kredytami sprawa się unormuje za jakiś czas, wyprodukowało się trochę zadań zanim jeszcze system automatycznego obliczania przypuszczalnej długości zadań zaczął działać poprawnie i dlatego niektóre zadania mają zaniżoną punktację, a inne zawyżoną. Tych z zawyżoną jest na pewno mniej.
Jeśli skończą się 'wadliwe' zadania i dalej będzie coś z kredytami nie tak, to się jeszcze raz przeliczy i pozmienia wartości.
Zostało 40 zadań z wczorajszej nocnej serii, w najgorszym wypadku jest więc jeszcze tylko 40 wadliwych. Z generowaniem nowych zaczekam, aż te się skończą.

miszol - przekopałem logi, nie używasz czasami jakiegoś starego BOINCa ? W opisie wrappera napisane jest, że nie działa poprawnie poniżej jakiejśtam minimalnej wersji funkcja kopiowania plików.

Być może za jakiś czas uda mi się pozbyć wrappera, wtedy zmniejszy się lista problemów, ale to wymaga wbudowania BOINC API do progsa napisanego przez kogoś innego, więc niewątpliwie zajmie sporo czasu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: miszol w 10 Wrzesień 2007, 11:30
Cytat: "TJM"(...)

miszol - przekopałem logi, nie używasz czasami jakiegoś starego BOINCa ? W opisie wrappera napisane jest, że nie działa poprawnie poniżej jakiejśtam minimalnej wersji funkcja kopiowania plików.
(...)

masz racje :) dzięki i sory za zamieszanie
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 10 Wrzesień 2007, 15:51
Kiedy bedzie wersja dla Linuksow? Z ciekawosci co jest powodem wydania tylko wersji na windowsy ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Wrzesień 2007, 16:41
Windowsów jest po prostu więcej :P
Wersja dla linuksa to nie taka prosta sprawa, jak już pisałem na poprzednich stronach, trzeba zrobić wrappera i samą aplikację, które ruszą przynajmniej na w miarę nowych linuksach. Samą enigmę da się skompilować na starym systemie i działa na nowszych, gorzej jednak z wrapperem.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 10 Wrzesień 2007, 17:40
TJM - czy mogę dać już "Tutcie" zielone światło i upublicznić tym samym wiadomość o projekcie na forum międzynarodowym?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 10 Wrzesień 2007, 18:37
Nie mnie decydować, ale myślę, że zanim się zrobi ten krok, powinna być chociaż zrobiona strona po angielsku z info o projekcie i jakieś forum.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 10 Wrzesień 2007, 18:43
Cytat: "Bober"Nie mnie decydować, ale myślę, że zanim się zrobi ten krok, powinna być chociaż zrobiona strona po angielsku z info o projekcie i jakieś forum.
To na tą chwilę tylko forum chyba brakuje, ale jak pokazuje przykład projektu RND - można i bez zaczynać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 10 Wrzesień 2007, 18:52
Fakt, można ciągnąć bez niczego (patrz WEP-M+2). Ale NS miało forum. Trzymajmy poziom  :wink:

Jest jeszcze opcja, żeby tymczasowo zrobić temat na naszym forum, w części dla zagranicznych. Ale jeśli rzeczywiście zaistnieje taka potrzeba to decyzja oczywiście należy do Mchla.

EDIT: Widzę, że info po agnielsku jest i parę osób już z zagranicy się zapisało. Więc to i tak kwestia godzin jak wszyscy się dowiedzą  :wink:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Wrzesień 2007, 19:00
Forum się skombinuje, po prostu zbyt wiele innych rzeczy musiałem zrobić, żeby się tym zająć. Prawdopodobnie jutro odpalę.
Jak na razie, wszystko wygląda nieźle - 1 błąd na kilkaset zadań, spowodowany prawdopodobnie moją nieuwagą (skasowałem chyba plik zadania zanim zostało przeliczone) i jeden błąd przy weryfikacji, prawdopodobnie spowodowany przez źle ustawione parametry w samym zadaniu.
Za chwile skończą się zadania z drugiej serii, wkrótce (~1-2h) przygotuję trzecią, chwilę to potrwa, bo 3 razy wszystko sprawdzam, żeby się upewnić, że jest ustawione jak należy.

tu są ostatnie rezultaty i statsy test serwera:

http://www.bytereef.org/alpha-results.txt
http://www.bytereef.org/alpha-stats.txt

wszyscy mogą się dowiadywać, jakby co statsy są wyeksportowane chyba tak jak powinny być.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 10 Wrzesień 2007, 20:34
Stało się. Poszło w świat (http://www.boincsynergy.com/forums/viewtopic.php?t=11858) i nikt się nas nie pytał o zdanie  :P
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 10 Wrzesień 2007, 21:39
Watek angielski wywaliłem do nowego działu - enigma@home w English Zone - nie widzę żadnych problemów z rozmawianiem tutaj dalej po polsku, ale zalecałbym (ze względu na zagranicznych gości) przeprowadzkę na dział enigmy i przerzucenie się na język angielski...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Wrzesień 2007, 22:45
Będę musiał napisać do Stefana Kraha, żeby wydłużył work unity na testowym serwie, bo z takimi krótkimi jak obecne (1/13 długości zadania z 'normalnego' serwera), serwer szybko zbliży się do granicy wydajności systemu wymiany zadań między boincem a serwerem projektu M4  :o Przewidywałem, że może to nastąpić i w planach mam asynchroniczny wrapper wymieniający wiele zadań na raz, a nie pojedyńczo; tylko nie wiedziałem, że już w pierwszy dzień będę musiał zacząć o tym myśleć.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 10 Wrzesień 2007, 22:58
Cytat: "TJM"Będę musiał napisać do Stefana Kraha, żeby wydłużył work unity na testowym serwie, bo z takimi krótkimi jak obecne (1/13 długości zadania z 'normalnego' serwera), serwer szybko zbliży się do granicy wydajności systemu wymiany zadań między boincem a serwerem projektu M4  :o Przewidywałem, że może to nastąpić i w planach mam asynchroniczny wrapper wymieniający wiele zadań na raz, a nie pojedyńczo; tylko nie wiedziałem, że już w pierwszy dzień będę musiał zacząć o tym myśleć.

yoyo oczekuje twojej odpowiedzi w watku anglojezycznym, wartoby tam zajrzec..
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Wrzesień 2007, 23:32
Widziałem, ale mój englisz suxuje, zwłaszcza kiedy jestem tak zmęczony jak teraz, więc trochę się zeszło nim mu odpisałem łamaną angielszczyzną.
Widziałem, że na jakimś BOS ktoś dodał projekt (zgubiłem URL niestety %-)), ale chyba ze złym URLem (https w linku zamiast http?) bo cały czas jest offline, a w logu serwa widzę próby szyfrowanego połączenia co chwilę.
Tak czułem, że port 443 może być podchwytliwy i powodować nieco problemów, ale jednocześnie nie powinien być blokowany np. przez firewalle które puszczają tylko ruch http...
Edit: są już dłuższe zadania na testowym serwie, z tego co widzę gość się nie szczypał tylko od razu zapodał zadania pełnej długości %-)
Wpuszczę je do sieci jak skończą się stare, ale muszę na nowo poobliczać kredyty, więc dziś już raczej tego nie zrobię.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 10 Wrzesień 2007, 23:47
Dam znać Brunowi, żeby sprawdził URL.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Wrzesień 2007, 23:58
Zaobserwowałem jeszcze jedną rzecz - user of the day zmienia się dość często, ciekawe dlaczego. Nie chce mi się już dziś nad tym myśleć, czas się szykować do spania, bo padam z nóg po prostu.
Zadań w nocy zapewne braknie bo już się kończą, te dłuższe bedą dopiero jutro koło południa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 11 Wrzesień 2007, 00:02
To cecha prawie każdego nowego projektu. Ale nie powiem ci, dlaczego tak się dzieje  :P

Śpij dobrze  :wink:

EDIT: Odpowiedź Bruna:
CytatI just checked it out - was wondering myself why it said that it was unreachable. It seems the scheduler tag from the homepage wasn't read correctly by my scripts, so the scheduler URL was never added to the database. I added it manually. Added a few other projects today and they went fine, and I can't see anything odd in the html output from the enigma homepage. But somethings up, that's for sure. I'll examine it more closely tomorrow
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Wrzesień 2007, 12:57
Ciekawe tylko, czy z tym user of the day jest tak jak jest, bo musi być, czy zmieniają się często na początku nim ktoś się skapnie, jak to naprawić.
Wczoraj oprócz długości zadań Stefan zmienił też ciphertext, upgrejdnąłem aplikację, żebym następnym razem przy takiej zmianie nie musiał tworzyć nowej wersji. Zastanawiam się tylko, czy nie powstaną jakieś konflikty, bo część plików w obu aplikacjach ma te same nazwy (są to te same pliki).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: PMG w 11 Wrzesień 2007, 13:10
Troche sie zdziwiłem/ zirytowało mnie to - nassało sie 18 próbek kqżda po 40 minut. Jakiegoś wyliczania ile potrwa jedno zadanie i ściagania tyle ile mam ustawione ( czyli connect every 0,4 days) nie ma ?

Wyliczyć to wyliczę - ale nie wiem czy to jeszcze będzie produktywne skoro tak często wprowadzane są zmiany.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Wrzesień 2007, 13:56
Starałem się to obliczyć w miarę precyzyjnie, ale z niewiadomych powodów wychodzą dziwne rzeczy 8O Nie widziałem nigdzie informacji o tym, jak się do tego zabrać, więc przyjąłem taką taktykę: w wu template podaje się szacowaną liczbę obliczeń w fpopsach, więc wziąłem dane prosto z serwera projektu - czas obliczeń dla mojego kompa, spisałem dane z benchmarka i przemnożyłem czas przez wydajność proca. W ten sposób powinna z grubsza wyjść potrzebna liczba. Jednak albo się gdzies pomyliłem, albo nie jest to najlepszy sposób.
Między innymi dlatego zadania są w limitowanych seriach, żeby między seriami był jakiś czas na poprawki.
Nawiasem mówiąc, obojętnie co bym tam nie wpisał, to i tak po kilku zadaniach manager nauczy się jaki jest poprawny czas obliczania zadania tego typu. Jednak przy ponownej zmianie długości zadań problem pojawi się znów na jakiś czas.

Zobaczcie jaka różnica w żądanych kredytach:

(http://img406.imageshack.us/img406/1267/creditzb0.th.png) (http://img406.imageshack.us/my.php?image=creditzb0.png)

wszystkie proce na screenie to core2duo, jak widać jeden najprawdopodobniej śmiga na zoptymalizowanym kliencie. Mój komp za takie zadanie chce około 10 punktów, a taki core2 standardowo ~5 - pewnie przez niedoskonałość BOINCowych benchmarków. Zadanie wykonuje 3 razy szybciej, a różnica w benchmarku pewnie taka nie jest.
A to jeszcze jest niezoptymalizowana aplikacja.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Simek w 11 Wrzesień 2007, 23:22
W wolnej chwili lekko zmodyfikowałem CSS Enigmy, aby chociaż trochę różniła się od pozostałych BOINCowych projektów.. Póki co zmiany tylko dla głównej strony... Na razie taki concepart :P

Musze tez przyznać, że nie podoba mi się oryginalny BOINC'owy CSS pod względem budowy... Ale to już inna bajka :D

(http://img236.imageshack.us/img236/7253/enigmajy6.th.png) (http://img236.imageshack.us/my.php?image=enigmajy6.png)


a {
   color: #191970;
}

body , table , input , select {
   background-color: #F0F8FF;
   font-family: Verdana;
   font-size: 11px;
}

body {
   background-color: #F0F8FF;
   color: black;
}

th{
   background-color: #c8c8c8;
   font-weight: bold;
}

td {
   border: 1px solid;
   padding: 16px;
   background-color: white;
}

td.bordered {
   border: 1px solid gray;
}

td.indent {
    border-left: 4px solid white;
}

td.heading {
   background-color: #d8d8d8;
   font-weight: bold;
}

td.heading2 {
   background-color:#c0c0ff;
   font-weight: bold;
}

td.fieldname {
   background-color: #eeeeee;
   text-align: right;
   vertical-align: top;
}

td.fieldvalue {
   vertical-align: top;
   font-weight: bold;
}

td.fieldname_error {          
   background-color: #ff8888;
   text-align: right;        
   vertical-align: top;      
}                            

td.fieldvalue_error {        
   background-color: #ff8888;
   vertical-align: top;      
   font-weight: bold;        
}                            

td.category {
   background-color: #dddddd;
}

td.navbar {
   border: 0px;
   text-align: center;
}

a.navbar:link {
   color: #ff9711;
   text-decoration: none;
}

a.navbar:visited {
   color: #ff9711;
   text-decoration: none;
}

a.navbar:hover {
   color: #ffc060;
   text-decoration: underline;
}

tr.row0 {
   background-color: rgb(217,217,217);
   text-align: left;
}

tr.row1 {
   background-color: rgb(237,237,237);
   text-align: left;
}

tr.subtitle {
   background-color: #eeeeee;
   font-weight: bold;
}

tr.message {
   background-color:#E0E0EF;
}

input , select {
   vertical-align: middle;
}

h1 , h2 {
   color: black;
   font-size: x-large;
   font-weight: normal;
   margin-top: 0px;
}

h3 , h4 {
   color: black;
   font-size: small;
   font-weight: bold;
}

img {
   border: 0px;
}

.title {
   font-size: small;
   font-weight: bold;
}

.description {
   font-size: 80%;
   font-weight: normal;
}

.authorcol {
   width: 115px;
   overflow: hidden;
}

.cellwrap{
   width: 100%;
   overflow: auto;
}

blockquote {
   border-left: 2px solid blue;
   background: #DDDDDD;
   padding-left: 3px;
   padding-bottom: 0px;
   margin-bottom: 0px;
   margin-left: 10px;
   font-style: italic;
}

#blockquote.postbody {
   border-style: inset;
   border-color: blue;
   background-color: rgb(240,240,255);
   padding-left: 5px;
   padding-bottom: 0px;
   margin-bottom: 0px;
   margin-left: 15px;
   margin-right: 160px;
   font-style: oblique
}

#thread {
   width: 100%;
   table-layout: fixed;
   overflow: overflow;
   word-wrap: break-word;
}

.sigdelim {
   width: 60%;
   height: 1px;
   background-color: black;
   color: black;
   border: 0;
   margin-right: 100%;
}

td.postheader{
   background-color: rgb(220,210,210);
   border-bottom: 1px solid rgb(190,190,200);
   border-left: none;
   border-right: none;
}

td.postbody {
   font-size: 9pt;
}

td.postfooter{
   background-color: rgb(220,210,210);
   border-top: 1px solid rgb(190,190,200);
   border-left: none;
   border-right: none;
}

tr.helpdeskseperator{
   height: 10pt;
}

tr.postseperator{
   background-color: rgb(200,200,200);
}

tr.postseperator td{
   border-top: 1px solid rgb(170,170,170);
   border-bottom: 1px      solid rgb(170,170,170);
}

td.threadline {
   text-align:left;
}

span.note{
   font-weight: normal;
   font-size: 0.9em;
}
span.news_date {
   color: #191970;
   font-size: 0.9em;
}

span.news_title {
   font-size: 0.9em;
   font-weight: bold;
}

.code {
   font-family: "Consolas", "Courier New", courier, monospace;
   display: block;
   margin-left: 5em;
   border-left: 3px solid #ccaaaa;
   padding-left: 1em;
   white-space: nowrap;
   overflow: auto;
   color: #000000;
}

* html body .code {
   /* IE hack */
   white-space: normal;
}

#news {
   background-color: #B0C4DE;
   vertical-align: top;
}

#news h2, #uotd h2, #mainnav h2 {
   font-size: 1.2em;
   font-weight: bold;
}

#news h3 {
   color: #666666;
   font-size: 1em;
   margin-bottom: 2px;
}

#news p {
   margin-top: 0px;
}

#uotd {
   background-color: #FAF0E6;
   vertical-align: top;
}

.smalltext {
   font-size: 0.8em;
}

.error {
   color: #ff0000;
   font-weight: bold;
   font-size: 1.1em;
}

.notice {
   color: #009900;
   font-weight: bold;
   font-size: 1.1em;
}

#preview {
   border: 2px solid #cccccc;
   background-color: #eeeeee;
   margin: 1em;
   padding: 0.2em;
}

#preview .header {
   font-weight: bold;
   font-size: 1.3em;
   border-bottom: 1px solid #cccccc;
}
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 12 Wrzesień 2007, 11:39
W wieczornych godzinach lub jutro mogę podłubać przy stronie, dziś w końcu planuję uruchomić jakieś forum.
Po stronie serwerowej mam na razie jeden mały problem - teoretycznie ustawiłem minimalną wersję klienta powyżej 5.5.x - to ze względu na fakt, że wrapper nie działa do końca poprawnie na niższych i zadania często się wysypują z błędem na starcie. Jednak w praktyce w logu widzę, że od wczoraj wysypały się na starszych klientach łącznie 24 zadania, więc coś to ustawienie chyba nie działa.
Tak poza tym to jak na ledwo kilka dni działania wszystko śmiga nieźle - każde zadanie przechodzi 3-stopniową weryfikację (validator BOINCa, validator przed umieszczeniem w głównej bazie i weryfikacja po stronie serwera M4 projektu przy odsyłaniu), z tych poprawnie ukończonych nie trafiło się jeszcze żadne z błędami.

Co sądzicie o punktacji ? Z tego co widzę, słabsze maszyny dostają często mniej punktów niż żądają, ale z kolei lepsze sprzęty całkiem na odwrót, pokazują swoją prawdziwą moc.

Na stronie dodałem link do rezultatów na oryginalnym serwerze - serwer dodaje do listy tylko wyniki ze score max 5% poniżej aktualnej najwyższej wartości, dlatego w miare upływu czasu lista wydłużać się będzie coraz wolniej.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 12 Wrzesień 2007, 20:21
Tak z innej beczki. Mała ciekawostka dla osób zainteresowanych nieco historią. Dziś leci film (http://tv.wp.pl/opis.html?pr_tele_id=3438841473) - będący próbą rekonstrukcji tych wspaniałych dla polskich kryptologów wydarzeń.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: PMG w 13 Wrzesień 2007, 16:07
Żałowałem ze mam 16 próbek po 40 to mam jedną. 16 godzinną :). Pytanie - czy to standard będzie taka długość czy to jakiś po prostu wybryk.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Wrzesień 2007, 16:20
Nie ma takich długich zadań, chyba, że śmigasz na mega starym sprzęcie. Długości zadań na referencyjnej maszynie (Athlon 1400):

typ0: 1h 31m 30s +/- 8%
typ1: 2h 47m 20s +/- 6%
typ2: 3h 15m 41s +/- 9%
typ3: 5h 21m 56s +/- 9%

rozrzut czasami może być trochę większy, ale generalnie nie powinien przekraczać 10%. Częściowo bierze się stąd, że liczba checkpointów i zapisów do pliku z wynikami zależy od samego zadania i tego, ile razy w ciągu zadania zmieni się top score, a wszystkie dodatkowe czynności do wykonania wydłużają czas.
Około 3/5 zadań to typ0, reszta dzieli się między 1-3, zadań typu 3 jest najmniej.
Czas zadań może jeszcze być źle pokazywany, mam dalej problemy z prawidłowym ustawieniem, chociaż zbliżają się do poprawnej wartości. Wcześniej wartości były bardzo zaniżone, przez co niektóre hosty złapały rdcn w granicach 50-100, przez co pokazują kosmiczne wartości czasu potrzebnego na ukończenie zadania. Mam nadzieję, że powoli wróci to do normy. Dla jednego z moich hostów chyba już się dość ładnie wyregulowało, komp to stary Celeron 666 i dla zadania typu 0 szacowany czas podaje 2h 30-45 minut.

Jeśli trafi się podejrzanie długie zadanie, to najlepiej wyłączyć chwilowo managera, znaleźć katalog slot od enigmy, spakować i podesłać do mnie - albiniasty<małpencja>gmail.com - a potem zadanie po prostu anulować.
Łatwo ocenić czy coś jest nie tak, jeśli na sprzęcie lepszym od tego Athlona jakieś zadanie zajmie ponad 6h, to już można coś podejrzewać. Na gorszych procach, można tak pi razy drzwi pomnożyć czas zadania przez różnicę w zegarach i dodać jakąśtam tolerancję.
Zadania enigmy jeśli mają się wysypać, to raczej wysypują się od razu - progs przy starcie kontroluje pliki i jeśli coś jest nie tak, wysypuje się z błędem bodajże 0x01. Jeśli progs ruszy, to raczej nie powinien się sypnąć. Przynajmniej nigdy jeszcze takiego przypadku nie widziałem, a na różnych odmianach tego exeka działam od 1,5 roku.

Tak w ramach ciekawostek: ledwo kilka dni od uruchomienia serwera całkowita moc obliczeniowa dogoniła już prędkość oryginalnego serwera projektu M4 :D
Jeden przebieg przez wszystkie ustawienia enigmy powinien zająć około 8 dni i pierwszy najprawdopodobniej zakończy się w ten weekend.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: miszol w 13 Wrzesień 2007, 18:28
sprzęt: pentium III mobile 1,13GHz- pokazuje ponad 80h, poprzednią jednostkę która była oceniona na ponad 100h anulowałem - sory
rozumiem że coś nie tak i podesłać?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: PMG w 13 Wrzesień 2007, 18:29
To ja złapałem tą za 3 godziny. Teraz liczy sie "test3_cośtamcostam" wic teraz niekrótką próbkę złapałem. Acha - napisałem 15 godzin bo tak mi pisało - a poprzednio przy 40 minutach zawsze w miarę dobrze pokazywał. Teraz pokazuje 7 godzin - więc dokładnie to nie jest to co ma być.

Ale spoko.

Pytanie - kiedy będzie możliwy ewentualny eksport statystyk do boincstats ? Bo teraz rozumiem ze juz liczymy normalne próbki enigmowe i samo obliczanie w miarę sie kula ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 13 Wrzesień 2007, 18:32
Rzeczywiście przewidywanie czasu obliczeń szwankuje. 2 próbki, które przeliczyłem w ~50 min miały się liczyć ponad 40h. Przez to BOINC wpada w tryb "high priority" bo myśli, że nie wyrobi się przed deadlinem i nie liczy nic poza Enigmą.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: miszol w 13 Wrzesień 2007, 18:37
no właśnie tryb high priority mnie torszke irytuje bo próbki uFluids czekają...

---edit---

przeliczyła się po 1h13' :) ta która była oceniona na ponad 80h
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: ka_ga w 13 Wrzesień 2007, 19:28
u mnie na Pentium III 800 MHz pokazuje ponad 200 godzin, a na Intel Core2 1,66 ponad 150 godzin

tak przy okazji czy jest ustawiony jakiś limit pobierania próbek? po na dwujajowcu pobiera mi tylko jedną przez co na drugim procku muszę uruchamiać co innego zamiast skoncentrować się na enigmie  :?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: PMG w 13 Wrzesień 2007, 20:00
Acha - można zmienić temat ? bo mało informacyjny jest. Wystarczy Enigma@Home.

PAczki sie liczą - teraz była po 1,3 godziny. Znowu pokazuje 11 godzin następną - ale to spoko.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Wrzesień 2007, 20:26
Zatrzymałem generowanie nowych zadań do czasu, aż obmyślę, jak to poprawić. Nie powinno to być zbyt trudne, trzeba tylko znaleźć sposób, żeby obliczyć poprawną wartość rsc_fpops_est. Przekopałem dziesiątki stron i nie widzę żadnych konkretnych informacji. Pamiętam jednak, że jeszcze zanim w ogóle ściągnąłem źródła serwa, widziałem gdzieś info o kalibracji czasu zadań, a teraz nie mogę tego znaleźć.
W najgorszym wypadku będę musiał pozasysać trochę jednostek z innych projektów i zobaczyć, jak tam wyglądają te ustawienia, a później wymyśleć jaki jest na to wzór %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 13 Wrzesień 2007, 20:39
A może yoyo będzie ci umiał jakoś pomóc?

Tymczasem trza się mobilizować w Enigmie bo już czyhają na nasze 1 miejsce  :!:
Pentiumy D tego gostka (http://enigma.no-ip.net:443/enigma//hosts_user.php?userid=62) baaardzo dobrze punktują...
Nie wiem czy nie za dobrze  :?:

Porównywalnie z Quadem (http://enigma.no-ip.net:443/enigma/show_host_detail.php?hostid=194)

Na domiar złego ta jednostka (http://enigma.no-ip.net:443/enigma/workunit.php?wuid=13517) przeliczała się 300sek i  dostał za nią 20 pkt.

System punktacji ma więc luki  :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 13 Wrzesień 2007, 20:50
RAD-Poland gotowy do obrony I miejsca tylko brak aplikacji pod Linuksa do liczenia  :(
- pod wine Windowsowa aplikacja wysypuje się na starcie
- ściągnąłem źródłową aplikację Enigmy pod Linuksa i nawet się skompilowała, tylko czekam na zielone światło TJM
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: PMG w 13 Wrzesień 2007, 20:54
Cytat: "TJM"W najgorszym wypadku będę musiał pozasysać trochę jednostek z innych projektów i zobaczyć, jak tam wyglądają te ustawienia, a później wymyśleć jaki jest na to wzór %-)

To zacznij od zassania jednostki climata :)

Ale z tego co piszesz to wynika że już teraz mamy z platformy BOINC taką moc obliczeniową jak normalnie ma sam z siebie ten projekt- to co sie stanie jak to tak na powaznie pójdzie w świat ? :>
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Wrzesień 2007, 22:16
---------- 21:02 13.09.2007 ----------

Czas przeliczania nie ma nic wspólnego z przyznawanymi kredytami. Wystarczy spojrzeć na mój profil, jest tam host (Win98) który raportuje 0.00 sekund czasu procesora a dostaje mimo to kredyty. Po zrestartowaniu zadania czas 'leci' od nowa, więc jeśli ktoś restartnie pod sam koniec, to może zaraportować zadanie np. z 5 sekundami czasu. Ale jeśli przejdzie przez testy poprawności, dostanie właściwą ilość punktów.
Wszystko przez to, że wrapper i BOINC prawdopodobnie nie wiedzą, że enigma checkpointuje samodzielnie podczas pracy, po restarcie progs 'myśli' że zadanie zaczęło się od nowa. To pewnie da się jakoś obejść, ale jeszcze nad tym nie myślałem.

Punkty przyznawane mogą wyglądać trochę dziwne, ale nie widzę powodu, żeby to zmieniać. Dla wolniejszych kompów i tak wartości są zaniżone (nawet mój athlon, który jest w projekcie referencyjną maszyną, dostaje mniej niż żąda), a to, że szybsze proce dostają nawet 2 razy więcej punktów niż żądają, wynika z ich prawdziwej wydajności, a nie zaniżonych BOINCowych benchmarków. Nie widzę powodu dla którego naprawdę szybki komp miałby za tą samą robotę dostawać np. o połowę punktów mniej niż wolniejszy. To, że wykonuje zadanie 3-4 razy szybciej to właśnie jego zaleta.
Aż strach wypuszczać zoptymalizowaną aplikację, bo dla i tak już szybkich kompów szybkość jeszcze wzrośnie.




Enigma pod linuksem kompiluje się bez problemów, nawet na dość archaicznych systemach. Problemem jest kompatybilność między linuksami... Nie mam żadnego doświadczenia w budowaniu exeków, które mają działać na wielu systemach, więc nie mam pojęcia jak się za to zabrać. Na dodatek oprócz samego exeka enigmy, którego najprawdopodobniej mógłbym przygotować na moim głównym serwie, gdzie jest starszy system, trzeba skompilować też tego zakichanego wrappera, którego tam nie skompiluję, bo system jest za stary %-)
W weekend się za to wezmę, razem z kumplem prawdopodobnie posiedzimy nad linuksową wersją. Na razie cały przewidziany na dłubanie czas wciągają mi inne rzeczy. Wczoraj chciałem forum uruchomić, ale dziś dopiero mam dostęp do serwera, więc przy nim dłubę (postawiłem SMF teraz szukam jakiegoś skina na tyle ładnego, żeby ustawić jako domyślny).

---------- 21:50 ----------

Z tego co się do tej pory dowiedziałem, rsc_fpops_est ustawia się właśnie tak, jak to zrobiłem. Problem może leżeć jednak w bazie danych - pierwsze jednostki miały bardzo nisko ustawione te fpopsy, dlatego dla hostów które 'przerobiły' ich dużo, rdcf w bazie jest bardzo wysoki. 90% hostów ma poprawne wartości w zakresie 0.6-2, ale reszta ma dziwne. To powinno samo minąć, ale jeśli komuś bardzo zależy, mogę poprawić ręcznie (przestawię na 1, powinno szybciej się wyregulować), wystarczy podać ID hosta.

---------- 22:16 ----------

Jak nazwać takie coś:  1 lat(a), 146 dni, 8 godzin, 14 minut pracy Athlona 1400 (jest to całkowity czas procesora poświęcony dla projektu, przeliczony na czas referencyjnej maszyny) ? Chcę to wypchnąć na stronę główną, bo ładnie wygląda.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: PMG w 14 Wrzesień 2007, 14:28
[moderacja: link nie aktualny] - byłem pierwszy :).



Acha - można utworzyć osobny dział dla tego projektu ?



Pytanie - czy to już jest "oficlany" projekt o którym można informować i tak dalej ? Bo może pochwalić się szerzej gdzieś ?



Czy lub kiedy będzie eksport statystyk do BoincStats.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 14 Wrzesień 2007, 14:36
http://boinc.mundayweb.com/one/ - już eksportują, na BOINCStats trzeba pewnie poczekać kilka dni.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: miszol w 14 Wrzesień 2007, 16:15
kolejna jednostka: test3_1_96655_0 - ponad 160h... zobaczmy w ile pójdzie
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 14 Wrzesień 2007, 16:22
Cytat: "AL"http://boinc.mundayweb.com/one/ - już eksportują, na BOINCStats trzeba pewnie poczekać kilka dni.

Już są również na BS  :D
Enigma dodana też do BAM  :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Wrzesień 2007, 16:39
96665 to najdłuższy typ zadania, ale te setki godzin to gruba przesada.
Sprawdzałem dziś na świeżej instalacji, czas zadań pokazywany jest w miarę poprawnie, wychodzi na to, że rzeczywiście problem leży w rdcf zamotanym przez pierwsze serie zadań.

na kolanie zrobiony podglądacz długości zadań:
http://enigma.no-ip.net/enigma/wu_lookup.php?id=96655
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 14 Wrzesień 2007, 17:04
Świetne. Dzięki  :D
Rzeczywiście mój RDCF to prawie 32  :?
Szkoda, że tak wolno się to koryguje... (o ile w ogóle).

EDIT: Na forum BS Shai zwrócił uwagę, że jemu w miarę liczenia przewidywany czas wzrasta  :-k

A co do punktacji to dostaję średnio 11,793/h na Pentium M 1,5Ghz. To odrobinę za dużo w stosunku do Seti/Einsteina/Rosetty, ale mnie to nie przeszkadza  :P
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Wrzesień 2007, 17:21
sprawdzałem na swoim kompie, rdcf spada mi około 1 po każdym zadaniu, zaczynałem od 80 i już opadło do 54. Nie wiem, czy czasami ręczna zmiana tego nie pokaszani czegoś.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 14 Wrzesień 2007, 17:24
Ja też nie wiem. Ale możesz po eksperymentować na moim hoście ID=22.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Wrzesień 2007, 17:29

mysql> select duration_correction_factor from host where id = 22;
+----------------------------+
| duration_correction_factor |
+----------------------------+
|                  31.681728 |
+----------------------------+
1 row in set (0.00 sec)



Zmieniłem na 1.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 14 Wrzesień 2007, 17:35
Dzięki. Nie wiem jak po stronie projektu, ale po mojej póki co próbka się spokojnie przelicza.  :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 14 Wrzesień 2007, 18:58
Niestety po odesłaniu próbki RDCF wynosi 31.370602  :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Wrzesień 2007, 19:48
Hm czyli pewnie ręczna zmiana tego nie wchodzi w grę, bo prawdopodobnie wartość po stronie serwera odzwierciedla tylko jakąś wartość zapisaną po stronie klienta.
Rozwiązaniem może być opuszczenie projektu i ewentualne wytropienie pozostałych plików w katalogu BOINCa, a potem ponowne przyłączenie się.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 14 Wrzesień 2007, 20:32
Na Boincstats też już są statystyki:) Ciekawe ilu teraz userów się dołączy? Trzeba brać się do roboty, bo Polska cienko stoi:/
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Tomislaw w 14 Wrzesień 2007, 20:46
Cytat: "miszol"kolejna jednostka: test3_1_96655_0 - ponad 160h... zobaczmy w ile pójdzie
moja to test3_1_96810_0 ponad 181 godz (C2D E6600) "pozostały czas" wcale nie ubywa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 14 Wrzesień 2007, 20:57
Nic się nie martw. Na pewno dłużej niż 3 godziny się liczyć nie będzie.
Nie ma nowych próbek  :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Timaxi w 14 Wrzesień 2007, 21:13
O kurde USA  8O  nas wyprzedziło trzeba się wziąść
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 14 Wrzesień 2007, 22:04
Cytat: "TJM"Hm czyli pewnie ręczna zmiana tego nie wchodzi w grę, bo prawdopodobnie wartość po stronie serwera odzwierciedla tylko jakąś wartość zapisaną po stronie klienta.
Rozwiązaniem może być opuszczenie projektu i ewentualne wytropienie pozostałych plików w katalogu BOINCa, a potem ponowne przyłączenie się.

Po sprawie. Wystarczyło odłączyć i przyłączyć projekt.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Wrzesień 2007, 22:13
U mnie też pomogło. Teraz szacowany czas od prawdziwego różni się o 10-15 minut przy najdłuższym zadaniu.
Ciągłość generowania zadań może być trochę zakłócona, bo przepisuję progs zajmujący się wymianą zadań z serwerem M4. Musi być wielowątkowy, bo przy pracy szeregowej z jednym wątkiem (odsyłanie/pobieranie na raz jednego zadania) chwilami robiły się duże kolejki. Odsyłanie już przerobiłem, teraz działa ze 100 razy szybciej. Pracuję właśnie nad pobieraniem zadań.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 14 Wrzesień 2007, 22:35
Powodzenia  :D

Z pobieżnej obserwacji wyników tak mi wychodzi, że procki Intela się sprawdzają lepiej w tym projekcie niż AMDki. Zgadza się?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Wrzesień 2007, 22:56
Na standardowej aplikacji tak, o ile wiem to ten zwykły exek był zrobiony kompilatorem Intela, więc to pewnie dlatego.
Można by spróbować stworzyć odpowiedni XML i wypróbować exeki zbudowane w devcpp z optymalizacjami - powinno to wyrównać szanse i przy okazji przypieszyć wszystko.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 14 Wrzesień 2007, 23:00
Tzn, że jeszcze nie udało ci się optymalizacji zaaplikować?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 15 Wrzesień 2007, 00:59
W ogóle jeszcze nad tym nie kombinowałem, od strony serwera chyba się nie da, za to po stronie klienta powinno się dać dość łatwo.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 15 Wrzesień 2007, 11:41
Cytat: "Bober"
Cytat: "TJM"Hm czyli pewnie ręczna zmiana tego nie wchodzi w grę, bo prawdopodobnie wartość po stronie serwera odzwierciedla tylko jakąś wartość zapisaną po stronie klienta.
Rozwiązaniem może być opuszczenie projektu i ewentualne wytropienie pozostałych plików w katalogu BOINCa, a potem ponowne przyłączenie się.

Po sprawie. Wystarczyło odłączyć i przyłączyć projekt.

Jeszcze prościej wyedytować client_state.xml i zmienić tam wartość RDCF.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: jaskij w 15 Wrzesień 2007, 12:33
Wracając jeszcze na chwilę do punktowania, to Intel Core Duo punktuje bardzo dobrze, zależnie od WU dostaję 1/3 do połowy creditów więcej niż claimed...
statystyki (http://enigma.no-ip.net:443/enigma/results.php?userid=34)
Pytanie: czy to nie jest ciut za dużo?
Wszystko było wysyłane z tego samego hosta (http://enigma.no-ip.net:443/enigma/show_host_detail.php?hostid=361).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Simek w 15 Wrzesień 2007, 14:57
---------- 13:20 15.09.2007 ----------

Hehe... Widzę, że wrzuciłeś mój CSS. Tak jak się spodziewałem namieszał on trochę na innych częściach strony ;) Właśnie pracuję nad poprawkami...

---------- 13:57 ----------

Poprawiony CSS: (powinno być teraz ok) http://ysfshare.com/download2.php?a=302723&b=9a63a 328e5bee6fcb3ef1d249944ad4b
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2007, 02:13
---------- 23:47 15.09.2007 ----------

Wrzuciłem przedwczoraj wieczorem, u mnie wszystko było ok, jedyne do czego mogłem się przyczepić, to dziwnie wielka tabelka w server status. No i przydałoby się, żeby zielony kolor wrócił w tej tabelce.
Tego poprawionego niestety nie mogę zassać. Nawet jak złożę link do kupy, wyskakuje błąd.
Jutro prawdopodobnie zmieni się trochę system punktowania i wprowadzę pewne poprawki w rdcf. Mam nadzieję, że tym razem nic nie spitolę  :D
Dla zadań typu 0-2 poprawka będzie raczej kosmetyczna (uaktualnienie do najświeższej średniej wartości z referencyjnej maszyny), dla zadań typu 3 będzie to bugfix, bo w nich rdcf znacznie odbiega od rzeczywistości. Jednak nie tak, jak za pierwszym razem - teraz różnica to jakieś -25%

Zacząłem też prace poprawkowe nad wrapperem - mam zamiar przerobić dziada, żeby poprawnie raportował postępy i przy okazji zapisywał czas procesora, a nie jak obecnie, po restarcie zadania gubił poprzednią wartość. Myślę, że przeróbki nie powinny być zbyt trudne, może już w przyszłym tygodniu nowa wersja zastąpi aktualną, zależy jak wypadnie w testach.
Zanim jednak dalej zacznę w nim dłubać, odpalę wreszcie forum i dodam parę detali do strony. Chciałbym też dodać te przyciski typu 'Your account', 'Forums' itp do samego klienta; wiem, że konfiguruje się to jakoś po stronie serwera, nawet widziałem kiedyś te ustawienia, ale teraz nie mogę ich znależć %-)

---------- 02:13 16.09.2007 ----------

Dodałem link do forum na stronie i na tym kończę dłubanie na dziś, jutro zajrzę pewnie dopiero w porze obiadowej, więc możecie tam ewentualnie 'zabawiać gości' pod moją nieobecność %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Simek w 16 Wrzesień 2007, 08:58
http://simek.ifastnet.com/enigma.css

U mnie na serverku...
No właśnie poprawiłem zbyt duży padding komórek... Poprawki w stylu th i td...

Jeszcze denerwują mnie puste tabelki np. w statusie serwera... Ale ti już wina plików php, a nie stylów...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2007, 16:06
Zmienione, gdyby zmiany nie pojawiły się od razu, wystarczy poklikać trochę w odśwież.
Nie wiem jak inne przeglądarki, Opera sama z siebie jakoś rzadko CSSy odświeża.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Simek w 16 Wrzesień 2007, 16:15
Ehh... Problem będzie z tymi kolorkami w statusie serwera, ponieważ aby działały trzeb by już modyfikować pliki php/inc. Zmian plikach wymaga także usunięcie tych dziwnych tabelek po prawej w nagłówku otwartej strony...

Usunąłeś justowanie w głównym menu, bo widzę że nie ma ;)

Aha i w wolnej chwili możesz podmienić tekst i logo BOINC na nowy obrazek:
http://boinc.berkeley.edu/logo/pb_boinc.gif
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 16 Wrzesień 2007, 16:41
niechcę nikogo poganiać, dotyczy aplikacji pod Linuksa  :wink:
ale mam pytanko
Do czego służy wrappr, czy tylko odpowiada za naliczanie czasu i wyświetlane postępu pracy ?
czyli jeśli się nie mylę brakowało by tych dodatków gdybyś udostępnił aplikację bez wrappera
czasami liczę projekt SHA pod Linuksem używając wine i windosowego Boinca
kiedyś liczyłem Cosmology, SIMAP i Einsteina ponieważ miały lepiej optymalizowane aplikacje pod Windę
efekt był taki, że przy odesłanym wyniku (czas obliczeń był = "0" i claim credit = '0"), a np: grant cedit = 10 pkt  dla SHA bo tyle jest za przeliczoną próbkę (oczywiście rzeczywisty czas przeliczania wu był taki jak trzeba np: 34 min dla SHA)
Niecierpliwy Linuksowiec   P-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2007, 17:27
Linuksową aplikację działającą na najnowszych dystrybucjach mógłbym zrobić prawdopodobnie w ciągu godziny, pytanie tylko, kto będzie odpowiadał na pytania userów, czemu na ich systemach nie rusza %-) Jak znajdzie się ktoś chętny, to można próbować  :lol:
Żeby aplikację odpalić w BOINCowym środowisku, musi mieć wbudowane BOINC api lub działać z wrapperem. W zasadzie na jedno wychodzi, a nawet wrapperowa wersja bardziej mi się podoba, bo nie komplikuje kodu samej aplikacji. Bez wrappera nie ma szans uruchomić oryginalnej, niezmodyfikowanej enigmy w BOINCowym środowisku. Początkowo myślałem, że wrapper to badziew, ale przecież źródło jest dostępne, po przeanalizowaniu kodu wymyśliłem sposób jak go zmodyfikować, tak, żeby wyeliminować wszystkie problemy, które powoduje domyślna wersja.

To wszystko jest jednak niczym w porównaniu z koszmarem w postaci dynamicznej domeny. Wszystko wskazuje na to, że bez zaawansowanego kombinowania po prostu nie da się tego poprawić, więc albo stanę na głowie i coś wymyślę (Bjoern od Depspida dużo się nakombinował i mu się udało), albo narucham skądś dedykowany host, na którym odpalę sam serwer BOINCa, co niestety jest mało realne ze względu na koszty.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 16 Wrzesień 2007, 17:32
Cytat: "TJM"Linuksową aplikację działającą na najnowszych dystrybucjach mógłbym zrobić prawdopodobnie w ciągu godziny
to super
linuksowcy dadzą sobie radę, sprawdzą ldd enigma.... jakich bibliotek im brakuje, doinstalują i po sprawie
Edit: w wielu projektach trzeba było doinstalowywać biblioteki, czasami archaiczne sprzed 2-3 lat  :wink:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2007, 17:41
biblioteki da się zapewne wkompilować w exeka, co prawda będzie wtedy duży, ale za to powinien działać na większej liczbie systemów.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 16 Wrzesień 2007, 17:44
ale wolniej
czasami po takiej operacji "tryb kompilacji static", spowalnia aplikację o 50% i więcej  :(
EDIT: - ale i dobra będzie taka, w końcu projekt ma status alpha
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2007, 18:34
Nie ma szans, żeby cokolwiek spowolniło, wrapper nic sam nie oblicza, a enigma nie ma praktycznie żadnych wymagań.

Ciekawe, czy na linuksie też będą takie problemy z DNSami...

Muszę teraz wyjść na 1,5h, jak wrócę, dodam linuksową aplikację, ale tak nieoficjalnie i po cichu - na stronie nic nie będę pisał o tym na razie %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 16 Wrzesień 2007, 18:45
ok to ja czekam na linuksowa aplikacje, jak cos porobie testy i zdam raporty
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: miszol w 16 Wrzesień 2007, 18:55
ja tak z innej beczki :)

może przenieśmy rozmowy na tematy techniczne na forum enigmy... bo niektóre kwestie się już pojawiają na obu forach i niedługo może sie zrobić lekki bałagan

ps. przewidywany czas dla próbek nadal kosmiczny - może napisz o tym na stronie żeby ludzie się nie przestraszyli
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 16 Wrzesień 2007, 19:25
Cytat: "miszol"
może przenieśmy rozmowy na tematy techniczne na forum enigmy... bo niektóre kwestie się już pojawiają na obu forach i niedługo może sie zrobić lekki bałagan

znaczy sie do 'english zone'?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2007, 19:55
Przewidywany czas dla próbek jest dobry i rozwiązanie tego problemu jest znane - wystarczy opuścić projekt i przyłączyć się ponownie, lub ręcznie wyedytować pliki.
Aktualnie problem kosmicznego czasu dotyczy chyba 10-15 kompów w całym projekcie.

Dodałem linuksową aplikację, ale jeszcze nawet sam nie sprawdzałem, czy działa %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 16 Wrzesień 2007, 20:04
1. na AthlonX2 3800+ 2,0@2,2 - pokazało 4h 40 min
2. aplikacja:
- wrapper ok
- enigma nie ma ustawionego bitu wykonywalności (ustawiłem ręcznie "chmod +x ...." i liczy  :wink:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2007, 20:10
Może tak pokazywać, bo benchmarki BOINCowe nie odzwierciedlają pełnej wydajności nowszych proców. Założę się, że dla tego Athlona po kilku jednostkach rdcf spadnie do 0.5-0.6 i proporcjonalnie zmniejszy się szacowany czas dla zadań. To samo jest z innymi szybkimi procami, np. core2.

Bit wykonywalności zapewne gdzieś się ustawia, pytanie tylko gdzie. Można by w sumie w job dopisać jako pierwszą 'aplikację' chmod +x enigma_0.76_i686-pc-linux-gnu  :lol:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 16 Wrzesień 2007, 20:18
Cytat: "RAD-Poland""chmod +x ...."
przypuszczałem, że to przeoczenie ponieważ wrapper ma ten bit ustawiony
możesz ustawić ten bit na serwerze i nie trzeba "zaśmiecać" job_....xml
8)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Simek w 16 Wrzesień 2007, 20:25
2007-09-16 20:19:49|Enigma@Home|Resetting project
2007-09-16 20:19:49|Enigma@Home|Detaching from project
2007-09-16 20:20:04||Fetching configuration file from http://enigma.no-ip.net:443/enigma/get_project_con fig.php
2007-09-16 20:20:21|Enigma@Home|Master file download succeeded
2007-09-16 20:20:26|Enigma@Home|Sending scheduler request: Project initialization
2007-09-16 20:20:26|Enigma@Home|Requesting 1 seconds of new work
2007-09-16 20:20:31|Enigma@Home|Scheduler RPC succeeded [server version 511]
2007-09-16 20:20:31|Enigma@Home|Deferring communication for 6 min 3 sec
2007-09-16 20:20:31|Enigma@Home|Reason: requested by project
2007-09-16 20:20:33|Enigma@Home|[file_xfer] Started download of file wrapper_5.17_windows_intelx86.exe
2007-09-16 20:20:33|Enigma@Home|[file_xfer] Started download of file ciphertext2
2007-09-16 20:20:35|Enigma@Home|[file_xfer] Finished download of file ciphertext2
2007-09-16 20:20:35|Enigma@Home|[file_xfer] Throughput 669 bytes/sec
2007-09-16 20:20:35|Enigma@Home|[file_xfer] Started download of file 00bigr.naval
2007-09-16 20:20:37|Enigma@Home|[file_xfer] Finished download of file 00bigr.naval
2007-09-16 20:20:37|Enigma@Home|[file_xfer] Throughput 4187 bytes/sec
2007-09-16 20:20:37|Enigma@Home|[file_xfer] Started download of file enigma_0.76_windows_intelx86.exe
2007-09-16 20:20:45|Enigma@Home|[file_xfer] Finished download of file enigma_0.76_windows_intelx86.exe
2007-09-16 20:20:45|Enigma@Home|[file_xfer] Throughput 8265 bytes/sec
2007-09-16 20:20:45|Enigma@Home|[file_xfer] Started download of file 00trigr.naval
2007-09-16 20:20:59|Enigma@Home|[file_xfer] Finished download of file 00trigr.naval
2007-09-16 20:20:59|Enigma@Home|[file_xfer] Throughput 10201 bytes/sec
2007-09-16 20:20:59|Enigma@Home|[file_xfer] Started download of file job_1.14.xml
2007-09-16 20:21:00|Enigma@Home|Incomplete read of 197.000000 < 5KB for job_1.14.xml - truncating
2007-09-16 20:21:00|Enigma@Home|[file_xfer] Finished download of file job_1.14.xml
2007-09-16 20:21:00|Enigma@Home|[file_xfer] Throughput 252 bytes/sec
2007-09-16 20:21:00|Enigma@Home|[file_xfer] Started download of file 00hc_wu_104151
2007-09-16 20:21:00|Enigma@Home|[error] Checksum or signature error for job_1.14.xml
2007-09-16 20:21:02|Enigma@Home|[file_xfer] Finished download of file 00hc_wu_104151
2007-09-16 20:21:02|Enigma@Home|[file_xfer] Throughput 100 bytes/sec
2007-09-16 20:21:09|Enigma@Home|[file_xfer] Finished download of file wrapper_5.17_windows_intelx86.exe
2007-09-16 20:21:09|Enigma@Home|[file_xfer] Throughput 13551 bytes/sec


Odłączyłem sie od projektu, aby naprawic długością jednostek. Niestety BM stwierdził, ze pobranie zadania sie nie powiodło...
Nie wiem co sie stało, ale teraz nie mogę pobrać jednostek...[/b]
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2007, 20:29
Bleh to mój błąd, zaraz to poprawię.

Edit: teraz działa ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Simek w 16 Wrzesień 2007, 20:49
Działa... ;) Dzięki
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: krzyszp w 16 Wrzesień 2007, 21:15
Cytat: "TJM"skądś dedykowany host, na którym odpalę sam serwer BOINCa, co niestety jest mało realne ze względu na koszty.

A jaki to koszt???
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2007, 21:20
Z tego co widzę, minimum to 150-200zł na miecha, za jakieś bublatrony podłączone do sieci. Taki serwer spokojnie by starczył, ale wydaje mi się, że w tej cenie jakość usług może być podejrzana.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 16 Wrzesień 2007, 21:24
1 Athlon3000+na wstepie pokazalo czas 34:26:11 licze, zobaczymy co z tego wyjdzie ;)
2 potwierdzam, ze enigma nie ma ustawionego bitu wykonywalności
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: krzyszp w 16 Wrzesień 2007, 21:28
Dużo, ale myślę, że może ktoś z forumowiczów ma stałe IP...?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: kempler w 16 Wrzesień 2007, 21:28
Mi na wstępie pokazało 151:43:54 i się nawet tym nie przejmuję  :wink:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 16 Wrzesień 2007, 21:30
Cytat: "TJM"Linuksową aplikację działającą na najnowszych dystrybucjach mógłbym zrobić prawdopodobnie w ciągu godziny ...
fakt tylko najnowsze
wrapper skompilowany jest na "GCC_4.2.0" - a to oznacza,że tylko najnowsze
Mandriva 2007 Spring - tego nie pociągnie, ale Mandriva 2008 RC1 - liczy (przydała się wirtualna maszyna)
EDIT:
TJM User of the day - gratulacje =D>
 :mrgreen:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 16 Wrzesień 2007, 21:41
tak w ogole mozna byloby dorzucic/doczytac info http://pl.wikipedia.org/wiki/Enigma
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2007, 21:42
User of the hour raczej, bo ciągle się przyczęsto zmieniają. To ma coś wspólnego chyba z tworzeniem nowych profilów. W każdym razie prześledziłem wszystko co się dało i innej przyczyny nie widzę.
Chyba przetestuję szybkość wbudowanego w serwer forum, bo jak widzę, jak śmiga tamto SMF na insane to się nóż w kieszeni otwiera... Przez parę dni jak nie było używane śmigało szybko, a dziś strona się otwiera średnio 15 sekund...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 16 Wrzesień 2007, 21:47
pierwsze koty za płoty (niecała godzina i grant credit = 9.67) na wraperze 5.17
teraz testujemy wersję 5.18  8)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2007, 22:16
Niczym się nie różnią, musiałem zmienić nazwę pliku job, bo był konflikt z windowsową wersją.
Nie widzę na razie żadnego rozwiązania problemu z chmod, ale szukam dalej info.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 16 Wrzesień 2007, 22:21
a w job.xml nie mozesz zdefiniowac praw usera ?
enigma_0.76_i686-pc-linux-gnu -R -o results.txt 00trigr.naval 00bigr.naval ciphertext2
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2007, 22:23
Nie mam pojęcia, dlatego szukam info na ten temat.
Ta linijka którą wkleiłeś nie ma nic wspólnego z prawami, to -R oznacza że progs ma wystartować z resume file.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 16 Wrzesień 2007, 22:37
Athlon3000+  czas przeliczania 54:14

sendspace.com/file/1gjksi
moze tutaj jest odpowiedz     listing3 ma cos do tego ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2007, 22:56
Dopisałem ręcznie </executable> do xmla aplikacji, może to coś da.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 16 Wrzesień 2007, 23:08
jeszcze cos znalazlem moze bedzie pomocne
sendspace.com/file/qy4iw5
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: krzyszp w 16 Wrzesień 2007, 23:09
Na Ubuntu 7.04 i AMD 2400 wszystkie próbki się wykrzaczają (z jednym wyjątkiem).
Na Ubuntu 7.05 (Polska "mutacja" 7.04) i Celeronie 2700 próbki się przeliczają.

W obydwu nadałem prawa...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 16 Wrzesień 2007, 23:21
skoro projekt zaczyna się rozkręcać ponad 400userow to można dodać jakieś informacje o projekcie
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2007, 23:29
Cytat<core_client_version>5.4.11</core_client_version>

To chyba nie wersja ubuntu stwarza problemy, ale wersja samego BOINCa. Podobno wrapper nie działa poprawnie poniżej 5.5
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: miszol w 17 Wrzesień 2007, 01:06
Cytat: "krzyszp"Dużo, ale myślę, że może ktoś z forumowiczów ma stałe IP...?

ja posiadam dostęp do stałego ip i już poinformowałem o tym TJM'a
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Wrzesień 2007, 11:48
Na chwilę obecną znam 3 sposoby trwałego rozwiązania problemu:
1) dedykowany serwer i przepisanie części wrappera między projektami, rozwiązanie niestety poza zakresem moich możliwości finansowych, bo trzeba się liczyć z kosztami rzędu 2,5kzł rocznie.
2) hosting z mod_rewrite i mod_proxy - w ten sposób da się przepuścić cały ruch z dynamicznej domeny przez serwer ze stałym IP. Niestety nie znam serwera który udostępnia apacza z obydwoma modami.
3) jakikolwiek linux stojący gdzieś na stałym IP, wystarczy np. goła instalacja debiana (base) + apache z mod_rewrite i mod_proxy. Do takiego czegoś wystarczyłby prawdopodobnie nawet jakiś antyczny sprzęt, podejrzewam, że jakiś PIII 500 już byłby pełnym wypasem.
Dzienny transfer to około 50MB w obu kierunkach, czasami więcej jeśli zmienia się wersja aplikacji.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 17 Wrzesień 2007, 12:43
pytanko
z jakimi opcjami kompilowałeś aplikację pod Linuksa , moje kompilacje chodzą znacznie gorzej (enigma-suite-0.76)
benchmark na Athlon 3800+ 2,0@2,2
32 bit enigma TJM
392,94 sek
32bit enigma z -march=athlon64
466,91 sek (18,8% wilniej)  :(
64 bit enigma z -march=athlon64
477,64 sek (21,5 % wolniej)  :(  :(

w rzeczywistym przeliczaniu wyniki benchmarka potwierdzają się (nie są te same wu, ale porównywalne)
CytatTJM
wu_25781     3,217.66     8.96     8.35

my 32bit
wu_25780    3,834.92    10.67    8.35
CytatTJM
wu_25270     3,049.09     8.49     8.35

my 32bit
wu_25393    3,875.73    10.79     8.35
generalnie 20-25% wolniej - gdzie jest haczyk?  :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Wrzesień 2007, 12:50
To jest exek żywcem wzięty z mojego najstarszego kompa z linuksem

-march=pentium3 -O2

W jaki sposób exeki podmieniasz ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 17 Wrzesień 2007, 15:55
dzięki
potrenowałem trochę, ale i tak nie osiągnąłem lepszego wyniku
32 bit enigma TJM
392,94 sek
wszelkie próby z gcc 4.1 i 4.2 skończyły się wynikami 460-510 sek
coś mnie tknęło i sprawdziłem czym kompilowałeś swoją aplikację -> gcc 3.2
nie mam takiej wersji, oficjalna gcc 3.3.6, po kilku kompilacjach najlepszy wynik to 411 sek :?
narazie zostaję przy twojej aplikacji, może ktoś zna się na kompilacji źródeł i po osiągnięciu lepszych wyników udostępni aplikację
(specjaliści od Gentoo do roboty)  :wink:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Wrzesień 2007, 16:38
Heh a powiedz mi jeszcze, jak to kompilujesz ?
Wydaje mi się, że coś robisz źle, bo o ile pamiętam, dało się uzyskać szybszy exek dla athlonów kombinując z flagami. Chociaż różnica chyba była niewielka, dlatego ja dla uproszczenia na wszystkich kompach używam jednego (tego PIII).

Aha i jeszcze jedna rzecz - w jaki sposób mierzysz czas ? Przy testach exeków trzeba bawić się jakimś powtarzalnym zadaniem (np. tym benchmarkiem który tu wkleiłem), bo inaczej wyniki mogą zostać zafałszowane poprzez rozrzut długości zadań.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 17 Wrzesień 2007, 16:58
przed kompilacją modyfikuję plik conf-cc, przy zmianie kompilatorów również conf-ld
testowałem z różnymi parametrami
-mcpu -march - dla różnych procesorów athlon, athlon64, athlon-xp, nawet pentium
dodawałem flagi -mmmx,-msse2,-m3dnow -mfpmath
im wyższej wersji gcc użyłem tym gorszy wynik otrzymałem :?
do testów używam Twojego benchmarka (różnice przy pomiarach max 7-8 sek)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Wrzesień 2007, 17:24
A próbowałeś edytować plik compile w katalogu enigmy ?
Generowany jest automatycznie przy pierwszej kompilacji, póżniej wystarczy zdjąć z niego prawa do zapisu, żeby nie został przywrócony do domyślnej postaci i można ręcznie edytować.

(http://img75.imageshack.us/img75/3371/enigmanr8.png)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 17 Wrzesień 2007, 17:31
nie edytowałem go, zawsze przed kompilacją miałem świeże źródło,
spróbować nie zaszkodzi
sprawdziłem jak zachowuje się ten plik - zgodnie z podanymi parametrami w pliku conf-cc
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Wrzesień 2007, 20:04
Ciekawe, zrobię zaraz na tym samym kompie exeki z innymi -marchami, zobaczymy czy będą też wolniejsze.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 17 Wrzesień 2007, 20:42
super (sprawdzimy)
jak możesz udostępnij je podobnie jak Winowsowe w benchmarku
EDIT: lepiej archiwum zip niż rar
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Wrzesień 2007, 22:27
Trochę to potrwało, nie przewidziałem tego, że tamten stary komp bardzo wolno kompiluje.
Zrobiłem wszystkie exeki na jakie pozwalał stary kompilator, jechałem po kolei po safe cflagach dla gentoo. Niestety na AthlonieXP i P4 kończą się możliwości tego gcc.
Nie sądzę jednak, żeby exeki robione specjalnie pod core2/athlony 64 były jakoś specjalnie szybsze od tych.

tjm.boo.pl/enigma/test.tgz
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 17 Wrzesień 2007, 23:12
przetestowałem dziś jedną, jutro powtórzę testy
standard 395 sek
athlon_xp - 386 sek

minimalnie lepsza aplikacja niemniej różnica w granicach błędu pomiarowego (tylko jeden pomiar)
u mnie dla athlon_xp wyszło 426 sek - prawdopodobnie wina kompilatora (nowszy ale wolniejszy)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Wrzesień 2007, 23:45
tjm.boo.pl/enigma/test2.tgz - druga porcja exeków, z nowszego systemu.
W przypadku polecenia time błędów pomiarowych chyba nie ma, przynajmniej u mnie wyniki wychodziły prawie identyczne za każdym razem.

Hm... czyżby BOINCowe benchmarki pod linuksem były dużo gorsze od windowsowych ?
Testowałem pod linuksem Athlona i claimeduje tam ponad 2 razy mniej creditów, niż pod windowsem.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: D_T_G w 18 Wrzesień 2007, 09:41
Cytat: "TJM"Hm... czyżby BOINCowe benchmarki pod linuksem były dużo gorsze od windowsowych ?
Testowałem pod linuksem Athlona i claimeduje tam ponad 2 razy mniej creditów, niż pod windowsem.

5.8.17 miało najlepsze benchmarki, ale je wycofano z obiegu, jakieś tam bugi, których u mnie nie ma więc nie downgrade'owałem i liczę na 5.8.17 od dobrych kilku miesięcy :) Sam zobacz, wczoraj się przyłączyłem do Enigmy i na razie śmiga.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Wrzesień 2007, 09:46
W sumie problem benchmarków akurat w tym projekcie jest kosmetyczny, bo punkty są i tak przydzielane za stałą długość zadania.
Tak w ogóle, to linuksowe maszyny mają przewagę nad windowsowymi - exeki i tak nie działają na bardzo starych systemach, więc domyslny linuksowy exe ma jakieś podstawowe optymalizacje i działa sporo szybciej od windowsowego.

Nie mogę się jednak pozbyć tego problemu z brakiem +x na enigmie - ustawiłem w XMLu executable dla tego pliku, a mimo to BOINC to olewa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 18 Wrzesień 2007, 11:04
testy kompilacji z test2.tgz -> gcc4.1

athlon64(march=k8 ) i opteron(march=opteron) - ten sam kod wynikowy
440 sek
438 sek

pentium-3
454 sek

default i pentium-m - ten sam kod
470 sek

nocona
506 sek

athlon-xp
527 sek
513 sek (powtórka testu)


testy kompilacji z test.tzg -> gcc 3.2

pentuim-3 i Enigma@home - ten sam kod, kod rozsyłany do użytkowników
378 sek
(393 sek, 395 sek - pomiary z poprzedniego dnia)

default (arch ??)
422 sek

athlon-xp
380 sek
386 sek

pentium-3 + sse2  :!:
576 sek
587 sek (powtórka pomiaru) :?:


:!:  test wykonane na Athlon64X2 3800+ 2,0@2,2
na innych procesorach (np Intela) wyniki mogą całkowicie odmienne
również przydałoby się zweryfikować uzyskane wyniki na inny komputerze z podobnym procesorem (licho wie co siedzi w systemie)  :wink:

najbardziej zdziwiła mnie różnica wyników pentium3 bez i z flagą -msse2
uzyskujemy najszybszy i najwolniejszy kod  :?
no i gcc 3.2 górą
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Wrzesień 2007, 22:13
---------- 12:50 18.09.2007 ----------

pentium3 +msse2 to chyba kod dla mobilnych pentiumów-m.
Zastanawiam się nad skompilowaniem windowsowej wersji na tym starym gcc, bo widać że daje to niezłe rezultaty z jakiegoś powodu.

---------- 22:13 19.09.2007 ----------

Poprawiłem chyba ten bug z chmodami na linuksie. Czy ktoś z linuksowców mógłby się odłączyć od projektu i podłączyć ponownie, żeby to zweryfikować ? U mnie działa, ale wolę mieć pewność.

Zacząłem też dłubać przy XMLach, żeby wyczaić sposób podmiany exeków na zoptymalizowane. Jednak na razie, oprócz masy błędów w profilu eksperymentalnego hosta, nie przyniosło to żadnych rezultatów. :lol:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 20 Wrzesień 2007, 03:58
Cytat: "TJM"Zacząłem też dłubać przy XMLach, żeby wyczaić sposób podmiany exeków na zoptymalizowane. Jednak na razie, oprócz masy błędów w profilu eksperymentalnego hosta, nie przyniosło to żadnych rezultatów. :lol:

A nie lepiej, przynajmniej tymczasowo, zamieścić zoptymalizowane wersje gdzieś na serwerze do ręcznego pobrania? Patrz przykład seti i swego czasu einsteina - tam to jakoś działa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: krzyszp w 20 Wrzesień 2007, 09:51
Chtba jednak automatyczne wysyłanie optymalizowanej wersji daje lepszy wynik, z serwera stosunkowo mało osób je pobiera, choć oczywiście tymczasowo może funkcjonować i takie rozwiązanie.

Ps. Czy w ogóle jakiś projekt wysyła optymalizowane wersje automatycznie?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 20 Wrzesień 2007, 10:56
Cytat: "tito"
A nie lepiej, przynajmniej tymczasowo, zamieścić zoptymalizowane wersje gdzieś na serwerze do ręcznego pobrania? Patrz przykład seti i swego czasu einsteina - tam to jakoś działa.

To chyba konieczność, bo przekopałem dziesiątki stron z dokumentacją i nigdzie nie ma wzmianki o tym, czy da się jakoś zautomatyzować pobieranie optymalizacji.

Jedyny sensowny sposób byłby taki jak z linuksem: udostępnić w miarę uniwersalny, szybszy exek, a ewentualnie dla osób z starszymi procami chcących się przyłączyć, konieczność ręcznej podmianki na inny.

Czekam z dalszym kombinowaniem aż na testowym hoście zejdzie mi dzienny limit próbek, bo nie chcę ręcznie bazy edytować, a wczoraj za dużo błędów było i zblokowało wysyłanie do tego hosta  :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 20 Wrzesień 2007, 14:53
Cytat: "TJM"Poprawiłem chyba ten bug z chmodami na linuksie. Czy ktoś z linuksowców mógłby się odłączyć od projektu i podłączyć ponownie, żeby to zweryfikować ? U mnie działa, ale wolę mieć pewność.
mogę potwierdzić, u mnie też działa poprawnie  8)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 21 Wrzesień 2007, 20:12
Kombinując z mod_proxy i mod_rewrite udało mi się wymyślić taki patent, że strona jest osiągalna również pod adresami http://enigma.no-ip.net/enigma/ i http://enigma.no-ip.net/
Jednak nie będę zmieniał adresu URL projektu, lepiej, żeby wskazywał na maszynę, gdzie rzeczywiście jest serwer. Przynajmniej do czasu, aż dorwę jakiś zewnętrzny serw z mod_proxy i mod_rewrite - wtedy za jednym zamachem zmieni się url i znikną problemy z DNSem. Kłopot tylko ze znalezieniem czegoś takiego - przekopałem mnóstwo stron i jak na razie kapa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: PMG w 21 Wrzesień 2007, 21:37
Z tego co widzę w statystykach projektu to próbek na razie jest troche :)

Acha - kicha jest. Spadlismy na 2 miejsce w Enigmie i mamy strate 600 punktów w RACu. I wcale nie jest tak że jesteśmy dobrzy. Tacy w czołówce ale nie superaśni jak na początku.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 21 Wrzesień 2007, 22:28
Liczba wszystkich zadań na serwerze M4 to chyba 5,6 miliona*, a mój serwer przechowuje tylko tyle, żeby był jakiś zapas pozwalający na ewentualne parogodzinne dłubanie przy wrapperze. Przez ostatnie dwa dni były przejściowe problemy z komunikacją między serwerami, co spowodowało chwilowe braki zadań.

* to maksymalna liczba zadań przewidziana na tekst/ustawienia serwera. Odpowiada to chyba liczbie co najmniej kilku tysięcy przebiegów po całym zakresie ustawień. Tak długo raczej nie będziemy czekali, myślę, że jeśli najbliższe 100-200 przebiegów nie przyniesie rezultatów, to zmieni się taktykę.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 21 Wrzesień 2007, 22:38
zeby bylo jasne, to co teraz testujemy jako alpha, to sa probki pobrane z projektu M4, obliczamy, odsylamy na Twoj serwer i sprawdzasz czy sa dobre/czy przesylasz do m4? W ogole jaki jest szczegolowy plan na najblizszy czas ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 26 Wrzesień 2007, 19:00
---------- 08:42 24.09.2007 ----------

Projekt ma status alpha (i jeszcze długo tak zostanie), ale zadania są z serwera M4 projektu: http://www.bytereef.org/alpha-stats.txt
Podczas pierwszych testów brałem zadania z starego alpha serwera, później Stefan zmienił ustawienia i teraz jest to coś w rodzaju 'productive testu' - tzn trzeba mieć świadomość, że coś się może wysypać, może nie działać albo mogą być problemy, ale czas procesorów nie idzie na marne

Btw, dziś w późnych godzinach wieczornych prawdopodobnie zmienię linuksową wersję aplikacji, na binarki skompilowane przez Stefana - powinny być bardziej kompatybilne z wieloma systemami, co być może wyeliminuje problemy tego typu http://enigma.nfshost.com/index.php?topic=10.0 ale z drugiej strony, są też sporo wolniejsze (jakieś 10%). Zmniejszy się przez to nieco różnica prędkości między linuksową a windowsową aplikacją, ta pierwsza w niektórych przypadkach była nawet 50% szybsza. Jednak podejrzewam, że linuksowa wersja i tak będzie działać szybciej, okaże się w praniu.
Początkowo zmiana była zaplanowana na dziś rano, ale na skutek nagłej zmiany planów jestem w robocie (dobrze, że nikt nie patrzy jak się obijam  :P) i do domu dotrę dopiero pod wieczór.

W weekend zrobiłem też dużo prób z XMLami w celu podmiany aplikacji na szybsze wersje. Stopień trudności wykombinowania czegoś takiego jest nieco wyższy, niż w projektach nie używających wrappera. Wykombinowałem, że trzeba stworzyć XML zawierający opis wszystkich plików aplikacji, z czego dwa trzeba zmienić - główną aplikację i job.xml (lub, od biedy, zmienić po prostu nazwę nowego exeka na nazwę starego, wtedy odpada konieczność dłubania w job). Wrapper, ciphertext i oba słowniki pozostają bez zmian. Jak uda mi się to doszlifować, udostępnię do testów szablon XMLa i exeki. Trochę się jeszcze zejdzie z tym, nie mogę zbyt intensywnie kombinować, bo przy tego typu próbach powstaje dużo błędów, co kończy się tym, że mój host na 24h przestaje dostawać zadania.

---------- 09:47 ----------

EDIT: wyczaiłem jakiś wirtualny dedykowany hosting, wieczorem może wykupię tam konto i potestuję - jeśli uda się odpalić apache z mod_proxy/mod_rewrite i ewentualnie innymi potrzebnymi bajerami, to w najbliższym czasie powinny skończyć się problemy z dynamiczną domeną.

---------- 19:00 26.09.2007 ----------

Cytat
07-09-26 18:52:11|Enigma@Home|Found app_info.xml; using anonymous platform
07-09-26 18:52:14|Enigma@Home|Restarting task test3_1_148484_0 using enigma_m4_naval_2 version 517

Jeśli ktoś chce się pobawić z innymi exekami:

Najpierw trzeba (przy wyłączonym boincu) wypakować te pliki do katalogu projektu, zastępując stare:
http://tjm.boo.pl/enigma/app/app_test.rar
To jeszcze nic nie zmienia, bo exek nadal jest stary. Teraz stąd http://tjm.boo.pl/enigma/app/exe.rar trzeba zassać archiwum z exekami, wybrać odpowiedni i zastąpić stary.
Po uruchomieniu managera, powinien zacząć używać podmienionej aplikacji, bez żadnych dodatkowych komplikacji - tzn aktualnie liczone zadania powinny sie wznowić. Jednak różnie może być, więc trzeba przygotować się na to, że coś może się posypać.
Testnąłem to na kilku swoich kompach, wszystkie łyknęły aplikację bez problemu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 26 Wrzesień 2007, 19:28
zainstalowałem i też nie stwierdziłem żadnego problemu - zaczęły się liczyć normalnie

2007-09-26 19:26:10|Enigma@Home|Found app_info.xml; using anonymous platform
2007-09-26 19:26:10||Processor: 2 GenuineIntel Intel(R) Core(TM)2 CPU         T5500  @ 1.66GHz [x86 Family 6 Model 15 Stepping 2]
2007-09-26 19:26:10||Processor features: fpu tsc pae nx sse sse2 mmx
2007-09-26 19:26:10||OS: Microsoft Windows XP: Home Edition, Dodatek Service Pack 2, (05.01.2600.00)
2007-09-26 19:26:10||Memory: 1015.36 MB physical, 2.38 GB virtual
2007-09-26 19:26:10||Disk: 54.71 GB total, 31.41 GB free
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 26 Wrzesień 2007, 20:25
Na A64 i C2D idzie normalnie - jeśli wystąpią błędy dam znać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Simek w 26 Wrzesień 2007, 20:41
Potwierdzam C2D działa poprawnie...

Jeszce mam małe pytanie - czy moge odpalić optymalne pod A64 jak mam Semprona64? xD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 26 Wrzesień 2007, 20:52
---------- 04:46 27.09.2007 ----------

A64 się natychmiast wysypuje. Procek to dokładnie laptop na A64 3700+ z win xp sp2.




Na C2D też.... Laptop z C2D 1.66 win xp SP2

2007-09-26 20:45:38|Enigma@Home|Computation for task test3_1_147932_0 finished
2007-09-26 20:45:38|Enigma@Home|Starting test3_1_148233_0
2007-09-26 20:45:38|Enigma@Home|Starting task test3_1_148233_0 using enigma_m4_naval_2 version 517
2007-09-26 20:45:39|Enigma@Home|Deferring communication for 1 min 0 sec
2007-09-26 20:45:39|Enigma@Home|Reason: Unrecoverable error for result test3_1_148233_0 ( - exit code -108 (0xffffff94))
2007-09-26 20:45:39|Enigma@Home|Computation for task test3_1_148233_0 finished
2007-09-26 20:45:39|Enigma@Home|Starting test3_1_148550_0
2007-09-26 20:45:39|Enigma@Home|Starting task test3_1_148550_0 using enigma_m4_naval_2 version 517
2007-09-26 20:45:40|Enigma@Home|Deferring communication for 1 min 0 sec
2007-09-26 20:45:40|Enigma@Home|Reason: Unrecoverable error for result test3_1_148550_0 ( - exit code -108 (0xffffff94))
2007-09-26 20:45:40|Enigma@Home|[file_xfer] Started upload of file test3_1_147932_0_0
2007-09-26 20:45:40|Enigma@Home|Computation for task test3_1_148550_0 finished
2007-09-26 20:45:40|Enigma@Home|Starting test3_1_148526_0
2007-09-26 20:45:40|Enigma@Home|Starting task test3_1_148526_0 using enigma_m4_naval_2 version 517
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 26 Wrzesień 2007, 21:06
U mnie na A64 X2 póki co w normie. Jest jakieś  przewidywane przyspieszenie?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 26 Wrzesień 2007, 21:51
tito: to z logów:

Cytat
<core_client_version>5.10.20</core_client_version>  
<![CDATA[
<message>
- exit code -108 (0xffffff94)
</message>
<stderr_txt>
can't open job file job.xml
can't parse job file: -108

</stderr_txt>
]]>

sprawdź czy aby na pewno masz tam plik job_1.14.xml w katalogu projektu, po skopiowaniu patcha.

Przyspieszenie powinno być znaczne. Nie jestem w stanie stwierdzić, jak duże będzie na Athlonie 64, bo nigdy nie odpalałem na nich żadnej wersji enigmy pod windowsem, ale myślę, że można się spodziewać co najmniej 15%.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 26 Wrzesień 2007, 21:58
Cytat: "TJM"

sprawdź czy aby na pewno masz tam plik job_1.14.xml w katalogu projektu, po skopiowaniu patcha.

Przyspieszenie powinno być znaczne. Nie jestem w stanie stwierdzić, jak duże będzie na Athlonie 64, bo nigdy nie odpalałem na nich żadnej wersji enigmy pod windowsem, ale myślę, że można się spodziewać co najmniej 15%.

Na A64 już poszło - za nic nie wiem jak to zrobiłem (niby tak jak poprzednio, ale przed kopiowaniem wszystko spauzowałem, wyszedłem z BOINCa, skopiowałem, uruchomiłem BOINC i dałem "wznów" na każdy z WU-tylko co to niby miało zmienić?). Na C2D chwilowo nie mogę pobrać nowych unitów (too recent connection). Przepraszam za kilka skopanych WU - trochę poczekają na ponowne wysłanie.

Edit. Na C2D ciągle nic, ten sam błąd - wszystkie pliki są. Problemy na jutro, idę oglądać godzillę :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 26 Wrzesień 2007, 22:14
Serwer dobrze sobie radzi z uwalonymi zadaniami, nie ma się co przejmować takimi rzeczami. Praktycznie jedyny skutek uboczny błędów, to chwilowe zmniejszenie się daily wu quota. Tak btw, to czy ktoś z was zetknął się już z tym limitem, podczas normalnego działania ? Od początku ustawiłem na 50xliczba CPU, co wydawało mi się dość odpowiednią wartością, biorąc pod uwagę to, że mało jest zapewne kompów, które dadzą radę tyle przeliczyć w ciągu 24h...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 26 Wrzesień 2007, 22:42
u mnie na C2D wszystkie wu wywaliły się z błędem -108
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 26 Wrzesień 2007, 22:47
właśnie na jednym z kompów sypnęły mi się zadania, po kilku przeliczonych pojawił się ten problem z job.xml - podejrzewam, że któryś z plików zasysa się ponownie z serwera, mimo, że nie powinien. Pokombinuję jak to naprawić, póki co lepiej wrócić do starej wersji (wystarczy chyba wykasować wszystko oprócz plików 00hc_wu* i powinno samo się naprawić).

EDIT: poprawiłem XMLa. Poprawię archiwum na serwerze, jak tylko uda mi się połączyć z ftp.

EDIT2: poprawiony
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 26 Wrzesień 2007, 22:58
Jednak i u mnie są kłopoty. Zrobiłem tak jak napisałeś i po ponownym uruchomienia BOINC ładnie zastartowały przerwane wcześniej jednostki, przeliczyły się do końca. Niestety w momencie gdy miał zacząć przeliczać nowe próbki wystąpił u mnie ten sam błąd co u innych (108). Chwila nieuwagi i wywaliło mi 90 WU :cry:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 26 Wrzesień 2007, 23:04
Jeśli będziesz miał po tym zacier z ściąganiem nowych, daj cynk to wyedytuję w bazie wu_quota hosta.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 26 Wrzesień 2007, 23:13
Cytat: "AL"Jednak i u mnie są kłopoty. Zrobiłem tak jak napisałeś i po ponownym uruchomienia BOINC ładnie zastartowały przerwane wcześniej jednostki, przeliczyły się do końca. Niestety w momencie gdy miał zacząć przeliczać nowe próbki wystąpił u mnie ten sam błąd co u innych (108). Chwila nieuwagi i wywaliło mi 90 WU :cry:

Oooo to jest To. Jak ktoś napisał to wszystko jasne - nowy klient dokańcza już zaczęte jednostki, lecz przy nowych wywala błąd. Właśnie to sprawdziłem na jednym hoście.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Wrzesień 2007, 01:59
---------- 23:44 26.09.2007 ----------

U mnie nowa wersja XMLa poprawiła ten problem.

---------- 01:59 27.09.2007 ----------

Tak wygląda u mnie różnica między gołą aplikacją a zoptymalizowaną (typ zadania: 3)

(http://img217.imageshack.us/img217/2849/roznicail3.png)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: cezar w 27 Wrzesień 2007, 08:43
---------- 08:02 27.09.2007 ----------

Na Core jednak cały czas wywala błędy

---------- 08:43 ----------

Cytat: "TJM"Jeśli będziesz miał po tym zacier z ściąganiem nowych, daj cynk to wyedytuję w bazie wu_quota hosta.

Nie mogę pobierac juz nowych WU - 200 results. Prosze o edycję.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 27 Wrzesień 2007, 09:37
Na A64 też ciągle się sypie. Hmm... zaraz sprawdzę na optymalizacji dla Athon Xp

Update : to samo:/

Edit: Właśnie sprawdziłem kredyty za jedyny prawidłowy unit przeliczony przy użyciu optymalizacji :D
Na A64 przy 3000 sekund standardowo dawało mi claimed ~11 granted ~8. Przy optymalizacji claimed 12 granted 15. Piękny wzrost, aby tylko chciało działać cały czas...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Wrzesień 2007, 10:59
---------- 10:22 27.09.2007 ----------

Wyedytowałem wpisy.
Nie wiem jak to możliwe, ale na FTPie znów jest stara wersja aplikacji, dlatego wam się sypie. Wczoraj miałem jakieś problemy z łączeniem się tam, może coś było nie tak i przywrócili jakiś backup czy coś... Uploadnąłem nowe archiwum ponownie i teraz ściąga się dobre. Na wszelki wypadek wrzuciłem też tutaj http://s004.wyslijto.pl/index.php?file_id=78366266697153652778 - link przez parę dni będzie działał.

---------- 10:59 ----------

Plik po ściągnięciu powinien mieć 180087 bajtów - jeśli ma 1801xx to jest to stara wersja, która jakimś cudem gdzieś się 'zakeszowała'. Widzę, że u mnie dalej z boo zasysa się stara, mimo, że na ftpie jak wół widzę nową.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 27 Wrzesień 2007, 12:13
Ja mam inny dziwny problem:
2007-09-27 12:07:58|Enigma@Home|Sending scheduler request: To fetch work
2007-09-27 12:07:58|Enigma@Home|Requesting 1762733 seconds of new work
2007-09-27 12:08:08|Enigma@Home|Scheduler RPC succeeded [server version 511]
2007-09-27 12:08:08|Enigma@Home|Message from server: No work sent
2007-09-27 12:08:08|Enigma@Home|Message from server: (reached daily quota of 2 results)
2007-09-27 12:08:08|Enigma@Home|Deferring communication for 59 min 3 sec
2007-09-27 12:08:08|Enigma@Home|Reason: no work from project


to "reached daily quota of 2 results" było chyba ustalone na 50 wcześniej?

Acha comp nr 5 jakby co. Na innych po staremu mam 50.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Wrzesień 2007, 15:00
Ustawione jest na 60, po prostu zmniejsza się o połowe po każdym błędzie, a potem powoli wraca do normalnej wartości, jeśli wszystko działa.
Zresetowałem wu quota dla tego hosta.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 27 Wrzesień 2007, 16:34
host nr 4:

mimo, że są wu na serwerze to:


2007-09-27 16:32:44|Enigma@Home|Sending scheduler request: Requested by user
2007-09-27 16:32:44|Enigma@Home|Requesting 3456000 seconds of new work
2007-09-27 16:32:49|Enigma@Home|Scheduler RPC succeeded [server version 511]
2007-09-27 16:32:49|Enigma@Home|Message from server: Not sending work - last request too recent: 35 sec
2007-09-27 16:32:49|Enigma@Home|Deferring communication for 1 min 0 sec
2007-09-27 16:32:49|Enigma@Home|Reason: no work from project
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 27 Wrzesień 2007, 17:00
ekhm... ludzie! czemu wy takich pytan nie zadajecie jak admin nie mowi po polsku? przeciez w tym wypadku wyraznie pisze, ze zbyt czesto host kontaktowal sie z serwerem i w celu unikniecia przeciazenia sieci musi poczekac. nie zameczajcie TJM'a takimi rzeczami...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Wrzesień 2007, 17:02
Już zresetowałem
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: cezar w 28 Wrzesień 2007, 00:14
Już mi pobiera WU i nowa wersja aplikacji Core 2 działa na razie poprawnie.  :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 28 Wrzesień 2007, 01:03
Pobiera i liczy ładnie - aczkolwiek nie wiem czy po tych wszystkich operacjach liczy z optymalizacją czy bez.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: cezar w 28 Wrzesień 2007, 07:19
U mnie liczy szybciej. Wczesniej krótkie WU liczyło około 1740 sekund, po zmianach czas skrócił się do 1420 sekund. Także róznica dosyc znaczna. :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 28 Wrzesień 2007, 08:38
Łatwo poznać która aplikacja działa, po nazwie. Przy standardowej pisze Enigma 0.76 5.17, a przy zoptymalizowanej enigma_m4_naval_2 5.17

(http://img215.imageshack.us/img215/480/m4navaldl6.png)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: krzyszp w 28 Wrzesień 2007, 22:14
A jak to ma się do linuksa? (5.7.20) - planujesz optymalizacje?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 30 Wrzesień 2007, 13:53
---------- 22:31 28.09.2007 ----------

Na linuksie najlepiej strzelić benchmarki najpierw z dostępnymi exekami, żeby sprawdzić czy w ogóle jest sens coś zmieniać. Zasadniczo powinien ten sam XML wystarczyć, tylko trzeba by w nim wyedytować nazwy exeków i numery wersji.

---------- 13:43 29.09.2007 ----------

linuksowa wersja XMLa:

http://tjm.boo.pl/enigma/app/app.tgz
binarkę enigmy do podmianki można zrobić samemu, źródło tutaj http://www.bytereef.org/software/enigma-suite-0.76.tar.gz lub ewentualnie wybrać z tych: http://tjm.boo.pl/enigma/test.tgz  http://tjm.boo.pl/enigma/test2.tgz tylko trzeba pamiętać o zmianie nazwy na enigma_0.76_i686-pc-linux-gnu

---------- 13:53 30.09.2007 ----------

Myślałem ostatnio o łyknięciu domeny dla projektu - niestety wszystkie enigmy oprócz enigma.org są pozajmowane, a to org na końcu jakoś za specjalnie mi nie pasuje %-)
Może enigmaathome.com ? Chociaż na razie to tylko w fazie pomysłu, bo sama zmiana project urla jest dość skomplikowana.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 01 Październik 2007, 15:06
Brzmi ok.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 01 Październik 2007, 20:58
Może znalazłby się jakiś utalentowany grafik, który zrobiłby favicon do wrzucenia na stronę ?  Nie musi być w formacie .ico, mogłaby być ewentualnie bitmapka, najlepiej z możliwością ustawienia przezroczystego tła. Ikonka musi być, bo inaczej error_log za bardzo mi puchnie od wpisów o jej braku  :D Wrzuciłem tymczasowo jakieś barachło zrobione w paincie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 05 Październik 2007, 23:41
Zainstalowałem dziś testową optymalkę. 20% przyrostu szybkości na Pentium M. Dobra robota TJM  :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Październik 2007, 12:48
---------- 00:13 06.10.2007 ----------

Na forum ktoś napisał  (http://enigma.nfshost.com/index.php?topic=16.msg76#msg76), że na Athlonie X2 ciągnie mu o 41% szybciej. Wątpię jednak, żeby tak było, prawdopodobnie użytkownik ten nie zauważył, że zadania średniego typu mają podobną długość (najdłuższe typu 1 mogą być z 15% krótsze od najkrótszych typu 2) i stąd wyszedł mu taki wynik (jakieś 26% + 15% różnicy między zadaniami wygląda dość realnie).
Najwyższy potwierdzony przyrost wydajności jaki zanotowałem do tej pory osiągają niektóre PIV (chyba te najstarsze) - przyrost wydajności sięga około 27-28%.

---------- 12:48 07.10.2007 ----------

Kombinuję z rejestracją domeny - nie podoba mi się np. że przy rejestracji domeny .com będą publicznie widoczne moje dane. Na razie myślę o  enigmaathome.com ale może ktoś wymyśli lepszą ? %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: PMG w 10 Październik 2007, 17:09
Czy zmiana nazw próbek to tylko zmiana nazw czy coś głębszego  ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 10 Październik 2007, 18:12
Abstrachując od tego projektu - czasami zdarza mi się dostać WU, które wcześniej było do kogoś wysłane - ale ten ktoś nie odesłał go w terminie. Po czym jak już jestem w trakcie przeliczania i sprawdzam na stronie projektu - to okazuje się, że delikwent odesłał w końcu WU po terminie i dostał punkty - natomiast jak już doliczę i odeślę ja - to dostaje w takim przypadku 0 punktów (dzieje się tak gdy minimum quorum 1 i initial replication 1 zostają wypełnione juz przedemną - tu dla przykładu dane Enigmy - w innych projektach te dane mogą się różnić). Podkreślam, że dzieje się tak w wielu projektach - nie tylko w Enigmie. Przykładowe WU (http://enigma.no-ip.net:443/enigma/workunit.php?wuid=31467) i mój granted credit za te WU wynoszący 0 (http://enigma.no-ip.net:443/enigma/result.php?resultid=90371). Czy można coś zaradzić - aby wyeliminować tą niesprawiedliwość?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Październik 2007, 22:27
---------- 19:25 10.10.2007 ----------

Cytat: "pmgpmg"Czy zmiana nazw próbek to tylko zmiana nazw czy coś głębszego  ?

Zmiana nazwy to tylko kosmetyka, z nowej nazwy da się duzo więcej informacji wyciągnąć http://enigma.nfshost.com/index.php?topic=18
Zmieniłem to, bo w weekend i tak dużo było dłubania po obu stronach serwerów (upgrade serwera M4 i od razu drobne zmiany w moim).


Z tymi zadaniami odesłanymi po czasie to rzeczywiście niesprawiedliwe - tak na chłopski rozum jasne jest, że to ten kto nie odeśle na czas powinien mieć 0 punktów.
Pojęcia nie mam, czy da się coś z tym zrobić - trzeba by było raczej zapytać na którejś z list mailingowych, np. boinc-projects lub boinc-dev.
Być może w przyszłości serwer w ogóle nie będzie wysyłał ponownie zadań, nawet tych z błędami - a to dlatego, że w zasadzie jest to niepotrzebne i jedynie komplikuje nieco sprawy. Drugi serwer który trzyma całą baze danych także ma swoje timeouty i po 10 dniach po prostu generuje nowe zadanie ze starymi ustawieniami ale wyższym priorytetem, dlatego szybciej się przebijają przez kolejkę. Powtórki z master serwera są niezależne od sieci BOINCa, więc jeśli ktoś odeśle zadanie po czasie, to wynik prawdopodobnie nie będzie odesłany do serwera M4 (bo już wcześniej pewnie poleci wynik z innego hosta), ale wszyscy dostaną punkty.

---------- 22:27 ----------

Cytat
send_result_abort
If set, and the client is processing a result for a WU that has been cancelled or is not in the DB (i.e. there's no chance of getting credit) send <result_abort>. If client is processing a result for a WU that has been assimilated or is overdue (i.e. there's a chance of not getting credit) send <result_abort_if_not_started>. Note: this will increase the load on your DB server.

może to coś da, serwer może zdalnie abortować zadania, które odesłał już ktoś inny, o ile jeszcze nie zostały uruchomione.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 10 Październik 2007, 22:57
w projektach rozwiązane jest to w różny sposób
np: SIMAP jeśli odesłałeś rezultat po terminie dostaniesz punkty, ale tylko w przypadku kiedy dodatkowy host jeszcze nie odesłał wyniku (dodatkowy host zawsze dostaje punkty)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Październik 2007, 21:07
Switchnąłem właśnie project URL z dziadowskiego http://enigma.no-ip.net:443/enigma/ na http://www.enigmaathome.net/
Dajcie znać czy widać jakieś problemy, bo może nie wszystkie sytuacje przewidziałem - używam mod_rewrite żeby pozbyć się /enigma/ ale jednocześnie /enigma_cgi/ zostaje tak jak było.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: krzyszp w 15 Październik 2007, 06:53

2007-10-15 05:48:03|Enigma@Home|Sending scheduler request: Requested by user
2007-10-15 05:48:03|Enigma@Home|Reporting 1 tasks
2007-10-15 05:48:09|Enigma@Home|Scheduler RPC succeeded [server version 511]
2007-10-15 05:48:09|Enigma@Home|You used the wrong URL for this project
2007-10-15 05:48:09|Enigma@Home|The correct URL is http://www.enigmaathome.net/
2007-10-15 05:48:09|Enigma@Home|Using the wrong URL can cause problems in some cases.
2007-10-15 05:48:09|Enigma@Home|When convenient, detach this project, then reattach to http://www.enigmaathome.net/
2007-10-15 05:48:09|Enigma@Home|Deferring communication for 6 min 3 sec
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 15 Październik 2007, 09:25
Tak ma być, stary URL będzie działał, nie mam zamiaru w ogóle go wyłączać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AL w 15 Październik 2007, 11:13
Używam BAM i nie mam opcji "Opuść projekt" - takie coś mam w BAM tylko. Czy mam tam opuścić - czy po przez BAM da się to rozwiązać jakoś automatycznie?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 15 Październik 2007, 11:24
Nie mam pojęcia, być może trzeba będzie do gości od BAMa napisać, żeby jakoś uwzględnili zmianę URL projektu. Sam z tego nie korzystam, bo wszelkie managery kont dość mocno przeszkadzają przy eksperymentach %-)
Jeśli nie przeszkadza ci ten wpis w logach, to na dobrą sprawę możesz po prostu to olać. Wszystkie 'wewnętrzne' linki same się aktualizują na nowe, jedynie ten w kliencie zostaje stary.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Thomas w 15 Październik 2007, 18:42
Testuje narazie TJM twoje optymalizacje pod Enigmę i wszystko dobrze chodzi (może jak coś się posypie to zgłoszę na forum projektu).

Optymalizacja dla C2D - E2160 @ 3 GHZ - było ~1450 s (25 minut) jest ~1160 s (20 minut) (20 % wydajniej). (próbki hceyz72_0, na 1 i 2 też się zmniejszyło ale nie wiem o ile)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AdNet w 18 Październik 2007, 21:21
Cytat: "emik"zainstalowałem i też nie stwierdziłem żadnego problemu - zaczęły się liczyć normalnie

2007-10-18 20:10:20|Enigma@Home|Starting task hceyz72_3_243437_r0_0 using enigma_m4_naval_2 version 517

U mnie też OK, bez problemów jak na razie - zobacze po nocy wyniki próbek i potwierdzę najwyżej.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 20 Październik 2007, 17:39
---------- 23:17 20.10.2007 ----------

A ja zauważyłem problem. Nie wiem, czy to przez optymalizacje, czy nie - nie mam czasu na sprawdzanie, ale przy odłączeniu od projektu, boinc manager mi się powiesił (na dwu różnych kompach).

---------- 01:39 ----------

Update: Przy oryginalnym niezoptymalizowanym kliencie projekt opuściłem bez problemów.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Listopad 2007, 11:06
---------- 21:14 20.10.2007 ----------

Ja opuszczałem projekt i podłączałem się ponownie co najmniej kilkadziesiąt razy, na różnych systemach i wersjach BOINCa. Nigdy nie widziałem żadnych problemów.

---------- 10:39 30.10.2007 ----------

Jutro w godzinach wieczornych (20-21 naszego czasu, tak pi razy drzwi) wyłączam cały serwer na kilka godzin, żeby upgrejdnąć wszystko do ostatniej wersji. Podejrzewam, że zajmie to od 3 do 6 godzin, w tym czasie mam zamiar zmieścić się z upgrejdem serwera, potem wprowadzeniem z powrotem paru modyfikacji i przetestowaniem czy wszystko działa.
Podczas tego dłubania całość będzie wyłączona, wszystkie podstrony będą przekierowywać do komunikatu o maintenance.

Upgrade jest konieczny, ponieważ pojawiły się nowe bajery typu teamy zakładane od razu we wszystkich projektach, w związku z czym developerzy zalecają aktualizację.
Poza tym ostatnio wszystkie projekty zostały zaatakowane przez spamerów, zakładających konta i profile typu 'buy viagra', nowy kod jest trochę pozabezpieczany.
Teoretycznie taki upgrade powinien zająć z godzinę, razem z backupem i quick testem czy wszystko działa, jednak tutaj mści się na mnie kilka modyfikacji kodu - musiałem porównywać wszystkie swoje źródła z wersją repozytorium, którą użyłem, żeby znaleźć wszystkie zmiany które powprowadzałem :lol: Jak to mówią, człowiek uczy się przez całe życie, ja się właśnie nauczyłem, żeby każdą zmianę w plikach notować sobie w zeszycie  :lol:

---------- 12:06 08.11.2007 ----------

Edit: od jakiegoś czasu serwer jest regularnie updejtowany. Co prawda powoduje to czasami dodatkowe kłopoty (na szczęście zazwyczaj krótkotrwałe), ale można potestować najnowsze bajery - wczoraj np. dodali stanowisko 'Team Admina' który ma nieco mniejsze możliwości od foundera.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: kret w 08 Listopad 2007, 14:25
no to widzę, że faktycznie się wszystko ładnie i prężnie rozwija :)

=D>
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 16 Listopad 2007, 21:18
Nie mogę pobrać jednostek chociaż jest
CytatResults ready to send:   1,226

Ktoś jeszcze ma problemy, czy u mnie się coś popsuło ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Listopad 2007, 21:41
W logu nic nie pisze czasami ?
Nie zdziwiłbym jakby były jakieś problemy, bo upgrejdnąłem serwer do kodu z serii 14200+ który ma już legendarną ilość błędów %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 16 Listopad 2007, 22:05
Zwykłe "no work from project".

Odłączyłem się na próbę od projektu. Zaowocowało to zwiechą BOINCa  :(
Ponowne przyłączenie nic nie pomogło.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Listopad 2007, 22:17
Zwiecha BOINCa to już udokumentowany problem, jeśli zainstalowana jest zmodyfikowana aplikacja. Reportowałem to do developerów, jednak jak na razie nikt nie wie dlaczego tak się dzieje.
Btw, jakiej wersji managera używasz ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 16 Listopad 2007, 22:43
5.10.20

Właśnie, optymalizacja. Byłbym zapomniał  :P

Zmiana wersji może pomóc?

EDIT: na drugim kompie dostaję z kolei "Scheduler request failed: HTTP file not found". Wersja 5.8.16
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Listopad 2007, 22:59
Zobacz czy ręcznie możesz otworzyć link do schedulera (http://www.enigmaathome.net/enigma_cgi/cgi o ile pamiętam)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 16 Listopad 2007, 23:13
scheduler_reply>
<scheduler_version>601</scheduler_version>
<master_url>http://www.enigmaathome.net/</master_u rl>
<request_delay>363.600000</request_delay>
<message priority="low">Incomplete request received. </message>
<project_name>Enigma@Home</project_name>
</scheduler_reply>
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Listopad 2007, 23:23
Heh wiem chyba w czym problem :P

Te zadania, które zostały na serwie, są oznaczone jako 'High Priority' i wysyłane tylko do kompów z niskim Average turnaround time (poniżej 1,5 dnia). Nie przewidziałem, że kiedyś może być ich tak dużo, że work generator nie będzie generował 'normalnych'.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 16 Listopad 2007, 23:26
No tak. Nie liczyłem Enigmy ze 2 tygodnie. Mam za swoje  :wink:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Listopad 2007, 00:01
Ściągają się już nowe zadania ? :>

Niestety, mechanizmu z 'reliable hostami' muszę używać - za każdym razem, kiedy zadanie wraca z błędem albo timeoutem, priorytet rośnie o 1, a zadania z priorytetem wyższym od normalnego wysyłane są tylko do hostów, które spełniają określone kryteria. W chwili obecnej jest to RAC bodajże 50+ (to akurat żadne wymaganie, tyle to ma PIII 533) i turnaround poniżej 2 dni (turnaround to chyba czas od wysłania zadania do jego powrotu). To też w sumie żadne wymaganie - po prostu w ten sposób 'wybieram' kompy z małym buforem, które prawdopodobnie szybko odeślą zadanie.
Bez tego zdarzało się, że np. zadanie trafiało 3 razy pod rząd do kolesi którzy nigdy go nie przeliczali; przed zrzuceniem z bazy do archiwum grupuję zadania w paczki po 10,000 kolejnych i po prostu nie mogłem skompletować ani jednego pełnego archiwum, bo w każdym było po kilka takich niefortunnych zadań które błąkały się po różnych hostach %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 17 Listopad 2007, 00:23
Taaaak. Dzięki  :!:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Akira w 17 Listopad 2007, 21:17
może to zły temat, ale chciałbym zgłosić iż liczę od wczoraj na enigma@home i zliczyłem już kilka próbek i na żadnej pasek postępu się nie aktualizował (ciągle jest 0.0), ale dolicza próbkę do końca i wysyła. Uruchomione seti@home na tym samym kompturze działa poprawnie. I dlaczego jedna próbka nie chcę zniknąć? Pisze 100%, status odesłany a ciągle widnieje w zakładce "Zadania". Zrobiłem screena aby zobrazować problem:
(http://img45.imageshack.us/img45/1429/boincdg7.th.png) (http://img45.imageshack.us/my.php?image=boincdg7.png)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 17 Listopad 2007, 21:29
ręczne zaktualizowanie projektu też nie pomaga?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Akira w 17 Listopad 2007, 21:39
Cytat: "emik"ręczne zaktualizowanie projektu też nie pomaga?
Pomogło z tym jednym zadaniem wysłanym. Pasek postępu ani drgnie
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Listopad 2007, 20:09
---------- 01:40 18.11.2007 ----------

Pasek postępu nie działa, bo w oryginalnym BOINCowym wrapperze brak jest funkcji, które mogłyby go uaktualniać. Prawie miesiąc temu zacząłem testy nowego wrappera, z liniowym postępem, aktualizowanym co 1/13 lub 1/26 zależnie od zadania. Jednak do tej pory nie jest dokończony ze względu na parę problemów - np. pod Windows napotkałem problemy z dostępem do pliku (wrapper czyta checkpoint enigmy żeby obliczyć postępy), poza tym okazało się, że kod nie dawał się skompilować pod linuksem, parę linijek czeka na wymianę.
Obecnie prace nad wrapperem wstrzymane, bo pojawiło się dużo dłubania przy kodzie strony i serwera, chwilowo końca nie widać - ostatnie releasy kodu są bardzo niestabilne %-)

---------- 21:09 ----------

Dziś pół dnia siedziałem nad plikami, Simek i Ageless pomogli poprawić masę błędów dzięki czemu od razu strona oraz forum wyglądają dużo lepiej. Zniknęły problemy z polskimi znakami, wbudowane forum jest poprawione (na chwilę obecną nie widzę żadnych błędów) oraz tłumaczenie stron zostało zaktualizowane. Działają nawet PL znaczki na forum i w profilach/opisach teamów, dlatego pozwoliłem sobie ustawić na chwilę siebie jako foundera i poprawić krzaki.
http://www.enigmaathome.net/team_display.php?teamid=1
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Akira w 18 Listopad 2007, 23:12
Gdzieś przeczytałem, żę projekt rozpoczynał się próbując rozszyfrować 3 wiadomości. A jeszcze gdzieś indziej, że została tylko jedna. Czy to znaczy, że projekt dobiega końcowi? Kiedy jest przewidywany koniec (oczywiście zakończony sukcesem:) ). Bo w pierwszym poście pisałeś, że maksymalnie kilka miesięcy
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Listopad 2007, 23:54
Oryginalny projekt zaczynał na trzech, do dziś została jedna. Ta ostatnia wiadomość z jakichś powodów nie daje się łatwo złamać.
Oprócz tej ostatniej z M4 zostało też troche zaszyfrowanych na M3 i kilka z nieznanej maszyny, myślę, że większość z nich dałaby się złamać max w ciągu 1-2 tygodni na każdą wiadomość.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 19 Listopad 2007, 00:36
---------- 23:57 18.11.2007 ----------

uff - więc całość się wkrótce skończy? ajj - trzeba to koniecznie zamknąć na 1szym miejscu - przeca to rodzime :D

---------- 00:36 19.11.2007 ----------

ile trwają wu w eni? leci już 35min, wycenia na jeszcze 1,4h i pokazuje 0%
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Akira w 19 Listopad 2007, 00:56
Pasek postępu nie działa. Ale checkpointy i reszta pięknie śmigają
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 19 Listopad 2007, 01:05
Oooo Pigu liczy Enigmę????  8O

Tylko nie zapominajcie o optymalizacji (http://forum.enigmaathome.net/index.php?topic=16.0)  :!:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 19 Listopad 2007, 08:51
---------- 01:25 19.11.2007 ----------

optymalki wgram jutro :)

kurcze wsadzę conieco mocy dla naszego pierwszego miejsca - mam nadzieję, żę projekt szybko się zakończy i to z nami na szczycie podium

---------- 08:51 ----------

http://pl.wikipedia.org/wiki/Enigma%40home - pomijając, że jedno zdanie zdaje się być nizbyt gramatyczne, to całość jest chyba nieprzesadnie aktualna?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Listopad 2007, 09:17
Raczej tak szybko się nie zakończy, nawet gdyby dziś została złamana ostatnia wiadomość z M4, to jeszcze zostało sporo innych, z tym, że przewidywany czas dla tamtych byłby dużo krótszy i na pewno byłyby kilkudniowe przerwy w dostępności zadań. Prawdopodobnie cykle 1-2 tygodnie pracy i 3-4 dni przerwy na każdy nowy tekst.
Zresztą nie ma co dzielić skóry na niedźwiedziu, przy tej mocy obliczeniowej która już poszła w tę trzecią wiadomość bardzo mało prawdopodobne jest, że tak szybko pęknie. Prawdopodobnie trzeba będzie pokombinować nad jakimś innym sposobem, nawet chodzi mi po głowie pewien pomysł i może po konsultacji ze Stefanem dodam niedługo następną aplikację.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Akira w 19 Listopad 2007, 15:03
A może brute force ;) Tak wiem wiem, za długo na kompie siedzie ^^

A tak poza OT czy jest możliwość, aby nie pobierało od razu 3 próbek?U mnie net działa 24/h i  nie ma sensu pobierać na zapas wolę przerobić jedną i pobrać następną. I jeszcze tak z ciekawości jakim sposobem łamiemy teraz tę 3 wiadomość?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 19 Listopad 2007, 17:54
mam 4 próbki - liczą się od kilku minut na jednej do 1,3h na czwartej - wszystkie 1:41 do końca mają i żadnej nie ubywa - to normalne?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: ka_ga w 19 Listopad 2007, 18:16
---------- 08:51 ----------
Cytat
http://pl.wikipedia.org/wiki/Enigma%40home - pomijając, że jedno zdanie zdaje się być nizbyt gramatyczne, to całość jest chyba nieprzesadnie aktualna?

krytykować zawsze łatwo, gorzej gdy trzeba zrobić coś samemu. hasło o enigmie dodałem ponad 2 miesiące temu, aby jak najwięcej osób dowiedziało się o kolejnym polskim projekcie i pomogło liczyć. wysłałem również info do TJM aby poprawił błędy i rozszerzył hasło. to że tego nie zrobił nie jest jednak żadnym zarzutem w stosunku do jego osoby gdyż każdy może wejść na wikipedię i poprawić to hasło
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: kret w 19 Listopad 2007, 19:57
Cytat: "Pigu"mam 4 próbki - liczą się od kilku minut na jednej do 1,3h na czwartej - wszystkie 1:41 do końca mają i żadnej nie ubywa - to normalne?
też jakieś dziwne dziś miałem próbki, w których non stop był postęp 0..a liczyły się tak około 2.4h..ale obliczenia bez błędu i punkty ok..
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Akira w 19 Listopad 2007, 20:24
Cytat: "kret"
Cytat: "Pigu"mam 4 próbki - liczą się od kilku minut na jednej do 1,3h na czwartej - wszystkie 1:41 do końca mają i żadnej nie ubywa - to normalne?
też jakieś dziwne dziś miałem próbki, w których non stop był postęp 0..a liczyły się tak około 2.4h..ale obliczenia bez błędu i punkty ok..
pasek postępu nie działa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Listopad 2007, 20:32
AL ma długi tekst z którego można wyciąć tekst na wiki i tam jest z grubsza wszystko opisane, nie jest to może ostateczna wersja, ale na razie może być.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 19 Listopad 2007, 22:26
Cytat: "Akira"
Cytat: "kret"
Cytat: "Pigu"mam 4 próbki - liczą się od kilku minut na jednej do 1,3h na czwartej - wszystkie 1:41 do końca mają i żadnej nie ubywa - to normalne?
też jakieś dziwne dziś miałem próbki, w których non stop był postęp 0..a liczyły się tak około 2.4h..ale obliczenia bez błędu i punkty ok..
pasek postępu nie działa.

wiem, ale na tych nie działa też odliczanie w dół ile zostało - wcześniej zdaje się działało  :idea:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Akira w 20 Listopad 2007, 00:00
Cytat: "Pigu"
Cytat: "Akira"
Cytat: "kret"
Cytat: "Pigu"mam 4 próbki - liczą się od kilku minut na jednej do 1,3h na czwartej - wszystkie 1:41 do końca mają i żadnej nie ubywa - to normalne?
też jakieś dziwne dziś miałem próbki, w których non stop był postęp 0..a liczyły się tak około 2.4h..ale obliczenia bez błędu i punkty ok..
pasek postępu nie działa.

wiem, ale na tych nie działa też odliczanie w dół ile zostało - wcześniej zdaje się działało  :idea:
Mi nie działało nie wiem jak u innych.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 20 Listopad 2007, 08:42
może jakieś urojenie postpiwne miałem  :oops:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 20 Listopad 2007, 10:51
Odliczanie w dół chyba nie ma prawa działać bez paska postępu, bo z tego co widziałem liczone jest właśnie z procentów, przynajmniej w nowych managerach (5.10.x)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 22 Listopad 2007, 14:11
Zauważyłem, że padłem ofiarą niesławnego "Task was reported too late to validate"  :(
Próbki:
365937 (http://www.enigmaathome.net/result.php?resultid=365937)
365962 (http://www.enigmaathome.net/result.php?resultid=365962)
366939 (http://www.enigmaathome.net/result.php?resultid=366939)
367093 (http://www.enigmaathome.net/result.php?resultid=367093)

Punkty dostał ktoś, kto odesłał je po deadline'nie, zamiast mnie  :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 22 Listopad 2007, 16:19
Dziwne, że aż 4 się trafiły - to dość rzadkie zjawisko. Przyznałem punkty ręcznie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 22 Listopad 2007, 16:53
Dzięki.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 22 Listopad 2007, 17:12
Crunch3r zrobił 64-bitową aplikację pod linuksa. Przetestowałem z grubsza w standalone mode i wygląda dobrze. Może znajdzie się jakiś chętny eksperymentator, żeby potestować w BOINCowym środowisku ? (da się odpalić używając app_info.xml) - głównie chodzi o to, żeby porównać prędkość z defaultową i przy okazji z grubsza sprawdzić stabilność. Porównania prędkości na pewno sam nie zrobię, bo moje jedyne 64-bitowe maszyny to serwery i szybkość na nich bardziej zależy od średniego obciążenia niż od samej aplikacji.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 22 Listopad 2007, 18:16
co prawda nie liczę Enigmy na moim Linuksie_x64, kilka próbek mogę przeliczyć by sprawdzić jak sprawuje się nowa aplikacja
narazie jest problem :?
CytatMessage from server: No work sent

EDIT: zresetowanie, opuszczenie i ponowne przyłączenie do projektu oraz restart Boinc'a  nie pomogło
EDIT: prawdopodobnie będzie wymagana ręczna instalacja - w takim razie poproszę o link do aplikacji i plików *.xml
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 22 Listopad 2007, 18:34
RAD wstrzymaj się. Ja też dostaję No work from project. A nie testuję tej aplikacji  :wink:

Może to to samo co kilka dni temu? Kwestia priorytetowych próbek ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 22 Listopad 2007, 19:03
Całkiem możliwe, jeśli tak to chyba zgłoszę to jako bug schedulera/feedera czy jeszcze tam czegoś. Wygląda na to, że priorytetowe zadania po prostu zapychają feedera nie zostawiając miejsca dla zwykłych.
Aplikacja 64 bitowa nie jest jeszcze online. http://plikens.no-ip.net/plikens/216xbng32_enigmax  8664.tar.bz2 - XMLa i resztę plików można wziąść od zoptymalizowanych aplikacji http://tjm.boo.pl/enigma/app/app.tgz z tym, że albo trzeba zmienić nazwę exeka po podmiance, albo wpisy w pliku .xml, jak kto woli.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 22 Listopad 2007, 20:06
za nim zostanie rozwiązany problem z wysyłaniem próbek, postanowiłem przetestować nową aplikację sprawdzoną metodą
(udostępnonym benchmarkim TJM)
dla przypomnienia

Cytat: "RAD-Poland"dzięki
potrenowałem trochę, ale i tak nie osiągnąłem lepszego wyniku
32 bit enigma TJM
392,94 sek
wszelkie próby z gcc 4.1 i 4.2 skończyły się wynikami 460-510 sek
coś mnie tknęło i sprawdziłem czym kompilowałeś swoją aplikację -> gcc 3.2
nie mam takiej wersji, oficjalna gcc 3.3.6, po kilku kompilacjach najlepszy wynik to 411 sek :?
narazie zostaję przy twojej aplikacji, może ktoś zna się na kompilacji źródeł i po osiągnięciu lepszych wyników udostępni aplikację
(specjaliści od Gentoo do roboty)  :wink:
64 bit enigma Crunch3r
391.72 sek

różnice w granicach błędu pomiarowego  :?
(dopiero za kilka dni sprawdzę na jednostkach z projektu - nadal jestem dobrej myśli)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 22 Listopad 2007, 20:40
Wciąż nie mogę nic pobrać. Average turnaround time mojego hosta to 0.13.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 25 Listopad 2007, 12:46
---------- 01:30 23.11.2007 ----------

Potrwa jeszcze chwilę nim dojdę do ładu z tym zakichanym feederem. Dziadostwo ma słabą dokumentację, ale powoli zaczynam wyciskać z niego to co potrzeba.

W międzyczasie Crunch3r zrobił statyczną wersję linuksowej, 64 bitowej aplikacji http://plikens.no-ip.net/plikens/218x1or7x_enigmax8664static.tar.bz2

oraz 64 bitową wersję dla Windows
http://plikens.no-ip.net/plikens/219xba2m9_EnigmaWindowsx8664.zip

tej ostatniej sam w ogóle nie przetestuję, bo nie mam żadnego 64 bitowego kompa z windą na pokładzie.

---------- 13:46 25.11.2007 ----------

No i aplikacje Crunch3ra że tak powiem 'chooy szczelił' :/
Gość się wkurzył, jak dowiedział się, że inny koleś z którym toczą wojny zaczął robić aplikację na Maca i powiedział, że nic więcej już nie zrobi %-) Tak więc tyle by było z 64 bitowych aplikacji pod win/linuxa, chociaż nieoficjalnie dalej można ich używać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 26 Listopad 2007, 16:04
test aplikacji Crunch3r'a

Linux 64bit Crunch3r  (Athlon 64 X2 2,0@2,2)
2841,55 sek - 8,35 pkt - 10,58 pkt/h
4918,35 sek - 15,26 pkt - 11,17 pkt/h

Windows 32bit (KQemu - Athlon 64 X2 2,0@2,2)
5069,31 sek - 15,26 pkt - 10,84 pkt/h
5010,94 sek - 15,26 pkt - 10,96 pkt/h

w innych projektach na ww CPU uzyskuję znacznie więcej
15-18 pkt/h
20-23 pkt/h (optymalizowane aplikacje)

- nie zauważyłem przyśpieszenia obliczeń w Enigmie, uzyskiwane wyniki z 32bit aplikacją oscylowały na poziomie 10-11 pkt/h


prawdopodobnie źródło aplikacji Enigma było pisane pod Intela, na słabszych procesorach uzyskuje się znacznie wyższą wydajność w tej konkretnej aplikacji. dla porównania

Windows 32bit Celeron 1,2GHz z opymalizacją TJM
6,633.70 sek - 17.85 pkt - 9,68 pkt/h
gdzie w innych projektach uzyskuje 5-6 pkt/h

EDIT: nie wiadomo czy Crunch3r w swojej aplikacji zastosował optymalizację oraz jeśli tak to czy była ona bardziej dla Intela czy AMD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Listopad 2007, 22:40
---------- 17:47 26.11.2007 ----------

To chyba są zwykłe aplikacje, bez żadnych optymalizacji.
Z tego co widzę, są dużo szybsze od tej defaultowej która jest ściągana po dołączeniu się do projektu, porównywalne do starej PIII/gcc 3.2, która jednak jest niestabilna na niektórych kompach.
PIII Coppermine i klony (np. Celeron-Tualatin) i Core2, a także w mniejszym stopniu nowsze wersje PIV i Celeronów-D/M, to proce z których wyciska się największą wydajność/MHz w tej aplikacji. Proce AMD wypadają sporo słabiej, np. PIII 1GHz wyciska podobną wydajność do Athlona TB 1,4 który ma przecież 40% szybszy zegar...

Btw, ma ktoś Maca ? 8-) Dostałem gotową i sprawdzoną aplikację Mac-Intel a Mac-PPC jest w drodze.

---------- 23:40 27.11.2007 ----------

Pokombinowałem jeszcze nieco przy optymalizacjach, chyba udało mi się zrobić trochę szybsze exeki. Chyba, bo nie mam wszystkich możliwych procesorów, żeby to sprawdzić. W każdym razie na jednym kompie na którym już potestowałem, różnica między starym exekiem którego używałem (Athlon XP) a nowym (Athlon TB) to jakieś 6%. Niby niewiele, ale w końcu poprzednia aplikacja była już dużo szybsza od zwykłej.
Jeśli ktoś chce popróbować, to dajcie cynk, najlepiej od razu z info o procu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: kret w 27 Listopad 2007, 23:25
hmm..a takie coś na Athlona XP (Barton) coś się znajdzie?  :wink:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 28 Listopad 2007, 00:05
http://plikens.no-ip.net/plikens/225x1dwb0_enigma0.76windowsintelx86.zip
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: kret w 28 Listopad 2007, 00:34
dziękować bardzo!!! :)

ale..idąc za ciosem..na linuxa też? ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 28 Listopad 2007, 01:00
Nie sądzę, żeby z linuksowych dało się jeszcze coś wycisnąć bez modyfikacji kodu. Zawsze możesz pokombinować z parametrami kompilatora, źródła są na www.bytereef.org
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 28 Listopad 2007, 01:34
A na PentiumD/M/IV?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: kret w 28 Listopad 2007, 13:03
---------- 11:05 28.11.2007 ----------

dzięki za info :)

---------- 13:03 ----------

mial bym pytanie..czy stara strona projektu jest już nieaktualna? ( http://enigma.no-ip.net:443/enigma/ ) ? ponieważ nie zdążyłem jeszcze uaktualnić do nowej ( http://www.enigmaathome.net/ ), a mam 6 próbek do odesłania i niezbyt mogę..widzę, ze nowa domena działa, stara nie..czy to chwilowe, czy już na stałe? da się jakoś podmienić te adresy bez ponownego podłączania projektu i tracenia tych 6 próbek? :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 28 Listopad 2007, 16:47
Stara domena powinna działać i nie mam zamiaru jej wyłączać, jeśli nie działa to znaczy, że coś jest nie tak. Zaraz obadam sprawę.

EDIT: to jakiś bug na no-ip... miałem wpisany adres IP ręcznie i w kliencie ustawione, żeby nie updejtował (bo teraz jest stały), a jednak nagle jakimś sposobem zmienił się na inny.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: kret w 28 Listopad 2007, 17:43
---------- 17:02 28.11.2007 ----------

oke, to tylko skończe próbeczki Milkywaya na Linuxie i zobaczymy czy się odeśle się te 6 z Enigmy na win :)

---------- 17:43 ----------

już wyszstko piknie, odesłały się :) dzięki :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 29 Listopad 2007, 01:20
Jutro uploadnę gdzieś przerobioną aplikację dla PIV, chociaż nie wiem czy jest sens, bo przyrost prędkości jest bardzo niewielki (w granicach 1%). Sprawdzałem na razie na golasie PIV najstarszego typu którego mam akuratnie przy sobie, jutro zobaczę na Celeronie-D. Na dodatek z jakiegoś powodu przy najkrótszych zadaniach aplikacja okazuje się czasami nawet wolniejsza od starej, chociaż przy typie 3 wzrokowo widać, że ubywa parę minut.

Zauważyłem też, że zredukowanie częstotliwości checkpointów do połowy oszczędza trochę czasu procesora. Pytanie tylko co jest bardziej opłacalne: zysk między 1 a 5 minut czasu na jednym zadaniu, czy dwukrotnie mniejsza strata w razie zwisu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: kret w 29 Listopad 2007, 11:38
no moim zdaniem te kilka minut uzyskane dzięki zmianie checkpointów się trochę nie kalkukuje ;) no ale to może moje zdanie :) wczoraj wyczyściłem zadanka i się przerejestrowałem na nową domenę, asekuracyjnie :P podmieniłem więc aplikację na ą od Ciebie TJM i jazda :) ale w sumie dwie próbki mi się wyłożyły i nie wiem czy nie przez nią (421165 (http://enigma.no-ip.net:443/enigma/result.php?resultid=421165) i 422707 (http://enigma.no-ip.net:443/enigma/result.php?resultid=422707)) z tego co czytam i rozumiem coś mu się właśnie nie podobało z aplikacją..dodam, że następne już się policzyły bez błędu :) jakiś przypadek losowy?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 29 Listopad 2007, 11:54
Wygląda tak, jakbyś coś zamotał przy podmianie plików i BOINC ściągał jeszcze raz defaultowe.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: kret w 29 Listopad 2007, 12:24
---------- 12:23 29.11.2007 ----------

hmm..no robiłem tak..

-  sprawdzałem, czy nic nie liczy Enigma
-  jeśli nie liczy to sprawdzałem czy aplikacja licząca mi wisi w pamięci
-  jeśli tak, killowałem
-  podmieniałem aplikacje

źle? :)

---------- 12:24 ----------

i efekt ten sam..
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 29 Listopad 2007, 12:25
Tak się nie da, bo BOINC wykrywa podmiankę i ściąga ponownie poprzedni plik. Miałeś w ogóle wcześniej już wrzuconego app_info.xml-a ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: kret w 29 Listopad 2007, 12:26
em..a z ciekawostek..robiłem tak na starej domenie i mi nic isę nie posypało..?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Grudzień 2007, 23:15
---------- 15:20 29.11.2007 ----------

Może po prostu nie zauważyłeś ? Przy kombinowaniu często jest tak, że te zadania które są już rozpoczęte dokańczają się po podmiance, ale wszystkie nowo ściągnięte się sypią.

---------- 00:13 03.12.2007 ----------

Coś dla linuksiarzy:

http://plikens.no-ip.net/plikens/242x3fv1g_intel.tgz

na forum ktoś napisał, że kompilator Intela daje niezłe efekty. Posiedziałem i zrobiłem aplikacje z flagami -fast -O3 i -march=pentium3/pentium4 i core2. Efekty są niezłe, bo na moim Celeronie D aplikacja jest o 20% szybsza niż stara zoptymalizowana aplikacja %-)
Dysponuje ktoś kompilatorem Intela pod Windę (niestety nie jest darmowy :/) ?

---------- 00:15 ----------

EDIT: oczywiście na procach AMD też można popróbować, raczej nic nie wybuchnie, ale przyrost prędkości może (choć nie musi) być mniejszy lub ujemny %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 08 Grudzień 2007, 21:03
czy można prosić o napisanie dwujęzycznego opisu na styl [moderacja:link nie aktualny]

jeśli ktoś zechciałby opisać projekt wg tego wzorca, to można pokusić się i rozreklamować szerzej projekt i zwerbować nowych cruncherow :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 11 Grudzień 2007, 14:13
Cytat: "TJM"EDIT: oczywiście na procach AMD też można popróbować, raczej nic nie wybuchnie, ale przyrost prędkości może (choć nie musi) być mniejszy lub ujemny %-)

test aplikacji projektu Enigma@Home (Linux + Athlon 64 X2 2,0@2,2) - wyniki benchmarku TJM
32 bit enigma TJM (aplikacja podstawowa projektu)
392,94 sek
64 bit enigma Crunch3r
391.72 sek
32 bit enigma TJM (kompilator Intela dla  PIII)
365,07 sek
32 bit enigma TJM (kompilator Intela dla PIV)
360,04 sek

mimo, że są to optymalizacje pod procesory Intela dają całkiem dobre wyniki na procesorze AMD i nie wybuchło  :wink:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: D_T_G w 11 Grudzień 2007, 18:43
No to też mi się zachciało potestować optymalki na core2 i poanulowało mi wszystkie zadania

app_version download error: couldn't get input files:
<file_xfer_error>
 <file_name>enigma_0.76_i686-pc-linux-gnu</file_nam  e>
 <error_code>-200</error_code>


I wszystko jasne, zapomniałem toto chmodnąć. TJM - można prosić o cofnięcię daily quota?

Cytat: "RAD-Poland"wyniki benchmarku TJM

Można linka do tego benchmarku?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Grudzień 2007, 19:07
Jaki id hosta ?
Tutaj na spodzie jest linuksowe archiwum ze skryptem do testów:
http://www.enigmaathome.net/forum_thread.php?id=17
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: D_T_G w 11 Grudzień 2007, 19:13
ID hosta to 709
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Grudzień 2007, 19:15
Ok już zresetowane
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: D_T_G w 11 Grudzień 2007, 20:29
Dzięki. A te testy wypadły u mnie bardzo dziwnie.

Te jakieś tam binarki co już były w archiwum eb.tgz to działały tak:

real    4m57.918s
user    4m52.163s
sys     0m0.948s

Te, które były w katalogu przed podmianą na te "zoptymalizowane":

real    3m55.939s
user    3m52.579s
sys     0m0.747s

A te skompilowane dla core2 w archiwum kilka postów wyżej:

real    4m55.709s
user    4m51.468s
sys     0m1.043s

Pierwsze co pomyślałem, że pomyliłem kolejności, ale prześledziłem raz jeszcze historię komend

dawid@pingwin:~/MyDownloads/enigma_benchmark> ./start
2007-12-11 19:52:40  enigma: working on range ...
2007-12-11 19:57:38  enigma: finished range

real    4m57.918s
user    4m52.163s
sys     0m0.948s
dawid@pingwin:~/MyDownloads/enigma_benchmark> cp ~/bin/BOINC/projects/enigma.no-ip.net_443_enigma/e   nigma_0.76_i686-pc-linux-gnu ./enigma_core2
dawid@pingwin:~/MyDownloads/enigma_benchmark> cp ~/bin/BOINC/projects/enigma.no-ip.net_443_enigma/b   ack.enigma_0.76_i686-pc-linux-gnu.back ./enigma_default
dawid@pingwin:~/MyDownloads/enigma_benchmark> ls
00bigr.naval  00hc.resume    bench_cipher  enigma_core2    results.txt
00hc_.resume  00trigr.naval  enigma        enigma_default  start
dawid@pingwin:~/MyDownloads/enigma_benchmark> mv enigma enigma.back
dawid@pingwin:~/MyDownloads/enigma_benchmark> cp enigma_default enigma
dawid@pingwin:~/MyDownloads/enigma_benchmark> ./start
2007-12-11 20:03:22  enigma: working on range ...
2007-12-11 20:07:18  enigma: finished range

real    3m55.939s
user    3m52.579s
sys     0m0.747s
dawid@pingwin:~/MyDownloads/enigma_benchmark> rm enigma
dawid@pingwin:~/MyDownloads/enigma_benchmark> cp enigma_core2 enigma
dawid@pingwin:~/MyDownloads/enigma_benchmark> ./start
2007-12-11 20:14:30  enigma: working on range ...
2007-12-11 20:19:25  enigma: finished range

real    4m55.709s
user    4m51.468s
sys     0m1.043s


No i nie rozumiem.

EDIT: Dobra, zrozumiałem. Doczytałem się w zalinkowany wątku na forum projektu, że trzeba dorzucić tego xmla z innego archiwum, żeby się automatycznie nie podmieniło spowrotem. Optymalki dla C2 na moim c2d e6400 (2.13ghz) działają tak:


real    3m45.332s
user    3m40.750s
sys     0m0.659s

Czyli szybciej o ~10 sekund od back.enigma_0.76_i686-pc-linux-gnu.back, tzn. że... w katalogu miałem już jakieś zoptymalizowane binarki zaserwowane przez serwer projektu, jak to możliwe?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 04 Styczeń 2008, 17:18
Nie wiem czy dobrze widzę, ale prawdopodobnie, liczba userów chcących przeliczać próbki, jest większa niż liczba próbek do wysłania? Czy istnieje możliwość zwiększenia ilości próbek dla cruncherów ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Styczeń 2008, 02:43
Zadania tworzone są automatycznie i nie powinno ich brakować, chyba że akurat przyssa się jakiś host ze zwalonym klientem i wysysa szybciej niż tworzone są nowe (niestety zdarza się to dość często, bo ludzie używają klientów pre-alpha itp).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 15 Styczeń 2008, 21:12
Ładne monety:
http://www.numizmatyczny.pl/go/_info/?id=356
http://www.numizmatyczny.pl/go/_info/?id=355
http://www.numizmatyczny.pl/go/_info/?id=354

;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 15 Styczeń 2008, 21:57
no gdybym zlapal taka 10-zlotowke to wartosc mojej kolekcji pewnie wzorslaby 2-krotnie :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Styczeń 2008, 19:08
Czas na trochę złych wiadomości:

Na początku lutego przeprowadzam się tymczasowo i będę kilkaset km od aktualnego miejsca zamieszkania, prawdopodobnie jedyny dostęp do internetu jaki będę miał to telefon + gprs ewentualnie laptop do zestawu jak dobrze pójdzie, przynajmniej poczatkowo - z czasem może coś się zorganizuje.
Niestety serwerów ze sobą nie zabiorę, a nikt ze znajomych nie chciał podjąć się doglądania hardware (głównie chodzi o restart wszystkiego w odpowiedniej kolejności w razie dłuższego padu zasilania), więc będę musiał na ten czas zawiesić projekt, bo pozostawianie wszystkiego licząc na to, że się nie posypie nie ma najmniejszego sensu.

Na czas nieobecności przeniosę całość na zagramaniczną maszynę gdzie aktualnie mam samo proxy - dzięki temu przynajmniej jest pewność, że serwer będzie online, zostawianie włączonych serwerów w domu mija się z celem bo pierwszy problem z prądem/netem/sprzętem wszystko położy.
Host gdzie stoi proxy jest dość cieńki i nie ma szans odpalić tam całego środowiska serwerowego, tak więc na kilka dni przed przeniesieniem zatrzymam generowanie zadań i poczekam aż zaległe wrócą, tak żeby przenosić praktycznie pustą bazę.

Kiedy sytuacja wróci do normy na dzień dzisiejszy nie wiem - cokolwiek będę wiedział dopiero pod koniec lutego lub w pierwszej połowie marca, tak więc kilka tygodni zawieszenia to minimum.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 18 Styczeń 2008, 22:37
a Logmein odpada - z dowolnej lokacji z dowolnego komputera moglbys pogrzebac na kompie...
Ewentualnie bootowanie kompa przez IP i jakikolwieg VNC  ::)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Styczeń 2008, 23:04
Zdalne działania to nie problem, ale przez gprs to raczej kiepścizna.
I co na dodatek jeśli błędy w filesystemie po padzie zasilania zatrzymają bootowanie i nie da rady się zalogować ? Także wiele innych sytuacji może wymagać lokalnej interwencji. Bez lokalnego dostępu raczej kapa, zwłaszcza jeśli w pobliżu nie będzie nikogo kto w razie potrzeby mógłby zainterweniować.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 25 Styczeń 2008, 17:01
Czy generator nowych jednostek ulegl awarii ? Czy tez wylaczasz juz projekt :( ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 25 Styczeń 2008, 20:55
Zatrzymałem generator, jakieś 12h wcześniej niż planowałem bo w nocy i rano był dość silny wiatr przez co regularnie padał mi prąd a co za tym idzie dostęp do netu, wolałem dla świętego spokoju wszystko zatrzymać niż jeszcze pod koniec użerać się z błędami. I tak niewiele czasu mi zostało na przeniesienie wszystkiego na tymczasowy serwer, a jeszcze muszę poczekać aż wrócą wszystkie wysłane zadania.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 25 Styczeń 2008, 22:47
dziekuje za informacje, wnioskuje ze bedziemy mogli dalej liczyc, jesli przeniesiesz dane na tymczasowy serwer ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 25 Styczeń 2008, 22:52
Nie za bardzo, tamten serwer jest tylko po to, żeby w czasie jak mnie nie będzie działała strona i forum. Nikt ze znajomych nie chciał podjąć się doglądania serwera, a samopas całości na pewno nie zostawię.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 27 Styczeń 2008, 08:23
Czy już zostały serwery wyłączone? Bo nie mogę odesłać przeliczonych próbek :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: cezar w 27 Styczeń 2008, 10:04
Cytat: emik w 27 Styczeń 2008, 08:23
Czy już zostały serwery wyłączone? Bo nie mogę odesłać przeliczonych próbek :(

Mam to samo niestety
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Styczeń 2008, 12:27
To wina wczorajszej pogody, pady prądu i netu średnio co 5 minut więc w końcu wyłączyłem wszystko. Jeszcze potrwa zanim z powrotem wystartuje, bo po takich akcjach muszę posprawdzać wszystkie tabele w bazach a to niestety bardzo długo trwa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: cezar w 27 Styczeń 2008, 13:44
Próbki odesłane. Nawet na jednym hoście dostałem nową porcję do liczenia  :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Styczeń 2008, 13:47
To resztki które ktoś inny anulował albo się wysypały, pewnie jeszcze kilka takich będzie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 27 Styczeń 2008, 13:51
Mi jeszcze zostały 24wu do przeliczenia - do jutra do rana skończę
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: cezar w 27 Styczeń 2008, 14:02
Cytat: TJM w 27 Styczeń 2008, 13:47
To resztki które ktoś inny anulował albo się wysypały, pewnie jeszcze kilka takich będzie.


Ale spokojnie mogę je liczyć? Deadline mają do 04.02.2008.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Styczeń 2008, 14:08
W zasadzie tak, tylko lepiej je skończyć 'wcześniej niż później'.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: cezar w 27 Styczeń 2008, 14:23
Na chwilę obecną Enigma ma proirytet.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AdNet w 12 Luty 2008, 16:04
Cytat: TJM w 18 Styczeń 2008, 19:08
Na początku lutego przeprowadzam się tymczasowo i będę kilkaset km od aktualnego miejsca zamieszkania, prawdopodobnie jedyny dostęp do internetu jaki będę miał to telefon + gprs ewentualnie laptop do zestawu jak dobrze pójdzie, przynajmniej poczatkowo - z czasem może coś się zorganizuje.

Witam,
Jeśli przeprowadzasz się w stronę Irlandii to chętnie pomogę w przeprowadzce serwerów.
Swoją drogą jeśli mowa tutaj o GPRS z zagranicy to radzę uważać.
Dziś przyszedł mi rachunek: Roaming 1,7Mb z Irlandii do Polskiego operatora kosztował mnie około 70zł !! !! !!

Życzę powodzenia na nowym miejscu i czekamy na nowe wiadomości za około ... pół roku  ;D bo tyle mniej więcej czasu mnie zajęło ułożenie sobie wszystkiego "na spokojnie"
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Marzec 2008, 16:16
Ja mam gorzej, bo zmieniłem miejsce zamieszkania tylko tymczasowo, za jakiś czas wracam. Na chwilę obecną nie ma szans na ponowne uruchomienie projektu, ciężko mi też powiedzieć kiedy to się zmieni - w najgorszym wypadku koniec lata.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Maj 2008, 18:35
Mały update:

Aktualnie nadal pracuję w miejscu gdzie nie mam dostępu do żadnego komputera podłączonego do netu, więc szanse na wznowienie projektu są praktycznie zerowe. Według pierwotnego planu od kwietnia/maja miałem być blisko domu, liczyłem na to, że uda mi się wszystko ponownie uruchomić i ewentualnie w razie problemów podjeżdżać do chaty. Niestety los czasami rzuca kłody pod nogi, aktualnie jadąc do domu mam do pokonania dwa razy większy dystans niż przedtem i ponad 10 razy więcej niż planowałem mieć od maja, do tego na maksa zryty dojazd, więc do domu zaglądam tylko na weekendy raz na parę tygodni. Tak pozostanie aż do ostatniego tygodnia września, kiedy to wracam do domu na stałe, więc prawdopodobnie najbliższą możliwą datą wznowienia wszystkiego jest początek października. Dodatkowo zapewne miną ze 2-3 tygodnie zanim wszystko ponownie uruchomię, ponieważ razem ze mną przyjedzie tu nowa, potężna maszynka na serwer, trzeba będzie dostosować system i uaktualnić całą serwerową stronę BOINCa do ostatniej wersji. Trochę to zapewne potrwa, bo nie dotykając kompów przez większość czasu lekko wychodzę z wprawy  :-\
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 02 Maj 2008, 19:49
TJM powodzenia w nowym miejscu i pamiętaj my jesteśmy cierpliwi i poczekamy ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Maj 2008, 21:46
A ja mam nadzieję, że jak najszybciej minie ostatnie kilka miesięcy sajgonu i wrócę do 'normalnego' trybu życia.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 03 Maj 2008, 00:30
rdzenie czekają  ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 05 Maj 2008, 09:18
TJM boinc@poland jest wierny twojemu projektowi jak cierpliwa małżonka :D Poczewkamy ile będzie trzeba.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Czerwiec 2008, 17:41
Jeszcze jakieś 120 dni i wracam na stałe  ;D

Tymczasem dla znających angielski, częściowo związane z projektem : http://cryptocellar.org/bgac/Scharnhorst.html

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 07 Czerwiec 2008, 17:51
nie mogę się doczekać ;D w końcu pierwsze miejsce na świecie na nas czeka
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 22 Czerwiec 2008, 12:43
Powoli zaczynam myśleć o powrocie 'z ciepłych krajów' :D Zostały jeszcze mniej więcej 3 miechy. Gdyby udało się znaleźć parę osób do pomocy (najbardziej przydałby się programista c/c++ chociażby do konsultacji zmian w kodzie i drobnych poprawek - nie mam dużego doświadczenia z tym jezykiem i topornie mi to idzie, często rozwiązanie prostej pierdółki to wiele godzin ślęczenia nad dokumentacją, bo trzeba się douczać na bieżąco) projekt mógłby ruszyć z wielkim hukiem zaraz na samym początku października. Solo niestety ciężko ciągnąć projekt - doba ma tylko 24h a nieprzespane noce szybko dają o sobie znać %-)

Z tego co widzę zaszły spore zmiany w oprogramowaniu BOINCa zarówno po stronie serwera jak i klienta, pewnie minie trochę czasu zanim znów to wszystko ogarnę :o Pierwsza rzecz do zrobienia po powrocie to update całości do ostatniej wersji i przerzucenie z powrotem do własnej 'serwerowni' (przy okazji na nowy serwer który przyjedzie chyba już pod koniec sierpnia :D)
Będę stawał na głowie żeby odpalić całość jak najszybciej po przyjeździe, ponieważ pod koniec (gdzieś w okolicach 19-20 października) wyjeżdżam znów na kilka dni i nie zamierzam nawet telefonu brać ze sobą żeby w końcu trochę wypocząć - te parę dni stabilny projekt mógłby spokojnie postać bez nadzoru  :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 23 Czerwiec 2008, 18:35
zmien sobie dobe na 28-godzinna - masz 6-dniowy tydzien i dziennie 4 godziny czasu wiecej na cokolwiek i "dzien" masz w nocy z soboty na niedziele, wiec mozna isc jeszcze na impreze;) ale to oczywiscie dla osob, ktore nie maja restrykcjowanego czasu pracy ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 23 Czerwiec 2008, 19:04
Daj tylko cynk, trochę wcześniej to pozwolę BOINCowi próbki pobierać ;).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mchl w 23 Czerwiec 2008, 21:39
Cytat: bartsob5 w 23 Czerwiec 2008, 18:35
zmien sobie dobe na 28-godzinna - masz 6-dniowy tydzien i dziennie 4 godziny czasu wiecej na cokolwiek i "dzien" masz w nocy z soboty na niedziele, wiec mozna isc jeszcze na impreze;) ale to oczywiscie dla osob, ktore nie maja restrykcjowanego czasu pracy ;)

Ciekawy ten pomysł...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: bartsob5 w 23 Czerwiec 2008, 22:45
gdyby nie szkola, to juz bym tak od pol roku jechal ;) moze na studiach sie uda xD

(http://imgs.xkcd.com/comics/28_hour_day.png)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 29 Czerwiec 2008, 14:20
Na razie organizacji czasu pracy sobie nie zmienię, ale od października się zobaczy - do końca roku powinienem mieć w miarę luz, trzeba będzie odbić sobie poprzednie miesiące, więc nie mam zamiaru za wiele pracować %-)
Od stycznia może być różnie, ale na pewno nie dam sobie wcisnąć takiego sajgonu jak teraz.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Lipiec 2008, 14:41
Możliwe, że uruchomię projekt sporo wcześniej niż planowałem, ponieważ obecnie mam jaki taki dostęp do Internetu, jednak z małymi (czasami kilkudniowymi) przerwami.
Przez jakiś czas jednak na pewno liczba zadań byłaby ograniczona, ponieważ przed zatrzymaniem projektu przerabiałem kilka daemonów i trochę pękałbym zostawiać samopas takie niesprawdzone. W przyszły weekend przeniosę wszystko z powrotem na normalny serwer i zobaczę co dalej.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 02 Lipiec 2008, 14:54
Czekam z niecierpliwością :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 02 Lipiec 2008, 17:03
czekamy na re-start  ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 02 Lipiec 2008, 17:04
Oj tak, czekamy... :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Lipiec 2008, 20:50
W przyszłym tygodniu planuję na weekend jechać do domu (tylko jeszcze nie ma pewności, że się uda), postaram się uruchomić serwer, jeśli zdążę wyrobić się na czas, to resztę jakoś dam radę powoli tu na miejscu zrobić. Najpoważniejszy problem jaki teraz widzę to brak dostępu do kompa z windowsem, więc prace nad poprawkami windowsowej aplikacji siłą rzeczy będą wstrzymane jeszcze jakiś czas.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 05 Lipiec 2008, 22:56
byleby liczyło :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 05 Lipiec 2008, 23:03
mi tylko 2100pkt brakuje do upragnionych 25k
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Lipiec 2008, 19:44
W piątek jadę na 4 dni do domu, jeśli czasu starczy spróbuję uruchomić projekt taki jaki był przed 'śpiączką'. Optymistycznym wariantem byłoby uruchomienie nowych daemonów, które są gotowe tylko jeszcze nieprzetestowane - wtedy projekt mógłby rozsyłać zadania z wszystkimi ciphertextami jakie dostępne są z serwera projektu M4 (aktualnie 3 różne fragmenty ostatniego tekstu), a nie tylko z jednym.
Nieprzetestowany jest też nowy generator zadań (jego automatyczna wersja, która śledzi zapotrzebowanie na zadania i ściąga / tworzy nowe w razie potrzeby), ale to niewielki problem - zawsze można generować ręcznie zapas na wiele dni.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 09 Lipiec 2008, 19:51
super - czekamy na nowe unity ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 12 Lipiec 2008, 16:45
Hm nie wiem czy uda mi się w ogóle uruchomić coś w tym tygodniu, na razie mam duży poślizg czasowy przez to http://www.boincatpoland.org/smf/index.php/topic,1711.0.html - muszę połączyć dwie partycje w jedną a tymczasem mi to nie wychodzi.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 13 Lipiec 2008, 13:37
właśnie zassało mi jakieś 30 wu  ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Lipiec 2008, 14:05
To niezłego farta miałeś, wygenerowałem tylko 1200 żeby sprawdzić demony i sam zdążyłem zassać jedynie kilka, reszta rozeszła się w parę minut, nawet nie wiedziałem że tyle hostów może być podłączonych do uśpionego projektu.

Cały serwer zupgrejdowałem do wersji 15600 co przyniosło pewne komplikacje, raczej nie dam rady wszystkiego poprawić w ciągu 1.5 dnia (jutro pod wieczór wyjeżdżam) więc kolejna seria zadań dopiero kiedy przyjadę następnym razem lub jak powoli podłubę na odległość.

Błędy które zauważyłem do tej pory:
-wszechobecne slashe, ma to związek z usunięciem stripslashes() gdzieś w kodzie stron serwera; pytanie tylko czemu to usunęli skoro slashe przy escapowaniu znaków specjalnych były są i będą w bazie. Na razie nie zauważyłem wpływu na działanie czegokolwiek, jednak teksty wyglądają mało estetycznie.

-znikły zmiany które ręcznie ponanosiłem na kod, większość to były poprawki wizualne więc chwilowo brak tego na stronie i forum, podopisuję w wolnym czasie.

-Coś przyczęsto zmienia się UOTD, na razie nie wiem czemu i chyba jest to sytuacja jak w nowych projektach, mam nadzieję że samo wróci do normy, bo póki co nie mogę znaleźć przyczyny.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 13 Lipiec 2008, 14:29
Wydaje mi się, że zniknęło trochę postów z forum projektu. Jeszcze niedawno ludzie pytali się czy coś nowego słychać, a teraz nie widzę tych postów...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 13 Lipiec 2008, 14:30
Cytat: Pigu w 13 Lipiec 2008, 13:37
właśnie zassało mi jakieś 30 wu  ;D

ja załapałem tylko 2 :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Lipiec 2008, 14:34
Cytat: Bober w 13 Lipiec 2008, 14:29
Wydaje mi się, że zniknęło trochę postów z forum projektu. Jeszcze niedawno ludzie pytali się czy coś nowego słychać, a teraz nie widzę tych postów...


To dlatego, że serwer w tym momencie śmiga na oryginalnej wersji bazy, tej sprzed przeniesienia na tymczasową maszynkę. Jak ze wszystkim dojdę do ładu (co na pewno zajmie trochę czasu) to spatchuję bazę, chociaż nie jest to aż tak bardzo konieczne.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: krzyszp w 13 Lipiec 2008, 15:47
No i ja się załapałem na 21 WU ;-)

Ciekawe, ile inne maszyny zassały...

Update:

Jedna linuksowa maszyna również dostała... jedną jednostkę...
Inna maszyna na WXP - kolejne 10 ;-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Lipiec 2008, 15:57
Możliwe, że liczba zadań z tej pierwszej, próbnej serii wzrośnie jeszcze dziś z 1200 do około 12k, tyle leży w zapasie, a gdyby tak wszystkie rozesłać mógłbym od razu przetestować czy poprawnie zadziała automatyczne pobieranie nowych z serwera M4.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 13 Lipiec 2008, 17:26
zauważyłem nowe jednostki - 100wu zmagazynowanych i juz się przeliczają
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 13 Lipiec 2008, 20:30
Zalapalem pare WU. Widze ze statystyki synchronizuja sie z projektem M4 http://www.enigmaathome.net/server_status
TJM mam nadzieje, ze od tego weekendu projekt ruszyl pelna para ;) Jak dla mnie jest to najciekawszy projekt w calej serii BOINC.
Tak btw tego co liczymy http://www.bytereef.org/m4-project-blog.html czyli jak sie domyslam pozostala tylko 1 wiadomosc nierozszyfrowana ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Lipiec 2008, 20:53
Cytat: lukassszzz w 13 Lipiec 2008, 20:30
Zalapalem pare WU. Widze ze statystyki synchronizuja sie z projektem M4 http://www.enigmaathome.net/server_status

Co masz na myśli pisząc o synchronizacji ? To, że teraz oba serwery pokazują mniej więcej tą samą liczbę zadań ? Jeszcze jakiś czas temu rozrzut był bardzo duży, bo nie mogłem odsyłać zadań które wróciły długo po deadline (serwer M4 ich nie akceptował). Parę tygodni temu przepisałem kawałek serwera i teraz trzyma takie zadania czekając aż dostanie następne z takimi samymi ustawieniami, wtedy odsyła od razu z takim 'nadplanowym' wynikiem. Zadziałało to też wstecz i odesłane zostały wszelkie nadmiarowe wyniki uzbierane od samego początku projektu.

Cytat: lukassszzz w 13 Lipiec 2008, 20:30
TJM mam nadzieje, ze od tego weekendu projekt ruszyl pelna para ;) Jak dla mnie jest to najciekawszy projekt w calej serii BOINC.

Od tego weekendu może jeszcze nie, ale będę pomału dążył do tej pełnej pary. Ideałem byłoby osiągnąc projekt ze stabilnymi aplikacjami zwracającymi możliwie małą liczbę błednych wyników obliczeń (to już w sumie było) i z jak najmniejszą liczbą błędów, nawet tych najdrobniejszych. Z tym drugim znacznie gorzej, bo wymaga to dość dużego nakładu pracy, podobnie jak ciągłe utrzymywanie świeżej wersji oprogramowania serwera z naniesionymi własnymi łatami i poprawkami.


Cytat: lukassszzz w 13 Lipiec 2008, 20:30
Tak btw tego co liczymy http://www.bytereef.org/m4-project-blog.html czyli jak sie domyslam pozostala tylko 1 wiadomosc nierozszyfrowana ?

Z tych oryginalnych została ta ostatnia nieszczęsna której do tej pory nikt jeszcze nie złamał, jednak już zapowiedziano pojawienie się co najmniej jednej dodatkowej.

Kolejnym krokiem jeśli chodzi o rozbudowę serwera będzie taka modyfikacja samych aplikacji (albo raczej template do nich), żeby w ciągu max kilku godzin można było stworzyć zadania nowego typu w razie pojawienia się nowych ciphertextów. W zasadzie większa część serwera już jest na to przygotowana, pozostało tylko wprowadzić małe przeróbki w dwóch daemonach odpowiedzialnych za pobieranie i wysyłanie zadań z/do serwera Stefana.

Nie wiem tylko kiedy znajdę na to wszystko czas, póki co do początków października większość czasu spędzam daleko poza domem - do chaty przyjeżdżam w weekendy i to nie zawsze (bywa że raz na 2-3 tygodnie, dojazd jest męczący, zajmuje dużo czasu i nie jest tani więc nie mogę szaleć). Przez ten czas wprowadzane poprawki mogą być raczej tylko minimalistyczne, chociażby ze względu na to, że zdalne połączenia na kiepskim łączu licho działają i pracuje się bardzo mozolnie :/
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 13 Lipiec 2008, 21:00
CytatCo masz na myśli pisząc o synchronizacji ? To, że teraz oba serwery pokazują mniej więcej tą samą liczbę zadań ?
Tak dokladnie chodzilo o to, ze pokazywana jest mniej wiecej taka sama liczba przeliczonych/pozostalych zadan.

Dzieki za szczegolowe wyjasnienie reszty spraw. W takim razie oczekuje az projekt ruszy pelna para i mam nadzieje, ze z naszym wkladem bedziemy mogli zamknac pewien etap w historii oraz dzieki temu wypromowac platforme BOINC do rownie ciekawych projektow.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 13 Lipiec 2008, 23:37
Przypominam pod kątem nowych liczydłowych, że Enigma dysponuje optymalizacjami (http://www.enigmaathome.net/forum_thread.php?id=17). Warto ich używać!
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Lipiec 2008, 14:16
Dziwne że tylko jeden, jeszcze się nie skończyły, chociaż podejrzewam, że mógł pojawić się znany już dobrze problem z feederem który atakuje zawsze po przestojach i hurtowym generowaniu zadań.
Póki co wszystko wygląda nienajgorzej, chociaż znalazło się trochę pomniejszych błędów na zapleczu projektu. Zastanawiam się teraz, czy całość jest wystarczająco stabilna, żeby zostawić włączony generator zadań do czasu wprowadzenia poprawek.

Btw, moglibyście od czasu do czasu luknąć na forum projektu? Z jakiegoś powodu mój bezprzewodowy net nie lubi zakresu IP z którego korzysta http proxy projektu i raz mam dostęp, raz nie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 14 Lipiec 2008, 14:21
Jasne, ja zaglądam. Tylko, że jak się coś komuś pochrzani to nie pomogę  :P
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 14 Lipiec 2008, 15:30
czy aktualnie Enigma nie eksportuje statystyk do BAM'a ??
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Lipiec 2008, 16:46
Projekt eksportuje statsy, przynajmniej powinien. Jeśli coś jest nie tak, dajcie cynk.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 14 Lipiec 2008, 17:21
TJM - mam pytanie. Wyjeżdżam teraz na 4 miesiące, ale komp będzie włączony. Jest sens zostawiać Enigmę na nim, czy może przewidujesz jakieś zmiany, które uniemożliwią na nim liczenie (obecnie korzystam ze zoptymalizowanej aplikacji)?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Lipiec 2008, 17:58
Trudno powiedzieć, przez najbliższe dwa miesiące żadnych dużych zmian się nie spodziewam, co najwyżej może braknąć zadań.
Później najprawdopodobniej zmieni się aplikacja, więc lepiej zostaw kompa podłączonego też pod inne projekty.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: KrzychuP w 14 Lipiec 2008, 18:02
u mnie regularnie pobiera po jednej/dwie jak kończy kolejną
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 14 Lipiec 2008, 19:28
Cytat: TJM w 14 Lipiec 2008, 16:46
Projekt eksportuje statsy, przynajmniej powinien. Jeśli coś jest nie tak, dajcie cynk.

na BAM'ie wciąż jest:
ostatnie uaktualnienie XML: 160 dni temu
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 14 Lipiec 2008, 19:41
Cytat: emik w 14 Lipiec 2008, 19:28
na BAM'ie wciąż jest:
Wiem czepiam się, ale chciałeś napisać "na BOINCstats"  :P
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 14 Lipiec 2008, 20:13
dokładnie ;D

już wszystko ok
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 17 Lipiec 2008, 23:01
No to mamy awarię.  :(
Jak mi się jutro próbki nie odeślą to potem przez tydzień nie będę miał możliwości tego zrobić  :'(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Lipiec 2008, 11:03
I to awarię raczej poważną, wczoraj jak się dowiedziałem, że serwer 'znikł' dzwoniłem do brata, powiedziałem mu żeby sprawdził co jest grane - wyniki przeglądu nie są za wesołe, serwer się wyłączył i przy próbie odpalania nie daje znaku życia. Pewnie padł zasilacz albo płyta, ten pierwszy przypadek jest w miarę optymistyczny, bo w domu leżą zapasowe zasilacze i brat dziś będzie próbował zmienić. Drugi przypadek nieco gorszy, bo w domu będę prawdopodobnie dopiero za tydzień w weekend (na ten tydzień wyjazdu nie planowałem, a w ostatniej chwili nie mogę tego zmienić) więc jeśli zdechło coś innego niż zasilacz, serwer do przyszłego piątku lub soboty będzie offline.

Proponuję anulować wszystkie nieprzeliczone zadania a przeliczone zostawić, serwer je zapewne łyknie jak się uruchomi.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 18 Lipiec 2008, 11:58
Przypuszczam, że już mało kto ma "nieprzeliczone" zadania  :P
Mam zatem nadzieję, że to "tylko" zasilacz.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Lipiec 2008, 12:17
Po południu brachol zajrzy w ten sprzęt i podmieni zasilacz, więc pewnie wieczorem będę wiedział co i jak.

Oprócz problemów sprzętowych serwer miał też ostatnio problemy natury softwarowej - z jakiegoś powodu część całkiem poprawnych zadań była odrzucana na dalszych etapach weryfikacji. Problem ten istniał już w styczniu ale teraz jakoś przybrał na sile, doszło do tego, że niektóre zadania były wysyłane po 4 razy zanim wynik 'przeszedł', a ogólna liczba takich błędów dotyczyła jakichś 15% zadań, co jest niedopuszczalne. Chciałem zatrzymać generowanie nowych zadań do czasu wyjaśnienia tego zjawiska, ale awaria mnie ubiegła :/
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 18 Lipiec 2008, 16:52
na szczęście to chyba tylko zasilacz - serwer wstał i odebrał przeliczone zadania.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Lipiec 2008, 17:31
No nie do końca, bo po zmianie zasilacza sprzęt coś nie chciał ruszyć, ale w końcu się odpalił. Mam nadzieję, że to zły kontakt w jakimś złączu a nie szykująca się gruba awaria.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 18 Lipiec 2008, 22:38
lepiej pohuchac na zimne. może przesiadka na maszynke wirtualną i codzienny backup?? w razie W zmienisz serva w kilka dni :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Lipiec 2008, 07:13
Pod tym względem maszyna wirtualna wcale nie jest lepsza od zwykłego kompa, backupy robią mi się na bieżąco co 12h. Na dodatek wydajność takiej maszyny blado wypada na tle zwykłego OSa odpalonego na tym samym sprzęcie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Lipiec 2008, 21:02
Wreszcie chyba poprawiłem przyczynę oznaczania poprawnych zadań jako błędne. Prosty błąd a spędziłem kilkanaście godzin szukając go.
Jak wszystko będzie ok odpalę z powrotem zatrzymany aktualnie automatyczny generator zadań.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 20 Lipiec 2008, 22:01
Blad z pobieraniem nowych probek. Po przywroceniu serwera do zycia od kilku dni nie otrzymalem zadnej probki. Pojawial sie komunikat "no work sent" Usunalem pliki ciphertext2, wrapper, windows_enigma_intel.
Po zaktualizowaniu polaczenie z serwerem, automatycznie zostaly pobrane 4 usuniete pliki oraz dostalem probki do liczenia. Czyzby jakis blad zwiazany z padem serwera ? Czy ktos moglby potwierdzic ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 20 Lipiec 2008, 22:27
Raczej jakiś tymczasowy problem z feederem, on tak lubi zamotać wysyłanie jeśli były jakieś przestoje - szybko zapełnia kolejkę priorytetowymi zadaniami i jeśli łączący się komp nie spełnia warunków na priorytetowe (RAC 100+ i turnaround < 3 dni) nie dostaje nic.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 25 Lipiec 2008, 10:49
Problem z feederem po raz kolejny trochę załagodzony przez dalsze zwiększenie ilości zadań jakie na raz widzi, trochę kosztem wydajności ale póki co zapas szybkości serwera jest tak duży, że nie ma się czym przejmować.

Problemy z odpalaniem serwera przy zimnym starcie to jednak nie wina płyty, tylko dysków i zasilacza - nowy zasilacz czasami nie ma siły rozkręcić na starcie 6 dysków, pewnie dlatego że przy rozkręcaniu talerzy każdy ciągnie ponad 20W - to daje ze 120W na same dyski.

Btw dziś w godzinach wieczornych pewnie pojawią się nowe rodzaje workunitów, wrapowane z 'starego' i 'nowego' serwera M4 (obecne są z 'alpha' serwera). Póki co jestem na etapie kalibracji punktów, nie wiem czy dam radę się na wieczór wyrobić.


Jeśli ktoś z was dostanie zadania z serii awgly100 dajcie znać czy wszystko gra - czas przeliczania jest około 1.38x dłuższy od hceyz72, punktacja na początku może trochę nie trzymać się kupy, ale sama się ustawi po pierwszych kilkuset zadaniach.


Edit2: Jednak czasy są trochę nieliniowe, zadania awgly100 typu 3 trwają blisko 2 razy dłużej od hceyz72/3. Jak na razie wszystko wygląda ok, póki co awgly100 przeliczane są przez testową aplikację (w zasadzie aplikacja ta sama ale z ulepszoną konfiguracją, znacznie zmniejsza ilość ściąganych z serwera plików).

Natknąłem się wczoraj na kolejne problemy:
- szybkość odpowiedzi serwera M4 ogranicza prędkość ściągania zadań. Próbowałem to przeskoczyć przez jednoczesne ściąganie wieloma wątkami i daje to jakieś efekty, ale i tak na razie nie mogę przeskoczyć progu 20k ściągniętych zadań/dzień, głównie dlatego, że czasami coś się zamula i serwer odpowiada bardzo wolno. To tylko niecałe 50% więcej od aktualnej szybkości projektu, więc jeśli nagle przybędzie dużo hostów mogą pojawić się braki w dostawach. Zobaczymy jeszcze jak będzie przy hurtowym pobieraniu zadań z dwóch podserwerów.
Ten sam problem istnieje z odsyłaniem zadań, ale to nie ma wpływu na działanie całości, deadline na serwie M4 jest bardzo długi (chyba kilka miesięcy) więc nie zaszkodzi zadaniom jeśli poleżą w kolejce przed odesłaniem.

Nawiasem mówiąc, po półrocznej przerwie widać niezły wzrost prędkości przeciętnego hosta w projekcie. Hostów póki co mniej niż było, a średnia prędkość wychodzi dużo wyżej niż w lutym. Przy takiej prędkości zadań z serii hceyz72 starczy max na 3-3,5 miesiąca, dlatego muszę przyspieszyć rozbudowę serwera o obsługę kolejnych podserwerów.

Linki do rezultatów i statystyk prędkości 'new' serwera M4:

http://www.bytereef.org/new-server-results.txt
http://www.bytereef.org/new-server-stats.txt

Jak widać średnia prędkość (rate) już zaczęła się podnosić, mimo że zadania awgly100 to obecnie mniej niż 1% wszystkich wysyłanych przez Enigma@Home.

dla porównania rezultaty i statystyki 'alpha' serwera:

http://www.bytereef.org/alpha-results.txt
http://www.bytereef.org/alpha-stats.txt


Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 29 Lipiec 2008, 15:34
Trzeba chwilowo jednak zatrzymać zadania z serii awgly. Przyczyny: 1. Pomimo, że są na pewno dłuższe u niektórych przeliczają się szybciej (muszę to jeszcze raz obadać), 2. zadania wysypują się po  dotarciu do hostów które mają zainstalowaną zoptymalizowaną aplikację. Nic dziwnego, bo app_info.xml ma wpis tylko ze starą aplikacją - nowej jeszcze nie było kiedy plik był przygotowywany. Myślałem, że boinc sam rozkmini które aplikacje ma klient, a jednak nie :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Thot w 30 Lipiec 2008, 07:20
Podobny problem mają w S@H. Trzeba ręcznie dopisywać Astropulse do optymalek.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 30 Lipiec 2008, 11:08
W przypadku E@H rozwiązaniem jest rezygnacja ze starej aplikacji i przepisanie starych zadań pod nową, która jest w stanie obsłużyć wszystkie typy zadań (w starej pliki zadań są zintegrowane z aplikacją). To niestety musi zaczekać na któryś z nadchodzących weekendów, bo takie uaktualnienie wymaga opróżnienia kolejki zadań na serwerze i dość długich testów.

Edit: potrzebne też będą oczywiście nowe pliki app_info
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 03 Sierpień 2008, 10:40
Od paru dni trwa mały stress test serwera, wyłączyłem automatyczne czyszczenie bazy i dodatkowo pozwoliłem na naściąganie work unitów do oporu (100,000 gotowych do wysłania na serwerze i 50,000 w lokalnym buforze M4 wrappera). Oprócz tego specjalny skrypt symulujący prędkość odsyłania zadań około 10 razy większą niż obecna. Póki co wszystko wygląda bardzo dobrze, chociaż widać, że dźwigając ogromne zapasy zadań serwer znacznie zwalnia i średnie obciążenie rośnie:

(http://plikens.no-ip.net/645xk0s7d/graph5.png)

Jednak standardowe ustawienia buforów są dalekie od tych wyśrubowanych - 5000 zadań gotowych do wysłania i [prędkość*10] (gdzie prędkość to aktualna średnia prędkość wszystkich podłączonych komputerów przeliczona na Athlony 1400) w lokalnym buforze, po to żeby w razie potrzeby były zadania na wypadek krótkiej przerwy w łączności z projektem M4 albo wbicia kogoś z mocnymi hostami (są kompy które potrafią wyssać po 1000 WU z serwera w ciągu paru minut  ;D)

Póki co cała automatyka serwera działa bardzo dobrze, jeśli tak dalej pójdzie to w październiku kiedy wrócę na stałe do domu będę mógł na spokojnie zająć się poprawianiem wrappera, bo problemy z nim związane ciągną się nie poprawione do tej pory od samego startu projektu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 03 Sierpień 2008, 11:30
można na ten moment mieć optymalki, czy będzie sypać errorem?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 03 Sierpień 2008, 11:35
Można, ale najlepiej byłoby dopisać do app_info drugą aplikację, wtedy w razie trafienia zadania awgly100 nie sypnie się ono (chociaż na chwilę obecną krążą tylko pojedyńcze zadania, mniej niż 0.1% całości).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 03 Sierpień 2008, 12:21
jak się ją dopisuje?  ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 03 Sierpień 2008, 15:04
Tak samo jak tą pierwszą %-) Nie pamiętam dokładnie jak to się robiło, ale po obiedzie spróbuję podłubać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Thot w 03 Sierpień 2008, 16:27
Dla AstroPulse trzeba dokleić coś takiego:

<app>
<name>astropulse</name>
</app>
<file_info>
<name>astropulse_4.35_windows_intelx86.exe</name>
<executable />
</file_info>
<file_info>
<name>libfftw3f-3-1-1a_upx.dll</name>
<executable />
</file_info>
<file_info>
<name>ap_graphics_4.35_windows_intelx86.exe</name>
<executable />
</file_info>
<app_version>
<app_name>astropulse</app_name>
<version_num>435</version_num>
<file_ref>
<file_name>astropulse_4.35_windows_intelx86.exe</file_name>
<main_program />
</file_ref>
<file_ref>
<file_name>libfftw3f-3-1-1a_upx.dll</file_name>
</file_ref>
<file_ref>
<file_name>ap_graphics_4.35_windows_intelx86.exe</file_name>
<open_name>graphics_app</open_name>
</file_ref>
</app_version>

Więc może tu podobnie tylko zmienić nazwy aplikacji. I trzeba ręcznie wrzucić pliki aplikacji, bo podobno sam nie ściąga. Na forum SETI piszą, że działa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 03 Sierpień 2008, 16:54
Tu będzie trochę inaczej, bo obie aplikacje używają tych samych plików, jak na razie mam jakieś konflikty i BOINC kasuje mi pliki starej aplikacji po dopisaniu nowej do .xmla.
Stara aplikacja ma ciphertext i słowniki zintegrowane (są częścią aplikacji), nowa to tylko wrapper, job.xml i sam exek - reszta przychodzi z zadaniem, a ustawienia template'ów zadań po stronie serwera zapobiegają ściąganiu w kółko tych samych plików. Powoli muszę myśleć o przełączeniu także zadań starego typu pod nowa aplikację, ponieważ jest bardzo uniwersalna - jakiekolwiek zmiany w plikach, dodawanie zadań nowego typu itp wymagają tylko kosmetycznych zmian w generatorze zadań, podczas gdy starą aplikację trzeba było wypuszczać jeszcze raz z nowym numerem wersji...

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 03 Sierpień 2008, 21:50
To powinno działać:

http://plikens.no-ip.net/649xcmg88/apptest02.zip

exeki trzeba wybrać stare z tego tematu:

http://www.enigmaathome.net/forum_thread.php?id=17

teraz tylko pozostaje cierpliwie czekać na zadanie typu awgly100 żeby sprawdzić, czy z takim app_info ruszy (powinno).

Btw, umie się ktoś z was posługiwać kompilatorem Intela pod windą ? Patrząc na przyrost szybkości pod linuksem (nawet 30% szybciej od gcc) myślę że warto by spróbować także windowsowe aplikacje przekompilować i zobaczyć co z tego wyniknie.

EDIT: Ciekawe czy można jakoś wymusić wysłanie określonych zadań do jakiegoś hosta, bo przy obecnej ilości zadań awgly100 można na jedno pewnie nawet tydzień czekać...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 03 Sierpień 2008, 22:09
Pod linuksem owszem używałem.
Chyba zachodzi spora analogia.
Tylko uwaga we wcześniejszych wersjach intel celowo blokował procesory AMD. (a to wredota!)
Trzeba było używać patchy, aby to odblokować.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 03 Sierpień 2008, 22:12
Wersja której używam generuje kod działający bezproblemowo na procesorach AMD, przyrost prędkości nie jest tak duży jak dla proców Intela ale nadal wychodzi trochę lepiej od gcc.

Pod Windowsem próbowałem już kilku kompilatorów i wynikowy exek wychodzi prawie zawsze gorszy od tego ze starej wersji gcc, dlatego chciałem spróbować z kompilatorem Intela, ale coś nie mogę go rozgryźć.

Kombinować warto, bo obecnie mój stary testowy komp z Tualatinem 1.3 i linuksową aplikacją wyciska prędkość zbliżoną do jednego rdzenia Athlona 64 x2 4200+ pod Windows...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 04 Sierpień 2008, 00:56
zdaje się, że takie zadania nie tyle nie ruszają, co się nie pobierają:
Cytat2008-08-04 00:54:10|Enigma@Home|[error] State file error: missing application enigma_m4_2
2008-08-04 00:54:10|Enigma@Home|[error] Can't handle task awgly100_1_1142395_r0 in scheduler reply
2008-08-04 00:54:10|Enigma@Home|[error] State file error: missing task awgly100_1_1142395_r0
2008-08-04 00:54:10|Enigma@Home|[error] Can't handle task awgly100_1_1142395_r0_0 in scheduler reply
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 04 Sierpień 2008, 05:04
Pobierać na pewno się pobierają, problem leży w tym 'missing app'.

EDIT: dziś już nic nie wymyślę, czas na pociąg i wracać do roboty. Może znajdzie się wolny czas w tygodniu to pokombinuję. Mam nadzieję, że nic mi nie padnie w najbliższym czasie, bo następny planowany wyjazd za 2 tygodnie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 04 Sierpień 2008, 07:05
czyli jak? powinny się pobrać i nie dać przeliczyć?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 04 Sierpień 2008, 07:14
No właśnie nie wiem do końca co jest grane. Same zadania na pewno są dobre, na kompach bez zoptymalizowanej aplikacji działają. Po wrzuceniu app_info jest właśnie ten błąd, BOINC nie widzi drugiej aplikacji i odrzuca zadania.

EDIT: sprawdzałeś na plikach z poprzedniej strony ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 04 Sierpień 2008, 08:15
ni  :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 04 Sierpień 2008, 09:02
No to właśnie tam jest tem poprawiony i teoretycznie dobry xml, reszta plików też dorzucona tylko główny exe trzeba dobrać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 04 Sierpień 2008, 10:39
wgrałem - jak nic czerwonego w wiadomościach nie wyskoczy przez tydzień to wszystko ok?  :P
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 04 Sierpień 2008, 10:50
Wszystko ok będzie jak zobaczysz jakieś przeliczone zadania z serii awgly100 %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Thot w 05 Sierpień 2008, 06:50
To chyba działa. Mam pobraną jednostkę awgly100 i czeka w kolejce zadań. Przedtem nawet nie pobierało.

2008-08-05 06:10:55|Enigma@Home|Scheduler request succeeded: got 1 new tasks
2008-08-05 06:10:58|Enigma@Home|Started download of 00hc_wu_1118823_r0
2008-08-05 06:10:58|Enigma@Home|Started download of m4_awgly100_1
2008-08-05 06:10:59|Enigma@Home|Finished download of 00hc_wu_1118823_r0
2008-08-05 06:11:00|Enigma@Home|Finished download of m4_awgly100_1

Dam znać jak przeliczę.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Sierpień 2008, 10:05
Zwróć też uwagę na czas przeliczania, powinien być wyraźnie dłuższy od zadań hcey72 tego samego typu.


W październiku jak wrócę na stałe do domu konieczny będzie krótki przestój w pracy serwera, będę musiał zapodać co najmniej ze dwa duże dyski w RAIDzie, bo z tego co widzę przy dużym obciążeniu serwer po prostu nie nadąża zapisywać plików na dysku, na razie to nie problem ale kiedyś może dać się we znaki.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Thot w 05 Sierpień 2008, 19:32
Jednostka przeliczona, odesłana, kredyt przyznany  :)
http://www.enigmaathome.net/workunit.php?wuid=105671 (http://www.enigmaathome.net/workunit.php?wuid=105671)
Co do czasu przeliczania, trudno oceniać po jednej jednostce. Trafiła mi się jednostka awgly100 typ 2 a przeliczała się mniej więcej tyle co hceyz72 typ 3.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 06 Sierpień 2008, 13:28
Cytat: Thot w 05 Sierpień 2008, 19:32
Jednostka przeliczona, odesłana, kredyt przyznany  :)
http://www.enigmaathome.net/workunit.php?wuid=105671 (http://www.enigmaathome.net/workunit.php?wuid=105671)
Co do czasu przeliczania, trudno oceniać po jednej jednostce. Trafiła mi się jednostka awgly100 typ 2 a przeliczała się mniej więcej tyle co hceyz72 typ 3.

Takiego czasu właśnie należy się spodziewać, wygląda na to że wszystko ok.


EDIT: testuję teraz app_info na linuksie, jak wszystko będzie działać wrzucę info na forum projektu i odkręcam kranik z zadaniami awgly.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Sierpień 2008, 15:29
Niespodziewany wolny weekend = drobne zmiany po stronie serwera projektu.
Kilka minor-bugfixów - usunąłem resztki slashów i backslashów 'walających' się po podstronach, profilach itp (to wina upgrejdu kodu php), podłubałem trochę w bazie i skryptach generujących wewnętrzne statystyki żeby trochę odciążyć serwer (co od razu widać bo server-status (http://www.enigmaathome.net/server_status.php) przelicza się w sekundę zamiast w 15s %-)). Serwer póki co chodzi stabilnie, więc chyba czas po zmiany w kodzie klienta - czas w końcu dorobić wskaźnik postępów przeliczania do wrappera  :D

EDIT: no to mam wrappera który poprawnie pokazuje postęp w procentach (liniowo ze skokiem 0.2%) i na dodatek zapisuje poprawnie czas CPU przy wyjściu. Jeszcze go trochę potestuję u siebie a potem udostępnię tymczasowo jako dodatek do zoptymizowanej aplikacji w celu dokładniejszego przetestowania.


EDIT2:
Testowa wersja wrappera !!! tylko do użytku w połączeniu z app_info.xml !!!

http://plikens.no-ip.net/652xiot1w/wrapperwindowsintelx86.zip

Wypisuje trochę informacji do stderr więc jeśli zauważycie coś dziwnego, dajcie od razu link do rezultatu, łatwiej będzie znaleźć błędy.

Nazwę pliku trzeba zmienić na wrapper_5.17_windows_intelx86.exe i/lub wrapper_5.19_windows_intelx86.exe <ewentualnie inny numerek zależnie od wpisów w app_info


(http://plikens.no-ip.net/653xnjxe9/test1.png)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Thot w 10 Sierpień 2008, 08:09
Nowy wrapper działa. Pokazuje procentowy pasek postępu oraz czas do zakończenia przeliczania. Ale ...
1. Postęp uaktualniany jest skokowo (nie liniowo), co około minutę-póltorej (co w moim przypadku oznacza nawet kilka procent postępu),
2. Czas do zakończenia rośnie razem z czasem pracy (kolejne sekundy), by po uaktualnieniu postępu procentowego spaść do właściwej wartości, po czym znów przyrasta (kolejne sekundy). Czyli pokazuje rzeczywisty czas do zakończenia tylko w momentach uaktualniania.
3. Nie wiem jak z czasem przy wyjściu, ale chyba w porządku, bo nawet prawidłowo rozpoznał procenty jednostek przeliczanych na starym wrapperze.

P.S. Wrzuć już teraz nowe app_info na forum projektu. Niech się rozejdzie po ludziach. Będziesz mógł wcześniej odkręcić kranik ;-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Sierpień 2008, 08:17
ad 1. - tego nie da się przeskoczyć, takie zachowanie wynika z konstrukcji głównej aplikacji. Updejtowanie jest jednak na tyle częste że z dużą dokładnością widzisz aktualny postęp i dodatkowo wskaźnik postępu zawsze pokazuje prawdę a nie jakieś zgadywanki jak to czasami bywa w różnych projektach.
Jedynie pod koniec przeliczania zdarzają się jakieś nieprawidłowości, czasami wskaźnik lubi przeskoczyć z 99.4-99.6 od razu na 100%, prawdopodobnie to rezultat zaokrąglania ale nawet nie mam zamiaru poprawiać takiej kosmetyki.

ad 2. - to standard w BOINCu, zawsze kiedy zatrzymają się procenty czas rośnie żeby potem zmaleć.

ad 3. - to normalne zachowanie, ale niestety czasu przeliczania po starym wrapperze nie da się rozpoznać, bo on tego w ogóle nie zapisywał  :)

app_info jest od wczoraj na forum, dziś dam cynk w newsach ponieważ wkrótce i tak stary app_info będzie bezużyteczny - to po prostu konieczność, muszę prędzej czy później porzucić starą wersję aplikacji która zawiera zbyt dużo plików i niepotrzebnie obciąża serwer ich ściąganiem.


Na szybkich procach wskaźnik przeskakuje od razu po parę procent, na wolnych bywa że nawet co 0.01 - po stronie aplikacji głównej jest uaktualniany chyba co 5 minut.


EDIT: jest pewien bug z zapisywaniem czasu procesora do checkpointa, nie mogę na razie tego rozgryźć - przy częstych restartach (normalnie raczej tego się nie robi ale przy testach zamykałem i otwierałem managera po kilka razy na minutę) czas potrafi sie czasami wyzerować jak dawniej, lub częściej - potrafi się cofnąć np. o połowę do tyłu. Jak to możliwe jeszcze nie wydedukowałem  :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Thot w 10 Sierpień 2008, 08:29
Ad1, ad2 - jeżeli znasz te objawy to wszystko w porządku.

Co do checkpointów to nie znam się na tym, ale tak z obserwacji (głównie SETI, bo tam mam największy staż) to po wznowieniu przeliczania postęp cofa się trochę, myśli przez jakiś czas, by potem przeskoczyć do właściwej wartości. Może jeżeli zrobisz coś (np. zamkniesz managera) w tym okresie "myślenia" to gubi zapisany czas checkpointa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Sierpień 2008, 08:36
W tym przypadku zarówno wrapper jak i sama aplikacja przy prawidłowym zamknięciu zapisują aktualne informacje do pliku, nic nie ginie. W przypadku samej aplikacji działa to zawsze dobrze, w przypadku wrappera niestety czasami coś się kaszani i jako rezultat ładowany jest zły czas.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 12 Sierpień 2008, 20:35
Heh braklo probek do przeliczania  :o

Nieaktualne - juz sa  ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 12 Sierpień 2008, 22:21
a myślałeś o aplikacji na GPU??
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 12 Sierpień 2008, 22:45
Ciekawe kto by to przepisał, ja na pewno nie dałbym rady.
Poza tym progs wykonuje proste operacje stałoprzecinkowe i działania na tablicach, pewnie szybkość na GPU byłaby gorsza niż na procach średniej klasy.

EDIT: próbek nie ma prawa zabraknąć chyba że coś zdechnie na serwie. W kolejce czeka 4.5 miliona. Co najwyżej mogą być parominutowe braki jak ktoś wysysa szybciej niż serwer tworzy nowe.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 12 Sierpień 2008, 23:25
jezusicku  :o to co ty liczysz??? plan zniszczenia i przejęcia świata?? :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Sierpień 2008, 07:12
Serwer chwilowo off ze względu na pady zasilania spowodowane warunkami pogodowymi. Od wczoraj wieczora w okolicach Łodzi ciągle burze, późnym wieczorem już sie poprawiało ale w nocy nadszedł kolejny atak. W tym momencie w domu nie mam prądu ani netu :/
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 16 Sierpień 2008, 10:43
potwierdzam, że awgly przelicza się poprawnie
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Sierpień 2008, 10:48
A jak działa nowy wrapper ? Zwróciłeś uwagę czy informacje o postępach uaktualniają się poprawnie ?
Na linuksie zauważyłem już pewne małe zgrzyty (czasami na początku skacze na chwilę na 100% i potem działa normalnie, pod koniec potrafi wskoczyć na 90% i od razu potem na 100), ale to zostanie usunięte w nastepnej wersji.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 16 Sierpień 2008, 12:54
jak to odpalić - wrzucić ten nowy plik do katalogu, nazwy nie modyfikowałem w app, bo się zgadzała i już powinno kulać?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Sierpień 2008, 13:56
Powinno, wystarczy zamienić plik wykonywalny wrappera.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 16 Sierpień 2008, 14:37
działa - nie wiem jak, ale działa tzn wartość na pasku postępu jest pomiędzy 0 a 100, a z analizy czasu przeliczania i czasu pozostałego wskazanie zdaje się być poprawne
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Sierpień 2008, 08:59
Jakiś dziwny bug jest gdzieś w skryptach projektu, giną niektóre pliki z katalogu /download przez co część zadań nie ma zamiaru się ściągać. Główkuję nad tym ale nie mam pojęcia skąd się bierze taki efekt, póki co lukajcie czasami czy wam nie wiszą jakieś download errory w transferach.

EDIT: wszystko wskazuje na to, że gdzieś w czasoprzestrzeni luty-sierpień zmieniła się troche logika zmian stanów zadań/rezultatów; stary assimilator zadania z download errorem oznaczał od razu jako uszkodzone (wiadomo, że brakujący na serwerze plik sam nie odrośnie), a nowa wersja serwera jakoś tego nie akceptuje i resetuje zadanie do stanu początkowego; w rezultacie każde zadanie z błędem ściągania jednego z plików siedziało mi w kolejce w nieskończoność i takich padaczek było w kolejce coraz więcej. Chyba to poprawiłem ale jeszcze muszę nad tym posiedzieć, bo przy okazji zauważyłem, że wreszcie rozszerzyli opisy wszystkich możliwych stanów dla zadań i rezultatów, więc może ulepszę jakoś swoje daemony.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 19 Sierpień 2008, 12:54
Zauważyłem u siebie dużo próbek z Client state  "compute error". Po krótkim przejrzeniu paru hostów okazało się, że zjawisko wystąpiło nie tylko u mnie, ale dotyczy tylko próbek sprzed paru dni. Wiadomo o co chodzi?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Sierpień 2008, 19:25
Nowy validator zaznaczył wszystkie stare zadania jako błędne, nie ma to żadnego efektu innego niż wizualny.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Sierpień 2008, 13:26
Hm konieczność upgrejdnięcia serwera zbliża sie wielkimi krokami. Póki sprawnie działa automatyka, nowe zadania tworzone są płynnie i usuwane są stare z określonym wiekem od zakończenia jest ok. Ale wystarczy, że nastąpi przerwa w pobieraniu/odsyłaniu zadań z serwera M4 i potem trzeba nadgonić żeby uzupełnić zapasy lub pozbyć się tysięcy przeliczonych zadań - zaczyna  być kiepsko, nawet bardzo kiepsko. Każde dłużej trwające zadanie, nawet prosty db_purge który obecnie kasuje stare zadania zamula serwer. Głównym wąskim gardłem są dyski ale i dość niska jak na taki serwer ilość RAMu (2GB).
Jakoś na początku października zmienię cały sprzęt na inny (proc AMD nie był dobrym wyborem, raz że jest gorszy od podobnie taktowanego C2D, druga sprawa - jest jeszcze kompilator Intela i elementy serwera skompilowane nim dadzą pewnie jeszcze większą różnicę wydajności).
Cały proces upgrade na pewno potrwa co najmniej parę dni i w tym czasie można się będzie spodziewać różnych rzeczy - od najzwyklejszego niedziałania serwera, przez braki zadań, problemy w odsyłaniu i w najgorszym wypadku jakieś błędy %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 24 Sierpień 2008, 13:54
a jakie masz dyski?? może wspomożemy:D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Sierpień 2008, 14:02
5x320GB, wszystkie chyba WD. Nie pracują w RAIDzie tylko pojedyńczo, podmontowane w różnych miejscach drzewa katalogów. W ten sposób obciążenie rozbija się na pojedyńcze dyski - logi na jeden, katalogi upload i download na drugi, baza danych na trzeci, backupy i archiwa na czwarty. Niestety w praktyce odciąża to tylko trochę jeden z dysków, bo 90% obciążenia generuje baza danych, tak więc jedynie pozostałe 10% rozkłada się między 3 dyski. Gdyby dało się poszczególne tabele rozdzielić np. między dwa dyski, to już byłby wielki sukces. Myślę że da się to jakoś zrobić (mało jest rzeczy niemożliwych na linuksie, możliwe, że wystarczy zwykły softlink na jednym dysku do pliku na drugim) ale wolę nie kombinować, póki na stałe nie wrócę do domu.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 24 Sierpień 2008, 14:40
spoko - zassiemy wu na zapas :P
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Sierpień 2008, 16:09
Odkryłem właśnie śmieszny błąd, a raczej niedopatrzenie, który w rezultacie powoduje nadmierny rozrost baz.
Zoptymalizowana aplikacja zawiera wrappera w wersji 5.19, który do stderr wypluwa informacje na temat postępów, ot taki trick który pomagał w trakcie dłubania we wrapperze. Do archiwum w założeniu miała wejść ta sama wersja, ale z wyłączonym debugiem. Jak to się stało, że wersja rozwojowa tam jest nie mam pojęcia, ale wynik jest taki, że do serwera uploadowany jest stderr o zawartości np. takiej:


<core_client_version>5.10.28</core_client_version>
<![CDATA[
<stderr_txt>
y 0.461538, frac_dokladny 0.071006, x3 88
debug: odleglosc 13, pozycja 6, frac_zgrubny 0.461538, frac_dokladny 0.071006, x3 88
debug: odleglosc 13, pozycja 6, frac_zgrubny 0.461538, frac_dokladny 0.071006, x3 88
debug: odleglosc 13, pozycja 6, frac_zgrubny 0.461538, frac_dokladny 0.071006, x3 88
debug: odleglosc 13, pozycja 6, frac_zgrubny 0.461538, frac_dokladny 0.071006, x3 88
debug: odleglosc 13, pozycja 6, frac_zgrubny 0.461538, frac_dokladny 0.071006, x3 88
debug: odleglosc 13, pozycja 6, frac_zgrubny 0.461538, frac_dokladny 0.071006, x3 88
debug: odleglosc 13, pozycja 6, frac_zgrubny 0.461538, frac_dokladny 0.071006, x3 88
debug: odleglosc 13, pozycja 6, frac_zgrubny 0.461538, frac_dokladny 0.071006, x3 88
debug: odleglosc 13, pozycja 6, frac_zgrubny 0.461538, frac_dokladny 0.071006, x3 88
debug: odleglosc 13, pozycja 6, frac_zgrubny 0.461538, frac_dokladny 0.071006, x3 88
debug: odleglosc 13, pozycja 6, frac_zgrubny 0.461538, frac_dokladny 0.071006, x3 88
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.005917, x3 66
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.014793, x3 69
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.014793, x3 69
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.014793, x3 69
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.014793, x3 69
debug: odleglosc 13, pozycja 7, frac_zgrubny 0.538462, frac_dokladny 0.014793, x3 69


i tak dalej, aż do kilkudziesięciu-kilkuset kB, zależnie od długości zadania i szybkości kompa. To wszystko przechowywane jest potem w bazie, a jak łatwo policzyć, jeśli zamiast pół kB (tyle średnio jest z normalnym wrapperem) jest np. 500kB, to jeden taki wpis w bazie zajmuje tyle, co 1000 normalnych :o

Wniosek stąd taki: użytkownicy Windowsa jadący na zoptymalizowanej aplikacji proszeni są o wywalenie z katalogu projektu obu wrapperów i pliku app_info oraz zastąpienie ich tymi z tego archiwum:

http://tjm.boo.pl/enigma/app/app_test_522.zip


Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 24 Sierpień 2008, 16:20
zrobione ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 24 Sierpień 2008, 16:37
zrobione ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 05 Wrzesień 2008, 22:23
TJM czy mogę dodać Enigmę do ankiety na październikowy Projekt Miesiąca?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 06 Wrzesień 2008, 06:39
Jasne, 5 albo 6 października wracam na stałe do domu, przez te kilka dni nie powinno się raczej nic posypać. Gdzieś w okolicach 8-10 października będzie zmiana sprzętu w serwerze, ale myślę że jeśli nie będzie komplikacji downtime potrwa max parę godzin, a tyle da się przetrwać nawet z małym buforem zadań.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: PBT_marian_boss w 06 Wrzesień 2008, 11:39
Witam, chciałbym przyłączyć się do testowania ale nie za bardzo wiem jak to zrobić. Gdzie założyć konto itp. ? Proszę o jakieś wskazówki.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 06 Wrzesień 2008, 12:22
http://www.enigmaathome.net/

Edit: Eee, no bo Enigmie mówimy, nie?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: stasieks w 06 Wrzesień 2008, 12:40
Cytat: Mori w 06 Wrzesień 2008, 12:22
http://www.enigmaathome.net/

Edit: Eee, no bo Enigmie mówimy, nie?

Heheheh ale żeś dowalił. Pytanie było o testowanie projektu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 06 Wrzesień 2008, 12:49
No tak, ale testuje się chyba przez przeliczanie, nie? A linki do optymalek podawał TJM tam na forum :P

To gdzie się zgubiłem, co?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 08 Wrzesień 2008, 23:15
Popełniłem dziś straszny błąd - na hoście z którego pobierałem próbki dla beznetowca odpaliłem jakiegoś starego menedżera i bezmyślnie kliknąłem "opuść" Enigmie. W efekcie wszystkie próbki będące na beznetowcu dostały "client detached".

Na wszelki wypadek spytam: TJM czy są jakieś szanse na punkty za te próbki? Było ich ponad 100  :'(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: PBT_marian_boss w 09 Wrzesień 2008, 09:08
No fajnie ale nadal nie wiem jak się podłączyć i jakiej aplikacji używać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 09 Wrzesień 2008, 09:26
Cytat: Bober w 08 Wrzesień 2008, 23:15
Popełniłem dziś straszny błąd - na hoście z którego pobierałem próbki dla beznetowca odpaliłem jakiegoś starego menedżera i bezmyślnie kliknąłem "opuść" Enigmie. W efekcie wszystkie próbki będące na beznetowcu dostały "client detached".

Na wszelki wypadek spytam: TJM czy są jakieś szanse na punkty za te próbki? Było ich ponad 100  :'(


To ja Ci cos zacytuje na otarcie lez ;D:


Cytat: Bober w 07 Wrzesień 2008, 19:48
AiDec nie denerwuj się. Stracone próbki to "sól boincowej ziemii'' - nie pierwszy to i nie ostatni raz. Boli ale w końcu się przyzwyczaisz  ;)


No dobra, tak naprawde to wcale nie jestem taki zlosliwy ;). Tylko mnie boli ze przez czyjes nieuctwo trace punkty, nie przez swoje zaniedbania :(.






Co do Enigmy. Mam pytanie proste: dlaczego Enigma tak slabo placi. Jaka jest przyczyna? Zadaje proste pytanie i oczekuje prostej odpowiedzi :).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: kempler w 09 Wrzesień 2008, 09:36
Cytat: AiDec w 09 Wrzesień 2008, 09:26
Cytat: Bober w 08 Wrzesień 2008, 23:15
Popełniłem dziś straszny błąd - na hoście z którego pobierałem próbki dla beznetowca odpaliłem jakiegoś starego menedżera i bezmyślnie kliknąłem "opuść" Enigmie. W efekcie wszystkie próbki będące na beznetowcu dostały "client detached".

Na wszelki wypadek spytam: TJM czy są jakieś szanse na punkty za te próbki? Było ich ponad 100  :'(


To ja Ci cos zacytuje na otarcie lez ;D:


Cytat: Bober w 07 Wrzesień 2008, 19:48
AiDec nie denerwuj się. Stracone próbki to "sól boincowej ziemii'' - nie pierwszy to i nie ostatni raz. Boli ale w końcu się przyzwyczaisz  ;)

Hehehe  :P


Co do Enigmy. Mam pytanie proste: dlaczego Enigma tak slabo placi. Jaka jest przyczyna? Zadaje proste pytanie i oczekuje prostej odpowiedzi :).

Bo tak ?  :P
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 09 Wrzesień 2008, 11:47
Cytat: kempler w 09 Wrzesień 2008, 09:36
Cytat: AiDec w 09 Wrzesień 2008, 09:26
Co do Enigmy. Mam pytanie proste: dlaczego Enigma tak slabo placi. Jaka jest przyczyna? Zadaje proste pytanie i oczekuje prostej odpowiedzi :).

Bo tak ?  :P

No dobra, nie az tak prostej :P
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 09 Wrzesień 2008, 12:17
Przypuszczam, że TJM chciał być fair i nie zastosował overgrantingu tak jak niektóre projekty. Ogólnie rozsądne wydaje się, że powinien istnieć pewien parytet przyznawania punktów przez projekty. Chociaż nie wszystkie się stosują to jednak można go było mniej więcej określić i tak TJM ustalił punktację.

Inna sprawa, że nie uwzględnił, że AMDki słabiej liczą i dostają mniej niż żądają - można by więc nieco podnieść punktację.

@Marian_boss: nie do końca wiem co masz na myśli przez testowanie ale wszystkie pliki do optymalizacji są nadal  w temacie http://www.enigmaathome.net/forum_thread.php?id=17&nowrap=true#150 (http://www.enigmaathome.net/forum_thread.php?id=17&nowrap=true#150)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 09 Wrzesień 2008, 17:29
nie wiem czy TJM zdoła coś zrobić, ale era beznetowców i kilku managerów na jednym kompie przemija

z tego co zauważyłem zależy to od wersji serwera boinc w projekcie, do niedawna liczyłem einsteina na kilku kompach teraz na jednym podobnie jest z enigmą, nowe wersje serverów boinc automatycznie łączą twoje managery, obecnie jak ściągnę wu do jednego managera, a następnie uruchomię drugiego to próbki z pierwszego dostają status "detach"  :(

w einsteinie taka sytuacja występuje od miesiąca, :(
w enigmie od prawie samego początku (TJM - stara się mieć aktualne wersje servera),
w yoyo taki problem u mnie na razie nie wystąpił więc liczę na kilku kompach,
idealny z mojego punku widzenia jest serwer SIMAP (nie zdarzyło mi się stracić ani jednej próbki) w nim tworzę kilka manager'ów (bo czasami mało wu dają), rozpoczynam  ściąganie wu, łączę managery "merage" i w jednym managerze mam np 300 wu i lecę do beznetowca  :D

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Wrzesień 2008, 22:52
W sprawie próbek ze statusem client detached: teoretycznie jestem w stanie zresetować im status, ale dopiero w piątek bardzo późnym wieczorem lub w nocy z piątku na sobotę. W piątek rano wyjeżdżam z miejsca pracy do domu i dotrę dopiero wieczorem.
Do tego czasu część na pewno trafi do innych hostów, a że quorum = 1 serwer punktów nie przyzna dla dwóch wyników. Punkty dostanie host, który odeśle je pierwszy, przy czym niepotrzebne zadanie zostanie anulowane u drugiego użytkownika jeżeli nie było rozpoczęte.
Jeśli masz te próbki poprzeliczane na beznetowcu, ale nie odesłane, najlepiej byłoby wysłać do mnie te zadania (cały katalog z danymi) - mój assimilator jest w stanie wessać takie próbki i przydzielić za nie punkty, nawet jeśli są to 'duble' - w projekcie tak naprawdę nie ma czegoś takiego jak nadmiarowy rezultat a workunitów jest tylko 26k, przeliczane są w kółko za każdym razem z innymi, losowymi ustawieniami startowymi.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Wrzesień 2008, 23:21
Punktacja to rzecz względna - proc AMD może słabo punktować pod windows, ale z kolei Intel na linuksie może zgarniać nawet grubo ponad 200% claimed. E7200@3.5GHz z aplikacją skompilowaną kompilatorem Intela wciąga najkrótsze zadanie w jakieś 8 minut i dostaje za to ponad 8 punktów. Daje to ponad 60 punktów/h na jeden rdzeń.
Średnia z claimed credit jest praktycznie równa średniej z granted (niecały 1% rozrzutu) więc z punktacją nie jest aż tak źle. Nie wykluczam jednak, że moźe się lekko zmienić.

Nikt jeszcze nie wymyślił, jak poprawić windowsową aplikację. Zwykłe skompilowanie jej kompilatorem Intela dałoby wzrost prędkości rzędu 30-40% względem obecnych najszybszych. Różnica w prędkości między windows a linuksem to obecnie jakieś +60% na korzyść linuksa.  Dawno bym to zrobił, ale nie mam pojęcia jak - jeśli znacie kogoś kto mógłby pomóc, dajcie znać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 11 Wrzesień 2008, 12:03
Cytat: TJM w 10 Wrzesień 2008, 22:52
Jeśli masz te próbki poprzeliczane na beznetowcu, ale nie odesłane, najlepiej byłoby wysłać do mnie te zadania (cały katalog z danymi)
Niestety to był moment jak go podłączyłem i wszystkie prysły. No cóż, jak sam napisałem - nie pierwszy to i nie ostatni raz -  trudno ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 11 Wrzesień 2008, 12:32
Enigma na boincstats jest jako offline :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 13 Wrzesień 2008, 11:16
TJM czy mozemy liczyc na dodatkowe statystyki, na styl tych zamieszczonych w aps: http://www.apsathome.org/server_status.php
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Wrzesień 2008, 12:17
Jasne, część masz nawet w postaci wykresów w jednym z wątków na forum. Wkrótce wraz z nowym hardware (którego część już wczoraj została zainstalowana) pojawi się trochę dodatków: toplista userów i teamów za ostatnie 24h, 7 dni i miesiąc; śledzenie najlepszych rezultatów każdego użytkownika i parę innych bajerów.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Wrzesień 2008, 16:53
Serwer wyłączony na 30-40 minut, czyszczenie całości i upgrade procesora.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Wrzesień 2008, 12:48
Nowy skrypt - najlepsi uczestnicy w ciągu ostatnich 24h:

http://www.enigmaathome.net/show_topuser24h.php

btw, nie wydaje wam się, że RAC teamów jest mocno zaniżony ?

http://www.enigmaathome.net/top_teams.php?sort_by=expavg_credit

zastanawiam się czy nie ma jakiegoś buga w update_stats wersji serwera z której korzystam - licząc kalkulatorem i patrząc w archiwum statsów doszedłem do wniosku, że RAC zaczął spadać w czasie przybliżonym do ostatniego upgrade softu serwera...

Btw, od wczoraj serwer śmiga z nowym procem - AMD Phenom 9850 teraz jeszcze tylko upgrade RAMu, korekcje z dyskami i powinno być za*****cie  ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: KrzychuP w 16 Wrzesień 2008, 11:02
Czy ktoś może sprawdzić, czy u niego też się tak dzieje:

Po zalogowaniu do BAM zmieniam przydział zasobów i po akceptacji tylko Enigma wywala komunikat o stanie ostatniej aktualizacji "Project server error".
Po zalogowaniu na stronie Enigmy rzeczywiście nie zmieniła się wielkość przydzielonych zasobów.

Wina to BAMa czy serwera Enigmy?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2008, 20:38
Może BAM używa złego adresu ? Od jakiegoś czasu www.enigmaahome.net to jedyny poprawny
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 17 Wrzesień 2008, 09:20
a nie www.enigmaathome.net (http://www.enigmaathome.net) ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Wrzesień 2008, 11:34
Się mi zjadło T w adresie :D
W każdym razie chodzi o to, że enigma.no-ip.net nie działa do końca poprawnie, dwie domeny wydłużają konfig proxy 4-krotnie i zwalniają serwer, więc ze starej zrezygnowałem.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 17 Wrzesień 2008, 11:39
Spoksik. Sam dumam nad własnym serwerkiem. Ale oleję płacenie za domenę :D wystarczy zewnętrzny IP :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 17 Wrzesień 2008, 13:41
Cytat: TJM w 16 Wrzesień 2008, 20:38
Może BAM używa złego adresu ? Od jakiegoś czasu www.enigmaahome.net to jedyny poprawny

oficjalna dezinformacja ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 17 Wrzesień 2008, 14:29
Cytat: Pigu w 17 Wrzesień 2008, 13:41
Cytat: TJM w 16 Wrzesień 2008, 20:38
Może BAM używa złego adresu ? Od jakiegoś czasu www.enigmaahome.net to jedyny poprawny

oficjalna dezinformacja ;D

Zwolennik teorii spiskowych hi hi :P. A `Zeitgeist` ogladasz codziennie przed snem? :P
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 17 Wrzesień 2008, 16:24
a co to??
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 17 Wrzesień 2008, 16:41
Film. Mnie najpierw śmieszył a potem mnie zirytował. Ale obejrzeć można  :P
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 18 Wrzesień 2008, 16:01
możesz zobaczyć co się dzieje z captchą podczas zakładania profilu? wszędzie się udało, tylko enigma mówi:
Cytatmissing or bad parameter: response2
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 18 Wrzesień 2008, 16:06
spróbuj nie dawać linka do avka
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 18 Wrzesień 2008, 16:19
musisz wpisać choć jeden znak w polu  co sądzisz o projekcie. Wałek pojawia sie taki w kilku projektach.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 18 Wrzesień 2008, 16:25
zadziałało  ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 18 Wrzesień 2008, 16:39
wiem :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: KrzychuP w 19 Wrzesień 2008, 08:34
To zawsze działa. Arrr!
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 26 Wrzesień 2008, 05:31
No to zaczynam z powrotem przeprowadzkę na stałe do domu :D Dziś jadę z większością klamotów, w poniedziałek wracam po resztę rzeczy i żeby załatwić jeszcze parę spraw i w sobotę powrót.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 26 Wrzesień 2008, 15:32
Enigma projektem października - liczymy na Ciebie TJM. Niech serwery pracują pełną parą ;).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Wrzesień 2008, 12:57
Serwer od czasu upgrade procesora ma się bardzo dobrze i nigdy nie chodził tak sprawnie jak teraz  ;D Muszę jeszcze tylko dorzucić więcej RAMu, bo duże bazy są bardzo żarłoczne i wygląda na to, że wydajność rośnie z kwadratem ilości pamięci - przy 4GB serwer śmiga prawie 4 razy szybciej niż z 2GB; potem jeszcze zrobić kilka zamianek z dyskami i powinno na jakiś czas wystarczyć.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: IThorne w 27 Wrzesień 2008, 14:16
Ja mam kilka pytań odnośnie obecnej sytuacji projektu.

Ile procent zadań zostało juz zrobionych i na jak długo przewidywany jest żywot projektu?

Czy prędkośc projektu zależy od szynkości proca? A może tak samo liczy na słabszych maszynkach jak SHA-1 czy ABC?

Czy punktacja zależy od benchmarka menagera czy jest z góry przypisana do próbki?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Wrzesień 2008, 19:40
Cytat: IThorne w 27 Wrzesień 2008, 14:16
Ja mam kilka pytań odnośnie obecnej sytuacji projektu.

Ile procent zadań zostało juz zrobionych

Dla aktualnie dostępnych zadań (nie licząc testowych) masz aktualne informacje w server_status (http://www.enigmaathome.net/server_status.php)


Cytat
i na jak długo przewidywany jest żywot projektu?

Na to pytanie niestety nie znam odpowiedzi, na pewno można się spodziewać że co najmniej kilka-kilkanaście miesięcy

Cytat
Czy prędkośc projektu zależy od szynkości proca? A może tak samo liczy na słabszych maszynkach jak SHA-1 czy ABC?

Oczywiście, że zależy od szybkości - szybsza maszyna przemieli więcej zadań w tym samym czasie i oczywiście dostanie więcej punktów. Procesory Intela mają znaczną przewagę nad AMD, ze starszych proców PIII bardzo dobrze się tu nadają.

Cytat
Czy punktacja zależy od benchmarka menagera czy jest z góry przypisana do próbki?

Punkty za zadanie są z góry ustalone, nie licząc testowych jest 8 typów zadań (po 4 na każdy rodzaj workunitów), przy czym hceyz typ 3 i awgly typ 2/3 dostępne są tylko dla maszyn z szybkimi procesorami.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 27 Wrzesień 2008, 20:12
Cytat: TJM w 27 Wrzesień 2008, 19:40Dla aktualnie dostępnych zadań (nie licząc testowych) masz aktualne informacje w server_status (http://www.enigmaathome.net/server_status.php)

A dorzuciłbyś tam takie staty jak na http://stats.distributed.net/project/ogr_status.php ? Tj. bazując na szybkości z dnia poprzedniego, wydzielić ilość wszystkich workunitów i podać, ile dni jeszcze pozostało? Zdaję sobie sprawę, że możemy trafić na rozwiazanie wcześniej (bo możemy, prawda?), że te dane nie będą dokładne, ale to i tak uatrakcyjniłoby całość.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Wrzesień 2008, 20:54
Takie coś jest do zrobienia, ale miałoby spory margines błędu, ze względu na to że zadania mają różną długość a ile jakiego rodzaju pozostało mogę tylko zgadywać - śledzenie tego przekracza moje możliwości sprzętowe. Dopóki zadań jest dużo margines błędu byłby w miarę mały (kilka %) ale pod koniec sięgałby pewnie wielkości rzędu 50% albo i więcej.

Na razie pracuję nad tabelą przechowującą wyniki użytkowników i teamów z ostatniego dnia, tygodnia i miesiąca - taki trochę niestandardowy ranking, do tego umożliwiający wybranie konkretnej daty od której statystyki miałby pokazywać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 27 Wrzesień 2008, 21:20
Cytat: TJM w 27 Wrzesień 2008, 20:54
Takie coś jest do zrobienia, ale miałoby spory margines błędu, ze względu na to że zadania mają różną długość a ile jakiego rodzaju pozostało mogę tylko zgadywać - śledzenie tego przekracza moje możliwości sprzętowe. Dopóki zadań jest dużo margines błędu byłby w miarę mały (kilka %) ale pod koniec sięgałby pewnie wielkości rzędu 50% albo i więcej.

Ale mimo wszystko - to jest cool & trendy. Masz w statach w sumie ilość próbek zrobionych w ciągu ostatniej godziny... No to all probki/last hour probki =: ilosc godzin do konca projektu. *3600 =: sekundy. + time() =: unix timestamp konca. -> gmdate() =: data ukończenia!

Będzie to aktualne na tyle, na ile możliwe jest utrzymanie stałej wydajności. Czyli średnio, but who cares. Da to jakiś pogląd na wszystko.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Machloj w 30 Wrzesień 2008, 13:07
TJM - mam takie małą wątpliwość - jeśli jest optymalizacja, która liczy szybciej ten projekt dlaczego nie przeniesiesz jej do głównej aplikacji liczącej? dzięki temu my nie musielibyśmy się bawić w instalowanie optymalki, a sam projekt przeliczyłby się szybciej (oszczędność czasu innych CPU) oczywiście można by wtedy podnieść lekko punktację :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 30 Wrzesień 2008, 13:20
Z tego co wiem jest to po prostu trudne do zrobienia.

Tymczasem Enigma nie działa  :(

EDIT: już działa  :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 01 Październik 2008, 07:03
Pliki wykonywalne są różne dla różnych procesorów, nie ma szans udostępnić ich jako domyślnych. Można by było jedynie stworzyć kilka aplikacji wybieranych w ustawieniach, ale to z kolei spowodowałoby ogromne komplikacje po stronie serwera - osobne kolejki zadań dla kaźdego procesora i platformy.

Wczorajszy pad to długotrwały brak zasilania, tego niestety nie da się przeskoczyć.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 01 Październik 2008, 07:40
A co z moją propozycją? xD

Poza tym skoro już Enigma jest projektem miesiąca, to może pokusiłbyś się, TJM, i zorganizował jakiś wyścig? Przy okazji więcej osób by się projektem zainteresowało, jakby było info o wyścigu na Boincstats.com
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 01 Październik 2008, 08:35
Póki co jestem w trakcie pakowania swoich gratów i w piątek jadę na stałe do domu - od soboty prace nad projektem się rozpędzą.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 01 Październik 2008, 09:28
TJM a może przejąłbyś NHAH ?? ponoć Brian chce oddać projekt :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 02 Październik 2008, 19:46
Czy jest szansa na optymalizowaną wersja pod linuksa zlinkowaną statycznie?

Zlinkowałem statycznie używając kompilatora intela. Niestety podmieniona aplikacja
wywaliła dwie próbki.
http://www.enigmaathome.net/result.php?resultid=943167 (http://www.enigmaathome.net/result.php?resultid=943167)
http://www.enigmaathome.net/result.php?resultid=943085 (http://www.enigmaathome.net/result.php?resultid=943085)
Bez udziału boinca działa ok.

Kompilowana gcc (linkowana dynamicznie) również ok.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Październik 2008, 22:06
Gdzieś na forum projektu powinny być statyczne exeki z kompilatora intela, pamiętam źe gdzieś wrzucałem. Jeśli nie ma, to zrobię w sobotę nowe.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 02 Październik 2008, 23:12
Byłbym dźwięczny. :)

Wydajność proców AMD w tym projekcie to faktycznie cienizna. :(
Jednakowoż pod windowsem i linuksem.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 02 Październik 2008, 23:30
Cytat2008-10-02 23:27:15|Enigma@Home|Sending scheduler request: To fetch work.  Requesting 2585844 seconds of work, reporting 0 completed tasks
2008-10-02 23:27:21|Enigma@Home|Scheduler request completed: got 0 new tasks
2008-10-02 23:27:21|Enigma@Home|Message from server: No work sent

chlip?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: REPAIRMAN w 03 Październik 2008, 00:15
Cytat: Pigu w 02 Październik 2008, 23:30
Cytat2008-10-02 23:27:15|Enigma@Home|Sending scheduler request: To fetch work.  Requesting 2585844 seconds of work, reporting 0 completed tasks
2008-10-02 23:27:21|Enigma@Home|Scheduler request completed: got 0 new tasks
2008-10-02 23:27:21|Enigma@Home|Message from server: No work sent

chlip?

To samo mam na dwoch PC , niedosc ze liczy probki i nic nie ubywa wiec odinstalowalem projekt na nich  podpialem sie na nowo i teraz to  heh to ci fjanie mi policzylo jedna probka oddana przez dwa dni  za 8 punktow :D

Nic szkoda wracam do liczenia czego innego
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 03 Październik 2008, 00:34
eni w standardzie nie ma zdaje się paska postępu, mi już działa - wstrzymałem gpugrida i pobrało
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 03 Październik 2008, 01:07
Teraz już jest. Powinien działać.

@REPAIRMAN napisz coś więcej - co znaczy, że przez 2 dni jedną próbkę policzył? Tzn. że liczyłeś coś innego, czy że Enigma nie chciała ci przesłać zadań i komp się nudził? Czy próbki były przetwarzane a jednak nic się nie działo?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 03 Październik 2008, 08:09
Cytat: Pigu w 03 Październik 2008, 00:34eni w standardzie nie ma zdaje się paska postępu

Ano, w niezoptymalizowanej defaultowej aplikacji dla starych zadań (nie awg) paska postępu nie ma. Mimo to TJM twierdził, że normalnie się to liczy. No próby update'u tego "nowszych" wersji ale bez optymalek (takowych na mojego A1GHz nie ma) wywalają tylko próbki.

Niemniej przy pełnym przejściu na optymalki liczy bezproblemowo (na A64).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: maxim w 03 Październik 2008, 09:21
Sa jakies optymalki pod Q6600 ?

Pozdro
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 05 Październik 2008, 11:25
TJM udało mi się uzyskać ok 20% wzrost wydaności na AMD X2 z użyciem
kompilatora gcc 4.3.2 pod x86_64. W stosunku do aplikacji pobranej z
http://tjm.boo.pl/enigma/app/app_test_522.tgz (http://tjm.boo.pl/enigma/app/app_test_522.tgz). Nic mi nie wiadomo pod jakie porcesory kompilowana (sse3?).

                          jest     było
hceyz72_0        1820    2260
hceyz72_1        3130    3940

Może warto jeszcze powrócić do gcc i próbować zmienić "standardową" wersję aplikacji dla procesorów AMD.
Trudno mi stwierdzić czy taki sam efekt będzie w przypadku x86.
Troszkę się dziwię, że tak zachwalasz przyspieszenie liczenia na linuksie.
Przeglądając wyniki poszczególnych hostów nie widzę takowych. Mam wrażenie, że są dużo niższe niż pod windowsem i
nie mam tu na uwadze tylko amd, ale również intela. Pokaż mi te hosty linuksowe, które mają tą 40% przewagę nad
windowsowymi. Widocznie 98% liczących jedzie na aplikacji jaką zassa manager boinca.

Amd to już zupełnie inna liga. Jedyny komputer z w miarę dobrymi wynikami to chyba ten
http://www.enigmaathome.net/show_host_detail.php?hostid=7888 (http://www.enigmaathome.net/show_host_detail.php?hostid=7888)

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Październik 2008, 11:39
Cytat: buninek w 05 Październik 2008, 11:25
TJM udało mi się uzyskać ok 20% wzrost wydaności na AMD X2 z użyciem
kompilatora gcc 4.3.2 pod x86_64. W stosunku do aplikacji pobranej z
http://tjm.boo.pl/enigma/app/app_test_522.tgz (http://tjm.boo.pl/enigma/app/app_test_522.tgz). Nic mi nie wiadomo pod jakie porcesory kompilowana (sse3?).

                          jest     było
hceyz72_0        1820    2260
hceyz72_1        3130    3940


Zapewne dlatego, że w tej paczce jest goła aplikacja bez żadnych optymalizacji, lepiej porównaj swoją z tymi z paczki z exekami - może już nie być tak wesoło. Jeżeli przekopiesz cały temat, znajdziesz na którejś stronie wyniki z testów i dość dobry sposób wykonywania pomiarów - z tego co pamiętam, dla proców AMD chyba exek linuksowy od PIII najlepiej pasował.

Cytat
Troszkę się dziwię, że tak zachwalasz przyspieszenie liczenia na linuksie.
Przeglądając wyniki poszczególnych hostów nie widzę takowych. Mam wrażenie, że są dużo niższe niż pod windowsem i
nie mam tu na uwadze tylko amd, ale również intela. Pokaż mi te hosty linuksowe, które mają tą 40% przewagę nad
windowsowymi. Widocznie 98% liczących jedzie na aplikacji jaką zassa manager boinca.

Amd to już zupełnie inna liga. Jedyny komputer z w miarę dobrymi wynikami to chyba ten
http://www.enigmaathome.net/show_host_detail.php?hostid=7888 (http://www.enigmaathome.net/show_host_detail.php?hostid=7888)



To dlatego, że praktycznie nikt nie używa exeków skompilowanych kompilatorem Intela. To nie w samym linuksie tkwi siła, ale właśnie w tym kompilatorze. Same exeki nawet ciężko udostępnić, zauważyłem że nawet statyczne nie chcą śmigać czasami na innych kompach albo generują błędne rezultaty.
Popatrz sobie na wyniki czasowe tego hosta http://www.enigmaathome.net/results.php?hostid=1369 porównaj je z przeciętnymi procami AMD i spróbuj wykminić, jaki zegar ma ten PIII, ciekawe czy zgadniesz.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 05 Październik 2008, 11:47
Co do icc i static, to faktycznie są  jakieś problemy. Ważna jest chyba wersja glibc.
Faktycznie pentium III śmiga ładnie. Jaki zegar? Mhm, trudno stwierdzić.
Wiem jedno kernel 2.4 jest bardzo szybki.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Październik 2008, 11:52
To nie zasługa kernela, wcześniej miałem drugiego PIII na debianie z kernelem 2.6 i był równie szybki. Ten tutaj ma zegar 1.0 GHz i jest to zwykły  PIII, ten drugi to był Tualatin 1.3 podkręcony do 1.4 i wyciągał wyniki o 35% lepsze.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 05 Październik 2008, 12:17
Wersja kernela ma spore znaczenie. U mnie przy tym samym konfigu kernela, tych samych flagach kompilacji
róznica dochodzi do 12% np. miedzy 2.6.16 a 2.6.24.
Oczywiście linuks jako taki nie ma żadnej przewagi w prędkości liczenia nad widowsem.
Właśnie zapuściłem ten "exek" pod pentium III z sse2. Już się kończy liczyć pierwsza próbka. Efekt jest jaki był.
Czyli o 20% wolniej.

EDIT:
Poprawka nie o 20% a dużo więcej bo liczyła się aż 2885 (wznowiona od 770s).
Jest ciekawe nrzędzie do robienia statycznych wersji z gotowych dynamicznych.
http://statifier.sourceforge.net/statifier/main.html (http://statifier.sourceforge.net/statifier/main.html)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Październik 2008, 12:46
Cytat: buninek w 05 Październik 2008, 12:17
Wersja kernela ma spore znaczenie. U mnie przy tym samym konfigu kernela, tych samych flagach kompilacji

Dziwne, u mnie w ogóle nie ma żadnych różnic, odkąd bawię się exekami enigmy (praktycznie od powstania projektu M4 czyli gdzieś od początku 2006) wypróbowałem co najmniej kilkadziesiąt różnych kerneli i nie stwierdziłem, żeby któryś był szybszy od innych - różnice na poziomie błędu pomiarowego, między  2.4.19-16mdk a 2.6.18-własna kompilacja uśredniona różnica to 0.3% na tym samym sprzęcie, na korzyść tego drugiego. Może to kwestia sprzętu. W każdym razie największe znaczenie dla szybkości projektu ma procesor i odpowiedni dobór aplikacji, drugorzędne pamięć (zmiana np. z SDRAM-PC133 na DDR400 daje +5%) a reszta praktycznie się nie liczy.
Robiąc benchmarki nigdy nie sugeruj się czasem przeliczania zadań bo one same z siebie mają spory rozrzut dochodzący do 10-15% - składa się na to m.in. różnica wynikająca z losowości danych na samym początku zadania - im szybciej trafi na jakiś wysoki score który potem się trzyma długo, tym mniej danych będzie zapisane do checkpointa i do pliku z wynikami = oszczędność czasu procesora. Na dodatek im krócej działa sama aplikacja, tym mniej czasu procesora zjada wrapper, a jego czas też się dolicza do czasu zadania. Sposób wykonywania pomiarów jest gdzieś na poprzednich stronach tematu.

Cytat
Właśnie zapuściłem ten "exek" pod pentium III z sse2. Już się kończy liczyć pierwsza próbka. Efekt jest jaki był.
Czyli o 20% wolniej.

PIII nie ma SSE2, więc chyba zły exek wybrałeś %-)


Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 05 Październik 2008, 13:46
TJM ma dobry pomysł zrobić test na próbce testowej

Cytat: http://www.boincatpoland.org/smf/index.php/topic,1216.msg21515.html#msg21515http://tjm.boo.pl/enigma/eb.rar
pod linuksem wystarczy exek skompilowany ze źródeł z bytereef.org, pliki zawarte w archiwum i polecenie time enigma -R -o results.txt 00trigr.naval 00bigr.naval bench_cipher


robiłem kiedyś kilka testów, u mnie duże znaczenie miała wersja GCC ( 4 miała dużo gorsze wyniki od 3.2)
http://www.boincatpoland.org/smf/index.php/topic,1216.msg25830.html#msg25830

może Twoja kompilacja przekona mnie do liczenia Enigny na AMD  ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 05 Październik 2008, 14:00
Cytat: RAD-Poland w 05 Październik 2008, 13:46
TJM ma dobry pomysł zrobić test na próbce testowej
Testy zawszy robiłem na tym benchmarku.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Październik 2008, 14:11
Cytat: RAD-Poland w 05 Październik 2008, 13:46

robiłem kiedyś kilka testów, u mnie duże znaczenie miała wersja GCC ( 4 miała dużo gorsze wyniki od 3.2)
http://www.boincatpoland.org/smf/index.php/topic,1216.msg25830.html#msg25830


To właśnie zastanawiające, pewnie trzeba coś poprzestawiać w opcjach bo nie sądzę, żeby nowszy gcc był gorszy. Ciekawe tylko gdzie dłubać %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 05 Październik 2008, 14:11
Ja użyłem
CFLAGS=-Wall -pedantic -funroll-all-loops -fomit-frame-pointer -march=x86-64 -mtune=athlon64 -O3 -pipe

EDIT:
bardzo dobry był gcc 3.3.6, ale od tego czasu sporo się zmieniło


Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 05 Październik 2008, 14:56
test aplikacji projektu Enigma@Home (Linux + Athlon 64 X2 2,0@2,2) - wyniki benchmarku TJM
32 bit enigma TJM (aplikacja podstawowa projektu)
392,94 sek
64 bit enigma Crunch3r
391.72 sek
32 bit enigma TJM (kompilator Intela dla  PIII)
365,07 sek
32 bit enigma TJM (kompilator Intela dla PIV)
360,04 sek
(Linux + Athlon 64 X2 2,0@2,3)
64 bit enigma , gcc-4.2.3-6mnb1 , CFLAGS=-Wall -pedantic -funroll-all-loops -fomit-frame-pointer -march=x86-64 -mtune=athlon64 -O3 -pipe
301.93 sek  (widać efekt przyjmijmy ok 15% + cpu ok 5% OC w stosunku do poprzednich pomiarów)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 05 Październik 2008, 15:40
Cytat: TJM w 05 Październik 2008, 12:46
Dziwne, u mnie w ogóle nie ma żadnych różnic, odkąd bawię się exekami enigmy (praktycznie od powstania projektu M4 czyli gdzieś od początku 2006) wypróbowałem co najmniej kilkadziesiąt różnych kerneli i nie stwierdziłem, żeby któryś był szybszy od innych - różnice na poziomie błędu pomiarowego, między  2.4.19-16mdk a 2.6.18-własna kompilacja uśredniona różnica to 0.3% na tym samym sprzęcie, na korzyść tego drugiego.

Co do wersji kernela to trochę przesadziłem. Podałem skrajny przykład. Wersja 2.6.16, której używam ma nałożone różne patche. Pewnie one
pogarszają wydajność. Generalnie najlepsze są vaniliowe wersje.
Może inaczej to ujmę można skroić pod boinca nieznacznie lepszy wydajnościowo kernel, niż taki "zwykły" dystrybucyjny desktopowy.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Październik 2008, 15:44
Pod BOINCa - całkiem możliwe że da to jakieś efekty. Dla samej enigmy - bardzo wątpię, kod jest za prosty żeby kernel mógł powodować jakieś widoczne przyrosty prędkości.

Zaczynam proces ponownej kalibracji kredytów w projekcie, tak żeby użytkownicy AMD nie byli za bardzo pokrzywdzeni %-) Ma ktoś AMD 64/64x2 pod Windowsem i chwilę wolnego czasu, żeby spisać trochę czasów próbek przy użyciu zwykłej wersji aplikacji a także zrobić BOINCowy benchmark na systemie nieobciążonym niczym, wersją 5.10.45 ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 05 Październik 2008, 16:57
Cytat: TJM w 05 Październik 2008, 15:44
Zaczynam proces ponownej kalibracji kredytów w projekcie, tak żeby użytkownicy AMD nie byli za bardzo pokrzywdzeni %-) Ma ktoś AMD 64/64x2 pod Windowsem i chwilę wolnego czasu, żeby spisać trochę czasów próbek przy użyciu zwykłej wersji aplikacji a także zrobić BOINCowy benchmark na systemie nieobciążonym niczym, wersją 5.10.45 ?

Jeśli masz ją w wersji portable i nie przeszkadza Ci OC, to ja mam A64 na WinXP xD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 05 Październik 2008, 17:58
możesz spojrzeć na moje statystyki

1040321 972356 5 Oct 2008 5:13:52 UTC 5 Oct 2008 14:41:21 UTC Over Success Done 4,784.78 9.02 8.45
1039532 971622 5 Oct 2008 4:33:00 UTC 5 Oct 2008 14:41:21 UTC Over Success Done 4,784.56 9.02 8.45
1038646 970761 5 Oct 2008 3:42:49 UTC 5 Oct 2008 13:15:34 UTC Over Success Done 4,686.83 8.84 8.45
1038118 970233 5 Oct 2008 3:15:43 UTC 5 Oct 2008 12:46:17 UTC Over Success Done 4,857.67 9.16 8.45
1037910 970046 5 Oct 2008 3:11:32 UTC 5 Oct 2008 12:46:17 UTC Over Success Done 8,714.80 16.43 15.14
1036026 968173 5 Oct 2008 0:17:33 UTC 5 Oct 2008 9:20:15 UTC Over Success Done 4,466.45 8.42 8.45
1035929 968077 5 Oct 2008 0:13:22 UTC 5 Oct 2008 10:23:12 UTC Over Success Done 8,631.75 16.28 15.46
1031928 964215 4 Oct 2008 22:48:46 UTC 5 Oct 2008 7:44:43 UTC Over Success Done 4,785.52 9.02 8.45
1031771 964059 4 Oct 2008 22:44:32 UTC 5 Oct 2008 9:11:10 UTC Over Success Done 8,360.05 15.76 15.46
1030830 963128 4 Oct 2008 21:06:55 UTC 5 Oct 2008 6:59:05 UTC Over Success Done 4,909.66 9.26 8.45

Athlon 64 x2 3600 na windzie xp sp2 32bit
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 05 Październik 2008, 18:06
ściągnąłem kompilator intela (niestety nie wiem z jakimi opcjami kompilowałeś swoje aplikacje) moje wyniki dla (Linux64 + Athlon 64 X2 2,0@2,3) to

373 sek (ICC PIV -O3)
368 sek (ICC core2 -mcpu=core2 -mtune=core2 -xO -funroll-loops -O2)

302 sek (GCC -Wall -pedantic -funroll-all-loops -fomit-frame-pointer -march=x86-64 -mtune=athlon64 -O3 -pipe)
300 sek (GCC -Wall -pedantic -funroll-all-loops -march=x86-64 -mtune=athlon64 -O2 -pipe)

myślę że mógłbyś spróbować skompilować aplikacje za pomącą GCC i opcjami zaproponowanymi przez użytkownika Buninek
przetestujemy i jeżeli potwierdzi się +20% wydajności warto by udostępnić taką optymalkę

20% wydajności "drogą nie chodzi"  ;D

pierwsze testy:
2703,62 sek   8,45 pkt   (32bit-PIV intel TJM)
2250,80 sek   8,45 pkt   (64bit-AMD64 gcc Buninek)


Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 05 Październik 2008, 18:27
Może jeszcze cóś dałoby się uszczknąć?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Październik 2008, 18:58
Ciekawe, czy gcc pod windows pozwoli skompilować exek z tymi opcjami - mógłby to być najszybszy exek z dotychczas dostępnych.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 05 Październik 2008, 19:31
ano

EDIT: skasowane - wyniki wprowadzały w błąd




Athlon 64 x2 3800 (2,0@2,3) Linux64
2703,62 sek   8,45 pkt   (32bit-PIV intel TJM)
2250,80 sek   8,45 pkt   (64bit-AMD64 gcc Buninek -O3)
2239,52 sek   8,45 pkt   (64bit-AMD64 gcc Buninek -O2 bez -fomit-frame-pointer)
2278.25 sek   8.45 pkt   (jw - różnice O2 i O3 pomijalne)

3848,54 sek   15,46 pkt   (64bit-AMD64 gcc Buninek -O2 bez -fomit-frame-pointer)

4483.00 sek   18.27 pkt   (64bit-AMD64 gcc Buninek -O2 bez -fomit-frame-pointer)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 05 Październik 2008, 19:52
Ej, ale coś u Trolla chyba nie tak... Ja na moim A64 3200+ 2.0@2.3 (http://www.enigmaathome.net/results.php?hostid=6985) (no, ale to wasze X2 coś chyba robi - to nie emuluje dwóch rdzeni czy coś? Bo nigdy nie wnikałem)
1027980   960726   4 Oct 2008 19:19:45 UTC   5 Oct 2008 16:28:44 UTC   Over   Success   Done   2,752.33   10.25   8.45
1019628   952540   4 Oct 2008 12:55:07 UTC   5 Oct 2008 13:47:50 UTC   Over   Success   Done   2,702.91   10.07   8.45
1014596   947528   4 Oct 2008 8:47:14 UTC   4 Oct 2008 18:56:34 UTC   Over   Success   Done   2,870.34   10.69   8.45
1014421   947355   4 Oct 2008 8:03:33 UTC   4 Oct 2008 12:55:06 UTC   Over   Success   Done   2,873.86   10.70   8.45
1013301   946249   4 Oct 2008 7:20:19 UTC   4 Oct 2008 11:19:19 UTC   Over   Success   Done   2,922.95   10.89   8.45
1000142   933500   3 Oct 2008 20:36:22 UTC   4 Oct 2008 11:19:19 UTC   Over   Success   Done   2,672.20   9.95   8.45
998281   931787   3 Oct 2008 19:50:15 UTC   4 Oct 2008 9:32:50 UTC   Over   Success   Done   2,706.44   10.08   8.45
993193   927056   3 Oct 2008 14:52:56 UTC   3 Oct 2008 19:12:06 UTC   Over   Success   Done   2,562.25   9.54   8.45

Szczegóły kompa (http://www.enigmaathome.net/show_host_detail.php?hostid=6985). Win XP SP3

A trzeba dodać, ze ostatnimi czasy wolniej leci, bo siostra lubi pograć w Simsy 2 - i BOINC się łapie na ze 3-5% procka...

A raz było nawet tak:
1016197   949120 (http://www.enigmaathome.net/workunit.php?wuid=949120)   4 Oct 2008 9:32:51 UTC   5 Oct 2008 7:09:26 UTC   Over   Success   Done   3,840.11   14.30   18.27
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 05 Październik 2008, 20:02
sprawdziłem Troll81 wprowadził nas w błąd wyniki które wkleił to Intel(R) Pentium(R) 4 CPU 3.20GHz (ale to też coś nie tak z wynikami nieco słabe ja na taki procesor)

dla AMD Athlon(tm) 64 X2 Dual Core Processor 3600+ ma:

2,525.00   8.45
2,698.75   8.45
4,453.81   15.46
4,543.66   15.46
5,119.06   18.27
5,102.22   18.27

teraz by się zgadzało bo różnice były kosmiczne  ;D

EDIT: ta próbka za 18.27 to wu typu 2
EDIT2: (wyjątkowo szybko ją przeliczyłeś, wyjątkowa próbka, a może restartowałeś Boinc'a czasami wrapper zeruje czas, a korzysta z checkpointa i liczy dalej)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 05 Październik 2008, 20:13
Wiem że dwójka, chodziło mi o różnicę między claimed a granted na korzyść granted, co jest unikalne tutaj xP

2.5-2.7k to też nie za szczególnie dla X2 3600+ (nawet bez OC chyba). Na pewno optymalki są? Bo może z nimi zejdziemy kolejne 10% w dół u Trolla? Nie widzę opcji eksportu w BoincView, ale mogę zrobić screena jakiegoś z danymi moimi pełnymi z jakiegoś większego odcinka czasowego, jeśli trzeba.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 05 Październik 2008, 20:30
sporo amd x2 6000 przelicza te wu w  ok 2300s.
Pewnie nie ocnięte. Jego wyniki są jak najbardziej ok.

1 rdzeń A64 (socket 939) jest  szybszy od 1 rdzenia X2. Zegar w zegar.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 05 Październik 2008, 20:35
To co oznacza to X2? I czemu proc bez X2 liczy szybciej niż z X2? I co, trafiłem szczęśliwie na to 939 i dlatego boost? Bo procesor się lepiej trzyma, bo ma więcej nóżek i na zakrętach nie wypada? ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: jurdziol w 05 Październik 2008, 20:37
X2 to procesor dwurdzeniowy.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 05 Październik 2008, 20:39
AM2 ma o 1 nóżkę więcej bo ma podstawkę z 940 ;D
z ilu korzysta  X2 to nie wiem
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 05 Październik 2008, 20:41
A, czyli dobrze myślałem. To czemu dwa rdzenie (i to szybsze) są wolniejsze od jednego wolniejszego (wg oznaczeń) na S939?

@buninek: a jakbym dolutował do swojego jeszcze parę (i wywiercił na nie dziurki w podstawce) to ile % przyśpieszenia uzyskam? ;)

EDIT: Aaaa, czyli on oddaje 2x tyle rezultatów co ja, tak? A wynik jest tylko za 1 rdzeń, który jest porównywalny z moim?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 05 Październik 2008, 20:44
jedna przeliczna próbka (WU) przypada na jeden rdzeń

modyfikacji nie polecam  :no:
Cytat: Mori w 05 Październik 2008, 20:41
EDIT: Aaaa, czyli on oddaje 2x tyle rezultatów co ja, tak? A wynik jest tylko za 1 rdzeń, który jest porównywalny z moim?
zgadza się

EDIT:
Nie wszystkie wyprowadzenia (nóżki) na procesorze są wykorzystywane.
Ktoś kiedyś pisał w necie jak umieścił proc po przejściach bez kilkunastu nóżek w podstawce i działał bez zarzutu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 05 Październik 2008, 20:57
no to wszystkie rodzaje próbek przeliczone - wyniki (http://www.boincatpoland.org/smf/index.php/topic,1216.msg45946.html#msg45946)

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 05 Październik 2008, 21:21
Wszystkie rodzaje?
Dawno nie liczyłeś. Jest sporo nowych.
moje wyniki: amd x2 4200@2700
http://www.enigmaathome.net/show_user.php?userid=3232 (http://www.enigmaathome.net/show_user.php?userid=3232)
z ciekawości popatrz jak dużo kompów liczy bez optymalek.
Wyniki są beznadziejne.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Październik 2008, 21:28
Cytat: buninek w 05 Październik 2008, 20:44


EDIT:
Nie wszystkie wyprowadzenia (nóżki) na procesorze są wykorzystywane.
Ktoś kiedyś pisał w necie jak umieścił proc po przejściach bez kilkunastu nóżek w podstawce i działał bez zarzutu.

Nie wiem jak jest w nowych procach, w starych większość nóżek to było zasilanie i masa (żeby rozłożyć bardzo duży prąd), jeśli trafi się na same takie to pewnie i bez połowy proc zadziała.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: 3Rni w 05 Październik 2008, 22:02
u mnie jak potrzeba można obadać AMDeki rożnej maści :)

http://www.enigmaathome.net/show_user.php?userid=3229

są A64x2, 1jajowe A64, semprony, athlony xp... zegary od 3000-4600 wszytko przeważnie na socet939...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 05 Październik 2008, 22:23
Cytat: buninek w 05 Październik 2008, 21:21
Wszystkie rodzaje?
racja, nie wszystkie, jeszcze był hceyz72 typ 3 i cała gama awgly100
hceyz72 typ 3 ale nie ściągnąłem żadnej tego typu,
co do próbek serii awgly100 fakt są,  zapomniałem o nich  :-[

CytatDawno nie liczyłeś.
fakt na tym kompie AMD długo nie liczyłem ze względu na wydajność, a stara konfiguracja apps.xml nie ściąga nowych próbek
ale mam jeden beznetowiec Intel liczy hceyz72 i awgly100 (nie zgłębiałem tematu rodzajów próbek)

Cytat
moje wyniki: amd x2 4200@2700
http://www.enigmaathome.net/show_user.php?userid=3232 (http://www.enigmaathome.net/show_user.php?userid=3232)
całkiem nieźle, w sumie to dostajesz tyle punktów ile żądasz

wiedząc że Intele liczą znacznie wydajniej uważam, że zmuszanie mojego AMD do liczenia tego projektu jest nie ekonomiczne i lepiej policzyć projekt w którym wydajność CPU jest większa, porównywalna z Intelem czy też są wykorzystywane optymalizacje 64 bitowe

CytatWyniki są beznadziejne.
w porównaniu z intelem to fakt - ale z proponowaną optymalką będzie już trochę lepiej, wyniki (tzn punkty) będą prawie na poziomie otrzymywanych w LHC
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Październik 2008, 22:25
Może da się wykrzesać coś więcej - zasysam nową wersję kompilatora Intela i zobaczę jak będzie wyglądał 64 bitowy exek - zauważcie, że teraz porównujecie 32 bit ICC do 64 gcc, a już dawno było wiadomo że aplikacje 64 bitowe są nieco szybsze.
Może znajdzie się ktoś, kto da rade ujarzmić to dziadostwo pod Windowsem ? Jest 30 dniowa wersja, exeki przygotowane raz wystarczą na długo, grunt żeby zdążyć to rozkminić przez 30 dni %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Październik 2008, 22:28
Cytat: ERni w 05 Październik 2008, 22:02
u mnie jak potrzeba można obadać AMDeki rożnej maści :)

http://www.enigmaathome.net/show_user.php?userid=3229

są A64x2, 1jajowe A64, semprony, athlony xp... zegary od 3000-4600 wszytko przeważnie na socet939...


Wszystkie z domyślną aplikacją ?

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 05 Październik 2008, 22:30
używałem ICC w wersji 64 bitowej l_cc_p_10.1.018_intel64
(wyniki były o 5% gorsze od Twoich 32 bitowych, ale może to wina złych opcji kompilacji)

EDIT: TJM liczę na dobre optymalki zawsze były lepsze od moich  :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Październik 2008, 22:41
Zobaczymy później - na razie bawię się z gcc 3.2, póki co najlepsze co udało mi się osiągnąć to 412s w benchmarku (Athlon 64 2.2GHz).

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 05 Październik 2008, 22:52
Ja próbowałem icc z tej wersji l_cc_p_10.1.015_intel64.tar.gz i były problemy:
1) Pod x86_64 jest problem z instalacją. Musisz mieć część bibliotek 32-bitowych.
2) glibc wersja najwyżej 2.6 (u mnie były tylko 2.8 instalator odradzał instalację)
3) Do icc.cfg musiałem dać taki wpis "-idirafter /usr/include/linux"
4) Przy kompilacji pluł się o libimf.so. Musiałem ją statycznie zlinkować.
    Pojawił się problem. Aplikacje test przechodziły (wyniki raczej słabe)
    a z wrapperem już się krzaczyły.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: 3Rni w 05 Październik 2008, 22:59
Cytat: TJM w 05 Październik 2008, 22:28
Cytat: ERni w 05 Październik 2008, 22:02
u mnie jak potrzeba można obadać AMDeki rożnej maści :)

http://www.enigmaathome.net/show_user.php?userid=3229

są A64x2, 1jajowe A64, semprony, athlony xp... zegary od 3000-4600 wszytko przeważnie na socet939...


Wszystkie z domyślną aplikacją ?

od dziś wszystkie maja wgrane optymalki do A64 i XP....... sempronom nie wiedziałem co i dostały od a64
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 06 Październik 2008, 01:49
Czas dorzucić trochę do pieca %-)

gcc -Wall -W -O2 -finline-functions -funroll-loops -ffast-math -mtune=athlon64 -march=k8 -fomit-frame-pointer -fschedule-insns

290s benchmark na A64 2.2GHz, 32bit - przy 64 bitowej aplikacji powinno jeszcze spaść

Nie jestem pewien czy można bezpiecznie używać -ffast-math ale na razie błędów nie widzę.

EDIT: praktycznie to samo, 3 sekundy wolniej, również 32 bitowy exek:

icc -ip -ipo -Wall -O3

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 06 Październik 2008, 07:55
TJM, kiedy porty na Windę, kiedy, kiedy? xD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 06 Październik 2008, 08:57
Dzisiaj postaram się coś wymodzić, posiedzę trochę nad samym źródłem może uda się co nieco optymalizacji wyskrobać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 06 Październik 2008, 10:12
Sorka za wprowadzenie w błąd :) zapomniałęm że w pracy jednego kompa podpiąłem pod enigmę.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 06 Październik 2008, 14:45
Cytat: TJM w 06 Październik 2008, 01:49
Czas dorzucić trochę do pieca %-)

gcc -Wall -W -O2 -finline-functions -funroll-loops -ffast-math -mtune=athlon64 -march=k8 -fomit-frame-pointer -fschedule-insns
Próbowałem nowych propozycji z gcc 4.3.1. Niestety kompilator nie akceptuje -fschedule-insns, wywala błąd związany z hillclimb.c. Bez tej flagi jest ok, ale czas słabszy. Wieczorem spróbuję z gcc 3.4.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 06 Październik 2008, 16:28
Cytat: TJM w 06 Październik 2008, 01:49
Czas dorzucić trochę do pieca %-)

gcc -Wall -W -O2 -finline-functions -funroll-loops -ffast-math -mtune=athlon64 -march=k8 -fomit-frame-pointer -fschedule-insns

290s benchmark na A64 2.2GHz, 32bit - przy 64 bitowej aplikacji powinno jeszcze spaść

Linux64 + Athlon 64 X2 2,0@2,3 + gcc-4.2.3-6mnb1

302 sek (GCC -Wall -pedantic -funroll-all-loops -fomit-frame-pointer -march=x86-64 -mtune=athlon64 -O3 -pipe)
300 sek (GCC -Wall -pedantic -funroll-all-loops -march=x86-64 -mtune=athlon64 -O2 -pipe)

294 sek (gcc -Wall -W -O2 -finline-functions -funroll-loops -ffast-math -mtune=athlon64 -march=k8 -fomit-frame-pointer -fschedule-insns)
287 sek (gcc -Wall -W -O2 -finline-functions -funroll-loops -ffast-math -mtune=athlon64 -march=x86-64 -fomit-frame-pointer -fschedule-insns)

lepiej
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 06 Październik 2008, 16:58
Oh Yeah Yeah :D
Przeniosłem się z kompilacją w system z gcc 3.4 i poszło.
Efekty świetne :)
było 245 (moja propozycja)
teraz 191 TJM,TJM,TJM
brawo brawo ::)

EDIT:
W boju wypada gorzej niż w benchmarku, ale i tak powinno być kilka procent zysku.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 06 Październik 2008, 17:26
super buninek
przelicz kilka próbek czy się nie posypią i udostępniaj (teraz to można będzie liczyć) :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 06 Październik 2008, 17:40
Wyniki benchmarku a rzeczywistego liczenia toszkę się różnią, ale i tak będą znacznie lepsze.
zysk na próbce awgly100_1_1
wcześniej śr ok 5500
teraz powinno być ok 4900-5000s
Trudno jednoznacznie stwierdzić. Komp jest teraz leciutko obciążony innymi zadaniami ok 1-5%.
Mogę udostępnić statyczną wersję. Nie wiem czy nie lepiej będzie jeśli zrobi TJM.
Podpowiedz gdzie wrzucić a zaraz będzie gotowa aplikacja.

EDIT:
wyniki dla awgly100_1_1
było ok 5500s
jest ok 4620s
Nowa aplikacja powinna przyspieszyć o ok 30-40% w stosunku do starej aplikacji (optymalki) udostępnianej przez TJM.
Mowa o amd x2 x86_64 linux. Jak będzie w innych przypadkach nie wiem.
Jeśli TJM nie ma nic przeciwko mogę ją udostępnić.

EDIT2:
Jeśli ktoś jest zainteresowany wersją statyczną lub dynamiczną (x86_64) pod linuksa podajcie namiar gdzie ją wrzucić.
wyniki się potwierdzają
wu awgly100_0_1..
było 3060
jest 2476
Spróbuję jeszcze skorzystać z podpowiedzi TJM.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 06 Październik 2008, 19:24
Udostępniaj, ja z gotowymi exekami poczekam aż wyskrobę jeszcze coś więcej.
Jeśli chcesz spróbować jeszcze czegoś, otwórz plik score.c i przed wszystkimi funkcjami *score (np. uniscore, biscore, triscore) podopisuj inline (np. inline double biscore()) - to trochę dopala aplikację, niestety nie na wszystkich systemach. Na niektórych efekt jest ujemny. Exek jest po tym trochę większy ale to nie ma żadnego znaczenia.
Teoretycznie w score.c można też wszystkie len-15 i len-3 pętlach for zamienić na zmienną typu int zadeklarowaną wcześniej i obliczoną przed pętlą - według jednego z moich znajomych zapis len-x w pętli powoduje, że przy każdej iteracji wartość ta jest obliczana, więc jedokrotne obliczenie jej przed pętlą powinno dać jakiś efekt - niestety żadnego wzrostu wydajności nie zauważyłem, ale na razie testuję tylko windows/gcc 3.2.

Teoretycznie udało mi się też podpiąć ICC pod Visual Studio na Windows. Sęk w tym, że nie bardzo widzę tam jakieś opcje konfiguracji kompilatora a dodatkowo jeszcze po dodaniu flag specyficznych dla ICC progs w ogóle nie chce się kompilować, wywala że podaję nieznane parametry command-line - z tego wnioskuję, że kompilator Intela mimo że podpięty, nie działa jak należy.

W ogóle trzeba by jakoś usystematyzować wiedzę o systemach/procesorach i najlepszych dla nich optymalizacjach, bo powoli sam zaczynam się w tym gubić.

Dorzucam do puli exek Windows/VC++ 6.0 + standardowe optymalizacje - czas benchmarku na Q6600 porównywalny do najlepszej ze starych aplikacji, lekkie rozrzuty na poziomie błędu pomiarowego, przy krótkich zadaniach około 1% wolniejszy, przy dłuższych 2-3% szybszy - udostępnię jakiegoś snapshota jak trochę wszystko ogarnę.

Małe usprawnienie dla windows - w pliku job*.xml (w zasadzie dwóch plikach) -o results.txt można zmienić na -o nul - obetnie to zawsze kilka sekund z zadania. Na linuksie powinno zadziałać -o /dev/null ale nie testowałem
Plik results nie jest do niczego potrzebny i w następnych wersjach aplikacji już go nie będzie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 06 Październik 2008, 20:04
Cytat: TJM w 06 Październik 2008, 19:24
Udostępniaj, ja z gotowymi exekami poczekam aż wyskrobę jeszcze coś więcej.
Jeśli chcesz spróbować jeszcze czegoś, otwórz plik score.c i przed wszystkimi funkcjami *score (np. uniscore, biscore, triscore) podopisuj inline (np. inline double biscore()) - to trochę dopala aplikację, niestety nie na wszystkich systemach. Na niektórych efekt jest ujemny.

zmieniłem, zmiana w benchmarku to 2s (zawsze coś)
zainteresownia nową wersją nie ma
nie wiem jak dokładnie wykonujesz wersję statyczną, bo chyba tylko taka ma sens
LDFLAGS="-s -static"
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 06 Październik 2008, 20:57
Ja jestem zainsteresowany dowolnym usprawnieniem pod Win32 XP SP3 dla A64.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 06 Październik 2008, 21:22
rewelacja  ;D

Linux64 + Athlon 64 X2 2,0@2,3
224 sek (64bit - enigma_static buninek)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 06 Październik 2008, 21:24
Cytat: RAD-Poland w 06 Październik 2008, 21:22
rewelacja  ;D

Linux64 + Athlon 64 X2 2,0@2,3
224 sek (64bit - enigma_static buninek)


No dobrze, a teraz poprosze plik .exe ktory klikne dwa razy i nic wiecej nie bede musial robic. Taka mala user-friendly optymalke ;D.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 06 Październik 2008, 21:27
Ja takowej nie jestem w stanie wykonać. Nie mam windowsa.
I narzędzi.

Cytat: RAD-Poland w 06 Październik 2008, 21:22
rewelacja  ;D

Linux64 + Athlon 64 X2 2,0@2,3
224 sek (64bit - enigma_static buninek)

Ja byłem tylko inspiratorem. Flagi kompilacji to zasługa TJM.
Niech udostępnia jak naszybciej publicznie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 06 Październik 2008, 21:49
Cytat: TJM w 06 Październik 2008, 19:24
...
Małe usprawnienie dla windows - w pliku job*.xml (w zasadzie dwóch plikach) -o results.txt można zmienić na -o nul - obetnie to zawsze kilka sekund z zadania. Na linuksie powinno zadziałać -o /dev/null ale nie testowałem
Plik results nie jest do niczego potrzebny i w następnych wersjach aplikacji już go nie będzie.

Ma być "-o null" a nie "-o nul" ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 06 Październik 2008, 21:51
Pod windowsem nul
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 06 Październik 2008, 22:23
aplikacja enigma najnowszy build z wszystkimi poprawkami przedstawionymi przez TJM

wersja statyczna  działająca pod linuksem x86_64 jak i x86 (32-bit)
http://www.adrive.com/public/fa21685fb9718b4920686a7776bbef3493b2cae74be457303f69f991843c58ac.html (http://www.adrive.com/public/fa21685fb9718b4920686a7776bbef3493b2cae74be457303f69f991843c58ac.html)

optymalizacje tylko dla procesorów amd
choć będą działać(?!) również z procesorami intela (efektów nie znam)
oczywiście wymagane odpowiednie app_info.xml
i zmiana nazwy pliku na enigma_0.76_i686-pc-linux-gnu

kompilator gcc wersja 3.4.6
CFLAGS=-Wall -W -O2 -finline-functions -funroll-loops -ffast-math -mtune=athlon64 -march=x86-64 -fomit-frame-pointer -fschedule-insns
zmainy w kodzie score.c
dodane inline double biscore() przed definicjami *score

EDIT:
nadać prawo wykonywalności chmod +x
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: 3Rni w 06 Październik 2008, 23:34
a co z amd`ekami pod win  :( bedzie cos bardziej optymistycznego  ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 07 Październik 2008, 11:51
TJM może wykorzystaj do budowy windowsowych exeków pakiet mingw32-gcc.
Ja nie mam doświadczenia, wiedzy i zbytnio jak testować aplikacji (może w wirtualce).
Wieczorem poeksperymentuję.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Październik 2008, 12:02
Kombinowałem już z mingw, niestety w ogóle nie udało mi się dopasować źródeł tak żeby je 'łyknął'. Przynajmniej standalone wersja, bo zdaje się Dev-cpp też korzysta z mingw i tam progsy się elegancko kompilują.
Praktycznie pod każde środowisko trzeba trochę edytowac pliki,  pod Visual Studio 2005 i Visual C++ 6 jest już dość sporo komplikacji, bo trzeba 'dorobić' funkcję biblioteki której pod Windows nie ma.
Z wczorajszych testów widzę, że kompilator Intela pod Windows można sobie odpuścić, chyba że ktoś rozkmini jak używać go bez żadnego środowiska. Zintegrowany z Visual C++ 6 daje mierne wyniki, najlepszy był na poziomie średnich optymalizacji z deva i to jeszcze kosztem wycięcia paru niepotrzebnych funkcji z exeka (nie mających wpływ na liczenie ale kompilator coś do nich sapał).

Widzę że zamiast bawić się kompilatorami, lepiej podłubać w samych źródłach. Np. usunięcie fragmentu który wypisuje aktualny najlepszy wynik do stdout/pliku (całkowicie zbędne) oszczędza parę sekund na każdym WU - w początkowej fazie najlepszy wynik zmienia się nawet kilka razy na sekundę.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 07 Październik 2008, 16:40
zainstalowałem mingw32 i udało się skompilować.
test wydajnościowy robiłem w win xp uruchomionym pod xenem (maszyna wirtualna)
proponuję przeprowadzić test wydajnościowy na benchmarku enigmy
moje wyniki
05:43s dla starej aplikacji i nowa 04:24s (zaznaczam moje wyniki mogą być błędne)
http://www.adrive.com/public/c16b671ff279e0f7e318e38a8df39089619af034f73a5c9668ad6acec5d334bf.html
(http://www.adrive.com/public/c16b671ff279e0f7e318e38a8df39089619af034f73a5c9668ad6acec5d334bf.html)
kompilacja pod mcpu=k8 dla procesorów AMD
z pośpiechu nie zmieniłem nazwy i rozszerzenia
Mógłby ktoś sprawdzić wydajność pod windowsem w benchmarku nową aplikację?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 07 Październik 2008, 16:48
Athlon 64 x2 3800 (2,0@2,3) Linux64

2703,62 sek   8,45 pkt   (32bit-PIV intel TJM)
2239,52 sek   8,45 pkt   (64bit-AMD64 gcc Buninek -O2 bez -fomit-frame-pointer)
1726.65 sek   8,45 pkt   (new_enigma_static 6.10.2008)

3848,54 sek   15,46 pkt   (64bit-AMD64 gcc Buninek -O2 bez -fomit-frame-pointer)
2967,23 sek   15,46 pkt   (new_enigma_static 6.10.2008)

4483,00 sek   18.27 pkt   (64bit-AMD64 gcc Buninek -O2 bez -fomit-frame-pointer)
3457,06 sek   18.27 pkt   (new_enigma_static 6.10.2008)

widać ogromny wzrost wydajności w stosunku do poprzedniej optymalizowanej wersji, a co dopiero do podstawowej
(niestety nie mam zapisków, ale wygląda, że nowa app jest ze 2 razy szybsza)  :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 07 Październik 2008, 17:08
Głupie pytanie Buninku: mam dodać .exe i podmienić jaki plik tymi 73 kB-ami?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 07 Październik 2008, 17:09
tak
tylko to jest wersja niepewna (alfa :D)
może lepiej sprawdzić w benchmarku
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 07 Październik 2008, 17:14
Tak nie odpowiada na pytanie jaki plik podmienić xP Ale nic, najwyżej próbki wysypie, a jak nie, to popędzę jak autostradą ;)

Kasiunia (http://www.enigmaathome.net/results.php?hostid=6985) is now Buninek-Enigma powered.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 07 Październik 2008, 17:18
Jeśl wcześniej korzystałeś z optymalki.
Wstrzymaj projekt i pozostałe, wyjdź z mangera.
Zmień nazwę na taką jak wcześniejsza + dodaj rozszerzenie exe.
Podmień  i licz.
Trojanów ani rootkitów nie zawiera. Kod kompilowany bez żadnych zmian.
Nie jestem pewien tylko wydajności. Stabilność aplikacji i wyniki będą ok.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 07 Październik 2008, 17:30
Zobaczymy, jakie wyniki będą.

Inne pytanie - na dom2 (http://www.enigmaathome.net/show_host_detail.php?hostid=8322) używać optymalki do CelaD? Czy tej do Tuacośtam? Może w niedzielę będę miał szansę podmienić tam appsy, więc chcę się upewnić, bo potem znowu nie będę miał dostępu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Październik 2008, 17:31
Ze stabilnością różnie może być, różne już cyrki widziałem. W każdym razie projekt ma 3 fazy walidacji i żaden błędny rezultat się nie przeciśnie, mimo że niektóre błędne rezultaty nie są oznaczane jako invalid - część da się poddać 'recyklingowi' - dotyczy to rezultatów gdzie header ma różne drobne błędy - to się zdarza jeśli aplikacja się sypie i nie uaktualnia części danych, niektóre błędy serwer jest w stanie poprawić przeliczając dane. Takie zadania widzę w logu, póki co żadnych błędów nie ma.

Możesz spróbować wyskrobać jakiś exek pod c2d w mingw ? Może byłby szybszy od tego z dev-cpp, tam jest jakaś bardzo stara wersja kompilatora.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Październik 2008, 17:35
Cytat: Mori w 07 Październik 2008, 17:30
Zobaczymy, jakie wyniki będą.

Inne pytanie - na dom2 (http://www.enigmaathome.net/show_host_detail.php?hostid=8322) używać optymalki do CelaD? Czy tej do Tuacośtam? Może w niedzielę będę miał szansę podmienić tam appsy, więc chcę się upewnić, bo potem znowu nie będę miał dostępu.

PIV/CeleronD, powinno dać dość dużego kopa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 07 Październik 2008, 17:44
A takie pytanie, bo w tych job-ach...

w 1.14:
<application>enigma_0.76_windows_intelx86.exe</application>

w 1.22:
<application>enigma2_0.76_windows_intelx86.exe</application>
A enigma2 jako plik nie występuje... Jest ok? Bo tak jest defaultowo w paczkach od TJMa z forum E@h.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 07 Październik 2008, 17:46
Cytat: Mori w 07 Październik 2008, 17:30
Zobaczymy, jakie wyniki będą.
Jeszcze raz sprawdziłem rezultat benchmarku w wirtualce i nie jest chyba tak dobrze.
W drugim teście różnica była tylko o 10s

Dwa to jest optymalizowane pod amd x2 i phenomy (?), a ty bodajże używasz A64.
To wersja raczej do testów. Choć możesz przeliczyć jedną, dwie próbki i podzielić się rezultatami
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 07 Październik 2008, 17:49
Cytat: TJM w 07 Październik 2008, 12:02Widzę że zamiast bawić się kompilatorami, lepiej podłubać w samych źródłach. Np. usunięcie fragmentu który wypisuje aktualny najlepszy wynik do stdout/pliku (całkowicie zbędne) oszczędza parę sekund na każdym WU - w początkowej fazie najlepszy wynik zmienia się nawet kilka razy na sekundę.

Buninek, TJM - uwzględnicie to i wydacie nowy set exe'ków?

@Buninek:
At, pochodzi na razie, jak będzie strasznie źle to się podmieni na oryginalnie-TJMową.

I tak, A64 3200+ @ 2.3
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Październik 2008, 17:53
Cytat: Mori w 07 Październik 2008, 17:44
A takie pytanie, bo w tych job-ach...

w 1.14:
<application>enigma_0.76_windows_intelx86.exe</application>

w 1.22:
<application>enigma2_0.76_windows_intelx86.exe</application>
A enigma2 jako plik nie występuje... Jest ok? Bo tak jest defaultowo w paczkach od TJMa z forum E@h.


W app info jest wpis <open_name> który dodaje drugą nazwę logiczną dla enigma_0.76...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 07 Październik 2008, 17:55
Cytat: TJM w 07 Październik 2008, 17:31
Możesz spróbować wyskrobać jakiś exek pod c2d w mingw ? Może byłby szybszy od tego z dev-cpp, tam jest jakaś bardzo stara wersja kompilatora.
Mam jeszcze zrobiony pod mcpu=nocona
http://www.adrive.com/public/8ae498ac7deffe46ed107c35c0f1c3937dcf072bac49cd4e7ff4e21948731ecf.html (http://www.adrive.com/public/8ae498ac7deffe46ed107c35c0f1c3937dcf072bac49cd4e7ff4e21948731ecf.html)
TJM ja jestem w sumie laikiem. Musiałbyś podpowiedzieć troszkę co i jak.
Generalnie cflags jest identyczny jak pod linuksem.
Żeby zrobić pod różne cpu muszę przenieść się pod inny system. To nie problem. Powiedz jakie mcpu +cflags i juź kompiluję.

EDIT:
Z mingw pod Arch linux nie szła kompilacja, ale pod PLD bez problemu.
PLD instaluje się z chroota. Generalnie nie ma instalatora dystrybucji (jest na pld live - wersja beta).
Proponuję ściągnąć np. PLD Live i zainstalujesz mingw bez problemu. Oczywiście do restartu kompa (jednorazowa instalacja).
Jest to banalnie proste. Odpalasz pld live  uruchamiasz  z konsoli "poldek". Pobiera bazę pakietów i instalujesz paczki.
Ewentualnie zainstaluj pld na dysku.

Ok, spróbuję ugotować wedle przepisu.

EDIT2:
Poldek ma dopełnianie nazw 'tabem'. Instalacja pakietów w poldku "i pakiet1 pakiet2 ...". Żeby uzyskać pomoc wpisz help.
Żadne zależności cię nie interesują. Tym zajmie się poldek.
Potrzebujesz  crossmingw32-gcc..., crossmingw32-runtime... może być i crossmingw32-w32api....

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 07 Październik 2008, 18:10
http://www.enigmaathome.net/result.php?resultid=1088239

1088239   1015622   7 Oct 2008 11:55:53 UTC   7 Oct 2008 16:07:16 UTC   Over   Success   Done   4,181.64   15.58   15.14

w 3x-4x% było przeliczone pod optymalką TJMa, potem przełączone na Buninka. Wygląda, że zyskałem ok. 5 minut (normalnie 1:14-1:16, teraz 1:09).

+ w jobach dorzucone -o nul, zgodnie z sugestią.

(Aczkolwiek nie wiem, czy wcześniejsze czasy są "prawdziwe" - teraz nikt kompa nie ruszał przez większość czasu, a nieraz tata gra i wtedy CPU eff. jest na poziomie 0.8x)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Październik 2008, 18:12
Spróbuj najpierw -march=core2 -O3 -pipe -fomit-frame-pointer żeby zobaczyć speed gołego exeka

następnie można dorzucićdo puli -msse albo -msse2 (również dla AMD warto sprawdzić) oraz -maccumulate-outgoing-args

potem jeszcze zrób trzeci exek, dorzuć do niego to -finline-functions -funroll-loops -ffast-math  -fomit-frame-pointer -fschedule-insns


http://gcc.gnu.org/onlinedocs/gcc-4.3.2/gcc/i386-and-x86_002d64-Options.html#i386-and-x86_002d64-Options
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 07 Październik 2008, 20:23
coś tam skleciłem
info poszło na maila
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Październik 2008, 22:34
Nie mam już dziś sił przetestować tych aplikacji, jutro z rana zobaczę. Póki co testowałem na Athlonie 64 nowe wersje - wreszcie widać konkretny przyrost wydajności, granted sięga mi 150% claimed czyli zaczyna być tak jak w przypadku Intela.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 07 Październik 2008, 22:38
Cytat: TJM w 07 Październik 2008, 22:34granted sięga mi 150% granted.
;) To prawdziwe tylko dla zera chyba, nie?

PS. Mówisz o wersjach Linuxowych, czy będą też wersje na Win?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Październik 2008, 22:41
Póki co linuks, ale podejrzewam że pomału wyniki przeniesie się i na windows.
Kończy się pomału dominacja procesorów Intela %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 07 Październik 2008, 23:28
i dobrze :D bo ja ćwierkam na dwóch amd i 3 intelach :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Październik 2008, 01:00
Przeglądałem właśnie statystyki proxy i widzę, że miesięczny limit transferu wkrótce może przestać wystarczać:

(http://img379.imageshack.us/img379/3595/mtrafficcd1.th.png) (http://img379.imageshack.us/my.php?image=mtrafficcd1.png)(http://img379.imageshack.us/images/thpix.gif) (http://g.imageshack.us/thpix.php)

do dyspozycji jest 100GB/miecha ale to praktycznie dzieli się na pół, ponieważ proxy ściąga dane i udostępnia dalej. Najwięcej transferu zżerają pliki statystyk, które na dodatek ciągle rosną, tak więc najlepiej byłoby je wywalić na całkowicie oddzielny serwer (i przy okazji zrobić mirror wszystkich dużych plików).

Znacie może jakiś hosting typowo pod statyczne pliki, najlepiej z dostępem do shella (wtedy łatwo zaciągałbym nowe pliki ze statystykami posiłkując się cronem do czasowego update) ? PHP/bazy danych zupełnie zbędne.


EDIT: Server status (http://www.enigmaathome.net/server_status) trochę się zmienił.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 08 Październik 2008, 08:42
Shared może być? Ile masz plików? Przy shared to HostGator.com powinien Ci wystarczyć. Shell jest (a wgeta odblokują, jak do nich napiszesz).

A staty są super! Dzięki!
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Październik 2008, 09:22
Czas do zakończenia jest z deczka przesadzony, opiera się na danych z serwera M4 a tam podana jest jakaś dziwna średnia prędkość która rośnie bardzo powoli.

Cytat: Mori w 08 Październik 2008, 08:42
Shared może być? Ile masz plików? Przy shared to HostGator.com powinien Ci wystarczyć. Shell jest (a wgeta odblokują, jak do nich napiszesz).

Jasne, że shared host może być. To ma być tylko mirror i miałby przechowywać pliki aplikacji i zmieniający się ciągle plik ze statsami.
Ciekawe czy ten miesięczny transfer podany tutaj http://www.hostgator.com/shared.shtml to 3,0 GB czy 3 TB - widzę, że specjalnie sieją zamęt używając nieodpowiedniej wielkości liter.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 08 Październik 2008, 09:33
A nie możesz liczyć na podstawie danych ze swojego wrappera? Jak duża różnica jest między nimi a resztą ludzi gryzących Enigmę bezpośrednio?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Październik 2008, 09:35
Mógłbym, ale pamiętaj że bezpośrednio do projektu M4 też podłączone są maszyny i licząc tylko na podstawie danych ze swojego serwera też będę miał duży błąd. Rozrzut między statsami M4 a moimi jest kosmiczny (wczoraj tak pi razy drzwi obliczałem i wychodzi mi około 4-6 krotna różnica).
Sprawę komplikuje fakt, że mój serwer nie liczy ile jakiego rodzaju jednostek przeliczono w ostatnim czasie; tak więc wyniki mogę uzyskać jedynie na podstawie długich zapytań analizujących rekordy w bazie. Najłatwiejszym sposobem jest policzenie w samej bazie serwera BOINC, zawiera wszystkie wu z ostatnich 2 tygodni - można by więc policzyć ile jest jakiego rodzaju a potem podzielić to przez 14 i uzyskać daily rate - co prawda lekko zniekształcone przez jeszcze nie przeliczone zadania, ale rozrzut byłby niezbyt duży. Niestety takie zapytanie zajmuje ciut przydużo czasu (tabela ma około 1,5GB).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 08 Październik 2008, 09:42
Ok, inaczej. Nie masz szansy pobrać ilości zrobionych WU na dzień przez Enigmę na poszczególnym typie zadań? By tak to liczyć?

Co do HG: typowy overselling jak w większości (wszystkich?) innych serwerów. Transferem nikt się teraz nie przejmuje, tak samo powierzchnią dyskową. Poczytaj ToS - masz limit na i-nodes + CPU i to się teraz liczy.

CytatBandwidth (this month)   2942.96 Megabytes

Monthly Bandwidth Limit   0% used

EDIT: Z tym, że jako mirror to chyba nigdzie Cię nie przyjmą, ale mogę się mylić. Nie masz szans po prostu w całości zmienić hostingu?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 08 Październik 2008, 09:48
Wracając do tematu optymalizacji. Efekty: http://www.enigmaathome.net/results.php?hostid=6985

Before:
1085303   1013089   7 Oct 2008 8:37:37 UTC   7 Oct 2008 15:00:34 UTC   Over   Success   Done   4,472.67   16.66   15.14
1083965   1011824   7 Oct 2008 6:50:47 UTC   7 Oct 2008 13:17:07 UTC   Over   Success   Done   4,607.77   17.16   15.14
1072202   1000800   6 Oct 2008 14:43:49 UTC   7 Oct 2008 11:55:53 UTC   Over   Success   Done   4,589.22   17.09   15.14
1067501   996838   6 Oct 2008 11:16:56 UTC   7 Oct 2008 6:50:47 UTC   Over   Success   Done   4,597.06   17.12   15.14
1065916   995396   6 Oct 2008 9:56:38 UTC   6 Oct 2008 14:43:49 UTC   Over   Success   Done   4,453.34   16.59   15.14
1062168   992625   6 Oct 2008 6:59:52 UTC   6 Oct 2008 11:16:56 UTC   Over   Success   Done   4,579.28   17.06   15.14
1053671   985174   5 Oct 2008 18:52:13 UTC   6 Oct 2008 9:56:38 UTC   Over   Success   Done   4,505.42   16.78   15.14

After: (powered by Buninek + -o nul)
1090509   1017692   7 Oct 2008 15:00:34 UTC   8 Oct 2008 7:46:26 UTC   Over   Success   Done   4,169.17   15.53   15.14
1089317   1016582   7 Oct 2008 13:17:07 UTC   8 Oct 2008 6:41:58 UTC   Over   Success   Done   4,240.73   15.80   15.14
1088239   1015622   7 Oct 2008 11:55:53 UTC   7 Oct 2008 16:07:16 UTC   Over   Success   Done   4,181.64   15.58   15.14
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Październik 2008, 09:58
Cytat: Mori w 08 Październik 2008, 09:42
Ok, inaczej. Nie masz szansy pobrać ilości zrobionych WU na dzień przez Enigmę na poszczególnym typie zadań? By tak to liczyć?

Co do HG: typowy overselling jak w większości (wszystkich?) innych serwerów. Transferem nikt się teraz nie przejmuje, tak samo powierzchnią dyskową. Poczytaj ToS - masz limit na i-nodes + CPU i to się teraz liczy.

CytatBandwidth (this month)   2942.96 Megabytes

Monthly Bandwidth Limit   0% used

EDIT: Z tym, że jako mirror to chyba nigdzie Cię nie przyjmą, ale mogę się mylić. Nie masz szans po prostu w całości zmienić hostingu?

Ciekawe skąd niby wytrzasnąłbym kasę na co najmniej dwa dość mocne dedykowane serwery - oba muszą mieć minimum 2GB RAM (najlepiej 4) i dość mocne procesory - co najmniej jakieś duale ale i quady byłyby mile widziane. No i miejsce - minimum z 1TB na każdym, przy czym z kolei jeśli będzie to jeden dysk to zapewne łatwo spuchnie.
Póki co wszystko stoi u mnie w chacie a jedyny element zewnętrzny to proxy które nie ma nadmiernych wymagań sprzętowych.

Mirror teoretycznie mógłby działać pod przykrywką jakiejś strony - wmieszać potrzebne pliki między jakiś syf. Zresztą jak już mam wykupiony hosting, to przecie chyba płacę więc wymagam - co kogo obchodzi że mam same pliki zamiast strony, jeśli mieszczę się w parametrach konta ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Październik 2008, 09:59
Cytat: Mori w 08 Październik 2008, 09:42
Ok, inaczej. Nie masz szansy pobrać ilości zrobionych WU na dzień przez Enigmę na poszczególnym typie zadań? By tak to liczyć?

Co do HG: typowy overselling jak w większości (wszystkich?) innych serwerów. Transferem nikt się teraz nie przejmuje, tak samo powierzchnią dyskową. Poczytaj ToS - masz limit na i-nodes + CPU i to się teraz liczy.

CytatBandwidth (this month)   2942.96 Megabytes

Monthly Bandwidth Limit   0% used

EDIT: Z tym, że jako mirror to chyba nigdzie Cię nie przyjmą, ale mogę się mylić. Nie masz szans po prostu w całości zmienić hostingu?

Ciekawe skąd niby wytrzasnąłbym kasę na co najmniej dwa dość mocne dedykowane serwery - oba muszą mieć minimum 2GB RAM (najlepiej 4) i dość mocne procesory - co najmniej jakieś duale ale i quady byłyby mile widziane. No i miejsce - minimum z 1TB na każdym, przy czym z kolei jeśli będzie to jeden dysk to zapewne łatwo spuchnie.
Póki co wszystko stoi u mnie w chacie a jedyny element zewnętrzny to proxy które nie ma nadmiernych wymagań sprzętowych. Dla proxy wystarczyłby najtańszy dedykowany host, ale trzeba się wtedy liczyć z wydatkiem rzędu co najmniej 150-250zł na miecha, a wtedy doliczając inne koszty utrzymania projektu robi się już znacznie za dużo. Obecny hosting proxy kosztuje mnie jakieś 30zł.

Mirror teoretycznie mógłby działać pod przykrywką jakiejś strony - wmieszać potrzebne pliki między jakiś syf. Zresztą jak już mam wykupiony hosting, to przecie chyba płacę więc wymagam - co kogo obchodzi że mam same pliki zamiast strony, jeśli mieszczę się w parametrach konta ?


Zbliża się wielkimi krokami 2-milionowy workunit:

(http://plikens.no-ip.net/706xeqznc/bufor.png)

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 08 Październik 2008, 10:17
Cytat: TJM w 08 Październik 2008, 09:58Mirror teoretycznie mógłby działać pod przykrywką jakiejś strony - wmieszać potrzebne pliki między jakiś syf. Zresztą jak już mam wykupiony hosting, to przecie chyba płacę więc wymagam - co kogo obchodzi że mam same pliki zamiast strony, jeśli mieszczę się w parametrach konta ?

Obawiam się że wszystkich obchodzi. Nikt nie chce robić za hosta na pliki. I taki zapis, w mniej lub bardziej zmienionej formie znajdziesz na hostingach, które Ci o tym uczciwie powiedzą. Mniej uczciwe po prostu zamkną Ci konto i powiedzą, że znacznie przekraczałeś dostępne w ramach konta zasoby (czy za bardzo obciążałeś serwer) i na tym się to skończy.

Z ToSa HG:
CytatUsing a shared account as a backup/storage device is not permitted, with the exception of one cPanel backup of the same account.

I dalej:
CytatViolations of the Terms of Service will waive the refund policy.

7a.) Resource Usage
User may not:
a) Use 25% or more of system resources for longer then 90 seconds. There are numerous activities that could cause such problems; these include: CGI scripts, FTP, PHP, HTTP, etc.
b) Run stand-alone, unattended server-side processes at any point in time on the server. This includes any and all daemons, such as IRCD.
c) Run any type of web spider or indexer (including Google Cash / AdSpy) on shared servers.
d) Run any software that interfaces with an IRC (Internet Relay Chat) network.
e) Run any bit torrent application, tracker, or client. You may link to legal torrents off-site, but may not host or store them on our shared servers.
f) Participate in any file-sharing/peer-to-peer activities
g) Run any gaming servers such as counter-strike, half-life, battlefield1942, etc
h) Run cron entries with intervals of less than 15 minutes

When using PHP include functions for including a local file, include the local file rather than the URL. Instead of include("http://yourdomain.com/include.php") use include("include.php")

7b.) INODES
The use of more than 50,000 inodes on any shared account may potentially result in suspension. Accounts found to be exceeding the 50,000 inode limit will automatically be removed from our backup system to avoid overusage. Every file (a webpage, image file, email, etc) on your account uses up 1 inode.

Sites that slightly exceed our inode limits are unlikely to be suspended; however, accounts that constantly create and delete large numbers of files on a regular basis, have hundreds of thousands of files, or cause file system damage may be flagged for review and/or suspension.
The primary cause of excessive inodes seems to be due to users leaving their catchall address enabled, but never checking their primary account mailbox. Over time, tens of thousands of messages (or more) build up, eventually pushing the account past our inode limit. To disable your default mailbox, login to cPanel and choose "Mail", then "Default Address", "Set Default Address", and then type in: :fail: No such user here

8.) Bandwidth Usage
You are allocated a monthly bandwidth allowance. This allowance varies depending on the hosting package you purchase. Should your account pass the allocated amount we reserve the right to suspend the account until the start of the next allocation, suspend the account until more bandwidth is purchased at an additional fee, suspend the account until you upgrade to a higher level of package, terminate the account and/or charge you an additional fee for the overages. Unused transfer in one month cannot be carried over to the next month.


Lecim dalej. BlueHost, który się nieograniczonym transferem reklamuje, ma w ToS [ https://www.bluehost.com/terms_of_service.html ]:
CytatBackup Storage
Bluehost Web Hosting intends to offer services to host web sites, not store data. Using an account as an online storage space for archiving electronic files is prohibited.


StartLogic [ http://www.startlogic.com/legal/legal_aup.bml ]:
CytatUtilize the Services in connection with any tortious or actionable activity. Without limiting the general application of this rule, Users and Users may not:
[...]
Post messages or software programs that consume excessive CPU time, or storage space, or network bandwidth; or

DreamHost [ http://www.dreamhost.com/tos.html ]:
CytatThe customer agrees to make use of DreamHost Web Hosting servers primarily for the purpose of hosting a website, and associated email functions. Data uploaded must be primarily for this purpose.. DreamHost Web Hosting servers are not intended as a data backup or archiving service. DreamHost Web Hosting reserves the right to negotiate additional charges with the Customer and/or the discontinuation of the backups/archives at their discretion. If you exceed your allocated transfer bandwidth for a month, you will be billed at the rate of $1 per additional 10GB.

HostMonster == BlueHost.

PowWeb == StartLogic

iX [ http://www.ixwebhosting.com/index.php/v2/pages.tos#q4 ]:
CytatIt is acknowledged by users of IX Web Hosting services that these resource allotments are optimized and dedicated towards serving web documents and self-need email / FTP services and is not to be used as offsite storage area for electronic files, or as a provisioning service for third party email or FTP hosts. All downloadable files or files stored on the server must be available for download via a HTML document stored on the Internet in a publicly or privately accessible area, and must be directly related to the general nature of the website index. Illegal content such as pirated software, music or other media are strictly prohibited and are not allowed on IX Web Hosting servers.

Jeśli przy polskich hostingach tego nie ma, to generalnie dlatego, że nasi admini są... Well, polscy. Co nie będzie im przeszkadzało po prostu wyłączyć Ci konta w pewnym momencie.


PS. Sugestia: możesz, jeśli tylko masz chwilę czasu, pogadać na angielskich hostach z live-supportem, może akurat uda Ci się coś ustalić i będzie ok.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Październik 2008, 10:27
Jednak mirror działającej strony nie podpada pod część tego co powklejałeś, może za wyjątkiem dwóch ostatnich. Poza tym zawsze można katalog /stats okleić w jakiś ładny html który będzie informował że są to niby statystyki czegośtam normalnie do pobrania dla użytkowników %-)

EDIT: Net na proxy właśnie siadł z nieznanych mi przyczyn, pewnie jakiś tymczasowy pad jak to się zdarza raz na jakiś czas.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 08 Październik 2008, 10:52
IMO dokładnie podpada. Ale mimo wszystko spróbuj. Konto na miech możesz wziąć, to jeszcze nie jest koszmarny wydatek, przetestować i zobaczyć, czy daje radę.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Październik 2008, 11:12
Najpierw muszę popytać adminów sajtów ze statsami, czy ich konfiguracje obsłużą http redirect, bo to jedyny sposób obcięcia transferu u mnie nie zmieniając ścieżki dostępu do plików ze statsami.

EDIT: Poprawiłem trochę dane w server-status. Trochę matematyki i na podtawie przyrostów średniej mniej więcej udaje się policzyć prawdziwą prędkość, z wystarczającą tolerancją +/- 10%.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Październik 2008, 14:27
Zrobiłem tymczasowe przekierowanie statystyk na inny host używając zwykłego http redirect, lukajcie czy w najbliższych dniach wszystkie sajty ze statystykami będą się uaktualniać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 08 Październik 2008, 21:22
dzięki buninek - przetestowałem najnowszą wersję (kolejne 3-4% zysku)  :)
Athlon 64 x2 3800 (2,0@2,3) Linux64

2703,62 sek   8,45 pkt   (32bit-PIV intel TJM)
2239,52 sek   8,45 pkt   (64bit-AMD64 ver. 5.10.2008)
1726.65 sek   8,45 pkt   (enigma_static ver. 6.10.2008)
1647,44 sek   8,56 pkt   (enigma_static ver. 8.10.2008) 18,71 pkt/h

3848,54 sek   15,46 pkt   (64bit-AMD64 ver. 5.10.2008)
2967,23 sek   15,46 pkt   (enigma_static ver. 6.10.2008)
2862,65 sek   15,26 pkt   (enigma_static ver. 8.10.2008) 19,19 pkt/h

4483,00 sek   18.27 pkt   (64bit-AMD64 ver. 5.10.2008)
3457,06 sek   18.27 pkt   (enigma_static ver. 6.10.2008)
3339,67 sek   18.57 pkt   (enigma_static ver. 8.10.2008) 20,02 pkt/h

ale nie wiem czy to inne wu, czy TJM skorygował punktację, ale tak to wygląda
są to wyniki dla próbek hceyz72 0,1 i 2
zaktualizowałem apps.xml i jutro będą wyniki próbek awgly100 ciekawe jak one zapunktują ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 08 Październik 2008, 21:32
Próbowałem dziś jeszcze z wersją windowsową. Niestety nie uzyskałem znacząco lepszych rezultatów.
6s w benchmarku (4:40 na 4:34), na granicy błędu.

Trudno mi testować, a ewentualnych opcji optymalizacyjnych jest mnóstwo. Poruszałem się po omacku,
wręcz na chybił-trafił.
Jestem i tak zdziwiony szybkością xena i windowsów w nim działających. Czas benchmarku pod win
4:34, natywna aplikacja linuksowa 3:00-2:59, linux32 pod xenem 3:03.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Październik 2008, 21:55
Cytat: RAD-Poland w 08 Październik 2008, 21:22

ale nie wiem czy to inne wu, czy TJM skorygował punktację, ale tak to wygląda
są to wyniki dla próbek hceyz72 0,1 i 2
zaktualizowałem apps.xml i jutro będą wyniki próbek awgly100 ciekawe jak one zapunktują ?


Punktacja obecnie podąża za kilkoma wybranymi hostami, tak jak dawniej za moją referencyjną maszyną i będzie dążyć do tego, żeby wyrównać ich granted z claimed (uwzględniając jeszcze parę poprawek na różne czynniki).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 08 Październik 2008, 23:32
Cytat: buninek w 08 Październik 2008, 21:32Próbowałem dziś jeszcze z wersją windowsową. Niestety nie uzyskałem znacząco lepszych rezultatów.
6s w benchmarku (4:40 na 4:34), na granicy błędu.

Szkoda :( Ale nic, tak czy tak wielkie dzięki za nową wersję, zawsze to 4-5 minut mniej liczenia.

@RAD:
Cytatzaktualizowałem apps.xml
Huh? Coś mnie minęło? Co tam trzeba aktualizować, o ile trzeba?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Październik 2008, 00:44
Pod windows wyniki z mingw jak na razie kiepsko wyglądają. Czas przeliczania wzrósł co najmniej o 25-30% w porównaniu z poprzednimi aplikacjami, na dodatek wygląda na to, że im dłuższy WU tym gorzej.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 09 Październik 2008, 02:54
Właśnie doszedłem do wniosku, że im starsza wersja gcc tym aplikacja enigmy ma się lepiej.
Wcześniejsza kompilacja pod windowsa była oparta na mingw z gcc 4.1.0 a linuksowe o gcc 3.4.
Całe szczęscie, że na dysku pozostało mi stare PLD Ac. Zainstalowałem tam mingw oparte na gcc 3.4.
Według moich testów dla athlona64 moja nowa kompilacja powinna być szybsza o 15% od ostatniej.
Zapraszam testera. Mori ściągnij, podmień i przetestuj.
wersja pod windowsa (szczególnie athlon64, amd x2)
http://www.adrive.com/public/c16b671ff279e0f7e318e38a8df39089619af034f73a5c9668ad6acec5d334bf.html (http://www.adrive.com/public/c16b671ff279e0f7e318e38a8df39089619af034f73a5c9668ad6acec5d334bf.html)

jeszcze statyczna aplikacja pod linuksa dla procesorów amd (ver. 8.10.2008)
http://www.adrive.com/public/0aef0ad1cbf1aa5dab42359c77697565d8b6797040cdb9817ccfb0f34ed4b446.html (http://www.adrive.com/public/0aef0ad1cbf1aa5dab42359c77697565d8b6797040cdb9817ccfb0f34ed4b446.html)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 09 Październik 2008, 04:58
Cytat: Mori w 08 Październik 2008, 23:32
Cytatzaktualizowałem apps.xml
Huh? Coś mnie minęło? Co tam trzeba aktualizować, o ile trzeba?

instalowałem optymalizacje w czasach kiedy nie było próbek awgly100 do ich przeliczania potrzebny jest inny zestaw plików
jeśli instalujesz nowy zestaw optymalek z dwoma plikami job_1.1x.... nic nie musisz zmieniać/aktualizować
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 09 Październik 2008, 10:00
Cytat: buninek w 09 Październik 2008, 02:54Zapraszam testera. Mori ściągnij, podmień i przetestuj.
wersja pod windowsa (szczególnie athlon64, amd x2)
http://www.adrive.com/public/c16b671ff279e0f7e318e38a8df39089619af034f73a5c9668ad6acec5d334bf.html (http://www.adrive.com/public/c16b671ff279e0f7e318e38a8df39089619af034f73a5c9668ad6acec5d334bf.html)

Czuję się jak kierowca testowy w F1 xD Kiedy będę jeździć w wyścigach? =]

A serio - podmienione. Obecny awgly100 był już przeliczony w ~55% przed podmianą, więc należy to wziąć pod uwagę. Efekty można, jak zwykle, obserwować na Enigma@home (http://www.enigmaathome.net/results.php?hostid=6985).

Cytat: RAD-Poland w 09 Październik 2008, 04:58instalowałem optymalizacje w czasach kiedy nie było próbek awgly100 do ich przeliczania potrzebny jest inny zestaw plików
jeśli instalujesz nowy zestaw optymalek z dwoma plikami job_1.1x.... nic nie musisz zmieniać/aktualizować

A to dobrze, joby miałem w zestawie od razu. Dzięki za informację!
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Październik 2008, 10:53
Tutaj kolo też niezłą aplikację wykombinował:

http://www.enigmaathome.net/forum_thread.php?id=72

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 09 Październik 2008, 10:58
eh.... widzę że sporo roboty z tym ustrojstwem
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 09 Październik 2008, 11:46
Cytat: Mori w 09 Październik 2008, 10:00
Obecny awgly100 był już przeliczony w ~55% przed podmianą, więc należy to wziąć pod uwagę. Efekty można, jak zwykle, obserwować na Enigma@home (http://www.enigmaathome.net/results.php?hostid=6985).
Pojawił się wynik. Obiecujący. Nie wiem czy wynik nie jest obciążony restartem?

Cytat: TJM w 09 Październik 2008, 10:53
Tutaj kolo też niezłą aplikację wykombinował:
http://www.enigmaathome.net/forum_thread.php?id=72
Może podlinkuj moją aplikację (linuksową) na forum projektu. Pod warunkiem, że przechodzi w 100% walidację.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 09 Październik 2008, 13:06
Tej, co on takiego zrobił, ze uzyskał 35% zysku? Buninku, dasz radę powtórzyć to? =]

Chociaż i tak też w sumie dużo poprawiłeś, bo:
1107998   1033703   8 Oct 2008 11:29:31 UTC   9 Oct 2008 9:33:33 UTC   Over   Success   Done   3,134.55   10.71   15.24
1106318   1032216   8 Oct 2008 10:07:12 UTC   8 Oct 2008 16:31:01 UTC   Over   Success   Done   4,152.80   14.19   15.24

Natomiast teraz przeliczyło inne awgly100 (0) i już wynik był 1:06 :( Natomiast ciągle nie wiem, jak wielki wpływ ma na to, że ojciec gra i zabiera koło 15-20% mocy procka. Argh. A potem wróci siostra i będzie jeszcze gorzej...

Cytat: buninek w 09 Październik 2008, 11:46
Cytat: Mori w 09 Październik 2008, 10:00
Obecny awgly100 był już przeliczony w ~55% przed podmianą, więc należy to wziąć pod uwagę. Efekty można, jak zwykle, obserwować na Enigma@home (http://www.enigmaathome.net/results.php?hostid=6985).
Pojawił się wynik. Obiecujący. Nie wiem czy wynik nie jest obciążony restartem?

Ciężko powiedzieć. Natomiast awgly100 (1) przeliczony w 1:58:51, a wcześniej było 2:07 czy nawet 2:19, więc jest lepiej chyba.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 09 Październik 2008, 14:59
Cytat: Mori w 09 Październik 2008, 13:06
...Buninku, dasz radę powtórzyć to? =]

Prawdopodobnie może to być kres możliwości duetu mingw+gcc-3.4 w przypadku amd.
Może inny kompilator lub ingerencja w kod źródłowy zwiększyłaby wydajność?

TJM w przypadku procesorów intela możliwym jest, że optymalizacje kompilatorem "icc"
są bliskie ideału. Starsze wersje gcc np. 3.4-4.1 nie wspierają tak dobrze procesorów
z instrukcjami SSSE3 i nowszymi (również amd phenoma) jak wersja gcc-4.3.
Pozostaje jeszcze pytanie czy kod enigmy jest w stanie z nich skorzystać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 09 Październik 2008, 15:19
Pierwsze pytanie: czy Ty usuwałeś ten fragment kodu związany z pisaniem na stdout (albo err, już nie pomnę), o którym wspominał TJM? To odnośnie usprawniania samego kodu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 09 Październik 2008, 15:24
Jedyne zmiany to w score.c o których wcześniej wspominał TJM.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Październik 2008, 15:54
To można śmiało wywalić, dużego przyrostu wydajności nie będzie ale te kilka sekund na początku każdego WU obetnie:

(http://img413.imageshack.us/img413/6688/enigmabp9.th.png) (http://img413.imageshack.us/my.php?image=enigmabp9.png)(http://img413.imageshack.us/images/thpix.gif) (http://g.imageshack.us/thpix.php)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 09 Październik 2008, 19:53
Dawaj, Buniku, dawaj! Zawsze to będzie coś do przodu.

Stare awgly (1) (to chyba było na pierwszym Buninku):
1105177   1031098   8 Oct 2008 7:50:36 UTC   8 Oct 2008 15:21:49 UTC   Over   Success   Done   7,655.58   26.16   26.25

Jeszcze starsze awgly (1)(to chyba na optymalce TJMa):
1069167   998336   6 Oct 2008 12:32:09 UTC   7 Oct 2008 8:37:37 UTC   Over   Success   Done   8,355.95   31.12   25.84

Nowe awgly (1)(na ostatnim Buninku):
1123418   1048275   9 Oct 2008 11:35:46 UTC   9 Oct 2008 17:11:56 UTC   Over   Success   Done   6,892.73   23.56   26.25
1122619   1047479   9 Oct 2008 9:33:33 UTC   9 Oct 2008 15:53:23 UTC   Over   Success   Done   7,025.22   24.01   26.25
1111060   1036503   8 Oct 2008 16:31:02 UTC   9 Oct 2008 13:49:32 UTC   Over   Success   Done   7,131.58   24.37   26.25
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 09 Październik 2008, 20:13
Trzeba poczekać na "nocne" wyniki lub przegonić graczy :) aby się wyniki ustabilizowały.

Ok. Podrzucę nową wersję.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 09 Październik 2008, 20:19
Cytat: TJM w 08 Październik 2008, 14:27
Zrobiłem tymczasowe przekierowanie statystyk na inny host używając zwykłego http redirect, lukajcie czy w najbliższych dniach wszystkie sajty ze statystykami będą się uaktualniać.


Wygląda na to, że żaden nie uaktualnił dziś enigmy. :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Październik 2008, 20:29
Dziwne, bo pliki niby są ściagane z drugiego serwera. Trzeba coś innego wymyślić, bo pliki ze statsami ciągle rosną i prędzej czy później od samego transferu wygenerowanego przez nie braknie limitu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 09 Październik 2008, 20:54
Cytat: Mori w 09 Październik 2008, 19:53
Dawaj, Buniku, dawaj! Zawsze to będzie coś do przodu.

nowa wersja pod win (athlon64, amd x2) zmiana w hillclimb.c
http://www.adrive.com/public/32b92489374d4c8faccd3c04b73aa8650ddcda49045569608cb08340e3c5261d.html (http://www.adrive.com/public/32b92489374d4c8faccd3c04b73aa8650ddcda49045569608cb08340e3c5261d.html)

raczej przyniesie efekt placebo (wynik benchmarku bez zmian)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 09 Październik 2008, 20:56
Cytat: TJM w 09 Październik 2008, 20:29
Dziwne, bo pliki niby są ściagane z drugiego serwera. Trzeba coś innego wymyślić, bo pliki ze statsami ciągle rosną i prędzej czy później od samego transferu wygenerowanego przez nie braknie limitu.

Formula Boinc ma najświeższe wyniki, może pobrała...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 09 Październik 2008, 21:28
Cytat: buninek w 09 Październik 2008, 20:54nowa wersja pod win (athlon64, amd x2) zmiana w hillclimb.c
http://www.adrive.com/public/32b92489374d4c8faccd3c04b73aa8650ddcda49045569608cb08340e3c5261d.html (http://www.adrive.com/public/32b92489374d4c8faccd3c04b73aa8650ddcda49045569608cb08340e3c5261d.html)

raczej przyniesie efekt placebo (wynik benchmarku bez zmian)

Jutro obiecuję podmienić, jak wrócę z uczelni. Zobaczymy, czy coś zmieni, czy raczej nie. No, ale zaszkodzić raczej nie zaszkodzi, więc... =]
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 09 Październik 2008, 21:48
jak panowie z tymi optymalkami (oszczędźcie mi czytanie fachowej dyskusyji) - jest coś nowego dla xp32 nad to co kiedyś TJM dał?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 09 Październik 2008, 22:13
pod intela to nic się lepszego u mnie nie zrodziło
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: 3Rni w 09 Październik 2008, 22:46
wstawiłem pod win na A x2 4600 i A3800.... zobaczę co będzie

pierwsze wyniki:
były czasy 4.100 - 4.200 teraz są 3.600......na razie 3 wu... do rana zobaczę i jeśli ok to wrzucę we wszystkie AMD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Październik 2008, 23:38
Jest jeszcze szansa na patch źródeł - aktualnie testuję poprawkę jednej z funkcji i mam już zysk 4% w benchmarku względem poprzedniej najszybszej, po zmianie w 2 innych powinno jeszcze trochę pójść do przodu. Sęk w tym że to już dość poważna ingerencja i muszę przeliczyć kilkadziesiąt testowych zadań żeby stwierdzić czy wyniki są ok.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: maxim w 09 Październik 2008, 23:41
A na windowsa X32 i X64 jakas dobra optymalka to wyszla ? Powiedzcie no :) Chodzi mi o optymalke pod C2D i C2Q :D

Pozdro
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 09 Październik 2008, 23:46
ja tam czekam na oficjalną optymalkę pod athlony :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 09 Październik 2008, 23:57
Cytat: ERni w 09 Październik 2008, 22:46
wstawiłem pod win na A x2 4600 i A3800.... zobaczę co będzie
Jeśli wszystko będzie ok, tzn. TJM nie będzie zgłaszał jakiś problemów to możesz wrzucić na
semprony. Masz tam ich małą gromadkę. Oprócz athlona xp.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Październik 2008, 11:19
(http://img89.imageshack.us/img89/4852/przedipohw7.th.png) (http://img89.imageshack.us/my.php?image=przedipohw7.png)(http://img89.imageshack.us/images/thpix.gif) (http://g.imageshack.us/thpix.php)

Przed i po wczorajszych zmianach w kodzie. Różnica tym większa im słabszy CPU, tutaj A64 2.2GHz.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 10 Październik 2008, 11:48
Na czyim kodzie, pod jakim systemem TJM?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 10 Październik 2008, 14:18
Cytat: Bober w 09 Październik 2008, 20:56
Cytat: TJM w 09 Październik 2008, 20:29
Dziwne, bo pliki niby są ściagane z drugiego serwera. Trzeba coś innego wymyślić, bo pliki ze statsami ciągle rosną i prędzej czy później od samego transferu wygenerowanego przez nie braknie limitu.

Formula Boinc ma najświeższe wyniki, może pobrała...

Tu http://statsnstones.tswb.org/Team.aspx?projid=53 staty się aktualizują.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: KrzychuP w 10 Październik 2008, 14:22
na boincstats chyba zastój statów z Enigmy
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 10 Październik 2008, 14:41
Cytat: Mori w 09 Październik 2008, 21:28
Cytat: buninek w 09 Październik 2008, 20:54nowa wersja pod win (athlon64, amd x2) zmiana w hillclimb.c
http://www.adrive.com/public/32b92489374d4c8faccd3c04b73aa8650ddcda49045569608cb08340e3c5261d.html (http://www.adrive.com/public/32b92489374d4c8faccd3c04b73aa8650ddcda49045569608cb08340e3c5261d.html)

raczej przyniesie efekt placebo (wynik benchmarku bez zmian)

Jutro obiecuję podmienić, jak wrócę z uczelni. Zobaczymy, czy coś zmieni, czy raczej nie. No, ale zaszkodzić raczej nie zaszkodzi, więc... =]

Właśnie zupdate'owałem. awgly100 (0) było w momencie update'u przeliczone w 70%, ale w kolejce czeka następne (0) i (1), więc zobaczymy, czy będzie widać różnicę.

PS. TJM, tak patrzę na swojego hosta (http://www.enigmaathome.net/results.php?hostid=6985) i Twojego ze screena i ciągle nie rozumiem, czemu liczę w podobnym czasie, a chcę więcej -- krótko mówiąc, skąd masz kod, który liczy tak szybko :P
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 10 Październik 2008, 14:50
bo TJM jest tu szefem :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Październik 2008, 15:10
Cytat: Mori w 10 Październik 2008, 14:41

PS. TJM, tak patrzę na swojego hosta (http://www.enigmaathome.net/results.php?hostid=6985) i Twojego ze screena i ciągle nie rozumiem, czemu liczę w podobnym czasie, a chcę więcej -- krótko mówiąc, skąd masz kod, który liczy tak szybko :P

Twój host ma wyższy benchmark (nic dziwnego, odkąd pamiętam na linuksie zazwyczaj były gorsze), co jak widać nie przekłada się wcale na wydajność. Tego kodu nie nazwałbym szybkim, popatrz na to - to jest dopiero szybkość http://www.enigmaathome.net/results.php?hostid=1369
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 10 Październik 2008, 17:53
Cytat: TJM w 10 Październik 2008, 15:10Twój host ma wyższy benchmark (nic dziwnego, odkąd pamiętam na linuksie zazwyczaj były gorsze), co jak widać nie przekłada się wcale na wydajność. Tego kodu nie nazwałbym szybkim, popatrz na to - to jest dopiero szybkość http://www.enigmaathome.net/results.php?hostid=1369

Ale TJM - mówisz, że 2.2GHz. Ja mam, po OC, 2.3GHz. Tego właśnie pojąć nie mogę. Chociaż w sumie jak sprawdzam czasy, to jesteś z 50-100 sekund do tyłu (tyle, że to dość niewiele).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Październik 2008, 18:12
Cytat: Mori w 10 Październik 2008, 17:53
Cytat: TJM w 10 Październik 2008, 15:10Twój host ma wyższy benchmark (nic dziwnego, odkąd pamiętam na linuksie zazwyczaj były gorsze), co jak widać nie przekłada się wcale na wydajność. Tego kodu nie nazwałbym szybkim, popatrz na to - to jest dopiero szybkość http://www.enigmaathome.net/results.php?hostid=1369

Ale TJM - mówisz, że 2.2GHz. Ja mam, po OC, 2.3GHz. Tego właśnie pojąć nie mogę. Chociaż w sumie jak sprawdzam czasy, to jesteś z 50-100 sekund do tyłu (tyle, że to dość niewiele).

No ale co w tym niby dziwnego ? Host stoi na linuksie, w ogóle nie dotykany przez większość czasu (maszyna wyłącznie do kompilacji i testów); a że wydajność w BOINCowym benchmarku ma zaniżoną to wina BOINCa. Widocznie moja aplikacja jest ciut szybsza albo to system robi taką różnicę.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: 3Rni w 10 Październik 2008, 22:25
widze ze lata optymalka oki doki, wiec wrzucam na całe moje ustrojstwo AMDekowe..procz XP choc kusi mnie tez XP zeby im dac :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Październik 2008, 22:35
XPkowi też można zapodać, wzrost prędkości jest podobny.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: 3Rni w 10 Październik 2008, 22:37
Cytat: TJM w 10 Październik 2008, 22:35
XPkowi też można zapodać, wzrost prędkości jest podobny.


dobra wale na całe AMD moje.... jutro ocenie jaki wzrosło :)
ahoj
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 10 Październik 2008, 22:56
TJM próbowałem takich oto wersji gcc 4.3.2, 3.4.6, 3.3.6.
Mowa o testach pod linuksem i amd x2@2700 .
wyniki benchmarków i najlepszych kompilacji
4.3.2 - 4:17
3.4.6 - 2:59
3.3.6 - słabo nawet nie zapisywałem

mała uwaga 4.3.2 kompilowane na raty tzn. bez flagi "fschedule-insn"  hillclimb.c i ic.c (błedy)
i to tylko przy mcpu=k8 inne mcpu np. pentium4, nocona oki.
Wersja 3.3.6 może być najbardziej optymalna do starszych wersji k-3, duron i athlon-xp.
Mhm. Mało już takich komputerów przelicza.

wynik aplikacji windowsowej pod win xp (xen)
3.4.2 - 4:05
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Październik 2008, 23:02
Jeśli masz możliwość, zobacz jeszcze z wersją 3.2. Jeśli znajdę dysk na którym miałem stary dysk do kompilacji to może też sprawdzę - z tego co pamiętam z ubiegłorocznych testów, 3.2 produkował najszybszy kod.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 10 Październik 2008, 23:15
Spróbuję. Choć taki downgrade jest niemożliwy na dystrybucjach, których na codzień używam.
Problem jest w x86_64. Choć mam kilka wirtualnych systemów x86.
Jak wspominałem całem szczęście, że ocalało pld ac, którego nie uruchamiałem od ponad 2 lat
a w sumie jest już zamrożone. Mimo wszystko pakiety pięknie się instalują.
Bo na ten przykład próba zbudowania mingw z gcc 3.4 ze speca w pld th skończyła się błędami.
Ten spec jest sprzed dobrych 2 lat. Wszystkie pakiety mam w najnowszych wersjach.

EDIT:
Próbowałem zbudować gcc-3.2 ze speca (rok 2003) i kiszka.
Ponowny test na gcc 3.3.6 i wyniki na poziomie nieoptymalizowanej aplikacji. Bardzo słabo 5:06.
CentOS 3.9 zawiera gcc 3.2.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 12 Październik 2008, 01:14
Co rozumiesz przez 'kiszka' ? Nie kompiluje się, czy wyniki są słabe ?
Kiedyś robiliśmy już testy i wtedy właśnie exeki zbudowane pod gcc 3.2 były zdecydowanie najszybsze.

Btw, wczoraj (a w zasadzie już dziś) upgrejdnąłem cały soft serwera do najnowszej wersji. Dajcie cynk jakby co nawet o najmniejszych bugach, mając najnowszą wersję najłatwiej wyżebrać poprawki od dev-teamu więc w razie czego na bugfixy pewnie nie trzeba będzie zbyt długo czekać.

EDIT: dziwny bug - db_error przy odpowiadaniu na posty, na które nikt nie odpowiadał przez kilka dni - nie znikł, mimo że to już któryś z rzędu upgrade odkąd ten błąd się pojawił. Sprawę tego buga studiowało już parę osób i na razie nie wiadomo skąd to się bierze.

EDIT2: padam na ryj więc idę w kimono, w razie poważnych problemów mail na podany w innym temacie adres powinien mnie przebudzić  :closedeyes:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 12 Październik 2008, 02:28
kiszka - nie udała się instalacja gcc-3.2 pod pld.
Cóż rozwiązałem to instalując centosa na virtualce i to nawet w wersji 64 bit.
Owszem pod gcc-3.2 się kompiluje, tylko znów jest problem z '-fschedule-insns' i cpu=athlon64. Tym razem plik 'key.c'.
Co inna wersja gcc to jakieś nowe kwiatki. >:(
Testy wydajnościowe zostawię już na jutro. No, no to już "dziś". :)

Faktycznie coś innaczej wygląda cała strona. Mhm. Ja to i tak głównie tam zaglądam za pomocą elinks (txt browser). :D
EDIT:
Przetestowałem gcc-3.2.3. Musi mieć powera.
Kompilowane bez fschedule-insns -  3:59
Częściowo z fschedule-insns - 3:03. Żeby tak poszło wszystko z tą kluczową flagą byłby napewno najlepszy wynik.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Październik 2008, 00:15
Pokaż co tam za błąd wyskakuje, może trzeba jakąś drobną poprawkę w źródle machnąć.

Jeśli chcesz jeszcze większej wydajności: zmieniony nieco score.c http://tjm.boo.pl/enigma/score.zip - to wersja tylko dla linuksa, windowsową mogę jutro uploadnąć bo została na innym kompie. Wzrost wydajności jest różny, najbardziej zauważalny na słabszych maszynach.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 13 Październik 2008, 08:17
Update'uj, update'uj xD

PS. Takie coś dzisiaj na server_status:
Workunits waiting for deletion   2
Results waiting for deletion   2

Czemu one zostają usunięte?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 13 Październik 2008, 10:14
Cytat: TJM w 13 Październik 2008, 00:15
Pokaż co tam za błąd wyskakuje, może trzeba jakąś drobną poprawkę w źródle machnąć.
logi są tu:
http://www.adrive.com/public/ebec4711d50db948bc21738b6ef5e513545e99dd44882865cf128f42b87b0339.html (http://www.adrive.com/public/ebec4711d50db948bc21738b6ef5e513545e99dd44882865cf128f42b87b0339.html)
Błędy dotyczą dwóch plików key.c i stecker.c.
Może one jednak nie mają żadnego wpływu na wydajność aplikacji.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Październik 2008, 11:12
Cytat: Mori w 13 Październik 2008, 08:17
Update'uj, update'uj xD

PS. Takie coś dzisiaj na server_status:
Workunits waiting for deletion   2
Results waiting for deletion   2

Czemu one zostają usunięte?

Wszystkie przetworzone rezultaty są usuwane, ostatnia rzecz którą bym chciał na serwerze to miliony plików w jednym katalogu

Cytat: buninek w 13 Październik 2008, 10:14

logi są tu:
http://www.adrive.com/public/ebec4711d50db948bc21738b6ef5e513545e99dd44882865cf128f42b87b0339.html (http://www.adrive.com/public/ebec4711d50db948bc21738b6ef5e513545e99dd44882865cf128f42b87b0339.html)
Błędy dotyczą dwóch plików key.c i stecker.c.
Może one jednak nie mają żadnego wpływu na wydajność aplikacji.

Największy wpływ na wydajność mają pliki hillclimb.c (główna pętla) i score.c gdzie są funkcje wywoływane bardzo często.
Dziwna sprawa bo u mnie na takim gcc: gcc version 3.2 (Mandrake Linux 9.0 3.2-1mdk) teoretycznie wszystko się kompiluje, ale brakuje w nim z kolei flag dla nowszych procesorów.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 13 Październik 2008, 11:23
Cytat: TJM w 13 Październik 2008, 11:12
Dziwna sprawa bo u mnie na takim gcc: gcc version 3.2 (Mandrake Linux 9.0 3.2-1mdk) teoretycznie wszystko się kompiluje, ale brakuje w nim z kolei flag dla nowszych procesorów.
ważne są również "małe" numery wersji
moja to dokładnie gcc 3.2.3-59
Owszem sprawdziłem uzywając gcc-3.4, te pliki nie mają żadnego wpływu na wydajność. Mowa o key.c i stecker.c.

Cytat: TJM w 13 Październik 2008, 00:15
Jeśli chcesz jeszcze większej wydajności: zmieniony nieco score.c http://tjm.boo.pl/enigma/score.zip - to wersja tylko dla linuksa, windowsową mogę jutro uploadnąć bo została na innym kompie. Wzrost wydajności jest różny, najbardziej zauważalny na słabszych maszynach.
Dziwne. U mnie nowy plik score.c zmniejsza wydajność.
najlepszy benchmark to    2:59 (gcc 3.4)
z nowym score.c         3:15-3:17
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Październik 2008, 15:51
No to właśnie dziwne i na różnych procesorach/kompilatorach różnie się zachowuje skompilowany program.
Później zrobię jeszcze jedną wersję która powinna działać szybciej na tych procesorach, na których poprzedni score.c działa wolniej. EDIT: chociaż obecna wersja nie ma sensu, bo zysk prędkości jest na granicy błędu pomiarowego.



Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Październik 2008, 19:31
Przedpremierowa wersja nowego skryptu:

http://www.enigmaathome.net/show_topuser.php

za chwilę taki sam będzie dla teamów, jak tylko skończę w tym drobną kosmetykę.

EDIT:
http://www.enigmaathome.net/show_topteam.php
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Październik 2008, 14:32
Od dziś serwer śledzi najlepsze wyniki użytkowników, można zobaczyć na swojej stronie http://www.enigmaathome.net/home.php
Nowe dodawane są w razie potrzeby (wyższy score) w czasie rzeczywistym, stare są przelukiwane według id usera, więc najszybciej będą mieli uaktualnione ci na początku listy. Trochę to jednak potrwa, bo wszystkich rezultatów jest prawie 2,2 miliona  :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 14 Październik 2008, 14:52
Fajne te wszystkie nowe staty. :)

Zmienił się u mnie claimed/granted.
Czyżby to wynik nowej kalibracji?
Druga sprawa bufor wu. Od wczoraj liczę na bieżąco. Nie pobiera dodatkowych zadań!! >:(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Październik 2008, 15:16
W bazie wszystko z twoim hostem ok, jedynie average turnaround bardzo niski - 0.06 dnia, co potwierdza to o czym piszesz. Nie zmieniałeś ustawień bufora ?

Ratio claimed/granted na pewno się będzie powoli zmieniać, bo kredyty lekko urosły i nadal rosną.


EDIT: update dwóch nowych pól z uwzględnieniem starych zadań trwa od 5 do 30 minut dla jednego użytkownika, zależnie od tego ile ich poprzeliczał - w takim tempie to do końca miesiąca może serwer zdąży wszystkim uaktualnić  :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 14 Październik 2008, 15:35
Jako że już się troszkę pogubiłem. Czy mógłbyś podać linka do najnowszej wersji optymalki pod Athlona 64 x2  na sockecie 939?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 14 Październik 2008, 15:41
Chyba ta jest ostatnią oficjalnie przez buninka wydaną: http://www.boincatpoland.org/smf/index.php/topic,1216.msg46658.html#msg46658 -- w każdym razie ja tej używam.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 14 Październik 2008, 23:16
Cytat: TJM w 14 Październik 2008, 15:16
W bazie wszystko z twoim hostem ok, jedynie average turnaround bardzo niski - 0.06 dnia, co potwierdza to o czym piszesz. Nie zmieniałeś ustawień bufora ?
Jedynie go zwiększyłem z minimum 0.25 na 1/dzień.
Bufor pomałuuu się wypełnia. Mam 1wu w zapasie.

Ściągam, instaluję rózne retro-dystrybucje i kompiluję źródła enigmy za pomocą gcc.
Generalnie wyniki aplikacji kompilowanych wersjami gcc 3.2.3, 3.3.6 i 3.4.6 są na styku (2-20s)
Bywają i takie przypadki:
wersja gcc 3.4.6 (Arch Linux x86_64) - wynik benchmarku 2:59
wersja gcc 3.4.6 (CentOS 4.7 x86_64) - 3:22.
Duża rozbieżność. Wersje 4.x.x słabiutko od 4:32 do 5:05.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 14 Październik 2008, 23:18
no a czy będzie jakaś nowa wersja pod athlony??
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 14 Październik 2008, 23:25
Cytat: TJM w 14 Październik 2008, 14:32
Od dziś serwer śledzi najlepsze wyniki użytkowników, można zobaczyć na swojej stronie http://www.enigmaathome.net/home.php
Nowe dodawane są w razie potrzeby (wyższy score) w czasie rzeczywistym, stare są przelukiwane według id usera, więc najszybciej będą mieli uaktualnione ci na początku listy. Trochę to jednak potrwa, bo wszystkich rezultatów jest prawie 2,2 miliona  :)

moje:

hceyz72 top score   1768501
awgly100 top score   2028061
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 15 Październik 2008, 00:04
Cytat: buninek w 14 Październik 2008, 23:16
Cytat: TJM w 14 Październik 2008, 15:16
W bazie wszystko z twoim hostem ok, jedynie average turnaround bardzo niski - 0.06 dnia, co potwierdza to o czym piszesz. Nie zmieniałeś ustawień bufora ?
Jedynie go zwiększyłem z minimum 0.25 na 1/dzień.
Bufor pomałuuu się wypełnia. Mam 1wu w zapasie.


Hm a luknij jeszcze w logi ile sekud żąda twój host. Może problem leży w schedulerze projektu, w końcu po dużym updejcie do najnowszej wersji jakieś błędy muszą być :D


Poczytałem ostatnio trochę o optymalizowaniu źródeł pod różne procesory, z tego co widzę teraz patrząc w źródła enigmy, progs jest szybszy na procach Intela ponieważ został tak napisany - konstrukcja programu w połączeniu z kompilatorem Intela daje np. możliwość równoległego wykonywania niektórych instrukcji w pętlach.

Najgorsze przy kompilowaniu nowych wersji jest to, że często poprawiając coś dla jednego procesora psuje się jednocześnie wyniki na innych, tak więc ewentualne optymalizacje się 'rozgałęziają'. Na dodatek benchmark wypadałoby lekko rozszerzyć, tzn umieścić w nim dwa ciphertexty - krótki i długi. To dlatego, że niektóre zmiany na pierwszy rzut oka nic nie dają w benchmarku, a przy przeliczaniu workunitów z dłuższymi ciphertextami może się okazać, że czas przeliczania spadnie nawet o kilkanaście procent. Na odwrót też to działa - da się uzyskać pozorny wzrost wydajności przy krótkich tekstach, który przy dłuższych zniknie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 15 Październik 2008, 00:09
Czyli mam rozumieć że jako user athlona (mój okręt flagowy) mam liczyć na efekt placebo z ostatniej wydanej oficjalnie optymalki??
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 15 Październik 2008, 00:12
Efekt na pewno lepszy jest niż placebo, gdzieś tu w tym chaosie exeków i buildów na poprzednich stronach były takie, które skracały gdzieś o 10% czas przeliczania w stosunku do poprzedniej aplikacji.
Pewnie jeszcze się pojawią jakieś poprawki, najlepiej byłoby zaprosić do współpracy kogoś, kto się na tym zna - ja się muszę na bieżąco uczyć dłubiąc w źródłach, podejrzewam, że jakiś grandmaster szybko by coś wymyślił.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 15 Październik 2008, 00:21
Cytat: TJM w 15 Październik 2008, 00:04
Hm a luknij jeszcze w logi ile sekud żąda twój host. Może problem leży w schedulerze projektu, w końcu po dużym updejcie do najnowszej wersji jakieś błędy muszą być :D
Sending scheduler request: To fetch work.  Requesting 7978 seconds of work, reporting 0 completed tasks
...
Sending scheduler request: To fetch work.  Requesting 12147 seconds of work, reporting 0 completed tasks

Z tym, że mam ustawiony update projektu co 1h.
EDIT:
sched_request_www.enigmaathome.net.xml
     <duration_correction_factor>0.443998</duration_correction_factor>
W logach jeszcze coś takiego
[error] Couldn't parse statistics_www.enigmaathome.net.xml

Cytat: Troll81 w 15 Październik 2008, 00:09
Czyli mam rozumieć że jako user athlona (mój okręt flagowy) mam liczyć na efekt placebo z ostatniej wydanej oficjalnie optymalki??

pewnie cóś przyśpieszy
Tak jak pisze TJM, trzeba osoby, która pogrzebie w źródłach. Ja tylko się bawię kompilacją.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 15 Październik 2008, 00:31
Czyli mam rozumieć że ta ostatnia wersja u mnie cos przyśpieszy?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 15 Październik 2008, 00:33
Na 100%
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 15 Październik 2008, 01:12
A czy Panowie przewidują jakiś ostateczny zestaw nowych optymalizacji, który zostanie podany w lekkostrawnej formie i przedstawiony szerszej publiczności?

Bo w tej chwili to już nawet ciężko w tym temacie cokolwiek znaleźć :P
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 15 Październik 2008, 09:29
np oficjalny dział z optymalkami na stronie enigmy?? :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 15 Październik 2008, 10:07
Tamte na forum są z gatunku tych bardziej wypróbowanych, które były dostatecznie długo testowane i nie stwarzały zbytnich problemów. Uaktualnię exeki za jakiś czas, jeśli nie będzie żadnych problemów.

EDIT: skrypt updejtujący statsy przejechał w nocy ponad połowę userów, każdy z id > 2k ma już uaktualnione top score w profilu, reszta pewnie dziś się uaktualni.

EDIT2: jeśli ktoś ma puste miejsca przy top score to najprawdopodobniej oznacza, że nie odesłał ani jednego wyniku danego typu (puste przy dwóch to już raczej błąd skryptu).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 15 Październik 2008, 19:42
Cytat: Bober w 15 Październik 2008, 01:12A czy Panowie przewidują jakiś ostateczny zestaw nowych optymalizacji, który zostanie podany w lekkostrawnej formie i przedstawiony szerszej publiczności?

Bo w tej chwili to już nawet ciężko w tym temacie cokolwiek znaleźć :P

Zaraz tam ciężko znaleźć. Przecież mówię, że pod Athlony wersja Buninka: http://www.boincatpoland.org/smf/index.php/topic,1216.msg46658.html#msg46658 sprawuje się ok (a przynajmniej miło śmiga na moim A64+, dając mi lepsze rezultaty niż oryginalna optymalka TJMa).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 15 Październik 2008, 20:04
to że ja ślezę ten wątek nie znaczy że nowo przybyły user od razu znajdzie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 16 Październik 2008, 13:23
Niestety mocno optymalizowana aplikacja enigmy (własny build) pod linuksem wprowadza bardzo dużą niestabilność do systemu. Początkowo obaraczałem tym tylko zbytnie podkręcenie procesora.
Tyle że wcześniej nie miałem, aż takich kłopotów (nawet przy większym OC)
Głównym winowajcą są zbyt agresywne flagi kompilacji enigmy, choć podkręcenie proca też ma wpływ.
Problemy występują wyłącznie przy bardzo silnym wykorzystaniu procesora innymi zadaniami, np.
mocno obciążony wirtualny system, kompilacja większych pakietów (aplikacji). Zwisy systemu
następują jednak tylko przy działającej enigmie. :(
Odwrotnie jest ok tzn. jeśli proc obciąża tylko enigma.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Październik 2008, 13:26
U mnie nie ma takich problemów, obojętnie co bym nie robił linuch jeszcze nigdy mi się nie zwiesił, co najwyżej pada sama aplikacja.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 16 Październik 2008, 13:39
Sama aplikacja jako taka nie wysypuje się.
Przy obciążonym systemie i wyłączonej aplikacji jest ok. Może tu być winny xenowy kernel. Bardziej "czuły".
Nic to, zmniejszę taktowanie. >:(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Październik 2008, 09:12
Nieoczekiwany downtime - odmówił dalszej pracy UPS, za paręnaście minut odpalę wszystko ponownie bez UPSa, podłączę go z powrotem jak rozkminię co się mu stało.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 17 Październik 2008, 17:31
Stało się. Brak zadań. Nie ma ochoty więcej pobrać. >:(
Zmieniałem bufor, próbowałem z 5.10.45 bez rezultatu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Październik 2008, 17:42
Niestety w tym momencie wina leży po stronie projektu i musisz poczekać jakiś czas, aż liczba dostępnych zadań w server_status spadnie do pułapu gdzie skrypt zacznie generować nowe (około 4200-4300) Zauważyłem, że przy każdym wzroście kredytów (mimo że skrypt przeliczający jest tak zrobiony, że nigdy nie zwiększy na raz o więcej niż 0.1-0.3 zależnie od długości zadań) zawsze znajdą się ludzie którzy dla tak małej różnicy potrafią anulować setki zadań po to, żeby szybciej zgarniać kredyty według nowej taryfy :O Wszystkie zadania typu _x i _rx_ gdzie x > 0 ida do hostów oznaczonych jako reliable, więc póki ich większa część nie zniknie, inne dostają no work from project.

Najlepszym sposobem zabezpieczenia się przed tym jest bufor zadań nie większy niż 3 dni . Większy może wydawać się bezpieczniejszy, ale rzadko zdarzają się tak duże przestoje (to już musi być bardzo poważna awaria) a turnaround time > 3 dni automatycznie skreśla hosta z listy reliable hostów.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 17 Październik 2008, 17:47
Ok. Poczeka się.
Bufora nigdy nie ustawiam dłuższego niż na dwa dni.
Jak na złość primegrid również ma przestój w psp sieve a lubię je bo dobrze punktują. ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Październik 2008, 17:51
To ściągnij sobie trochę PPS - są bardzo króciutkie (więcej info w temacie o nadchodzącym wyścigu) i przyjemnie się je przelicza a granted credit wychodzi tak na oko na 140-170% claimed więc nie jest źle.

EDIT: jakiś tajemniczy bug w ostatniej wersji serwera wzmocnił efekt o którym pisałem wyżej, bo scheduler nawet do reliable hostów nie bardzo chce wysyłać zadania. Narzuciłem tak na szybkiego patcha i zaraz odpalę zmodyfikowaną wersję schedulera, powinno pomóc.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Październik 2008, 01:36
Zainstalowałem Mingw 5.x i po krótkiej walce podpiąłem pod dev-cpp. Na dzieńdobry bez żadnego kombinowania ustanowiłem nowy rekord prędkości aplikacji dla Windows, czas zleciał mi na najkrótszych zadaniach (teraz na nich benchmarkuję) z 18 minut na 17 z niewielkim hakiem, czyli jest to przyrost rzedu 1/18 = 5,5%. Zobaczymy co będzie dalej. Pytanie tylko jak ze stabilnością aplikacji i czy nie pojawią się błędy - na razie zostawiam taką na noc i zobaczę rano co i jak.

Jeśli ktoś chce się pobawić w testy, mogę udostępnić jutro około południa jakieś aplikacje dla różnych procesorów, dajcie tylko znać dla jakich.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 18 Październik 2008, 16:27
Dla procesorów intela również? Na jakim gcc oparta jest ta wersja mingw?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Październik 2008, 17:45
Szczerze mówiąc to nie mam pojęcia %-) Ale z tego co widzę to chyba 3.4.5. Testowałem tylko na Intelach, nie mam kompów z AMD pod windows.
Dziwne bo największe przyspieszenie jest wtedy, gdy komp nic innego nie robi, jak ma dużo zajęć bywa nawet minimalnie gorzej niż na starej wersji.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 20 Październik 2008, 10:44
Na forum znów lepsza wersja kompilacji pod Phenomy, pewnie dałoby radę skorzystać z tych flag również dla Athlonów 64.

http://www.enigmaathome.net/forum_thread.php?id=77
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 21 Październik 2008, 11:50
W tym tygodniu jakoś będzie kilkugodzinny shutdown serwera, muszę trochę upgrejdnąć chłodzenie, bo Phenom strasznie się grzeje i rozgrzewa mi za bardzo wodę, do tego stopnia, że wczoraj przy robieniu kopii bazy danych w rurkach pojawiły się bąbelki powietrza - oznaka zbliżania się temperatury do 70 stopni. Planuję dorzucić dwie chłodnice nagrzewnicy od Clio, dziś przyszły pocztą i teraz pozostaje mi tylko wykonać przelotki z rurek tych chłodnic (dość duża średnica) na 5/7mm rurki których używam w WC.

EDIT: tak to wygląda

(http://img510.imageshack.us/img510/7273/chlodnica3qj5.th.png) (http://img510.imageshack.us/my.php?image=chlodnica3qj5.png)(http://img510.imageshack.us/images/thpix.gif) (http://g.imageshack.us/thpix.php)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 21 Październik 2008, 13:19
No to trzeba się zaopatrzyć w unity... już zwiększam cache ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 21 Październik 2008, 15:56
Nie wiem czy nie odwlekę tego do połowy przyszłego tygodnia, muszę jakoś wkleić rurki w wyloty chłodnic (nic innego nie przychodzi mi do głowy) a takie klejone połączenie muszę dobrze przetestować pod ciśnieniem dużo większym od normalnego żeby mi się nie rozeszło w akcji. W piątek wyjeżdżam na weekend + 2 dni (powrót w środę), nie wiem czy przez 2 dni zdążę coś wykombinować, więc na razie chyba to oleję.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 21 Październik 2008, 16:26
dlaczego na komputerze z systemem Win98 podczas uruchomienia enigmy wyskakuje okno dosowe, które jak zamknę to powoduje błąd wu? - chciałem uruchomić projekt na firmowym kompie, ale wyskakujące okienko przeszkadza księgowej ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 21 Październik 2008, 18:08
widze że rasowo zatrudniasz kompy :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 21 Październik 2008, 18:12
kierownictwo wyraziło zgodę pod warunkiem, że nie będzie przeszkadzało w normalnej pracy, a niestety okienko jest denerwujące ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 21 Październik 2008, 18:25
To chyba był błąd wrappera w czasie gdy go zbudowałem pod pierwszą aplikację, niby potem poprawili źródła. Próbowałeś z wrzuconymi eksperymentalnymi aplikacjami ? Tam są nowsze wrappery.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 21 Październik 2008, 19:28
jutro popróbuję i napiszę co i jak
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 22 Październik 2008, 15:53
czyżby były jakieś problemy? kończy mi się bufor a nie chce mi pobierać nowych wu

Cytat
2008-10-22 15:47:21|Enigma@Home|Sending scheduler request: Requested by user.  Requesting 0 seconds of work, reporting 0 completed tasks
2008-10-22 15:47:31|Enigma@Home|Scheduler request succeeded: got 0 new tasks

hostid=5379
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 22 Październik 2008, 16:14
Pewnie jak zwykle przejściowy problem z nadmiarem priorytetowych zadań. Takie coś zazwyczaj nie trwa dłużej niż godzinę, chyba, że u kogoś wysypało się parę tysięcy zadań.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 23 Październik 2008, 11:59
Najbliższe 208k zadań (średnio z 3-4 dni pracy projektu) to głównie najkrótsze hceyz72/0 z niewielkimi wstawkami /1.
Serwer M4 zaczął ostatnio głównie takie przydzielać, chyba ze względu na to że /2 i /3 jest dużo mniej (w sumie kilka % całości) i powoli zaczynają się kończyć. Trochę przez ostatnie dni sztucznie przyhamowałem wysyłanie tych krótkich w nadziei że serwer trochę wyśle i zacznie znów wysyłać też te dłuższe, ale widzę że nic się nie zmienia to nie ma co tego trzymać i puszczam jak leci + zaległy bufor.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 23 Październik 2008, 12:22
eni to istna paskuda jeżeli idzie o hi priorytet - zadanka eni na następny miesiąc wbijają na priorytet przed ralphem na sobotę...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 23 Październik 2008, 12:41
To praktycznie niemożliwe, jaki masz rdcf ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 23 Październik 2008, 17:06
Cytat: TJM w 23 Październik 2008, 12:41
To praktycznie niemożliwe, jaki masz rdcf ?

rdcf?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 23 Październik 2008, 17:33
W sumie teraz to już tdcf

(http://plikens.no-ip.net/715x0ax9m/tdcf.png)

dla domyślnej aplikacji powinien być w granicach 0,8-1,2; dla zoptymalizowanych spada dużo niżej. Jak jest za wysoki (np. powyżej 3-4) zadania lubią sobie wejść w high priority bo manager myśli, że nie zdąży.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 23 Październik 2008, 17:58
Task duration correction factor   0.564556  |-?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 23 Październik 2008, 18:22
czyli o ile należy korygować czas trwania workunita??
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 23 Październik 2008, 19:33
Nic nie trzeba korygować, domyślnie jest ustawiony tak jak powinien.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 23 Październik 2008, 23:32
posiadamy optymalkę dla q9400 ale uwaga - 64bit?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Październik 2008, 00:28
W temacie na forum jest parę postów od góry aplikacja 64 bitowa crunch3ra - ale to jedna z pierwszych i nowe 32bitowe są chyba szybsze.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Październik 2008, 09:43
Dziś po południu wyjeżdżam na trochę przedłużony weekend, mam nadzieję, że nic przez ten czas nie padnie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 24 Październik 2008, 11:45
Juz padlo :P

Naprawilem kłada, chce sie podpiac, a tu: `reached daily quota of 4 results`  XD

Co wiecej, po takim nieduanym requescie ustala kolejne polaczenie z servem na `za 13h`. Pogielo?

Ja sie nie zgadzam  :attack:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Październik 2008, 11:51
Chyba wcześniej miałeś jakieś błędy, bo rzeczywiście masz daily quota = 4. Zaraz ci to zresetuję %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 24 Październik 2008, 11:52
Dziekuje bardzo :). Mialem bledy, bo robilem z kompem - inaczej sie po prostu nie dalo :(.

I udanego weekendu zycze :).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Październik 2008, 12:02
Mam nadzieję że będzie udany i że następny będzie jeszcze lepszy  :parrrty:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: 3Rni w 24 Październik 2008, 21:08
wrzuciłem optymalke z forum windows_x86_64.zip pod xp64 i q6600 i kicha totalna
wywaliło mi wszystkie wu chyba ze 30 lub więcej poszło do kosza ...nie polecam , chyba ze coś źle zrobiłem  :attack:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 25 Październik 2008, 13:20
Sama aplikacja na pewno działa, natomiast lepiej wrzucać ją (tak samo jak i inne) na pusty bufor, z jakiegoś powodu zadania ściągnięte na domyślnej lubią się sypnąć po podmiance.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: 3Rni w 25 Październik 2008, 18:18
Cytat: TJM w 25 Październik 2008, 13:20
Sama aplikacja na pewno działa, natomiast lepiej wrzucać ją (tak samo jak i inne) na pusty bufor, z jakiegoś powodu zadania ściągnięte na domyślnej lubią się sypnąć po podmiance.

może i działa ale u mnie nie chce
nie chodzi mi o wysyp wu podczas podmianki...tylko generalnie kicha..pobiera nowe i sypie do wszystkich error

byc moze to wina OC q6600 chodzi na 3,5ghz,
pod xp 32bit na optymalka hula az miło a tu na 64bitach xp juz kiszka  |-?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 25 Październik 2008, 21:00
Cytat: TJM w 25 Październik 2008, 13:20
Sama aplikacja na pewno działa, natomiast lepiej wrzucać ją (tak samo jak i inne) na pusty bufor, z jakiegoś powodu zadania ściągnięte na domyślnej lubią się sypnąć po podmiance.

U mnie akurat nie mialo to miejsca. Dwa dni temu (po naprawie) odpalilem kłada z x64 i Twoimi starymi optymalkami pod korduło (w ramach eksperymentu zapialem optymalki przy trzech WU w polowie przeliczonych - oczywiscie po zatrzymaniu i killu wrappera) i obylo sie bez jakichkolwiek problemow. - to tak tylko informacyjnie :).


Cytat: ERni w 25 Październik 2008, 18:18
Cytat: TJM w 25 Październik 2008, 13:20
Sama aplikacja na pewno działa, natomiast lepiej wrzucać ją (tak samo jak i inne) na pusty bufor, z jakiegoś powodu zadania ściągnięte na domyślnej lubią się sypnąć po podmiance.

może i działa ale u mnie nie chce
nie chodzi mi o wysyp wu podczas podmianki...tylko generalnie kicha..pobiera nowe i sypie do wszystkich error

byc moze to wina OC q6600 chodzi na 3,5ghz,
pod xp 32bit na optymalka hula az miło a tu na 64bitach xp juz kiszka  |-?

1. Nie sadze aby przyczyna bylo Twoje OC. Nie takie OC, nie przy Enigmie... itp. Moze po prostu cos z winshitem? Jakas konfiguracja, jakas latka-psujka itp.?

2. Zmartwiles mnie. Mialem niedlugo testowac te nowe ptymalki :(. Ale moze po prostu pliki Ci sie sciagnely z wada? Podaj mi prosze linka, to jutro sprobuje na swoim kompie (bardzo podobnym do Twojego; x64, q6600 3.42GHz).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: 3Rni w 25 Październik 2008, 21:22
dopiero teraz gdy ponownie szukałem linku dla Aidec zauważyłem ze post TJM na forum jest z "Message 293 - Posted 24 Nov 2007":

Windows 64bit:

http://tjm.boo.pl/enigma/app/windows_x86_64.zip

czyli app sprzed roku i moze to jest powód ze wysypało mi sie pod xp64 totalnie wszytko.... TJM a gdzie jest nowsza 64bitówka?

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 25 Październik 2008, 22:04
Cytat: ERni w 25 Październik 2008, 21:22
dopiero teraz gdy ponownie szukałem linku dla Aidec zauważyłem ze post TJM na forum jest z "Message 293 - Posted 24 Nov 2007":

Windows 64bit:

http://tjm.boo.pl/enigma/app/windows_x86_64.zip

czyli app sprzed roku i moze to jest powód ze wysypało mi sie pod xp64 totalnie wszytko.... TJM a gdzie jest nowsza 64bitówka?



Ciesze sie ze moglem pomoc :).


Btw, jakby ktos chcial wiedziec:
Q6600 3.42GHz + x64
granted = ca. 70% claimed

Q6600 3.42GHz + x64 + optymalka dla XP32
granted = ca. 105% claimed
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 25 Październik 2008, 22:52
Nowszej nie ma, wiek aplikacji nie ma nic do rzeczy - wszystkie powinny działać, różnice są w szybkości. Czemu nie działa nie mam pojęcia, może gryzie się z czymś w systemie albo nie chce ruszyć na tym procu - u mnie przy testach na athlonach działała dobrze. Tak czy siak niewielka strata, bo nowsze buildy 32 bitowych aplikacji prawie na pewno są szybsze.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: 3Rni w 25 Październik 2008, 23:04
Cytat: AiDec w 25 Październik 2008, 22:04


Ciesze sie ze moglem pomoc :).


Btw, jakby ktos chcial wiedziec:
Q6600 3.42GHz + x64
granted = ca. 70% claimed

Q6600 3.42GHz + x64 + optymalka dla XP32
granted = ca. 105% claimed

ktorego exe`ka daleś dla quada? od core2?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 26 Październik 2008, 00:43
Tak. Korduło.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 28 Październik 2008, 10:17
Pytanie inne - do tfurcy projektu :).

Na stronie projektu zaznaczylem:
On multiprocessors, use at most 3 processors

I mimo to komp caly czas liczy 4 WU na raz. Chcialbym zeby liczyl tylko 3. Jak to zrobic?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 28 Październik 2008, 11:45
A tego się nie ustawia teraz w samym managerze???
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 28 Październik 2008, 19:36
Cytat: Troll81 w 28 Październik 2008, 11:45
A tego się nie ustawia teraz w samym managerze???

W BM mozesz ustawic ilosc procesorow (procentowo) dla calego BM (wszystkich zapietych projektow - globalnie). A mnie zalezy zeby zmienic ustawienia jednego projektu. Enigma na 3 jajka i GpuGird na jedno jajko.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 29 Październik 2008, 11:45
A w ogóle da się tak ustawić w innych projektach ? Przecie te CPU to chyba część ustawień globalnych.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: patak w 29 Październik 2008, 18:03
Niech zgadnę... ustawiłeś to w tej rubryczce
(http://uploads.screenshot-program.com/upl3884363213.png)
A jak jest podpisane, to ustawienie działa tylko w wersjach 5.10 w dół.

Piętro niżej jest:
(http://uploads.screenshot-program.com/upl1919749891.png)
Spróbuj tym. :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Listopad 2008, 16:56
Przed i po, czyli nowa aplikacja - na razie jeszcze nieco niedokończona i powinna ostatecznie być jeszcze trochę szybsza:

(http://img73.imageshack.us/img73/7136/ppoih4.th.png) (http://img73.imageshack.us/my.php?image=ppoih4.png)(http://img73.imageshack.us/images/thpix.gif) (http://g.imageshack.us/thpix.php)

są to przeróbki źródeł więc dostępne dla wszystkich systemów.

Liczę co najmniej na zejście poniżej 1000s na tym systemie z zachowaniem obecnych, domyślnych flag kompilacji (tylko -march=prescott) a potem jeszcze niżej kombinując z flagami.

Duży minus tej aplikacji - dla hceyz72 i awgly100 są osobne źródła (te drugie dopiero będą) więc trzeba przerobić app_info z powrotem na starszą wersję i wpisać dwa exeki.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Listopad 2008, 20:37
Udało się zejść poniżej 1000, nawet rozpędem spadło trochę niżej  :attack: a to jeszcze nie koniec przeróbek.

(http://img89.imageshack.us/img89/5425/hmmmmws2.png)

Teraz na windows mam szybciej niż wcześniej na kombinacji Linux + Intel C++, aż się boję sprawdzać co będzie na linuksie po skompilowaniu tych źródeł.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Machloj w 05 Listopad 2008, 20:47
no ładnie :) jeszcze trochę i ściągniesz do projektu punktomaniaków   XD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Listopad 2008, 20:52
Tylko że aplikacja w obecnym stadium nie nadaje się do udostępnienia %-) To w zasadzie działający szkielet i działa tylko z workunitami jednego typu, gdyby ktoś zostawił ją podpiętą pod projekt a ja zmieniłbym coś na serwie, nie miałbym innego wyjścia jak zbanowanie hosta, bo 100% rezultatów byłoby skaszanione.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 05 Listopad 2008, 20:56
Lol ~40% mniej czasu / WU.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Listopad 2008, 21:55
40% mniej względem poprzedniej wersji, bo względem gołej aplikacji to jest z 3 razy szybciej.

Granted = 3*Claimed:

(http://img80.imageshack.us/img80/2719/300psz8.png)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 05 Listopad 2008, 22:42
Mniam, mniam... dobra Enigma XD. Szkoda, że ta aplikacja nie była gotowa na projekt miesiąca - punkciki, punkciki... :arrr:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 05 Listopad 2008, 22:44
mogę to dostać?  :ph34r:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 05 Listopad 2008, 23:05
no, no ... aplikacja zachęcająca do liczenia, punktowania  ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Listopad 2008, 23:19
Testuję właśnie ostateczną wersję, niestety rozpędem ta aplikacja była tak zrobiona, żeby działała tylko z jednym rodzajem zadań (co daje jakiś 1% przyrost prędkości, więc kropla w morzu przy jej obecnej szybkości) i teraz muszę te zmiany cofnąć, co zajmie mi pewnie z 2-3 dni.

Wszystkie zmiany są tylko w funkcji hillclimb() z hillclimb.c, więc jeśli komuś się chce, niech zobaczy czy ta funkcja różni się czymś między linuksowym a windowsowym źródłem, jeśli nie to jeden problem z głowy i szybciej będzie wersja dla linuksa.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 06 Listopad 2008, 00:17
wyglądają na identyczne, choć mogę się mylić :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 06 Listopad 2008, 08:44
a dzis dostałem UOTD w enigmie a na stronie myboinc nie widac tego :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 06 Listopad 2008, 10:42
Za wcześnie się cieszyłem, bo z tak zoptymalizowanej aplikacji raczej będzie dupa zbita. Z testów wynika, że aplikacja poprawnie przeliczy tylko niektóre zadania, podczas gdy na innych nieuchronnie dąży do computation errora; co gorsza nie da się obczaić które bez przeliczania. Na szczęście część przeróbek jest bezpieczna i chociaż lekki zysk wydajności wyniosłem z tego całego bajzlu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 06 Listopad 2008, 12:05
Buninek możesz testnąć nowy hillclimb() pod linuksem ? U mnie póki co dość biednie wypada bo zgubiłem w chaosie optymalizacji flagi których używałem dla AMD %-)

http://pastebin.com/f1a0a7c4e

Po tej podmiance aplikacja powinna trochę przyspieszyć, dodatkowo na stronie w rezultatach/stderr widać znaleziony max score dla danego WU.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 06 Listopad 2008, 13:22
pluje błedami przy komiplacji hillclimb.c :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 06 Listopad 2008, 14:17
Jakie błędy ? U mnie glajsko się kompiluje, tylko bez odpowiednich flag kicha z prędkością.
Te lekkie poprawki pozwalają łagodniej przełknąć niedziałanie grubych - spadek z 55 na 40 minut w awgly100/2 to zawsze coś  ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 06 Listopad 2008, 15:00
Między innymi takie:
hillclimb.c:5026: error: too few arguments to function triscore
hillclimb.c:5041: error: too few arguments to function triscore
hillclimb.c:5053: error: too few arguments to function triscore
hillclimb.c:101: warning: unused variable tlen
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 06 Listopad 2008, 15:31
A nie zmiksowałeś tego czasami z jakąś poprzednią edytowaną wersją ? To nakładka na oryginalne źródła, wszystkie inne edycje stają się zbędne, ze zmianami w score.c na czele (ten plik nie jest używany).
http://plikens.no-ip.net/720xj5gku/hillclimb_unrolled.zip spróbuj podmienić hillclimb.c na gotowca. Z tym że ten jest windowsowy (już edytowany) a nie patrzyłem nawet, czy są takie same.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 06 Listopad 2008, 16:13
Tak. Wcześniej zrobiłem taki dziwny mix. Teraz jest ok.

Kompilowałem gcc 3.4.6. Niestety nie akceptuje flagi "fschedule-insns" dla hillclimb.c.
Przy procu amd, fschedule-insns jest kluczową dla aplikacji enigmy. :(
Stąd i wynik benchmarku słabiutki. Później zobaczę z innymi wersjami gcc.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 06 Listopad 2008, 16:27
U mnie fschedule-insns daje ogromny spadek wydajności, rzedu -100%. Benchmark trwa 14 minut a żadnego WU nawet nie przeliczyłem bo nie starczyło mi cierpliwości. Tak samo na linuksie i windowsie, AMD i Intelu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 06 Listopad 2008, 16:56
Zmiany w hillclimb spowodowały przetasowanie. Trudno tak na gorąco to wszystko ogarnąć.
Wcześniej zdecydowanym liderem była wersja gcc - 3.4.6, a wszystkie nowsze 4.x.x, dawały słabe rezultaty.
Teraz o dziwo nastąpił znaczący przyrost dla np. gcc 4.3.2. Wynik benchmarku 3:41, a wcześniej coś ok 4:30-50s.

Jeszcze jedno, o 100% wzrosła wielkość aplikacji.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 06 Listopad 2008, 17:31
Tak ma być, teraz zamiast używania funkcji, powtarzające się bloki kodu są ręcznie przeklepane, daje to niezłego speed boosta.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 06 Listopad 2008, 23:58
Przetestowalem kilka wariantów. Najlepszy wynik benchmarku to 3:13 (gcc-3.4.6).
Z poprzednią wersją hillclimb.c 2:59 (gcc-3.4.6).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Listopad 2008, 18:32
To coś musi być nie tak z kompilacją, po prostu nie ma możliwości, żeby obecna wersja źródeł była wolniejsza. To jest praktycznie to samo, tylko zamiast funkcji ma ręcznie wpisany ich kod co oszczędza sporo czasu procesora zmarnowanego normalnie na wywoływanie funkcji. U mnie wynik w benchmarku zleciał na testowej maszynie z blisko 5 minut na okolice 3,5; więc różnica jest duża.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 07 Listopad 2008, 22:23
Jak idą przygotowania do Enigma Independence Day Race 2008 ;) ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Listopad 2008, 09:46
Nie ma szans, żebym zdążył w kilka dni porobić skrypty i je przetestować, zwłaszcza że na najbliższy czas mam parę ważnych zajęć i nadmiarem czasu nie dysponuję. Priorytetem przed jakimkolwiek wyścigiem są działające aplikacje dla MacOS/FreeBSD i pewnie paru innych systemów, pierwsze dwie już były ale trzeba je zaktualizować.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 08 Listopad 2008, 12:26
No to może Christmas Race albo New Year Race ew. Valentine Day Race XD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Listopad 2008, 15:07
Jakiś race na święta jest bardziej prawdopodobny. Jak tylko uporam się z kilkoma problemami i innymi rzeczami do zrobienia, dokończę skrypty od statystyk 'wyścigowych'.

Lista rzeczy do zrobienia jest dość długa:

1) najwyższy priorytet - usunięcie dziwnych problemów z komunikacją proxy<->serwer projektu. Wygląda na to, że przy co którymś requeście zawsze prędzej czy później pojawia się timeout i za cholerę nie wiem dlaczego. Od paru dni poluję na tego buga, jak na razie jedyny trop wskazuje na możliwe problemy z DNSem i dynamiczną domeną, dlatego dziś lub jutro przechodze na własne skrypty uaktualniające IP i jednocześnie monitorujące czy wszystkie serwery sa online. W razie braku kontaktu z którymś z serwerów serwer proxy zamiast głównej strony projektu będzie wyświetlać info o problemie, dla reszty podstron będzie connection refused, co każdy klient BOINCa obsłuży prawidłowo i na dodatek jest szybsze od czekania nie wiadomo ile na timeout.


2) aplikacje dla macos, freebsd i paru innych systemów - przerabiam wrapper tak żeby latwiej było go skompilować pod innymi systemami.

3) Trzeba dokończyć CSSy (głównie forum) i pozbyć się szarej kolorystyki oraz po ponad roku w końcu wybrać logo (http://plikens.no-ip.net/plikens/164xpj50o/7.gif) Może ktoś z englishem w miarę na poziomie poświęciłby trochę czasu na przeprowadzenie logo contesta na forum projektu ? Zaoszczędziłoby mi to sporo czasu, poza tym mój englisz suxuje (http://plikens.no-ip.net/plikens/164xpj50o/7.gif)


to trzy najważniejsze, jest też trochę pomniejszych rzeczy do zrobienia które powinny pójść dość szybko po uporaniu się z tymi.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Listopad 2008, 21:18
Nowa aplikacja dla windows, Core2 Duo/Quad only; chociaż AMDkowcy też mogą wypróbować - nie powinno zaszkodzić. http://plikens.no-ip.net/723xec32x/enigma0.76windowsintelx86.zip
Pod inne procesory mogę też zbudować, tylko zapewne kilka exeków żeby można było wybrać najlepszy, bo nie mam aktualnie nic innego pod windows na czym mógłbym sam porobić testy.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 10 Listopad 2008, 22:06
Wreszcie coś dla mojego lapka :).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 11 Listopad 2008, 14:23
CytatPolscy kryptolodzy: Marian Rejewski, Jerzy Różycki i Henryk Zygalski, którzy złamali kod niemieckiej Enigmy i tym samym pomogli zmienić losy II wojny światowej, mają szansę zostać pośmiertnie uhonorowani Orderem Orła Białego - dowiedział się serwis internetowy tvp.info.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Thot w 11 Listopad 2008, 16:54
Zauważyłem dzisiaj dziwny problem z Enigmą. Sheduler nie żąda nowych próbek. A zapas starych zjechał do zera. Przy próbie połączenia z serwerem projektu otrzymuję taki komunikat:
2008-11-10 23:34:44||[error] Can't create HTTP response output file projects/www.enigmaathome.net/awgly/7/00hc_wu_2612802_r0
I od tego czasu nie pobrał żadnej nowej próbki, natomiast posiadane próbki bardzo ładnie się przeliczyły i odesłały. Za to nie zaraportował je automatycznie, dopiero musiałem ręcznie wymusić raportowanie.
Liczę na "oficjalnej" optymalce, ale nigdy dotąd nie miałem takiego kłopotu.
Chwilowo przełączyłem się na SETI i tam prawidłowo pobiera próbki.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Listopad 2008, 17:01
Bo jest to problem z projektem, wczoraj coś się poyebało podczas dłubania w mod_rewrite chociaż nie powinno. Zobacz czy nie masz plików wiszących w downloadzie, jeśli są, to je anuluj i po sprawie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Thot w 11 Listopad 2008, 21:05
Tak, jeden pliczek wisiał w downloadzie. Teraz wszystko działa cacy  :parrrty:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Listopad 2008, 22:09
Wczoraj się zdenerwowałem na te problemy z downloadem i dziś wprowadzam nietypowe rozwiązanie: katalogu download w ogóle nie będzie, tzn będzie ale całkowicie wirtualny - wszystkie pliki oprócz samych aplikacji będą tworzone w locie przez skrypt, na który zostanie przekierowany ruch poprzez mod_rewrite. Przy okazji powinno to odciążyć serwer, bo generowanie malutkich pliczków na pewno jest szybsze, niż poszukiwanie ich po katalogach.

EDIT: No i stało się, katalog /download przeszedł do historii, teraz tylko czekam na błędy  XD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: eclipse99 w 14 Listopad 2008, 16:11
Dlaczego myboinc nie uwzgędnia Enigmy w UotD?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Listopad 2008, 16:34
Nie wiem, trzeba by się zapytać tamtejszej administracji.
Możliwe, że np. ich sajt korzysta z starego adresu projektu, na którym nie wszystko poprawnie działa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 14 Listopad 2008, 19:44
Bad Request
Your browser sent a request that this server could not understand.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Listopad 2008, 20:03
Dalej to występuje ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 14 Listopad 2008, 20:36
Już jest OK :).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Listopad 2008, 20:40
Tak myślałem, skrypt updejtujący IP głownego serwera na proxy się chyba ciutkę zamotał i nie przestawił IP.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 14 Listopad 2008, 21:16
 :parrrty:
no to teraz można resetować profile, ale poczekam aż MyBoinc zaliczy eclipse99 UoTD'a
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Listopad 2008, 22:14
A zgłaszał ktoś w ogóle do kolesia zarządzającego tamtą stronką problem ? Bo mi nic nie wiadomo o tym, żeby było coś naprawione %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 14 Listopad 2008, 22:25
nie wiem czy coś poprawiali, ale jak wywołam profil z mojego starego UoTD'a Enigmy to wczytuje się poprawnie (czyli adresy IP/przekierowania chyba OK)
http://www.enigmaathome.net/profile_menu.php

ja zaobserwowałem i chyba o tym pisałem, że problem rozpoczął się po padzie MyBoinc - prawdopodobnie podnieśli serwer z kopi nie uwzględniającej Enigmy, ogólnie to słabo zarządzany serwer brakuje wielu projektów, a np statystyk FormulaBoinc nie było kilka dni (9).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Listopad 2008, 22:36
Ale ten błąd z IP po mojej stronie był chwilowy i trwał dziś może przez kilkadziesiąt minut - po prostu skrypt się zawiesił (wczesna beta %-)) i się nie uaktualniło.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 14 Listopad 2008, 23:00
Próbuję wykorzystać moce mojego starego procka AMD k6-II.
Skompilowalem boinc managera pod i586 i jest problem.
Message from server: platform 'i586-pc-linux-gnu' not found
Prawdopodobnie z każdym projektem będzie tak samo. Jak to obejść.
Mogę ewentualnie jeszcze zainstalować linuksa pod architekturę i386. Pewnie identyczny problem wszystkie
aplikacje są pod 686 lub x86_64.
Ten procek niestety nie pójdzie pod arch i686.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Listopad 2008, 23:06
Bardzo łatwo w każdym projekcie który łyka zoptymalizowane aplikacja znane również jako anonymous platform. Potrzebujesz tylko app_info.xml i jazda.
BTW, zawsze myślałem, że 686 zaczyna się od procesorów z MMXami czyli K6/Pentium MMX - nawet na wiki informacje nie są ścisłe, bo np. taki PIII zaliczany jest do 586 a to już na pewno 686.

EDIT: Ciutkę się pomyliłem, według Intela 686 zaczyna się od Pentium Pro i w górę (dla szarego usera PII bo PPro to rzadkość).
Na polskiej wiki są jakieś herezje  :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 14 Listopad 2008, 23:33
dzięki
już ruszyło

wyniki benchmarku nie są zachęcające XD
Measured floating point speed   433.9 million ops/sec
Measured integer speed      536.6 million ops/sec
Sama kompilacja enigmy na tym kompie trwa z 8s. Na poprzednim poniżej 1s.
Zgadza się 686 to od pentium pro. To byly chyba "serwerowe" procki do bardzo wymagających zadań.

EDIT:
zapowiada sie długie liczenie dla wu
hceyz72_1.. - szacunkowo 8h
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 14 Listopad 2008, 23:48
napiszcie tego maila do myboinc
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Listopad 2008, 23:56
Nie wiem jak wypadnie taki K-6 w porównaniu do PII/III, ale np. PIII 566 z wszystkimi optymalizacjami liczył hceyz72/1 około 2-2,5h z tego co pamiętam.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 15 Listopad 2008, 00:26
Chwilowo wstrzymałem. TJM podpowiedz jeszcze jak skrócić czas wykonywania benchamrku.
Żeby trwal z 30 minut a nie ponad 2h. Musi być jakiś specjalny ciphertext?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 15 Listopad 2008, 00:46
Ciphertext zostaw taki jaki jest, im krótszy zrobisz tym bardziej wyniki benchmarku będą zafałszowane w porównaniu z prawdziwymi zadaniami.
Pokaż jak tam wygląda plik resume, ten który jest kopiowany do 00hc.resume przy starcie benchmarku - nie mam go przy sobie, a przez jego edycję łatwo skrócić zadanie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 15 Listopad 2008, 02:03
cat 00hc.resume
M4=B:B152:DF:AAAA=B:B152:DF:ZZZZ=B:B152:DF:ZZZZ=2=0=0=2147483646
M4=B:B152:DF:SOZA=AYBOCUDLEKFXGNIZPSQV=1764244
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 15 Listopad 2008, 09:43
Edytować musisz ten drugi, bo 00hc.resume to jest ten wynikowy który jest używany i za każdym razem nadpisywany.
Zmień pierwszą linię np. na:

M4=B:B152:DF:AAAA=B:B152:DF:BZZZ=B:B152:DF:AAAA=2=0=0=2147483646

i będziesz miał około 5 minut benchmark.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 15 Listopad 2008, 14:09
aż za dobrze
wykonuje się w 0.10s
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 15 Listopad 2008, 19:13
Dziwne, bo zmieniając ZZZZ na BZZZ powinieneś mieć dokładnie 3/26 poprzedniego czasu wykonywania.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Listopad 2008, 00:02
Od rana nie działa serwer M4, na razie nie wiem co z nim bo admin nie odpowiedział na emaila. Zostało 9,5k zadań w lokalnym buforze i 4,2k na serwie BOINCa, jeśli komuś zależy na ciągłości przeliczania to dobrym pomysłem byłoby tymczasowe zwiększenie bufora dopóki jest co zasysać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 19 Listopad 2008, 10:52
Dla mnie i tak wazniejsze Twoje prace nad optymalkami :). Serwe moze lezec, byle optymalki byly :).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Listopad 2008, 11:07
Lepszych już chyba nie będzie, ta ostatnia którą wkleiłem na forum to ponad dwukrotne przyspieszenie w porównaniu do gołej aplikacji.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 19 Listopad 2008, 12:14
Cytat: TJM w 19 Listopad 2008, 11:07
Lepszych już chyba nie będzie, ta ostatnia którą wkleiłem na forum to ponad dwukrotne przyspieszenie w porównaniu do gołej aplikacji.


Masz na mysli 4um projektu - http://www.enigmaathome.net/forum_thread.php?id=17 ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Listopad 2008, 12:18
Nie, stronę wcześniej wkleiłem linka tutaj. Nigdzie więcej na razie tej aplikacji nie udostępniałem, bo wymagałoby to przeprowadzenia testów które trwają przynajmniej parę dni, nie bardzo mam teraz na to czas.
Na moim kompie runtime dla większości WU to około 35% czasu gołej aplikacji, tak więc grubo ponad dwa razy szybciej.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 21 Listopad 2008, 02:58
No szukalem i szukalem i nie znalazlem niestety. Moze jedynie miales zamiar wkleic? A moze ja slepne od monitora :P

Anyway, przymierzam sie ostro do Enigmy (tym bardziej ze nowy kładzik w drodze :) ), wiec bardzo chetnie te optymalki nowe... (oczywiscie Win XP, najchetniej x64...) Odwdziecze sie ;).



Niedlugo sprobuje tez Enigmy pod Linuxem, tylko ze tam to niestety z optymalkami sobie nie poradze, za duzo magii jak dla mnie ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 21 Listopad 2008, 11:06
Strona 31 -> http://plikens.no-ip.net/723xec32x/enigma0.76windowsintelx86.zip

Normalna aplikacja skompilowana pod linuksem kompilatorem Intela była szybsza od tej. Ta nowsza jeszcze nie testowana pod linuksem, ciekawi mnie czy kompilator Intela jeszcze coś z niej wyciśnie, na dniach przetestuję.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Listopad 2008, 23:14
Żeby odpocząć trochę od aplikacji i dłubania w serwerze, bo łeb od tego boli %-) Mam zamiar wziąść się za coś innego i przez parę dni wyłapać wszystkie stats sajty, uotd sajty itp które korzystają z niewłaściwych URLi. Powoduje to niepotrzebny bałagan, problemy i marnowanie transferu serwera.
Problem w tym, że niektóre sajty ciężko zidentyfikować. Co to może być np.

Cytat
210.97.238.225 - - [24/Nov/2008:22:06:38 +0100] "GET /enigma/stats/db_dump.xml HTTP/1.1" 200 701 "-" "Java/1.5.0_15"
210.97.238.225 - - [24/Nov/2008:22:06:39 +0100] "GET /enigma/stats/tables.xml HTTP/1.1" 200 553 "-" "Java/1.5.0_15"
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Primoza w 25 Listopad 2008, 03:11
Koreańce liczą u Ciebie bombę atomową  ;D http://whois.domaintools.com/210.97.238.225
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 25 Listopad 2008, 10:00
Nie idzie jednak znaleźć, co to za sajt. Statystyki pobiera regularnie kilka razy dziennie, przy tym zwraca uwagę na timestampy w pierwszym pliku .xml i jeśli są stare nie pobiera nowych. Obecnie cały ich transfer przekierowałem tam gdzie powinien być, jeśli to co pobiera dane nie obsługuje http 301 moved permamently, to ich strata.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Listopad 2008, 16:32
No ze statsami chyba wszystko doprowadzone do porządku, przynajmniej na razie tak wygląda. Pozostała niewyjaśniona kwestia niezaliczania UoTD, a widzę że skrypt regularnie odwiedza stronę.

Za to teraz wkurza mnie to:

Cytat
Wyświetlenia
20 Zapytania, które najczęściej wywołują Twoją witrynę oraz procent najczęstszych 20 zapytań reprezentowanych przez każde wyszukiwanie.

1   29%   gratis   872
2   13%   "enigma home"   1
3   8%   sexpicture   88
4   7%   enigma at home   1
5   5%   picture   850
6   3%   free sex   844
7   2%   enigmaathome   1
8   2%   sex picture   197
9   2%   sexvideo   554
10   2%   sexo   630
11   2%   indian free sex videos   97
12   2%   enigma home   1
13   2%   nitwor spid   17
14   2%   sexvideó   116
15   2%   pornvideo   126
16   2%   sex vıdeo   390
17   1%   videox   112
18   1%   sexvideok   233
19   1%   pamela anderson videosu   504
20   1%   "www sexvideo"   396


Za każdym razem kiedy pokasuję profile (albo całe konta) spamerom, muszę zaczynać od nowa i przeglądać wszystkich userów/profile, bo niektóre konta zakładane są dużo wcześniej zanim zostaną wykorzystane do niecnych celów.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 01 Grudzień 2008, 20:16
Kto ma chwilę niech zresetuje profil, bo odkryłem potencjalną przyczynę niezaliczania UoTD do statystyk. Na maila niestety nikt jeszcze nie odpisał, tak więc nie wiem czy na pewno problem jest rozwiązany, dowiemy się jak ktoś dostanie UoTD, konkurencja jest bardzo mała.

Teoretycznie miałem ukończone skrypty 'wyścigowe' ale wychodzi na to, że żeby to miało ręce i nogi muszę trochę zmienić podejście do generowania samych statystyk - najbezpieczniej jest stworzyć dodatkową tabelę i wpisywać do nich ID 'wyścigowych' WU w momencie kiedy były tworzone, a przy walidacji sprawdzać czy to wyścigowy WU i ewentualnie dopisywać punkty do statystyk wyścigowych. Inny sposób to wykorzystanie timestampów, na ich podstawie da się określić kiedy dany rezultat był stworzony i wysłany/odebrany (z tym chyba nawet mniej roboty).
Robiłem trochę wewnętrznych testów i wychodzi na to że inne podejścia kończyły się niezaliczaniem WU jako należących do wyścigu jeśli rezultat był wysłany w czasie wyścigu, a workunit stworzony był przed, albo jeśli rezultat był tworzony przed wyścigiem a wysłany w trakcie.  Na szczęście przeróbka z uwzględnieniem zmian to zaledwie parę dni.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 01 Grudzień 2008, 22:58
resetnięty
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: KrzychuP w 02 Grudzień 2008, 08:16
Cytat: Troll81 w 01 Grudzień 2008, 22:58
resetnięty
też
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Can-D w 02 Grudzień 2008, 12:10
Cytat2008-12-02 11:35:17|Enigma@Home|Sending scheduler request: To fetch work.  Requesting 31705 seconds of work, reporting 2 completed tasks
2008-12-02 11:35:27|Enigma@Home|Scheduler request succeeded: got 0 new tasks
2008-12-02 11:35:27|Enigma@Home|Message from server: No work sent
2008-12-02 11:50:45|Enigma@Home|Sending scheduler request: To fetch work.  Requesting 32891 seconds of work, reporting 0 completed tasks
2008-12-02 11:50:50|Enigma@Home|Scheduler request succeeded: got 0 new tasks
2008-12-02 11:50:50|Enigma@Home|Message from server: No work sent

Widzę,WU leżą na serwie,lecz na żadną z maszyn niechce mi pobrać do bufora.Coś może wiadomo dlaczego tak się dzieje?

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Grudzień 2008, 12:44
Z tego samego powodu co zwykle, dużo priorytetowych zadań do wysłania, a takie idą tylko do hostów z average turnaround < 3 dni.
To jest moja zmora, bo jedyne co mogę zrobić w takim wypadku to zwiększyć bufor do 10 dni na swoich maszynach, żeby zassać ile się da takich zadań.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: KrzychuP w 02 Grudzień 2008, 15:01
Zostałem dziś UOTD - co wyświetlił MyBoinc
Ciekawym, czy się utrzyma i zaliczy mi
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Bober w 03 Grudzień 2008, 22:24
Oooo. Enigma została wybrana PotM BOINC Synergy  :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Akira w 03 Grudzień 2008, 23:37
Cytat: TJM w 27 Listopad 2008, 16:32
Za każdym razem kiedy pokasuję profile (albo całe konta) spamerom, muszę zaczynać od nowa i przeglądać wszystkich userów/profile, bo niektóre konta zakładane są dużo wcześniej zanim zostaną wykorzystane do niecnych celów.
Niecne cele czyli rozsyłanie spamu po wiadomościach prywatnych?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 03 Grudzień 2008, 23:49
Akira czemu liczysz pod flagą ONZ zamiast naszego cudownego kraju??
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 21 Grudzień 2008, 19:21
Instalnąłem w końcu 64 bitowy system - ubuntu pod Wubi, po wielu godzinach walki z moim starym kontrolerem RAID w końcu poszło.
64 bitowy system + enigma wygląda bardzo obiecująco. Na dzieńdobry uruchomiłem pierwszą z brzegu aplikację którą miałem pod ręką - PIII 32bit. Czas wykonywania w porównaniu z najlepszym, eksperymentalnym exekiem pod Windows spadł o jakieś pół minuty, a aplikacje Win/inline cd2/ i Linux/PIII dzieli prawdopodobnie wydajnościowa przepaść, na korzyść windowsowej. Na dniach zassam kompilator Intela i zobaczę, czy da radę przygotować Linux/c2d inline exeka. Jeśli będzie jakiś zysk prędkości, to dłubnę kiedyś wolnym czasem w źródłach, bo na pewno da się część obliczeń trochę dopalić na 64 bitach (przynajmniej jedną funkcję).

EDIT: ups sorry pomyliłem się. Golas PIII 32bit na ubuntu 64 dyma Windowsowego Exeka nie o 30s tylko o minutę 30, z 16 minut czas spada do 14:30 na E7200@4.05GHz
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 22 Grudzień 2008, 07:32
Zatem czeka nas zacna przyszlosc :). Trza sie tylko Linuxa naumiec ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 28 Grudzień 2008, 23:43
http://www.bytereef.org/m4-project-blog.html  W koncu jakis news ;) Gratulacje  ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 31 Grudzień 2008, 10:25
Ma ktoś z was Maca %-) ?  Potrzeba skompilować w końcu nowe aplikacje, zwłaszcza Macowy wrapper jest skopany tak że praktycznie do niczego się nie nadaje. Osobnik który się tym wcześniej zajmował jest obecnie bardzo ciężko osiągalny, a kupować Maca tylko do kompilacji jakoś specjalnie mi się nie widzi.
Zwłaszcza, że nigdy nie miałem okazji na tym pracować, jedynie na uczelni widziałem Mace z odległości ~3m - bliżej takiego sprzętu chyba nigdy nie byłem.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Styczeń 2009, 01:55
Zainstalowałem dziś pod linuksem 11-stą odsłonę kompilatora Intela. Niestety po paru godzinach zabawy z różnymi opcjami i wersjami kodu uzyskałem wynik tylko symbolicznie szybszy od starej aplikacji PIII z gcc 3.2. Podejrzewam więc, że obecne exeki to kres możliwości kompilatorów i bez poważnych modyfikacji źródeł szybciej już nie będzie.

Gdyby komuś miało się to przydać, tu jest 64 bitowy exek pod linuksa http://plikens.no-ip.net/759xqs7r7/enigma.tgz

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Machloj w 18 Styczeń 2009, 02:29
hem...TJM - próbuje rozpakować to: http://plikens.no-ip.net/759xqs7r7/enigma.tgz i mi wyskakuje:
tar: This does not look like a tar archive
tar: Skipping to next header
tar: Error exit delayed from previous errors

wtf?? jak inaczej mogę to rozpakować?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Styczeń 2009, 02:40
Uploadnę jutro (jak nie zapomnę) poprawioną wersję. Ta była robiona jakimś debianowym tarem który miał chyba jakiegoś buga, bo widziałem że niedawno nowa wersja pojawiła się w repozytorium, a ostatnio nawet winrar burzył się przy próbie rozpakowania jakiegoś archiwum które przygotowywałem na tym systemie.
Chociaż to archiwum chyba było akurat sprawne, możliwe że walnęło się przy uploadzie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 18 Styczeń 2009, 09:44
Cytat: Machloj w 18 Styczeń 2009, 02:29
hem...TJM - próbuje rozpakować to: http://plikens.no-ip.net/759xqs7r7/enigma.tgz i mi wyskakuje:
tar: This does not look like a tar archive
tar: Skipping to next header
tar: Error exit delayed from previous errors

wtf?? jak inaczej mogę to rozpakować?

wszystko jest ok - Machlojku musisz to rozpakować tak:


gzip -d enigma.tgz

tar -xf enigma.tar


i już dostaniesz aplikację :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Machloj w 19 Styczeń 2009, 14:40
dzięki wielki emik :) już śmiga - ciekaw jestem rezultatów
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Styczeń 2009, 15:21
Rezultaty nie są zbyt zachwycające, przynajmniej na sprzęcie na którym testowałem. Różnica między tą wersją, a najszybszą Win32 sięga ledwo paru procent.
Myślę, że dałoby się przerobić program tak, żeby korzystał z 64 bitów przynajmniej częściowo (dałoby się np. dwie operacje dzielenia w pętli wymienić na duże, 64 bitowe liczby - dzielenie jest tylko po to, żeby utrzymać się w 32bitowym zakresie, ale nie sprawdzałem jeszcze jak duże przeróbki w całym programie trzeba byłoby zastosować).
Niestety każda większa modyfikacja wymaga testu poprawności algorytmów na znanych rozwiązaniach, a pełny test zajmuje ładne 2-3 tygodnie na średnim kompie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 19 Styczeń 2009, 15:33
mi niestety ta aplikacja wysypała wszystkie wu
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Styczeń 2009, 16:00
Zarzuć linkiem do rezultatów, to zobaczymy dlaczego.

Nawiasem mówiąc, pojawił się ostatnio dość poważny problem natury sprzętowo-sieciowej. Jeszcze nie w pełni zdiagnozowany - objawia się głównie tym, że łącze do serwera jest znacznie bardziej zapchane niż powinno. Normalnie router korzysta z QoS i tablic priorytetów, żeby odpowiednio rozdzielić transfer - upload/download server, scheduler - high priority, strona i forum - medium, statyczne pliki zasysane poprzez proxy - low, strona i forum dla wszystkich robotów - lowest. Niestety chyba router zaczął szwankować, bo podział ten działa znacznie gorzej (lub wcale). No chyba, że to coś na linii nie tak - ale to już technik z tepsy musi zobaczyć. W każdym razie do czasu wyjaśnienia (lub zakupu nowego routera, jeśli staremu coś odbija) łączność będzie lekko zakłócona.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 19 Styczeń 2009, 16:51
http://www.enigmaathome.net/result.php?resultid=2828942
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Styczeń 2009, 17:06
can't open job file ../../projects/www.enigmaathome.net/job_1.27.xml - podpada to raczej pod jakieś błędy app_info.xml
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 19 Styczeń 2009, 17:31
app_info brałem z tematu na forum o optymalkach

<app_info>
   <app>
      <name>enigma_m4_naval_2</name>
      <user_friendly_name>Enigma 0.76-Opt</user_friendly_name>
   </app>
   <file_info>
      <name>wrapper_5.22_i686-pc-linux-gnu</name>
      <executable/>
   </file_info>
   <file_info>
       <name>enigma_0.76_i686-pc-linux-gnu</name>
       <executable/>
   </file_info>
   <file_info>
       <name>00trigr.naval</name>
   </file_info>
   <file_info>
       <name>00bigr.naval</name>
   </file_info>
   <file_info>
       <name>ciphertext2</name>
   </file_info>
   <file_info>
       <name>job_1.15.xml</name>
   </file_info>
   <app_version>
      <app_name>enigma_m4_naval_2</app_name>
      <version_num>520</version_num>
      <file_ref>
         <file_name>wrapper_5.22_i686-pc-linux-gnu</file_name>
         <main_program/>
      </file_ref>
      <file_ref>
         <file_name>enigma_0.76_i686-pc-linux-gnu</file_name>
      </file_ref>
      <file_ref>
         <file_name>00trigr.naval</file_name>
         <copy_file/>
      </file_ref>
      <file_ref>
         <file_name>00bigr.naval</file_name>
<copy_file/>
      </file_ref>
      <file_ref>
         <file_name>ciphertext2</file_name>
<copy_file/>
      </file_ref>
      <file_ref>
         <file_name>job_1.15.xml</file_name>
         <open_name>job.xml</open_name>
      </file_ref>
   </app_version>
   <app>
      <name>enigma_m4_2</name>
      <user_friendly_name>Enigma 0.76b-Opt</user_friendly_name>
   </app>
   <file_info>
      <name>wrapper_5.22_i686-pc-linux-gnu</name>
      <executable/>
   </file_info>
   <file_info>
       <name>enigma_0.76_i686-pc-linux-gnu</name>
       <executable/>
   </file_info>
   <file_info>
       <name>job_1.16.xml</name>
   </file_info>
   <app_version>
      <app_name>enigma_m4_2</app_name>
      <version_num>522</version_num>
      <file_ref>
         <file_name>wrapper_5.22_i686-pc-linux-gnu</file_name>
         <main_program/>
      </file_ref>
      <file_ref>
         <file_name>enigma_0.76_i686-pc-linux-gnu</file_name>
      </file_ref>
<file_ref>
         <file_name>job_1.16.xml</file_name>
         <open_name>job.xml</open_name>
      </file_ref>
   </app_version>
</app_info>
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Styczeń 2009, 17:40
No ale definitywnie coś z nim jest nie tak, skoro nie można znaleźć pliku job_1.27 - anonymous platform z takiego pliku nie korzysta, za to korzysta domyślna aplikacja. Prawdopodobnie coś się powaliło i BOINC sam pokasował pliki, przez co zadania się sypnęły. Z jakiegoś powodu to dość częsta sytuacja przy podmiankach.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Machloj w 19 Styczeń 2009, 18:16
hmm...jaki jest średni czas liczenia awgly? bo u mnie po 25min jest dopiero 9% - to normalne?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Styczeń 2009, 18:47
Zależy jaki proc i który typ WU, najdłuższe liczą się trochę ponad 1h na procach 3,5GHz+
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Machloj w 19 Styczeń 2009, 18:51
T9300 - 2,5GHz - to coś z tym moim ubuntu jest nie tak - najpierw liczyłem WCG - ale próbki mi ponad 20h liczyło (inni po 4-5h), teraz po godzinie próbki awgly100_2_3622618r0_0 mam 21% - jak to działa na linuxie? trzeba może jakieś sterowniki zaktualizować sprzętowe czy jak?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Styczeń 2009, 20:06
Zamiast martwić się sterownikami, odpal top w konsoli i zobacz co tam siedzi i wciąga proca.

Tak to mniej więcej wygląda

(http://img172.imageshack.us/img172/1963/topdi6.png)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Machloj w 19 Styczeń 2009, 20:13
zainstalowałem sobie conky - i cały czas jak sprawdzałem to proces enigmy i wcg po 45-50% (dwa rdzenie), jak będę miał dostęp do kompa z linuksem to sprawdzę w konsoli
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Luty 2009, 12:28
Pojawił się jakiś bliżej niezidentyfikowany problem z assimilatorem/validatorem - gdy projekt czasami w impulsie rozpędza się powyżej 2000 Athlonów elektronicznych %-) validatory wyższego levelu potrafią losowo niektóre zadania oznaczać jako niepoprawne. Na chwilę obecną chociażbym na rzęsach stanął nie mam zielonego pojęcia dlaczego tak jest, więc tymczasowo wyłączyłem odejmowanie punktów za takie zadania, ale status invalid pozostaje. 
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 22 Luty 2009, 17:23
Korzystając z tego, że moc obliczeniowa projektu ostatnio znacznie podskoczyła (zapewne ma to związek ze spadkami punktacji w innych %-)) zmieniłem trochę ustawienia serwera, żeby ściągał więcej zadań hceyz72 niż awgly100. To dlatego, że tych pierwszych zostało bardzo mało, na dodatek większość to najkrótszy typ 0. Przy pomyślnych wiatrach (gdyby prędkość się utrzymała) koniec tego keyspace nadciągnie w ciągu 1-1,5 miesiąca.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Marzec 2009, 16:44
Kontrolę nad ściąganymi z serwerów M4 zadaniami pomału przejmuje bug po stronie serwera, nawet nie tyle bug co po prostu słaba wydajność bazy danych w porównaniu do zapotrzebowania skryptów na szybkość - kilka skryptów tworzących wewnętrzne statystyki (np. do oszacowania ile zadań ściągnąć i jakich) działa obecnie tak wolno, że zaczynają się zderzać ze sobą w czasie co jeszcze obniża ich prędkość działania aż do momentu kiedy padają od timeouta.
Problem niestety jest dość poważny bo na chwilę obecną nie widzę sposobu na przyspieszenie skryptów, a możliwości upgrejdu serwera niestety się już skończyły.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 09 Marzec 2009, 20:25
Czy zmniejszenie czestotliwosci odswiezania statystyk z 5 do 15 lub 30 minut bedzie mialo duzy wplyw na wydajnosc serwera ? Tak na prawde nikt co 5 minut nie przeglada statystyk jak sie zmieniaja.
Ewentualnie usuniecie jakiejs pozycji ktora strasznie obciaza skrypt aktualizacji stat.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Marzec 2009, 20:41
Zwykłe statystyki nie są w ogóle problemem, one są tworzone na żywo z tabel host/user/teams a te tabele są malutkie.
Problemem są różnego rodzaju wewnętrzne statsy służące do autopilotowania serwera (kiedy nie ma problemów wszystko chodzi z automatu, można śmiało zostawić bez doglądania). Te są generowane częściowo z głównej bazy danych (tu jeszcze nie ma dużego zonka, bo ta baza jest na osobnym serwerze i nie jest potrzebna w czasie rzeczywistym, mimo że jest ogromna na razie nie ma problemu) oraz z tabel result/workunit serwera BOINC. Tabela result jest największym wąskim gardłem, bo nie dość, że zawiera wiele rekordów (wszystkie zadania z ostatnich 2 tygodni, w tym momencie podchodzi pod coś koło 450 tysięcy) to na dodatek rekordy są duże objętościowo, sama tabela w porywach potrafi spokojnie przekroczyć parę GB wielkości.
Aktualnie myślę nad wywaleniem paru pól z XMLami z tabeli result do osobnej, muszę tylko zobaczyć jak wiele zmian po stronie serwera trzeba wprowadzić (bo niestety powstanie różnica w stosunku do oficjalnej wersji i trzeba będzie zmiany wprowadzać przy każdym upgrejdzie kodu), oraz przeprowadzić symulację opłacalności takiej zamiany - z jednej strony wszystko co nie potrzebuje tych pól będzie chodzić znacznie szybciej bo wielkość tabeli pewnie spadnie 10-krotnie; z drugiej strony wszystko co potrzebuje tych danych będzie wykonywać po dwa zapytania.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 23 Marzec 2009, 01:18
Podłubałem trochę w serwie, ciężko było bo ostatnio nie mam coś natchnienia (http://plikens.no-ip.net/988xsi06c/9ea81d7cb435ddca.gif)
Wreszcie baza działa na tyle sprawnie, że mogłem przeczesać ją skryptem pod kątem wyników które nie zostały z różnych powodów odesłane do serwera M4 (czasami zdarza się jakiś błąd w komunikacji, a że nie zawsze jest to błąd który sam minie, zadania takie są oznaczane i automat nie próbuje drugi raz ich odsyłać), nie wiedziałem nawet że w sumie było ich kilkadziesiąt tysięcy, po odesłaniu szacowany czas do końca keyspace skrócił się w sumie o miesiąc (http://plikens.no-ip.net/988xsi06c/9ea81d7cb435ddca.gif)

Fajnie by było jakby jakiś czas wszystko gładko chodziło, wreszcie byłby czas na poprawienie/dodanie paru pierdół które wiszą mi na liście zmian od dość dawna, jak np. logo czy błędy w certyfikacie %-)

Jutro chyba startuje nowa aplikacja dla Maców, dziś ją z grubsza przygotowałem ale ze względu na późną porę nie będę już dodawał, bo nie mam zamiaru w środku nocy wstawać jeśli coś nagle się sypnie  :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Marzec 2009, 19:03
I chwilowa przerwa w prawidłowym działaniu projektu ze względu na awarię gigabitowego switcha, przyniosłem już ze sklepu inny ale trzeba go przerobić na zasilanie z UPSa, trochę się zejdzie zanim serwery odzyskają łączność, podczas gdy będę kombinował.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 31 Marzec 2009, 16:12
Ostatnio jakieś ciężkie dni nadeszły dla projektu, dwa razy z rzędu w nocy brakło RAMu na moim http proxy, przez co serwer całkowicie przestawał odpowiadać. Choćbym osiwiał od myślenia nie wiem jak to możliwe, od samego początku konfiguracja tego proxy jest cały czas taka sama, nie powinna go zamulić nawet ekstremalna liczba requestów, bo przy więcej niż 20 na raz odrzuca kolejne połączenia. Jedyne co mi do głowy przychodzi, to że zamulił się któryś ze skryptów pobierających statystyki i nie zamykał się poprawnie, przez co kumulowała się liczba uruchomionych kopii, ale to też naciągana teoria. W każdym razie dodałem do skryptów sprawdzanie, czy już nie są uruchomione, zobaczymy czy kolejną noc serwer przetrwa  XD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Kwiecień 2009, 20:03
Dorzuciłem ostatnio jeszcze jeden dysk do serwera projektu, żeby trochę odciążyć inny dysk, wygląda na to, że spowodowało to problemy. Serwer od tamtej pory 3 razy już się zwiesił z kernel panic, w logach śladów żadnych nie ma, przy zwisie jest na ekranie końcówka komunikatu o błędzie, ale to co by mnie najbardziej interesowało jest wyżej, a ekranu przewinąć się nie da  :D
Widziałem jednak przy jednym ze zwisów, że po fakcie nowo podłączony dysk nie ujawnił swojej obecności nawet dla BIOSu, więc to pewnie on destabilizuje sprzęt. Dziwne, bo wyjąłem go z innego serwera gdzie przestał być potrzebny a działał kilka miesięcy bez najmniejszych problemów.
Mam nadzieję, że po prostu gryzie się z kontrolerem i mam zamiar wyłączyć na chwilę serwer żeby podpiąć dodatkowy kontroler na PCI.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 01 Maj 2009, 17:45
Dwie przerwy w działaniu projektu dzisiaj, wszystko przez dziadowski switch. Coś się w nim mota przy zasilaniu z przetwornicy 12V->7V (używam takich do zasilania urządzeń typu switche/routery z jednego z serwerów - wychodzi taniej niż osobny zasilacz do każdego złomu). Przy oryginalnym 7V zasilaczu chodzi dobrze, wkurzony rozebrałem go dziś (bajbaj gwarancja) i zauważyłem, że w środku i tak jest przetwornica, na pierwszy rzut oka będąca w stanie pracować z napięciem wejściowym do 25V (limitują je kondensatory na wejściu, sam układ przetwornicy katalogowo 40V). Podłączyłem więc zasilanie prosto z +12V z kompa i jak na razie chodzi, nic się nie przegrzewa więc może będzie tak działał. Jedynie przetwornica trochę szumi, ale po założeniu obudowy nic nie widać, poza tym właśnie zalałem jej cewki klejem  XD


EDIT: Chyba po switchu, dalej się motał i chyba padła ta wbudowana przetwornica, widzę że było wbudowane zabezpieczenie przed większym napięciem, więc może uda mi się dobudować w środku 3.3V zasilacz, tymczasem serwer śmiga na jednej sieciówce z trzech a w jakiś magiczny sposób wszystkie 3 wewnętrzne IP są widoczne w sieci  :o
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 01 Maj 2009, 19:24
@TJM przy okazji zerknij na czas systemowy serwera,
w niektórych przypadkach aktualizacja statystyk wygląda jakby to były dane z przyszłości ok +10min  ;)

chyba, że nie potrzebnie oddaję 2h do czasu utworzenia plików, dziwne, dotychczas system sam dodawał 2h do time_UTC, teraz dodałem przesuniecie ręcznie (tak duże opóźnienie statów byłoby również dziwne), wszystko wskazuje na zegar systemowy (mogę się mylić)

np:
19:00-19:15 - pojawiają się pliki datowane na 17:25
19:18 - ściągnięcie danych
19:23 - wysłanie na forum B@P (po dodaniu 2h wychodzi, że o 19:15 dostępne są dane z 19:25)



EDIT: a tak przy okazji, czy są jakieś plany dotyczące wyścigu w projekcie ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 01 Maj 2009, 23:04
jak optymalki do milki? coś się zmieniało - w końcu to teraz proj miesiąca i warto odświeżyć sobie tę wiedzę %)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Maj 2009, 00:03
Cały wolny czas dziś poszedł na walkę z tym cholernym switchem, ale chyba przerobiłem dziada :D Oryginalna przetwornica umarła całkiem, znalazłem jednak EZ1585CT/3.3 wyjętą ze starego Voodoo3 PCI. 'Trochę' kombinowania, stare układy wyłupałem śrubokrętem, wyjąłem trochę zbędnych elementów i zastępcza weszła na miejsce starej razem z radiatorem:

Oryginał tuż przed rozbiórką:

(http://img27.imageshack.us/img27/5527/switchd.png)

i po przeróbce:

(http://img231.imageshack.us/img231/7702/20090501010.png)


I nawet mam dowody niezbite, że to działa:

http://www.youtube.com/watch?v=GN3BXb5g9Ug

http://www.youtube.com/watch?v=b0_0zAavqIw


W kwestii optymalizacji - dla Intela najlepsze powinny być te ostatnio uploadowane w tym poście (z wyjątkiem tych, które nie działają %))
Dla AMD możecie pożebrać u tego gościa http://www.enigmaathome.net/show_user.php?userid=2629 - ma chyba najszybsze exeki pod AMD i do tego 64-bitowe, weryfikowałem na jego prośbę rezultaty nawet ręcznie na kartce papieru i wszystko wygląda ładnie, więc chyba można używać. Niestety linux only.

Czas serwera jest chyba synchronizowany z atomowym bigbenem, ale zobaczę jeszcze jak to wygląda - możliwe, że kiedy pada sieć przestawia się z jakiegoś powodu, a wczoraj i dziś padów sieci chyba z tysiąc miałem.

Co do wyścigu - jeśli ktoś pomoże przy organizacji, to nie widzę problemu, żeby coś wykombinować, serwer jest w stanie zwrócić w jakimś wygodnym formacie dane potrzebne do wygenerowania w 100% zgodnych z rzeczywistością wyników (z punktu widzenia czasu pobrania i odesłania zadań, tak jak w PrimeGrid).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Maj 2009, 00:43
Tutaj jest chyba najszybsza 32 bitowa aplikacja pod procki Intela http://plikens.no-ip.net/1125x81zs7/enigma0.76windowsintelx86.rar - sam exek, reszta fantów jest w poście na forum projektu http://www.enigmaathome.net/forum_thread.php?id=17


EDIT: zmieniłem serwer NTP według którego aktualizował się czas serwera (i narzędzie z jakiegoś skryptu na ntpdate), bo stary odpowiadał tak wolno, że w rezultacie wskakiwał jakiś dziwny offset i progs ustawiał czas 6-8 minut do przodu.
Teraz czas serwera jest niby naszym czasem lokalnym, chyba nie widzę przeszkód żeby tak nie było - wcześniej był (teoretycznie) GMT+0.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 02 Maj 2009, 11:26
Optymalki dla proców AMD pod linuksa 64 i 32.
http://www.adrive.com/public/5648c9d2e9777e85c73b2b906f65d6dccd008c60943710652ade106a81dd6a75.html (http://www.adrive.com/public/5648c9d2e9777e85c73b2b906f65d6dccd008c60943710652ade106a81dd6a75.html)
Należy dorzucić app_info.xml i zmienić nazwę aplikacji. Dokładna instrukcja jest tu.
http://www.enigmaathome.net/forum_thread.php?id=17 (http://www.enigmaathome.net/forum_thread.php?id=17)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: 3Rni w 02 Maj 2009, 11:31
a co aktualnie obowiązuje pod win64 intel ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Simek w 02 Maj 2009, 11:46
Cytat: ERni w 02 Maj 2009, 11:31
a co aktualnie obowiązuje pod win64 intel ?

http://plikens.no-ip.net/1125x81zs7/enigma0.76windowsintelx86.rar

Rozmawiałem z TJM i nie ma sensu używania aplikacji 64 bitowej, ponieważ zysk był by praktycznie żaden,  a powyższa aplikacja 32 bitowa jest aktualnie najszybsza, używam jej na 64 bitowym systemie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 02 Maj 2009, 19:48
Cytat: buninek w 02 Maj 2009, 11:26
Optymalki dla proców AMD pod linuksa 64 i 32.
http://www.adrive.com/public/5648c9d2e9777e85c73b2b906f65d6dccd008c60943710652ade106a81dd6a75.html (http://www.adrive.com/public/5648c9d2e9777e85c73b2b906f65d6dccd008c60943710652ade106a81dd6a75.html)

Zatem przerzucam mojego glownego Enigmowego kompa na Linuksa :).


Cytat: Simek w 02 Maj 2009, 11:46
(...)powyższa aplikacja 32 bitowa jest aktualnie najszybsza, używam jej na 64 bitowym systemie.

Ja rowniez i nie narzekam :).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 03 Maj 2009, 23:06
Lekka kapa jest, serwer M4 coś muliście odpowiada i w związku z tym pojawiły się braki nowych zadań. Napisałem do Stefana Kraha, ale nie wiem kiedy można spodziewać się odpowiedzi.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: KrzychuP w 03 Maj 2009, 23:24
Cytat: Simek w 02 Maj 2009, 11:46
Cytat: ERni w 02 Maj 2009, 11:31
a co aktualnie obowiązuje pod win64 intel ?
http://plikens.no-ip.net/1125x81zs7/enigma0.76windowsintelx86.rar

Uwaga! Przed zmianą aplikacji lepiej doliczyć aktualne próbki do końca. U mnie wywaliło rozpoczętą, po zamianie na tą optymalkę.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 03 Maj 2009, 23:35
To chyba standard w BOINCu przy przesiadce między różnymi wersjami aplikacji, akurat wszystkie enigmy są ze sobą kompatybilne, ale błąd i tak wyskakuje tak 'dla zasady'.
Czasami też wywala cały bufor, ale dlaczego - najstarsi indianie nie wiedzą.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 04 Maj 2009, 00:52
hmm TJM czyzby cos sie dzialo z serwerem ?
3 May 2009 22:50:07 UTC, updated every 5 minutes.
Results ready to send   0
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 04 Maj 2009, 09:09
U mnie też zero WU. Resetowanie projektu i aktualizowanie go nie pomaga....  :-\
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 04 Maj 2009, 09:31
Cytat: lukaszde w 04 Maj 2009, 00:52
hmm TJM czyzby cos sie dzialo z serwerem ?
3 May 2009 22:50:07 UTC, updated every 5 minutes.
Results ready to send   0

Cytat: Troll81 w 04 Maj 2009, 09:09
U mnie też zero WU. Resetowanie projektu i aktualizowanie go nie pomaga....  :-\


Cytat: TJM w 03 Maj 2009, 23:06
Lekka kapa jest, serwer M4 coś muliście odpowiada i w związku z tym pojawiły się braki nowych zadań. Napisałem do Stefana Kraha, ale nie wiem kiedy można spodziewać się odpowiedzi.




szczęśliwi ci co mają wu w buforku XP
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: KrzychuP w 04 Maj 2009, 09:38
Cytat: emik w 04 Maj 2009, 09:31
szczęśliwi ci co mają wu w buforku XP

:arrr: :arrr: :arrr:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 04 Maj 2009, 10:45
Zadania są ale po prostu za mało żeby utrzymać pełny bufor na serwerze, z jakiegoś powodu serwer M4 dalej kiepawo działa 400-500 zadań na godzinę to max co da się ściągnąć, a potrzeba co najmniej 700-800 dla pełnej płynności.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 04 Maj 2009, 11:03
Wina softu, czy hardware? Jesli chodzi o oprogramowanie BOINC`owe to sorry, ale jesli to cos, cokolwiek hardware`owego to rzuc problem tutaj - moze cos poradzimy. Co tysiac glow to nie jedna :).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: 3Rni w 04 Maj 2009, 12:33
hmm trochę kulawo a miałem dziś odpalić kilka dopalaczy a tymczasem główna flota zaczyna się obijać z braku wu....

nie ma szans na więcej wu?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 04 Maj 2009, 12:35
Po prostu serwer M4 odpowiada wolno, nic na to nie jestem w stanie poradzić. Dziwna sprawa, bo u mnie wszystko wygląda ok, na trasie pakietów wszystko wygląda ok, u Stefana wszystko też wygląda ok, a jednak komunikacja jako całość KULEJE. Chwilami jest lekka poprawa, ale na razie kiszka i tak.
Wniosek z tego prosty, jak tylko serwer zacznie działać normalnie, wracam do starego bufora lokalnego o wielkości 100,000 zadań. Baza wtedy działa 100 razy wolniej ale przynajmniej w razie problemów bufor starcza na kilka dni  ;D
Btw, rzućcie okiem na to http://www.enigmaathome.net/forum_thread.php?id=109

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 04 Maj 2009, 13:00
Cytat: TJM w 04 Maj 2009, 12:35
Btw, rzućcie okiem na to http://www.enigmaathome.net/forum_thread.php?id=109


Ja już od soboty testuję. Nawet nie wiedziałem o istnieniu kompilatora od AMD.
Możliwości ma spore.
Na razie żadna z moich kompilacji z użyciem Open64 nie jest lepsza od tej z gcc-3.4.6.
Moje czasy AMD x2 4200@2730 to
gcc-3.4.6 - 2:59s
Open64    - 3:17s

EDIT:
Pobrałem te kompilacje i zrobiłem test na jedenej z nich.
enigma_0.76_i686-pc-linux-gnu_Athlon64_64
3:19s :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 04 Maj 2009, 18:54
Sytuacja z serwerem M4 chyba wróciła do normy, na wszelki wypadek nachapałem już 50,000 zadań do bufora, jak serwer trochę odsapnie nachapię od razu ze 200k - w razie kolejnych problemów tyle powinno wystarczyć na parę dni.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Maj 2009, 11:49
W okolicach łikendu (prawdopodobnie niedziela, albo noc z soboty na niedzielę) chyba nastąpi przerwa techniczna na backup całości, upgrade serwera do nowszej wersji i przerzucenie tabeli results na i-RAMa - majowy PoTM ładnie w palnik daje serwerowi i przed chwila ktoś dzwonił, że scheduler przy próbie połączenia daje cynk o problemach z MySQLem, sprawdziłem i rzeczywiście tak było  :attack:

(http://plikens.no-ip.net/1152xeskah/7maj2009.png)

Jak widać serwerek trochę się przeciążył  :D

Do tego czasu muszę jakoś ustalić sposób synchronizacji tabeli (pojedyńczy plik, po prostu softlinkowany do struktury katalogów MySQLa) na potencjalnie ulotnym w razie problemów nośniku, jak na razie jedyny pomysł jaki mam, to replication slave na hdd, tylko pytanie czy w razie czego tabelę da się po prostu skopiować.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 07 Maj 2009, 11:57
a mnie nadal nie pobiera WU :( resetowanie projektu i update nie pomaga :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Maj 2009, 12:07
Nie masz czasami managera w wersji 6.6.x z 'x' poniżej 19 ? Tam w nich był taki śmieszny bug, że czasami pobierało tylko jeden workunit i więcej nie chciało, nawet na wieloprocesorowych maszynkach czasami kisiło się z jednym.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 07 Maj 2009, 12:12
sprawdzę jak wrócę, ale dzięki za cynk
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 07 Maj 2009, 13:33
TJM czyli to oznacza, ze aktualna liczba userow liczacych w projekcie to w zasadzie gorna granica tego co pociagnie serwer ?  ???
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 07 Maj 2009, 14:11
nie każdy ma w domu serwerownie :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Maj 2009, 14:39
Mniej więcej połowa górnej granicy, bo przełączając parę rzeczy wydajność serwera rośnie ponad dwukrotnie. Największy wpływ ma proporcja hceyz72/awgly100, bo te drugie workunity są średnio ponad 2 razy dłuższe, więc mniej ich potrzeba w bazie przy takiej samej średniej prędkości projektu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 07 Maj 2009, 20:21
2009-05-07 20:17:44   Enigma@Home   Resetting project
2009-05-07 20:17:46   Enigma@Home   Sending scheduler request: Requested by user.
2009-05-07 20:17:46   Enigma@Home   Requesting new tasks
2009-05-07 20:17:51   Enigma@Home   Scheduler request completed: got 0 new tasks
2009-05-07 20:17:54   Enigma@Home   Started download of enigma_icon.png
2009-05-07 20:17:54   Enigma@Home   Started download of enigma_slide_01.png
2009-05-07 20:17:56   Enigma@Home   Finished download of enigma_icon.png
2009-05-07 20:17:56   Enigma@Home   Started download of enigma_slide_02.png
2009-05-07 20:17:57   Enigma@Home   Finished download of enigma_slide_01.png
2009-05-07 20:17:57   Enigma@Home   Started download of enigma_slide_03.png
2009-05-07 20:17:58   Enigma@Home   Finished download of enigma_slide_02.png
2009-05-07 20:17:58   Enigma@Home   Started download of enigma_slide_04.png
2009-05-07 20:18:00   Enigma@Home   Finished download of enigma_slide_03.png
2009-05-07 20:18:00   Enigma@Home   Started download of enigma_slide_05.png
2009-05-07 20:18:01   Enigma@Home   Finished download of enigma_slide_04.png
2009-05-07 20:18:01   Enigma@Home   Finished download of enigma_slide_05.png
2009-05-07 20:18:01   Enigma@Home   Started download of enigma_slide_06.png
2009-05-07 20:18:01   Enigma@Home   Started download of enigma_slide_07.png
2009-05-07 20:18:02   Enigma@Home   Finished download of enigma_slide_06.png
2009-05-07 20:18:02   Enigma@Home   Started download of enigma_slide_08.png
2009-05-07 20:18:02   Enigma@Home   Sending scheduler request: Requested by user.
2009-05-07 20:18:02   Enigma@Home   Requesting new tasks
2009-05-07 20:18:03   Enigma@Home   Finished download of enigma_slide_07.png
2009-05-07 20:18:05   Enigma@Home   Finished download of enigma_slide_08.png
2009-05-07 20:18:08   Enigma@Home   Scheduler request completed: got 0 new tasks

data-driven web pages   Scytheran   Running
work wrapper, master db   Pedziwiatr   Running
upload/download server   Ravager   Running
scheduler   Ravager   Running
feeder   Ravager   Running
transitioner   Ravager   Running
file_deleter   Ravager   Running
db_purge   Ravager   Running
vassalidator   Ravager   Running

hceyz72
workunits remaining    1661110
workunits done    4032890
keyspace walks    354.14/500
workunits/day    36597
Projected completion time    22.06.2009
awgly100
workunits remaining    4002310
workunits done    1691690
keyspace walks    148.55/500
workunits/day    5285
Projected completion time    04.06.2011
server stats
Workunits validated last hour    1026
CPU hours/hour1    4755
Error rate2   2.346%
Result average turnaround time3   1.62d
Wrapper's local buffer state
Input4   188697
Output5   0
Server state
Results ready to send6   2,109
High priority results7   0
Results in progress   67,356
Workunits waiting for validation   0
Workunits waiting for assimilation   21
Workunits waiting for deletion   0
Results waiting for deletion   0
Transitioner backlog (hours)   0

no to ja już nie rozumim. WU na serwerze zalegają a mi scheduler odpowiada "dupa"

nowy manager zainstalowany (6.6.20)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 07 Maj 2009, 20:27
zainstaluj najnowszy ten "nie stabilny", bo 6.6.20 u mnie też miewał problemy z downloadem WU
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Maj 2009, 21:42
Trochę to dziwne, bo manager requestuje zadania, więc nawet jeśli chce tylko 1 sekundę pracy, powinien dostać chociaż jedno.
Jaki to id hosta ? Mogę sprawdzić logi schedulera i zobaczyć dlaczego nic nie wysyła.
Jest jeszcze opcja, że trafiasz w momenty kiedy feeder jest pusty, feeder trzyma na raz chyba tylko 50 zadań, a tyle może wyssać jeden host jednym requetem, potem napełnia się od nowa. Ale rozumiem trafić tak raz czy dwa razy pod rząd - to nic strasznego, po to mamy w BOINCu bufory. Ale trafiać tak cały czas to musiałby być jakiś gruby zonk %-)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 07 Maj 2009, 21:49
3147 to mój id hosta
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Maj 2009, 22:35
Cytat

2009-05-03 02:13:31.4030 [PID=28724] [normal  ]  Request: [USER#1482] [HOST#3147
] client 6.4.7, work req 117552 sec
2009-05-03 02:13:31.4140 [PID=28724] [normal  ]   Sending reply to [HOST#3147]:
0 results, delay req 86400.000000 [scheduler ran 0.749412 seconds]


I to jest dziwne, bo zaraz po tym kilka innych hostów się łączyło i dostawało zadania. Możesz luknąć w parametry typu rdcf itp i zobaczyć, czy nie ma tam jakichś niespotykanych cudów ? Delay req 86400 to chyba 24h, tak jakby coś było bardzo źle (np. daily quota = 1)

Ten 6.6.20 po prostu nic nie requestuje:

Cytat
2009-05-07 19:42:33.8923 [PID=25625] [normal  ]  Request: [USER#1482] [HOST#3147
] client 6.6.20, work req 0 sec
2009-05-07 19:42:33.8935 [PID=25625] [normal  ]   Sending reply to [HOST#3147]:
0 results, delay req 242.400000 [scheduler ran 0.539885 seconds]
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 07 Maj 2009, 23:20
teraz to już mam 6.6.28 :D i dalej gówn@#$%

a gdzie ja ci ten parametr rdcf znajdę???
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 07 Maj 2009, 23:46
taa te nowe 'managiery" mają wyraźny problem z pobieraniem zadań... np. Milka - ponad 800 WU w bazie a ten przez godzinę nic nie ciągnie... żal.pl normalnie...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Maj 2009, 23:54
Tutaj wina na pewno nie leży w managerze, może jedynie w tym 6.6.20

Teraz 6.6.28 i powrót do request delay 24h:

2009-05-07 22:07:19.4842 [PID=21590] [normal  ]  Request: [USER#1482] [HOST#3147
] client 6.6.28, work req 2797 sec
2009-05-07 22:07:19.5129 [PID=21590] [normal  ]   Sending reply to [HOST#3147]: 0 results, delay req 86400.000000 [scheduler ran 0.627531 seconds]

Zatrzymałem na chwilę projekt i włączę najwyższy level logowania schedulera, zobaczymy co się zmieni.

EDIT: możesz zaktualizować projekt parę razy ? Zobaczę wpisy w logach.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pantarhei w 08 Maj 2009, 08:43
Sorry, że w tym wątku to piszę ale nie znalazłem odpowiedniejszego.
Mam pewne wątpliwości, co do projektu ENIGMA w ogóle.

Jak można przeczytać na stronie głównej projektu, zajmuje/zajmował się on złamaniem trzech szyfrogramów z niemieckich okrętów. Dwa zostały odczytanie w zaledwie trzy miesiące od uruchomienia projektu w styczniu 2006 r.

Dziwi mnie, że przez kolejne dwa lata nie udało się złamać ostatniego i zastanawiam się, co tak naprawdę liczymy.

A może czegoś nie doczytałem bo słabo znam angielski.  ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lolek w 08 Maj 2009, 09:25
Takie pytania to chyba nailepjej do TJM
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: KrzychuP w 08 Maj 2009, 10:01
Dla mnie seria 6.6.x managerów jest spalona. Jedyna słuszna wersja to 6.5.0.
Wszystko działa, bufor napchany, ile mu każę.
AiDec pewnie też to potwierdzi ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 08 Maj 2009, 10:06
TJM rządzi projektem. Z tego co wiem to łamiemy szyfry metodą brute-force. a to oznacza że czasem możesz zgadnąć klucz już po 5 minutach a czasem po 2 latach :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 08 Maj 2009, 10:13
dziś ok 9:30 aktualizowałem chyba ze dwa razy a teraz jestem w roboci. Jak wrócę to znów poaktualizuję.

A jak nie będzie działać to 6.5.0 zainstaluję
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pantarhei w 08 Maj 2009, 10:18
Rozumiem. Ale zakładam, że projekt w początkach swojego istnienie w BOINC miał wielokrotnie mniej użytkowników niż dziś, a mimo to udało się im wykonać 2/3 roboty w trzy miesiące.
Wydaje się że z rachunku prawdopodobieństwa wynika, że trzeci kod powinien się już dawno doliczyć.

A w jaki sposób można zapytać TJM o te moje rozterki?
:book:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: KrzychuP w 08 Maj 2009, 10:28
Możesz napisać do niego na PW
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 08 Maj 2009, 10:55
Cytat: KrzychuP w 08 Maj 2009, 10:01
Dla mnie seria 6.6.x managerów jest spalona. Jedyna słuszna wersja to 6.5.0.
Wszystko działa, bufor napchany, ile mu każę.
AiDec pewnie też to potwierdzi ;)

Tak, masz racje Krzychu. Calkowicie potwierdzam. Przede wszystkim 6.5.0 byla naprawde bardzo udana wersja, natomiast na przeciwnym biegunie sa WSZYSTKIE 6.6.x do dnia dzisiejszego. Jeszcze nie spotkalem sie z calkowicie poprawnie dzialajaca 6.6.x. Co wiecej, wszystko wskazuje na to ze kazda kolejna jest coraz bardziej zamotana :(. Byly jeszcze wspaniale wersje 6.3.19 i 6.3.21, ale one nie obslugiwaly CUDA.

Trollu, odinstaluj BM calkowicie, zrestartuj kompa, przeczysc rejestr i wyrzuc pozostalosci po dotychczasowych BM (skasuj folder BOINC i co tam jeszcze masz), zrestartuj ponownie, zainstaluj 6.5.0 i ciesz sie zyciem. Jeszcze mi sie nie zdazylo zeby ta wersja robila JAKIEKOLWIEK problemy. Zawsze, wszystko w 100% dzialalo prawidlowo. Instalacja 6.5.0 (po wyczyszczeniu pozostalosci starych BM) da Ci jeszcze jedna zalete - jesli mimo wszystko nie bedziesz mogl pobrac probek, to daje Ci 100% gwarancje ze to nie wina BM.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 08 Maj 2009, 11:05
tylko co zrobić z próbkami???
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 08 Maj 2009, 11:07
Cytat: Pantarhei w 08 Maj 2009, 08:43
Sorry, że w tym wątku to piszę ale nie znalazłem odpowiedniejszego.

Mamy caly dzial poswiecony Enigmie, a odpowiedniejszy watek to ten :):

http://www.boincatpoland.org/smf/enigmahome-78/tworzenie-projektu-czyli-powstanie-i-ewolucja-enigmahome/msg67137/#new

I zapewniam Cie ze TJM (tfórca projektu) zaglada tam bardzo czesto i na pewno odpowie na Twoje pytania :).


Cytat: Pantarhei w 08 Maj 2009, 08:43
A może czegoś nie doczytałem bo słabo znam angielski.  ;)

TJM jest Polakiem i angielski nie jest Ci potrzebny w rozmowie z Nim :). Powodzenia w uzyskiwaniu odpowiedzi  :arrr:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 08 Maj 2009, 11:09
Cytat: Troll81 w 08 Maj 2009, 11:05
tylko co zrobić z próbkami???

A koniecznie je potrzebujesz? ;). Sciagna sie nowe  %). A skasowac WSZYSTKO naprawde powinienes. Mozliwe ze Twoj poprzedni BM pozostawil jakies smieci i kiedy zainstalowales a raczej nadpisales 6.6.28 pozostawione smieci nie pozwalaja Twojemu BM dzialac prawidlowo.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 08 Maj 2009, 11:33
ale z innymi projektami nie mam problemu. Wystarczy reset projektu i ciągnie próbki aż miło. tylko enigma mi tak fika. A jak już mam 50 godzni próbki climate przeliczone i jeszcze ok 70 innych wu w połowie przerabiania, to trochę szkoda wyciąć kilka dni pracy mojego kompa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 08 Maj 2009, 11:34
Poza tym enigma jest open source i nikt nie przeszkadza ci w obejrzeniu kodu aplikacji a nawet przejrzeniu zawartości próbki :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: KrzychuP w 08 Maj 2009, 11:39
hmm, no nie wiem czy taki radykalizm jest potrzebny
przy próbach na 6.6.x też miałem problemy z pobieraniem próbek, a po nadinstalowaniu 6.5.0 na 6.6.x wszystko wróciło do normy, bez konieczności kasowania wszystkich pozostałości po Boinc przed ponowną instalacją
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 08 Maj 2009, 12:01
Zatem zrob sobie najpierw kopie BOINC`a. Czy tez backup calego systemu (tez nie zaszkodzi ;) ).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pantarhei w 08 Maj 2009, 12:35
Cytat: Troll81 w 08 Maj 2009, 11:34
Poza tym enigma jest open source i nikt nie przeszkadza ci w obejrzeniu kodu aplikacji a nawet przejrzeniu zawartości próbki :D
W wolnej chwili przejrzę sobie kody programu :) Z pewnością w lot pojmę co tam stoi bo jakieś piętnaście lat temu miałem w podstawówce 5 z informatyki.  ;)
Dzięki za rady. Już, zgodnie z sugestią , napisałem do TJM, po polsku na PW.
:respect:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Maj 2009, 15:22
W logu jest cały czas work req 0 secs, więc pachnie jakimś grubym bugiem managera. Lepiej zamiast go od razu zamieniać, powłączaj jakieś debug flagi w cc_config i spróbuj rozkminić o co mu chodzi, przyczynisz się do rozwoju tych niedopracowanych wersji %)
Spróbuj może też na chwilę ustawić bufor na 10 dni i wstrzymać inne projekty, zauważyłem że czasami to pomaga odblokować się managerowi jeśli jest nieśmiały i nie próbuje zasysać próbek z projektu. Najwyżej potem nadmiar anulujesz, nie jest to szkodliwe w żaden sposób.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 08 Maj 2009, 15:46
bufor jest na 10 dni :D a dziś rano specjalnie wstrzymałem wszystkie inne projekty. Dla przykłady gdy zrobiłem coś takiego z YOYO to od razu zaczeło mi wręcz srać próbkami :D a enigma ni huhu. Jak wrócę to ustawię flagi :D i obaczym :D daj mi na pw swój numer gg to pogadamy jak z pracy wyjdę :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: RAD-Poland w 08 Maj 2009, 17:15
a ja z innej beczki, problem z usuwaniem aplikacji z pamięci (EDIT: WinXP32 + aplikacja z tego tematu (http://www.boincatpoland.org/smf/enigmahome-78/tworzenie-projektu-czyli-powstanie-i-ewolucja-enigmahome/msg66395/#msg66395))

używam tego samego Manager Boinc we wszystkich niżej wymienionych projektach PrimeGrid (AP26/PSP_sieve), Einstein ,Climate ,Sztaki, Spinhenge, WCG (5 podprojektów), Cosmology(old), LHC i nie miałem z nimi problemu w tym miesiącu przyłączyłem Enigmę

mam ustawioną opcję pracy boinc "tylko kiedy komputer nie używany" oraz odznaczone "pozostawianie aplikacji w pamięci", w momencie uaktywnienia się użytkownika wszystkie procesy obliczeniowe związane z boinc znikają, w przypadku uruchomionego projektu Enigma pozostaje proces enigma_app i wrapper_enigmy przyczym nie obciążają CPU 0%, co ciekawe skilowanie tych procesów nie powoduje uszkodzenia próbki (gdybym procesy były używane spowodowałyby uszkodzenie przeliczanych próbek lub ich restart)

dla przykładu uruchomione były jednocześnie 2 Prime i 2 Enigmy (po uaktywnieniu się użytkownika, procesy prime wyłączyły się, a enigmy+wrappery zostały) co skłania mnie do napisania w tym wątku dotyczącym Enigmy

oczywiście mogę się mylić i problem leży po stronie Managera(clienta boinc), ale może macie jakieś sugestie dotyczące tej sytuacji
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 08 Maj 2009, 17:37
Jedyne co moge napisac, to potwierdzic ta sytuacje. Tyle tylko ze ja mam to od ponad pol roku, pod wieloma roznymi BM i na zupelnie roznych kompach. Innymi slowy taka sytuacja miala miejsce `od zawsze`, albo przynajmniej odkad ja licze. Jakos mi to nigdy nie przeszkadzalo. IMHO BM nie calkiem poprawnie obsluguja wrappery. Ale to tylko IMHO.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 08 Maj 2009, 18:36
może mi ktos powiedzieć skąd zassać 6.5.0 bo na stronie boinc jest 6.4.7 a potem od razu 6.6.xx albo może ktoś będzie tak dobry by mi wysłać
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 08 Maj 2009, 18:53
Cytat: Troll81 w 08 Maj 2009, 10:13
dziś ok 9:30 aktualizowałem chyba ze dwa razy a teraz jestem w roboci. Jak wrócę to znów poaktualizuję.

A jak nie będzie działać to 6.5.0 zainstaluję
Czy w client_state.xml i client_state_prev.xml masz poprawne adresy schedulera?

<scheduler_url>http://www.enigmaathome.net/enigma_cgi/cgi</scheduler_url>

Jako mało wymagający liczydłowy (liczę głównie jeden projekt i nie korzystam z GPU), nie zauważyłem wielkich różnic pomiędzy rożnymi wersjami managerów.
Obecnie jadę na 6.6.25. Jedyny minus to zwiększony apetyt na RAM. W 24h od startu pożarł 25MB. Przy starcie 5MB. Trzeba powrócić do poprzedniego.

Katalog boincowy jest ciągle ten sam. Pliki time_stats_log oraz job_log_boinc* zawierają całą historię mojego liczenia.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 08 Maj 2009, 18:59
adres schedulera poprawny

Po restarcie kompa dostałem dodatkowo taki bonus
2009-05-08 18:46:53   Enigma@Home   Message from server: No work sent
2009-05-08 18:46:53   Enigma@Home   Message from server: Your app_info.xml file doesn't have a version of Enigma 0.76b.
??? i tu zaliczyłem zonka. Bo mam optymalkę zassaną z linka podanego tu ostatnio

zrobię roll back optymalki
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 08 Maj 2009, 19:21
Przypadkiem nie ładujesz na siłę optymalki bez odpowiedniego app_info.xml.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 08 Maj 2009, 19:33
w app_info jest nazwa execa i nazwa wrappera  takie jakie leżą u mnie na dysku

Cytat<app_info>
   <app>
      <name>enigma_m4_naval_2</name>
      <user_friendly_name>Enigma 0.76-Opt</user_friendly_name>
   </app>
   <file_info>
      <name>wrapper_5.17_windows_intelx86.exe</name>
      <executable/>
   </file_info>
   <file_info>
       <name>enigma_0.76_windows_intelx86.exe</name>
       <executable/>
   </file_info>
   <file_info>
       <name>00trigr.naval</name>
   </file_info>
   <file_info>
       <name>00bigr.naval</name>
   </file_info>
   <file_info>
       <name>ciphertext2</name>
   </file_info>
   <file_info>
       <name>job_1.14.xml</name>
   </file_info>
   <app_version>
      <app_name>enigma_m4_naval_2</app_name>
      <version_num>517</version_num>
      <file_ref>
         <file_name>wrapper_5.17_windows_intelx86.exe</file_name>
         <main_program/>
      </file_ref>
      <file_ref>
         <file_name>enigma_0.76_windows_intelx86.exe</file_name>
      </file_ref>
      <file_ref>
         <file_name>00trigr.naval</file_name>
         <copy_file/>
      </file_ref>
      <file_ref>
         <file_name>00bigr.naval</file_name>
    <copy_file/>
      </file_ref>
      <file_ref>
         <file_name>ciphertext2</file_name>
    <copy_file/>
      </file_ref>
      <file_ref>
         <file_name>job_1.14.xml</file_name>
         <open_name>job.xml</open_name>
      </file_ref>
   </app_version>

</app_info>
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 08 Maj 2009, 19:47
Sprawdź jeszcze czy przy optymalce jest

<platform_name>anonymous</platform_name>

w pliku sched_request_www.enigmaathome.net.xml
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 08 Maj 2009, 20:37
@Troll:

http://boinc.berkeley.edu/dl/?C=M;O=D


Cytat: buninek w 08 Maj 2009, 18:53
Jako mało wymagający liczydłowy (liczę głównie jeden projekt i nie korzystam z GPU), nie zauważyłem wielkich różnic pomiędzy rożnymi wersjami managerów.

A ja bardzo wymagajacy. Licze wszystko i wszystko ma dzialac. 90% managerow to stolec. I to taki po kiepskim bigosie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 08 Maj 2009, 20:41
dziękuję ślicznie  ;D zaraz będzie reinstalka managera i obaczym co i jak...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 08 Maj 2009, 20:48
no. to 100 zadań do buforka

ale w tym wyścigu falstart straszliwy :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Maj 2009, 22:19
Aplikacja pozostaje w pamięci, bo z jakiegoś powodu BOINC nie zauważa że zarówno aplikacja jak i wrapper robią checkpointy. Prawdopodobnie wystarczyłoby skompilować nowego wrappera z w miarę nowej rewizji źródeł, w czasie gdy ja przerabiałem swoje w kodzie był dość spory burdel i dlatego nie działa do końca tak jak powinien.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Maj 2009, 11:07
Serwer off gdzieś na godzinę, optymalizacja baz danych + backup i spróbuję odpalić fastcgi wersję schedulera.

EDIT: No i zamiast jednego schedulera odpalanego w kółko jest teraz 10 pracujących cały czas, pytanie na ile to będzie stabilne - na listach mailingowych poczytałem, że niejeden projekt miał/ma z tym problemy.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: [PBT] Horpah w 09 Maj 2009, 15:47
15:44 scheduler piknie działa, oby tak dalej
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: szuu w 09 Maj 2009, 21:59
Przed paroma minutami.

Cytat09-May-2009 21:01:10 [---] Project communication failed: attempting access to reference site
09-May-2009 21:01:13 [---] Internet access OK - project servers may be temporarily down.
09-May-2009 21:01:13 [Enigma@Home] Scheduler request failed: Couldn't connect to server
09-May-2009 21:04:50 [Enigma@Home] Sending scheduler request: To fetch work.  Requesting 20757 seconds of work, reporting 1 completed tasks
09-May-2009 21:06:36 [Enigma@Home] Scheduler request failed: HTTP internal server error
09-May-2009 21:20:40 [Enigma@Home] Sending scheduler request: Requested by user.  Requesting 21378 seconds of work, reporting 1 completed tasks
09-May-2009 21:21:02 [---] Project communication failed: attempting access to reference site
09-May-2009 21:21:04 [---] Internet access OK - project servers may be temporarily down.
09-May-2009 21:21:05 [Enigma@Home] Scheduler request failed: Couldn't connect to server
09-May-2009 21:27:29 [Enigma@Home] Sending scheduler request: Requested by user.  Requesting 22412 seconds of work, reporting 1 completed tasks
09-May-2009 21:27:51 [---] Project communication failed: attempting access to reference site
09-May-2009 21:27:53 [---] BOINC can't access Internet - check network connection or proxy configuration.
09-May-2009 21:27:54 [Enigma@Home] Scheduler request failed: Couldn't connect to server
09-May-2009 21:29:20 [Enigma@Home] Sending scheduler request: Requested by user.  Requesting 22754 seconds of work, reporting 1 completed tasks
09-May-2009 21:30:21 [Enigma@Home] Scheduler request completed: got 1 new tasks
09-May-2009 21:30:21 [Enigma@Home] Message from server: Completed result hceyz72_1_5913887_r0_0 refused: result already reported as success
09-May-2009 21:30:21 [Enigma@Home] Message from server: Resent lost result hceyz72_0_5805600_r0_0
09-May-2009 21:30:23 [Enigma@Home] Started download of 00hc_wu_5805600_r0
09-May-2009 21:30:52 [Enigma@Home] Finished download of 00hc_wu_5805600_r0
09-May-2009 21:34:28 [Enigma@Home] Sending scheduler request: To fetch work.  Requesting 16895 seconds of work, reporting 0 completed tasks
09-May-2009 21:36:04 [Enigma@Home] Scheduler request failed: HTTP internal server error
09-May-2009 21:37:04 [Enigma@Home] Sending scheduler request: To fetch work.  Requesting 17088 seconds of work, reporting 0 completed tasks
09-May-2009 21:38:10 [Enigma@Home] Scheduler request completed: got 4 new tasks
09-May-2009 21:38:10 [Enigma@Home] Message from server: Resent lost result hceyz72_0_5808483_r0_0
09-May-2009 21:38:10 [Enigma@Home] Message from server: Resent lost result hceyz72_0_5808484_r0_0
09-May-2009 21:38:10 [Enigma@Home] Message from server: Resent lost result hceyz72_0_5808648_r0_0
09-May-2009 21:38:10 [Enigma@Home] Message from server: Resent lost result hceyz72_0_5808672_r0_0
09-May-2009 21:38:12 [Enigma@Home] Started download of 00hc_wu_5808483_r0
09-May-2009 21:38:12 [Enigma@Home] Started download of 00hc_wu_5808484_r0
09-May-2009 21:38:13 [Enigma@Home] Finished download of 00hc_wu_5808483_r0
09-May-2009 21:38:13 [Enigma@Home] Started download of 00hc_wu_5808648_r0
09-May-2009 21:38:14 [Enigma@Home] Finished download of 00hc_wu_5808648_r0
09-May-2009 21:38:14 [Enigma@Home] Started download of 00hc_wu_5808672_r0
09-May-2009 21:38:16 [Enigma@Home] Finished download of 00hc_wu_5808672_r0
09-May-2009 21:38:41 [Enigma@Home] Finished download of 00hc_wu_5808484_r0


Sorry za przydługawy log ale wolałem być pewien ze nie zgubię żadnego ważnego wpisu.

Czy ktoś może mi naświetlić co oznaczają te "Message from server: Resent lost result hceyz72_0_5808483_r0_0" - na czerwono w sekcji wiadomości ?
Troszkę się przestraszyłem:/

z góry dzieki
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 10 Maj 2009, 02:52
teraz mnie dopadł problem braku zadań :/

Cytat2009-05-10 02:40:38   Enigma@Home   update requested by user
2009-05-10 02:40:40   Enigma@Home   Sending scheduler request: Requested by user.
2009-05-10 02:40:40   Enigma@Home   Requesting new tasks
2009-05-10 02:40:45   Enigma@Home   Scheduler request completed: got 0 new tasks
2009-05-10 02:44:51   Enigma@Home   Sending scheduler request: To fetch work.
2009-05-10 02:44:51   Enigma@Home   Requesting new tasks
2009-05-10 02:45:16   Enigma@Home   Scheduler request completed: got 0 new tasks
2009-05-10 02:46:35   Enigma@Home   update requested by user
2009-05-10 02:46:36   Enigma@Home   Sending scheduler request: Requested by user.
2009-05-10 02:46:36   Enigma@Home   Requesting new tasks
2009-05-10 02:46:41   Enigma@Home   Scheduler request completed: got 0 new tasks
2009-05-10 02:47:57   Enigma@Home   update requested by user
2009-05-10 02:48:01   Enigma@Home   Sending scheduler request: Requested by user.
2009-05-10 02:48:01   Enigma@Home   Requesting new tasks
2009-05-10 02:48:22   Enigma@Home   Scheduler request completed: got 0 new tasks

i na 6.6.26 i na 6.6.28 to samo, a rano było jeszcze dobrze. Zaczęło się od tego, że wcieło mi wszystkie próbki a teraz nie chce pobrać nowych :( nr hosta 13682
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Maj 2009, 12:18
Scheduler miał jakieś dziwne jazdy i przymulał serwer, skompilowałem lekko nowszą wersję z innej rewizji BOINCa i jak na razie zachowuje się dużo lepiej.

Na dziś planuję upgrade całego serwera do ostatniej rewizji lub server_stable, na razie jednak na przeszkodzie stoją jakieś błędy w kodzie - zarówno stabilna jak i ostatnia wersja po prostu wysypują się przy kompilacji z masą błędów.
Zobaczymy też co się zmieni po przerzuceniu tabeli result na iRAMa, aktualnie zwykły HDD tak dostaje w palnik, że zastanawiam się jakim cudem jeszcze się nie posypał i serwer nie padł od przeciążenia %)

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 10 Maj 2009, 12:36
Ja tylko chcialbym napisac ze nie mam zadnych problemow z unitami. O kazdej porze dnia i nocy. Jak chce, to mam 250 od reki. Ale ja nie mam 6.6.x.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Maj 2009, 12:51
Ja zawsze mam najnowszą lub prawie najnowszą betę i nie mam raczej tego typu problemów, sądzę że jeśli nawet jest jakiś bug, musi być specyficzny dla jakiejś sytuacji zachodzącej w projekcie. Dlatego mam parcie na upgrade do nowszej wersji, bo gdzieś w okolicach 17xxx dodali chyba do tekstów schedulera dokładne info o tym, dlaczego nie wysyła nic do klienta.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 10 Maj 2009, 12:56
powiem tyle, w nocy złapało 3 WU teraz znowu dupa... dałem AP26 żeby się komp nie nudził jak coś złapie to policzy sobie na przemian najwyżej.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 10 Maj 2009, 13:07
Tak na probe zapialem nowego managera. 100 WU od kopa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: emik w 10 Maj 2009, 13:09
u mnie również nie ma problemu z pobieraniem
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Maj 2009, 16:28
Mam na dev maszynce skompilowany i chyba działający zestaw plików od najnowszej wersji serwera (18066 bodajże). Zaraz idę pobiegać co powinno pozytywnie mnie nastroić psychicznie i przygotować do stresu związanego z upgrade, zwłaszcza przy tak dużej różnicy wersji %)
Pewnie na początku będą jakieś display bugi (oby na tym się skończyło), bo z tego co wiem pozmieniali trochę w wyglądzie forum/strony i plikach .css.
Dziś szykuje się większa dłubanina, bo w planie 3 punkty: upgrade, przeniesienie jednej z tabel na iRAMa oraz wyczajenie który skrypt na bezczela zamula mi serwer, wszystko śmiga ładnie i pięknie, ale któryś z okresowo włączających się skryptów po uruchomieniu totalnie zamula bazę, do tego stopnia, że schedulery nie mogą się połączyć i serwer http zwraca 'internal server error' od czasu do czasu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Maj 2009, 23:45
Po odrobinie kombinowania udało mi się przenieść w końcu jedną z tabel na iRAMa.
Lepszego sposobu nie znalazłem, więc tabelę po prostu skopiowałem, a w miejsce gdzie się poprzednio znajdowała wstawiłem symlinka. Serwer MySQL dał się oszukać i taki sposób działa, ale zauważyłem już jeden problem: wywołanie OPTIMIZE dla tabeli InnoDB powoduje przeniesienie jej do starej lokalizacji - z prostego powodu, tabela przepisywana jest na nowo, po zakończeniu stara zostaje skasowana a nowa znajduje się z powrotem na dysku razem z innymi. Z jednej strony to wada, bo nie można tak sobie wywoływać OPTIMIZE; z drugiej - nie jest aż tak bardzo potrzebne jak na zwykłym dysku. Natomiast przypadkowe wywołanie na szczęście nic nie zepsuje.
Zostaje jeszcze kwestia automatycznych backupów w czasie rzeczywistym - jak na razie mam replication slave na inną maszynkę, ale to działa na całości baz, trzeba rozkminić jak zrobić to samo dla jednej tylko tabeli.

Rozpędem poprawiłem od razu kilka skryptów, tak żeby mniej zamulały bazę, jednak nadal jest jakiś który powoduje nadmierne obciążenie. chwilami liczba zapytań na sekundę sięga 1500 a wtedy serwer aż trzeszczy %) Nie dałem rady póki co wybadać który skrypt powoduje takie zachowanie, jedyne narzędzie które znalazłem wyświetlające zapytania w czasie rzeczywistym to mytop, a w nim dość trudno zobaczyć co się dzieje na procesach dalszych niż pierwsze kilkadziesiąt, podczas gdy nawet przy całkowicie normalnej pracy jest ich około 100.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 11 Maj 2009, 00:14
Może zamiast symlinków lepszym rozwiązaniem będzie bindowanie.

http://groups.google.pl/group/pl.comp.os.linux/msg/cd71756222edddcd (http://groups.google.pl/group/pl.comp.os.linux/msg/cd71756222edddcd)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Maj 2009, 00:45
Zauważ, że tam mowa o całych katalogach, a ja mam przeniesiony tylko jeden plik z tabelą, reszta jest nie ruszona, a to ta sama baza danych.

Mógłbym ominąć symlinki przenosząc tabelę do innej bazy, ale tu z kolei musiałbym cudować z dodawaniem kolejnego połączenia w skryptach, co mogłoby się ujemnie odbić na wydajności i co gorsza spowodowałoby kolejne różnice między moimi skryptami a oryginalnymi, czyli więcej dłubania przy upgrejdach.

Edit2: poprawiłem parę skryptów, ale głównego problemu coś nie mogę znaleźć, mam nadzieję, że nic do jutra nie padnie, a tymczasem naginam w kimę bo padam na ryj.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Maj 2009, 20:44
buninek, mógłbyś luknąć na to http://www.enigmaathome.net/forum_thread.php?id=17 ? Gość ma problemy z twoją aplikacją, nie wiem czy dobrze zgaduję, ale chyba jest 64 bitowa a on ją odpala na 32bit systemie ?


EDIT: serwer śmiga na ostatniej (no w każdym razie rano była ostatnia :P) wersji softu, niby wszystko ładnie pięknie, ale forum ciutkę się skaszaniło i mój stary kod od emotek nie chce zadziałać (poprawię to w chwili natchnienia).
Jakbyście zauważyli jakieś błędy dajcie znać, to świeża wersja więc w razie kłopotów pewnie szybko zostaną naprawione.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 12 Maj 2009, 00:06
Sprawdzałem ją na czterch różnych systemach - dwóch x86 i  x86_64 - działała. Skompilowałem natywną wersję x86.

Nic tylko trzymać kciuki za sprawną pracę serwera. Przeżywa trudne dni, a ty zbierasz
nie małe doświadzczenie próbując go ujarzmić. :)

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Maj 2009, 22:56
Serwer mnie ostatnio denerwuje, coś się kaszani ale nie jestem w stanie wyczaić jeszcze co i dlaczego.
Podczas normalnej pracy jakoś sobie chodzi, ale bywa, że nagle wskakują mu np. takie statsy na czasie procesora:

0.2%ni,  0.2%id, 61.6%wa,  0.1%hi,  0.9%si,  0.0%st

wtedy load od razu rośnie astronomicznie do wartości 10+ i np. scheduler przestaje odpowiadać (internal server error).
Domyślam się, że te 60+% waiting to czekanie na I/O, więc chyba dyski. Wydaje mi się, że to chyba stary dysk IDE na którym są różne pliki i katalog upload powoduje takie zachowanie, chociaż nie mam na to dowodów i nie wiem jak je zebrać.

Póki co wprowadziłem trochę zmian w skryptach i niedługo pojawią się zadania o nowej długości (t4 = 10 zadań t0 z kredytami za 11, następnie t5 = prawdopodobnie 6 zadań t1, ale może też 10 - zobaczę jak będzie czasowo wyglądało), to takie przygotowania na wypadek jakby przyszło puścić w sieć ciphertexty krótsze od hceyz72, a zadania z pierwszego serwera M4 zbliżają się szybko do końca. Teoretycznie system już gotowy, ale przed wysłaniem takich zadań w sieć muszę upewnić się, że po powrocie przetrwają na pewno całą ścieżkę wszystkich validatorów i assimilatorów.



Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 15 Maj 2009, 14:38
Cytat: TJM w 14 Maj 2009, 22:56
Serwer mnie ostatnio denerwuje, coś się kaszani ale nie jestem w stanie wyczaić jeszcze co i dlaczego.
Podczas normalnej pracy jakoś sobie chodzi, ale bywa, że nagle wskakują mu np. takie statsy na czasie procesora:

0.2%ni,  0.2%id, 61.6%wa,  0.1%hi,  0.9%si,  0.0%st

wtedy load od razu rośnie astronomicznie do wartości 10+ i np. scheduler przestaje odpowiadać (internal server error).
Domyślam się, że te 60+% waiting to czekanie na I/O, więc chyba dyski. Wydaje mi się, że to chyba stary dysk IDE na którym są różne pliki i katalog upload powoduje takie zachowanie, chociaż nie mam na to dowodów i nie wiem jak je zebrać.

Może iotop lub iostat cokolwiek rozjaśnią sytuację?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 15 Maj 2009, 20:51
iotop niestety mi nie ruszy, za dużo wymaga dodatków i różnych pierdółek - szkoda mi instalować tyle rzeczy na serwerze tylko dla jednego narzędzia.
iostat natomiast pokazuje mi w średnim użyciu procesora ponad 30% i/o wait, czyli pewnie nie za dobrze.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 15 Maj 2009, 21:30
Iotop fajnie monitoruje i pokazuje pid-y procesów.
Co się dzieje z pamięcią (free) i swapem w tych krytycznych momentach (bardzo wysoki %wa)?

Możesz poczytać o vm.swappiness. Jego zwiększenie zmniejszyłoby ilość I/O.
http://www.linuxvox.com/linux-articles/kernel-tuning/1-what-is-the-linux-kernel-parameter-vm-swappiness (http://www.linuxvox.com/linux-articles/kernel-tuning/1-what-is-the-linux-kernel-parameter-vm-swappiness)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 15 Maj 2009, 21:39
Swap nigdy nie jest w ogóle używany, raz widziałem tylko 15 mega użytego kiedy odpaliłem zwaloną wersję schedulerów crashujących z memory leakami co 10s, normalnie vmstat pokazuje same zera.

Zdziwiłem się wczoraj tym, że jednak programiści MySQLa przewidzieli linkowanie jako sposób rozrzucenia tabel po dyskach. Po wyrzuceniu samej tabeli serwer głupieje i przy optymizacji przepisuje tabelę do swojego normalnego drzewa katalogów. Ale gdy ma komplet plików (tabelę + indeksy + ten trzeci plik ze śmieciami) w jednym miejscu, softlinkowane do swojej struktury, ładnie przepisuje plik w docelowej lokalizacji po czym kasuje oryginał i zmienia nazwę - czyli plik pozostaje na docelowym urządzeniu. Trzeba tylko uważać, żeby było tam 2 razy więcej miejsca niż zajmuje tabela razem z indeksami, inaczej może być kiepsko.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 15 Maj 2009, 22:01
Ja bym sugerował zwrócenie się z prośbą o pomoc na jakąś grupę dyskusyjną np. pl.comp.os.linux.
Bywają tam osoby, które na codzień mają do czynienia w zarządzaniu serwerami z odpowiednim doświadczeniem i wiedzy.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 15 Maj 2009, 22:18
Na razie podłubę tylko w demonach, póki co przejrzałem assimilator i jeden z wrapperów - jak się dobrze pomyśli, czasami da się coś poprawić, wczoraj wywaliłem parę zbędnych zapytań do bazy a kilka innych połączyłem w grupy, po paru godzinach średnia liczba zapytań na sekundę spadła z 50+ na okolice 40, więc jest jakaś poprawa.
Teraz myślę jak przerobić trochę przynajmniej jeden z wrapperów, żeby po każdym ściągniętym WU nie dopisywał go do bazy, tylko keszował jakoś np. po 100 i dopisywał za jednym zamachem. W razie jakby coś poszło nie tak, serwer M4 i tak wyśle je ponownie, a co 1 zapytanie to nie 100.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Maj 2009, 14:48
Odkryłem w końcu prawdopodobną przyczynę przymulania serwera.
Wszystko wygląda na to, że całość chodzi sprawnie w normalnych warunkach, jednak na chwilę obecną wielkość wszystkich używanych tabel to ponad 15GB, więc przy 4GB RAM nie ma szans keszować całości. Prawdopodobnie kiedy serwer zaczyna korzystać z jakichś mniej używanych tabel inne wylatują z cache i zaczyna się masakra z czekaniem na I/O, bo dyski po prostu nie nadążają.
Jedynym sposobem walki z tym jest więc najprawdopodobniej dążenie do zmniejszenia wielkości wszystkich używanych tabel.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Maj 2009, 20:33
Serwer off bo przyszła gruba burza, szkoda ryzykować utratę sprzętu %)

EDIT: I po burzy.

Buninek, pisałeś wcześniej że testowałeś Open64 - mógłbyś spróbować zbudować aplikacje dla Intela (najbardziej interesuje mnie taka pod Wolfdale, czyli chyba SSE 4.1) ? Walczyłem z tym kompilatorem na moim okrojonym plikopartycjowym Ubuntu, niestety coś nie trybi i rzuca mi segmentation faulty, prawdopodobnie namieszałem coś z jakimiś kluczowymi bibliotekami podczas zabaw z podmianą gcc na różne wersje; tak więc teraz pozostaje mi reinstall całego systemu (i tak miałem to zrobić, bo dałem za mały rozmiar plikopartycji, a szybciej jest postawić system od nowa niż szarpać się ze zmianą wielkości).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 21 Maj 2009, 00:11
Widział już ktoś z was hceyz72_4_xxxxx ?
Teoretycznie takie workunity dostępne są od wczoraj, w praktyce sam jeszcze żadnego nie dostałem (nie chce mi się zanadto kombinować ze schedulerem) i żaden jeszcze nie wrócił przeliczony, mimo że nie są zbyt długie (to jest odpowiednik 3x hceyz72_0, docelowo 10x ale ciężko złapać tyle kolejnych).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 21 Maj 2009, 01:08
Cytat: TJM w 18 Maj 2009, 20:33
Buninek, pisałeś wcześniej że testowałeś Open64 - mógłbyś spróbować zbudować aplikacje dla Intela (najbardziej interesuje mnie taka pod Wolfdale, czyli chyba SSE 4.1) ?
Możesz przetestować tą, ale pewnie nadzwyczajnie szybka to nie jest.
enigma.xeon.x86_64 (http://dl.getdropbox.com/u/349831/enigma.xeon.x86_64.tar.bz2)

Przy wolfdale pluje:
Cytatopencc ERROR: Target processor does not support SSE2.
:o

W sumie to pod większość procków skopilował exeki i zamieścił na forum,
gość podpisujący się jako mdoerner
http://members.cox.net/mdoerner1/enigma_0.76_i686-pc-linux-gnu_optimized-Linux.tar.gz (http://members.cox.net/mdoerner1/enigma_0.76_i686-pc-linux-gnu_optimized-Linux.tar.gz)

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 21 Maj 2009, 08:44
pytanie tylko czy da się na nich szybciej liczyć :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 21 Maj 2009, 11:44
W stosunku do defaultowej aplikacji, pewnie o minimum 30%.
Wystarczy przetestować. Miarodajny benchmark jest tu:
http://tjm.boo.pl/enigma/eb.tgz (http://tjm.boo.pl/enigma/eb.tgz)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 21 Maj 2009, 12:34
Tylko właśnie mdoerner nie mógł skompilować aplikacji pod Wolfdale, bo kompilator nie pozwalał mu włączyć tych opcji. Zobaczę wieczorem na 64 bitowym ubuntu jak to działa.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 21 Maj 2009, 22:06
Dysponuje ktoś z was może jakimś hostem ze statycznym IP, żeby przez kilka dni 'przechować' redirect na schedulera lub całe http proxy (to drugie chyba łatwiej, ponieważ zamiast kombinować z konfiguracją wystarczy skopiować gotową) ?
Wymagana jest tylko możliwość skonfigurowania apache z mod_proxy i mod_rewrite oraz trochę wolnego transferu (około 1GB dziennie).
Swoje proxy będę musiał chwilowo wyłączyć w celu rekonfiguracji, prawdopodobnie spróbuję zamiast apacza postawić lighttpd, który również dysponuje możliwością pracy w konfiguracji reverse-proxy, ewentualnie SQUIDem, który prawdopodobnie najlepiej będzie się nadawał, chociaż stracę wtedy pewne możliwości automatycznej konfiguracji skryptem php (ale pewnie da się zastąpić jakimś skryptem basha).
Obecne proxy ma jakąś wadę, po prostu czasami jakby zapycha się requestami, nie jest wtedy w stanie akceptować nowych - kolejkują sie aż do momentu kiedy aktywne (lecz 'zapchane') złapią timeouta. Wtedy się 'odtyka', ale ze względu na duża listę wiszących requestów zapycha się zaraz ponownie. W rezultacie potrzeba kilka takich cykli zatkaj-odetkaj żeby ponownie ruszyło. Winą za to obarczam małą ilość RAMu na hoście robiącym za proxy (całe 96MB) oraz tym, że apacz zbytnio go nie oszczędza.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 21 Maj 2009, 23:03
może 2tygodniowy okres próbny hostingu na home.pl pomoże?
(się nie znam, tylko głośno myślę)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 21 Maj 2009, 23:15
Wątpię, tam chyba nie udostępniają takich możliwości (tzn np. odpalenie własnego systemu na jakimś dedyku).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: [PBT] Horpah w 22 Maj 2009, 11:18
Chętnie pomogę przez parę dni, mogę to dać na mój komp w domu.
Mam stałe ip tylko prędkość wychodząca to u mnie 256kb transferu jeszcze nie limitują, mogę zainstalować apacha, kiedyś miałem co do reszty musiałbyś mnie pokierować lub podesłać gotowe pliki konfiguracji.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 22 Maj 2009, 12:24
Ja też mam statica ale upload też 256 :( jakby co daj znać. Serv stoin an ubuntu server (od jakiegoś miesiąca zabawka którą nie mam czasu się zająć :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pantarhei w 22 Maj 2009, 15:31
No to objęliśmy prowadzenie.  :parrrty:

Szkoda tylko że jeden niemiecki samotny użytkownik ma 12000k.
Tak to byłaby supremacja totalna.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 22 Maj 2009, 19:52
namów TJM by zrobił aplikację na CUDA albo ATI :D to AiDec i NetMonitoring dadzą po garach :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 22 Maj 2009, 21:01
Cytat: Troll81 w 22 Maj 2009, 19:52
namów TJM by zrobił aplikację na CUDA albo ATI :D

TJM i Sesef juz nad tym pracuja :). Aczkolwiek na efekty prac trzeba czekac cierpliwie.


Cytat: Troll81 w 22 Maj 2009, 19:52
to AiDec i NetMonitoring dadzą po garach :D

NetMonitoring odpali wszystkie swoje piecdziesiat graf i zacznie sobie spiewac 'To be number one...' :D. A ja... moze by nawet jakie dodatkowe grafy z tej okazji kupil...  ;). Niedlugo GT300...  %)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 22 Maj 2009, 22:09
Cytat: Troll81 w 22 Maj 2009, 19:52
namów TJM by zrobił aplikację na CUDA albo ATI :D to AiDec i NetMonitoring dadzą po garach :D

I długo to jeszcze potrwa, zanim się coś pojawi.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 22 Maj 2009, 22:25
projekt zdąży się zakończyć :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 22 Maj 2009, 23:27
ale doświadczenie pozostanie
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 23 Maj 2009, 08:03
Cytat: Troll81 w 22 Maj 2009, 22:25
projekt zdąży się zakończyć :(

Projekt sie jeszcze bardzo dlugo nie skonczy.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 23 Maj 2009, 23:17
Do aplikacji CUDA jest zdecydowanie dalej niż bliżej. Przede wszystkim dlatego, że przepisanie całego algorytmu pod CUDA będzie wymagało ogromnych zmian, nawet gdyby po prostu dało się kod w C przepisać po prostu na grafę, trzeba jeszcze zmienić wewnętrzną strukturę programu, żeby umożliwić wielowątkowe przetwarzanie wewnątrz aplikacji.
Zanim coś zacznę dłubać w CUDA na poważniej, muszę dorwać jakąś grafę z CUDA i zasadzić pod linuksem, nie czuję się zbyt komfortowo programując pod Windows, zapewne dlatego, że nie jestem w ogóle programistą, tylko kombinatorem; a kombinator z reguły lepiej czuje się w środowisku linuksowym, bo więcej da się tam wykombinować %)

Na chwilę obecną absolutnym priorytetem w pracach przy projekcie jest jego http reverse proxy; jeśli dobrze pójdzie, jutro na parę dni zmieni się IP projektu i proxy tymczasowo postoi w Polsce, u znajomego. Prawdopodobnie przez kilka dni będą działały niezależnie dwa takie proxy - rezerwowe i normalne, z tym że to normalne będzie wyłączane na czas mojego dłubania z innymi wersjami. Do wypróbowania mam: SQUID w setupie http_accel, nowszą wersję apache z mod_rewrite, mod_proxy skonfigurowaną również jako cache (poprzednim razem to ostatnie mi nie wyszło, więc oszukałem trochę po prostu dodając lokalny katalog z plikami i reguły dla mod_rewrite do serwowania ich w locie zamiast oryginalnych), lighttpd z mod_proxy oraz ze dwa pomniejsze serwery typowo przewidziane na reverse proxy.

Proxy niestety jest absolutnie niezbędne (dla tych którzy nie pamiętają - ukrywa dynamiczne IP projektu, ponieważ BOINC mimo wielu bugfixów i łat nie radzi sobie ze zmiennym IP od zawsze), poza tym ogromnie odciąża mój lokalny serwer - wszystkie większe (i część mniejszych) statyczne pliki są serwowane bezpośrednio z proxy, co lokalnie oszczędza mi czas procesora i transfer.
Obecne ma niestety wady - największą jest to, o czym pisałem wyżej - zapychanie się, prowadzi zarówno do zapychania hosta proxy jak i mojego lokalnego serwera niekompletnymi requestami - serwer dostaje request, zaczyna zapytania do bazy a potem i tak okazuje się, że połączenie z klientem zaginęło w akcji. Prowadzi to okresowo do cyrków takich jak 'internal server errory' których ostatnio nie brakuje.
Kolejnym mankamentem proxy jest marnowanie transferu w jakiś magiczny sposób - w logach samego apacza widać 1/10 lub nawet 1/20 tego, co nabija na rachunkach za przesył danych, a że transfer powyżej wliczonego miesięcznego przydzialu jest drogi, muszę spróbować rozgryźć to i zacznę od prób ze zmianą oprogramowania.

Mam nadzieję, że nie będzie tu zbyt dużo literówek, bo wklepałem tekst z telefonu    %)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Maj 2009, 23:09
Gdzieś od południa projekt śmiga za tymczasowym reverse proxy, stare na razie działa, bo nie wszystkie managery szybko uaktualniają IP (niektóre chyba wcale  :D).
Przy okazji dopisałem drugi scheduler URL, jest na zmiennym IP i zobaczymy w praktyce jak nowoczesne klienty sobie z tym poradzą. Dla starych nie powinno się wiele zmienić, zawsze jest jeszcze drugi URL.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Maj 2009, 22:21
Po wywaleniu z serwera dwóch sieciówek (jednej sprzętowo, drugiej softwarowo) -> http://www.boincatpoland.org/smf/linux/io-wait-vs-siec/ nieźle wzrosła mu wydajność, do tej pory nie wiem jak sieciówka może powodować 80% spadek wydajności, ale jednak może %) Teraz naprawdę duży load jest potrzebny (praktycznie zdarzający się tylko po chwilowych padach sieci, kiedy setki klientów na raz chcą się połączyć), żeby znów zobaczyć Internal server errory.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: satanetv w 27 Maj 2009, 22:55
Właśnie zauważyłem 3 krotny wzrost wydajności. Tylko szkoda że PM się już kończy
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 27 Maj 2009, 23:07
mi ogólnie RAC w enigmie klęczal w okolicy 300 przez cały miesiąc (a miałem falstart w postaci bugów BOINCa) a teraz mi podskoczył do ponad 1000. Zwiększyłeś kredytowanie TJM??
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 28 Maj 2009, 19:52
przy wejściu do my account często zamiast ramki społeczność mam nad główną ramką
CytatDb error #1543No database selected

odświeżenie (czasem kilkukrotne) załatwia problem
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 28 Maj 2009, 23:41
Cytat: http://enigmaathome.net/server_statusWarning: Division by zero in /home/boinc/projects/enigma/html/user/wu_add_stats_inc.php on line 32

Próbki się skończyły??
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 29 Maj 2009, 08:51
Jakiś tymczasowy błąd w obliczeniach musiał wystąpić.
A to z home.php występuje od dawna, nie mam pojęcia czemu skrypt lubi sobie zgubić połączenie znienacka.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 30 Maj 2009, 09:38
Ja tak tylko informacyjnie:

Dzisiaj, 30.05.2009 9:34 Scheduler request failed: HTTP internal server error.


Kilka sekund pozniej poszlo bez problemu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 30 Maj 2009, 11:08
Ten błąd pojawia się jak obciążenie serwera jest chwilowo bardzo duże (powyżej load 10.0) - FastCGI schedulery wtedy się poddają i kończą pracę z errorem 500, może to i lepiej bo serwera nie da się totalnie przeciążyć.
W nocy podobno były spamerskie ddosy na niektóre projekty i zakładanie setek spamerskich kont (a przynajmniej próby), u siebie dużych problemów nie widziałem, ale właśnie przy przedpołudniowej kawce kasuję dziesiątki kont typu 'buy viagra'  :ph34r:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 30 Maj 2009, 12:22
w lhc potwierdzam - pozakładane pierdylion kont, z 5 razy odbijałem wieczorem uotd co by mi myboinc zaliczył %)

edit:
2009-05-30 12:44:59|Enigma@Home|Sending scheduler request: Requested by user.  Requesting 2602986 seconds of work, reporting 1 completed tasks
2009-05-30 12:45:04|Enigma@Home|Scheduler request completed: got 0 new tasks
2009-05-30 12:45:04|Enigma@Home|Message from server: (Project has no jobs available)

w serwer status są :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 30 Maj 2009, 13:51
Właśnie nie wiem co jest grane, podłubałem rano w feederze i teraz coś się dziad zacina. To właśnie jest 'stabilność' ostatnich wersji serwera, a tu jeszcze dziś czytałem na grupie, że chcą promować je już jako server_stable %)

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 31 Maj 2009, 02:32
Cytat: TJM w 30 Maj 2009, 11:08
Ten błąd pojawia się jak obciążenie serwera jest chwilowo bardzo duże (powyżej load 10.0) - FastCGI schedulery wtedy się poddają i kończą pracę z errorem 500, może to i lepiej bo serwera nie da się totalnie przeciążyć.

Swietnie. Najlepsze rozwiazanie he he :).

Mialem poprzednio jedynie 3 sekundy zeby sie odezwac, tak wiec zamiescilem info o wydarzeniu bez zadnego komentarza. Wyszedlem z zalozenia ze lepiej Cie trzy razy poinformowac o pierdolce, niz raz nie poinformowac o powaznym bledzie. Nie oczekiwalem wlasciwie zadnego wyjasnienia, ani czegokolwiek innego poza ew. krotkim `All OK` :P. Serwer faktycznie mial prawo kleknac (chyba), bo doslownie chwile wczesniej odeslalem jakies 500 nieprzeliczonych junitow.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 31 Maj 2009, 12:15
Pojedyńczy host nie ma prawa w żaden sposób przeciążyć serwera. Przeciążenia zdarzają się jedynie wtedy, kiedy w tym samym czasie zderzy się kilka requestów od hostów z ogromniastymi buforami. Jeśli host ma na zapleczu 1000+ zadań to zapytanie do bazy trwa trochę czasu, więc jeśli zderzy się takich kilka czas lawinowo rośnie.
Dzisiaj kurcze z deszczu pod rynnę, wczoraj naprawiłem jakiś problem z feederem (tzn tak mi się wydaje, przynajmniej działa), to dziś z kolei problem z file upload handlerem - cały czas pasowała mu nazwa 'fuh' a teraz nagle przestała. Jak widać BOINC ma wiele tajemnic %)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: 155kpol w 31 Maj 2009, 20:36
Czyżby jakaś burza była? bo serwer nie chce gadać

EDIT: o działa ,super :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 31 Maj 2009, 22:43
To nie burza, tylko moja pomyłka %)
Myślałem, że ustawienie MaxClients na proxy trochę niżej w ładny i przyjemny sposób ograniczy liczbę połączeń, które czasami wiszą przez kilkanaście minut na Keep-Alive.
A tu się tymczasem okazało że z niższymi ustawieniami proxy nie może się łączyć nawet z lokalnym serwerem (download mirrorem) po localhoście.
Co gorsza, początkowo wszystko ładnie działało więc to tak zostawiłem, a kiedy zaczęło się sypać nie miałem zbytniego dostępu do serwera - poprawiłem dopiero po powrocie do domu.

Problem z file upload handlerem też się wyjaśnił w międzyczasie na liście mailingowej boinc_projects. Otóż okazuje się, że upload handler może mieć dowolną nazwę, pod warunkiem że jest to file_upload_handler, file_upload_handler albo ewentualnie file_upload_handler. No, ostatecznie file_upload_handler też może być. Trochę to dziwne, nigdy bym się nie spodziewał takiego czegoś  XD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 13 Czerwiec 2009, 21:33
Dzisiaj przeglądając sobie strone NV trafiłem na coś takiego

http://www.nvidia.com/object/cuda_home.html#state=detailsOpen;aid=61950ddf-e994-4823-a034-9b92880a62f9

Ma się to jakoś do projektu?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 13 Czerwiec 2009, 21:50
Contact:
Cong-Van Nguyen
Department of Electronic Engineering
La Trobe University, Bundoora, Victoria 3083, Australia
c11nguyen@students.latrobe.edu.au
congvannguyen@yahoo.com
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Czerwiec 2009, 22:12
Bomba Turinga to zupełnie inny algorytm, można powiedzieć interaktywny, bo wymaga danych od użytkownika. Raczej do obliczeń rozproszonych mało przydatny, bo runtime jest dość krótki (kiedyś testowałem na PIV 1,4GHz i leciało od 30 minut do 2h na pojedyńczym cribie) i zwykłym przeciętnym pecetem szybko się wyczerpie zasób potencjalnych cribów.
Co innego ta symulacja, jej części może udałoby się wykorzystać do budowy aplikacji CUDA (częścią algorytmu jest próba odszyfrowania tekstu przy użyciu aktualnych ustawień czyli jakby symulacja pracy maszyny).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: lukaszde w 18 Czerwiec 2009, 09:54
http://enigmaathome.net/server_status
Widac, ze po zakonczeniu probek hceyz72 wzrosl error rate
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 20 Czerwiec 2009, 13:41
Prawdopodobnie dlatego, że jakaś część podłączonych komputerów ma bardzo stare app_info bez nowszej aplikacji, takie po prostu wysypują z miejsca wszystkie zadania.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 29 Czerwiec 2009, 18:26
Poprawiłem dziś dość poważny bug, który bezczelnie powodował, że niektóre zadania nigdy nie miały chęci się pobierać a w innych czasami znienacka wskakiwały validation errory. Wszystko przez konwersję z długich ciągów liczb na ciągi liczbowe i z powrotem, jedna z funkcji miała błąd przez co niektóre ciągi liczb były kodowane z błędem.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 15 Lipiec 2009, 22:56
Rozmawiałem z gościem, który testował na GPU algorytm podobny do tego, ktorego używa aplikacja Stefana Kraha - czyli jakąś odmianę hillclimba.
Rezultaty nie są zbyt zachęcające, zbyt wielu szczegółów nie udało mi się uzyskać bo koleś jest dość trudno osiągalny i nie dysponuje nadmiarem czasu, więc ciężko coś z niego wydobyć. W każdym razie z jego testów wynika, że algorytm wypada kiepsko na kartach graficznych, średniej klasy karty wypadają znacznie gorzej od CPU łykając przy tym dużo więcej prądu, co niejako je dyskwalifikuje.
Zastanawia mnie tylko czy i ewentualnie w jaki sposób puszczał jakieś równoległe wątki na karcie, czy też może po prostu odpalał jakąś jednowątkową wersję algorytmu, co by od razu wyjaśniało kiepską wydajność.

Normalnie workunit wygląda np tak:

B164:AA:AAAA~B164:AZ:ZZZZ

można to potraktować jako licznik, każda z literek od prawej do lewej będzie przeskakiwać kolejno od początku zakresu do końca przez wszystkie możliwe ustawienia: skrajne z prawej zawsze od A do Z, natomiast środkowe to ringi i zależnie od użytych rotorów jest 13 (A-N) lub 26 (A-Z) ustawień. Z lewej są rotory ustawione na sztywno, teoretycznie da się i rotory kolejno sprawdzać ale jest to bardziej skomplikowane i o wiele trudniej weryfikuje się poprawność wyników.
Podczas liczenia na CPU jednym wątkiem, dla każdego ustawienia wykonywane są pewne powtarzające się czynności:
wybierana jest kolejna pozycja startowa z zakresu, po czym program zaczyna od wygenerowania losowego steckera który potem jest losowo 'poprawiany', po każdej poprawce oblicza się 'score' dla rezultatu, jeśli jest lepszy zachowuje się zmianę, jeśli gorszy cofa i próbuje z innymi ustawieniami. Proces powtarzany jest kilkukrotnie, używając kolejno 3 metod obliczania score: ic-score (dane statystyczne), biscore i triscore (wartości oparte o słowniki zbitków 2 i 3 liter).
Najlepszy wynik jest zachowywany wraz z ustawieniami i jest to jedyna wartość jaką pamięta program, reszta jest odrzucana.

Stąd teoretycznie na GPU można od razu strzelić z grubej rury, podzielić otrzymany wraz z WU zakres na dowolną ilość mniejszych i pracować nad nimi równolegle, o ile przyniesie to jakiś wzrost wydajności. W takim wypadku koniecznie trzeba jedynie między wątkami jakoś dzielić aktualny najlepszy wynik, no i pilnować, żeby ewentualny dobry wynik nie został jakoś nadpisany gorszym o ile np. dwa wątki w tym samym momecie stwierdzą, że poprzedni jest gorszy od tego co znalazły. Nie wiem jak wygląda synchronizacja danych między wątkami na GPU, na CPU nie jest to zbyt trudne i z łatwością można by napisać multi-threaded enigmę, ale jest bo bez sensu bo wygodniej po prostu odpalić kilka procesów.
Zastanawia mnie też, czy taki numer (tzn odpalenie kilku niezależnych progsów) przejdzie również w przypadku GPU ? Podziału WU można dokonać w dowolnym momencie, serwer zamiast jednego długiego może wysłać 10 krótkich do odpalenia równolegle na grafie, rezultat będzie taki sam - jeden wynik będzie najlepszy, 9 będzie gorsze, tylko normalna aplikacja sama odrzuciłaby 9 i oddała 1 do serwera.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 15 Lipiec 2009, 23:44
Cytat: TJM w 15 Lipiec 2009, 22:56Zastanawia mnie też, czy taki numer (tzn odpalenie kilku niezależnych progsów) przejdzie również w przypadku GPU ? Podziału WU można dokonać w dowolnym momencie, serwer zamiast jednego długiego może wysłać 10 krótkich do odpalenia równolegle na grafie, rezultat będzie taki sam - jeden wynik będzie najlepszy, 9 będzie gorsze, tylko normalna aplikacja sama odrzuciłaby 9 i oddała 1 do serwera.

Takie rozwiązanie byłby najprostsze, ale wtedy następuje 1 problem mianowicie checkpointy, chyba że jesteś w stanie wygenerować wu, które da się podzielić na ~5k mniejszych i na tyle długich żeby np taki pentium III 800-1000 mhz liczył takie jedno małe WU koło minuty.

BTW. Większych zakresów liczbowych niż 32 bit w enigmie nie ma?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Lipiec 2009, 00:13
WU są dowolnie skalowalne, najlepszy wynik zawsze jest tylko jeden i reszta to teoretycznie śmieci. Z tym że dla każdego wysłanego rezultatu serwer trzyma zwrócony wynik, więc dzieląc po stronie serwera WU otrzymuję więcej wyników. Za bardzo nie można szaleć, bo nawet z normalnymi WU bazy wychodzą ogromne.
Można by jednak na potrzeby GPU stworzyć dwustopniową aplikację, która otrzymuje normalny, długi WU od serwera i sama dzieli go na kilka mniejszych, odpala właściwe aplikacje przeliczające i zwraca najlepszy wynik do serwera.

Najmniejszy możliwy workunit to coś typu B164:AA:AAAA~B164:AA:AAAB i jest to praktycznie niezmierzalny czas przeliczania (ułamki sekundy dla byle proca). Można go dowolnie wydłużać np. B164:AA:AAAA~B164:AA:AAZZ jest już 26*26 dłuższy.

Jedyną dużą liczbą w całym programie jest score, bi- i triscore zależą użytych słowników i długości tekstu, zazwyczaj mieszczą się jednak w zwykłym INT, dla słownika '1941' nawet spokojnie w unsigned mediumint dla bardzo długich tekstów (według typów danych MySQLa), bo po prostu mniejsze liczby są przypisane do ciągów znaków w tym słowniku.
ic-score chyba nie mieści się w zwykłym INT, stąd na końcu funkcji jest dzielenie żeby się zmieścić w sensownym zakresie, jednak czy zamiana tej jednej liczby na 64 bitową i rezygnacja z dzielenia coś zmieni nie sprawdzałem.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Lipiec 2009, 20:56
Trzeba jakoś specjalnie definiować liczbę jako 64 bitową ?
Po samym usunięciu dzielenia program niestety sypie się w niektórych przypadkach (np. benchmarkowy testcase), więc prawie na pewno następuje przepełnienie zwykłego INTa.
Jednak moje doświadczenie z 64 bitami jest delikatnie mówiąc nienajlepsze (żeby nie powiedzieć żadne %)), stąd nie wiem co zrobić, żeby to działało i przy tym zgodne było z jakimiś standardami.
Dzielenie jest dość czasochłonne, więc jest szansa że usunięcie go z funkcji która jest jedną z głównych w programie powinno coś pomóc. Prawie na pewno program przyspieszy o kilka-kilkanaście procent, przyspieszenie to widać nawet zastępując oryginalną funkcję ic-score inną, bardziej skomplikowaną ale jednocześnie bez końcowego dzielenia (niestety generującą przy tym niekompatybilne wyniki, więc nie można ich używać zamiennie).

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 18 Lipiec 2009, 21:23
Cytat: TJM w 18 Lipiec 2009, 20:56
Trzeba jakoś specjalnie definiować liczbę jako 64 bitową ?
Po samym usunięciu dzielenia program niestety sypie się w niektórych przypadkach (np. benchmarkowy testcase), więc prawie na pewno następuje przepełnienie zwykłego INTa.
Jednak moje doświadczenie z 64 bitami jest delikatnie mówiąc nienajlepsze (żeby nie powiedzieć żadne %)), stąd nie wiem co zrobić, żeby to działało i przy tym zgodne było z jakimiś standardami.
Dzielenie jest dość czasochłonne, więc jest szansa że usunięcie go z funkcji która jest jedną z głównych w programie powinno coś pomóc. Prawie na pewno program przyspieszy o kilka-kilkanaście procent, przyspieszenie to widać nawet zastępując oryginalną funkcję ic-score inną, bardziej skomplikowaną ale jednocześnie bez końcowego dzielenia (niestety generującą przy tym niekompatybilne wyniki, więc nie można ich używać zamiennie).

A co chcesz zrobić? może masz problem typu że mnożysz jakąś liczbą, która jest typu 32bit przez stałą co w wyniku da już liczbę 64bit. Kompilator nie jest w stanie tego sprawdzić więc przyjmuje że wynik takiego mnożenia będzie 32bit nawet jak wynik takiego działania przypisujesz do typu 64 bit;

Przykład:

int64_t x; //64 bitowa liczba wynikowa
int32_t y; //32 bitowy liczba

x = y * 2147483647LL; //zamiast dopisywać LL do stałej można rzutować y na int64_t x = (int64_t)y * 2147483647;

wynikiem takiego działania jeżeli y != 0 na pewno będzie liczba 64 bit jednak jakbyśmy zapisali to tak x = y * 2147483647; to wynik będzie 32 bitowy pomimo tego że x został zadeklarowany jako 64bit. Niektóre kompilatory (może wszystkie) tak maja, że jak mu nie pokażesz, że chcesz 64 bit to tego nie zrobi
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Lipiec 2009, 23:31
W progsie jest pętla w której wynik powstaje przez kilka(naście) -> n kolejnych mnożeń, a że powstająca liczba jest okrutnie wielka, zastosowane jest tam też dzielenie (przez n właśnie), dzięki czemu mieści się w rozsądnym zakresie.
Dążę do tego, żeby ta liczba mogła być okrutnie wielka (czyli w praktyce 64 bitowy INT), wtedy obejdzie się bez dzielenia, czyli powinno to zaoszczędzić trochę czasu procesora.
Teraz jednak pojawia się pytanie: czy dla 64 bitowego procesora, aplikacji i systemu działania na 64 bitach będą równie szybkie jak na 32 ? W aplikacji ewentualnie powstający 64 bitowy wynik będzie ciągle porównywany z innymi (najlepszy jest przechowywany), więc jeśli okaże się, że porównanie dwóch 64 bitowych liczb jest wolniejsze niż dla 32 bitowych, to przyrost prędkości aplikacji może okazać się ujemny...
Jeszcze muszę luknąć jak to wygląda w oryginalnych źródłach obecnejaplikacji, bo to w czym obecnie dłubię to stara i dużo wolniejsza wersja, ale przez to lepsza do testów, bo wszelkie zmiany są bardziej widoczne.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 18 Lipiec 2009, 23:52
Cytat: TJM w 18 Lipiec 2009, 23:31W progsie jest pętla w której wynik powstaje przez kilka(naście) -> n kolejnych mnożeń, a że powstająca liczba jest okrutnie wielka, zastosowane jest tam też dzielenie (przez n właśnie), dzięki czemu mieści się w rozsądnym zakresie.
Dążę do tego, żeby ta liczba mogła być okrutnie wielka (czyli w praktyce 64 bitowy INT), wtedy obejdzie się bez dzielenia, czyli powinno to zaoszczędzić trochę czasu procesora.
Teraz jednak pojawia się pytanie: czy dla 64 bitowego procesora, aplikacji i systemu działania na 64 bitach będą równie szybkie jak na 32 ? W aplikacji ewentualnie powstający 64 bitowy wynik będzie ciągle porównywany z innymi (najlepszy jest przechowywany), więc jeśli okaże się, że porównanie dwóch 64 bitowych liczb jest wolniejsze niż dla 32 bitowych, to przyrost prędkości aplikacji może okazać się ujemny...
Jeszcze muszę luknąć jak to wygląda w oryginalnych źródłach obecnejaplikacji, bo to w czym obecnie dłubię to stara i dużo wolniejsza wersja, ale przez to lepsza do testów, bo wszelkie zmiany są bardziej widoczne.

Porównanie liczb 64 bit na procesorze x64 to praktycznie to samo co porównanie liczb 32 bit na procku 32 bit. Po to powstało rozszerzenie x86_x864 żeby operacje na dużych liczbach 64 bit robić jedną instrukcją, a nie jak to ma miejsce na 32 bitowym procku przy pomocy kilku instrukcji. Zmień deklaracje zmiennej wynikowej na unsigned long long (deklaracja standardowa dla linuxa i windowsa) a przy wszystkich składnikach z których powstaje ten wynik dodaj dodatkowo przed zmienna rzutowanie na 64 bit (unsigned long long) i powinno działać. Pozbycie się dzielenia na x64 powinno przyspieszyć liczenie, na systemie x86 nie koniecznie, teoretycznie powinno być nawet wolniej z dzieleniem.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Lipiec 2009, 01:39
Dłubałem dziś sporo przy aplikacji, testowałem wydajność głównie pod linuksem ze względu na dostęp do 4 kompilatorów - 2 wersje gcc, Intel i Open64.
Wyżej wspomniane kombinowanie z 64 bitami ma sens raczej tylko jako dodatek do innych optymalizacji. Samodzielny przyrost prędkości jest raczej mizerny, na dodatek 64 bitowe kompilacje na procesorach Intela są po prostu wolniejsze od starych aplikacji zbudowanych przy użyciu gcc 3.2, tak więc nawet z przyspieszeniem po usunięciu paru drobiazgów przyrost prędkości przy przesiadce 32->64bit jest ujemny.

Nie rozumiem jednak wielu rzeczy. Na przykład tego:


  s0 = s1 = s2 = s3 = 0;
  for (i = 0; i < len-15; i += 16) {
    c1 = stbrett[ciphertext[i]];
    c1 = path_lookup[i][c1];
    c1 = stbrett[c1];
    s0 += unidict[c1];

    c2 = stbrett[ciphertext[i+1]];
    c2 = path_lookup[i+1][c2];
    c2 = stbrett[c2];
    s1 += unidict[c2];
[.....]
[.....]
[.....]
    c3 = stbrett[ciphertext[i+2]];
    c3 = path_lookup[i+2][c3];
    c3 = stbrett[c3];
    s2 += unidict[c3];

    c4 = stbrett[ciphertext[i+3]];
    c4 = path_lookup[i+3][c4];
    c4 = stbrett[c4];
    s3 += unidict[c4];
  }
  for (; i < len; i++) {
    c1 = stbrett[ciphertext[i]];
    c1 = path_lookup[i][c1];
    c1 = stbrett[c1];
    s0 += unidict[c1];
  }

  return (s0+s1) + (s2+s3);


Score które jest zwykłą sumą liczone jest na 4 zmiennych i na sam koniec po prostu sumowane. Oczywiście można wywalić te 4 zmienne i zostawić jedną, odpada też wtedy suma na końcu, ale pojawiają się ciekawe efekty:

-na procesorach typu PIII i pochodnych ogromny spadek wydajności
-na Athlonach 64/64 x2 lekki przyrost wydajności (rzędu 2%)
-na architekturze c2d nie widać zmian

Na dodatek dużo zależy tu od kompilatora, z tego co pamiętam właśnie z tym oryginalnym kodem na 4 zmiennych aplikacja skompilowana kompilatorem Intela na linuksie po prostu zmiata wydajnością wszystkie inne, wydajność jest tak ogromna, że gdyby istniały 4GHz PIII byłyby to najprawdopodobniej najlepsze procesory w projekcie - wydajność z każdego MHz lepsza jest chyba tylko na najmocniejszych C2D.

Z tego co czytałem w podręczniku kompilatora Intela, dość możliwe jest, że takie rozbite niezależne działania procesor jest w stanie wykonywać jednocześnie. Ale nie tłumaczy to, dlaczego w takim razie aplikacja zbudowana pod C2D, PIV czy inne nowsze procesory działa tak samo szybko, niezależnie od tego czy operuje na jednej zmiennej czy na czterech. Próbowałem nawet na 8 i 16 ale zmian nie widać.

Kolejna sprawa to tajemnicze -fschedule-insns na procesorach AMD.
Na procesorach Intela najwyższą wydajność uzyskuje się przez ręczne rozwinięcie kodu, tzn wszystkie wywołania drobniejszych funkcji zastępuję po prostu tą funkcją wklejoną w miejsce wywołania. Kod źródłowy jest po takiej akcji kobylasty, a plik wykonywalny wielki jak drzwi od stodoły, ale przyspieszenie na procesorach klasy c2d rzędu 10-15% więc nie do pogardzenia. Tak działa obecnie używana aplikacja dla c2d.
Na procesorach AMD jednak taki numer nie przechodzi, bo gcc wywala błędy przy próbie kompilacji tak rozwiniętego kodu z flagą -fschedule-insns, która jak zostało udowodnione jest kluczowa dla wydajności na prockach AMD. Bez tej flagi kod się kompiluje, ale zysk prędkości biorący się z braku wywołań funkcji zatraca się poprzez stratę wydajności przy braku -fschedule-insns. Z Open64 i rozwiniętym kodem również były jakieś zgrzyty kompilacji.

Jedno jeszcze mnie dziwi - na forum projektu mdoerner zarzucił kompilacje z Open64 m.in. właśnie dla Athlona 64 i 64x2 - te jego exeki chodzą w miarę przyzwoicie, śmiem nawet przypuszczać, że są to obecnie najszybsze dla tych Athlonów pod 32 bitowe systemy.
Jednak dziś próbowałem wykrzesać coś więcej z tego kompilatora i choćbym na rzęsach chodził po suficie nie mogłem uzyskać nawet zbliżonego wyniku; co więcej nie mogłem nawet uzyskać wyniku zbliżonego do byle chłamowatej kompilacji z gcc... Średnia kiepskich gcc-buildów w benchmarku którego dziś używałem (krótki, żeby nie zasnąć oczekując) to 24s, podobną wydajność osiągał exek skomplilowany Intelem z flagami generic x86 tak żeby progs działał również na AMD. Najszybszy exek z Open64 jaki udało mi się wykrzesać osiągnął 28s i co ciekawe, obojętnie jakie opcje bym do kompilacji nie dodawał czas ten znacznie się nie zmienia - są praktycznie tylko dwa stany: 1) progs się kompiluje i osiąga te 28s 2) wyskakuje błąd informujący o złych opcjach albo błąd kompilacji po włączeniu jakiejś opcji. WTF ?

Wygląda na to, że w źródłach czai się jeszcze spora rezerwa prędkości do wyciśnięcia, tylko trzeba porzucić jedno, wspólne źródło i spróbować z co najmniej dwoma róznymi wersjami: Intel/AMD lub co gorsza jeszcze jakieś wersje pośrednie, bo podejrzewam, że między Athlonami a Phenomem też różnice będą spore...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 27 Lipiec 2009, 18:53
Duży mankament, to niemożność rozsyłania optymalek do konkretnych CPU bezpośrednio przez serwer.

W tym projekcie brakuje tylko jeszcze jednej dobrej optymalki. Dla procesorów amd liczących pod windowsem.

Kiedyś przeglądałem statystyki hostów i jest tam całe stado amd x2 6000. Akurat liczyłem na swoim x2@2700 i
średnio miałem prawie 70% lepsze czasy. Różnica znaczna.

Zbudowanie może być trudne. Pewnie byłaby szybka, jeśliby udałoby się użyć  mingw (64-bit) z -fschedule-insns
(małe szanse). Wtedy mógłbyś na siłę je wcisnąć z serwera na te kompy. :D

Build mdoernera, kompilowany open64 testowałem. W moim przypadku wolniejszy o kilka %.
Choć ta aplikacja w przypadku procesorów phenom i nowszych procków ze stajni amd może wyppadać lepiej.

Jeśli masz ochotę możesz jeszcze testnąć moją aplikację (gcc-3.4.6) dla amd. Działa pod 64-bitowym systemem.
http://files.getdropbox.com/u/349831/enigma.static.x86_64.tar.bz2 (http://files.getdropbox.com/u/349831/enigma.static.x86_64.tar.bz2)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 28 Lipiec 2009, 01:04
Oprócz tego, że 'brakuje' aplikacji Windows/AMD, wszystkie inne da się przyspieszyć modyfikując źródła pod konkretny procesor i używając właściwych flag. Niestety, kombinacji jest łącznie tyle, że po paru godzinach zabawy już się nie pamięta co z czym i jak łączyć. Trzeba by jakoś usystematyzować wiedzę i wprowadzać kolejne zmiany w źródłach, sprawdzać na każdym procku jakie są efekty i kompilować z różnymi flagami.
Aplikacji 64 bitowej pod AMD chwilowo nie przetestuję, bo nie mam pod ręką kompa z Athlonem i 64bitowym systemem.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: X X X w 31 Lipiec 2009, 00:18
Tak a`propos - mam AMD Phenom x4 9650 + Win7/64 i chętnie coś potestuję. A na tę chwilę mam krótkie pytanie - który z exe z poniższego linku użyć do mojego procka?
http://www.enigmaathome.net/forum_thread.php?id=17&nowrap=true#1166
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 31 Lipiec 2009, 01:28
Nie wiem, wypadałoby zrobić benchmark i po prostu wybrać najszybszy. Gdzieś na poprzednich stronach tego wątku jest opis jak wykonywać pomiary. Sprowadza się to do uruchomienia exeka z odpowiednimi parametrami i sprawdzenia ile czasu procesora użył do momentu zakończenia pracy.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Sierpień 2009, 14:10
Wygląda na to, że pojawiły się jakieś nowe optymalizacje które nie są publicznie dostępne. Przypominają to co kiedyś sam skleciłem - aplikacja działa super szybko, ale niektórych zadań nie jest w stanie przetworzyć.
Przez to ładne parędziesiąt godzin przesiedziałem ostatnio poprawiając logikę assimilatora i validatora. Wcześniej zadania zweryfikowane jako błędne przetwarzane były przez główny serwer (to co siedzi 'nad' BOINCem, jako łączność z serwerem M4). Niestety rosnąca liczba nieprawidłowych rezultatów zaczęła mi zakłócać działanie tego systemu, do tego stopnia, że w tabelach aktywnych zadań chwilami wisiało po 500-600 tysięcy workunitów, które w BOINCu po kilka razy z rzętu trafiały na hosty nie będące w stanie ich przetworzyć. Są nawet hosty z aplikacjami które w ogóle nic nie są w stanie przeliczyć (nie wiem jak to w ogóle możliwe), a mimo to są podpięte i codzień kaszanią swoją dzienną dawkę zadań.

W związku z tym wprowadziłem duże zmiany - dla użytkowników ze sprawnie działającymi aplikacjami zmian praktycznie nie ma, oprócz tego, że nie można sobie resetować daily quota.
Wcześniej serwer 'wybaczał' drobne błędy i wysypanie się workunita raz na jakiś czas po prostu ignorował, nie obniżając daily quota. To dlatego, że błędne próbki w żaden sposób nie są w stanie wpłynąć na działanie całości, a wiadomo, że zdarzają się z różnych powodów - nadmierne O/C, jakiś zwisek systemu czy coś.
Teraz jest to zrobione na trochę innej zasadzie - dla hostów które przez dłuższy czas zwracały poprawne rezultaty, dalej stosowana jest polityka 'przymykania oka' na pojedyńcze błędy. Za to dla hostów, które regularnie zwracają dużą liczbę błędnych zadań limity są zaostrzone - daily quota leci lawinowo w dół, aż do momentu kiedy zwrócenie nawet jednego zadania z błędem automatycznie odcina hosta na następne 24h (daily quota od razu wskakuje na 1). Po kilku dniach działania nowego systemu kilka hostów już się na to załapało (nikt z naszego teamu).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: X X X w 13 Sierpień 2009, 14:28
To ciekawa informacja. A jak do tego mają się zadania przerwane przez użytkownika? Jestem "karany" za coś takiego, czy jest to neutralne? Chodzi mi o ogólną zasadę, nie tylko o ustawy Enigmy.

Jestem tu nowy i wciąż eksperymentuję z różnymi projektami. Czasem, żeby dostać jakąś próbkę muszę ustawić zapas na kilka dni. Niestety "przy okazji" z takiego np. PG zdąży wpaść i 50 wu, które później wywalam. Wiem, że należy nastawić "nie pobieraj", ale czasem zdarza się zapomnieć.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 13 Sierpień 2009, 14:43
Standardowo, w prawie wszystkich projektach, przerwanie zadania jest rownoznaczne z niepoprawnym przeliczeniem. A zatem obniza daily quota.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Sierpień 2009, 14:57
Dokładnie tak to działa, na dodatek w starszych wersjach serwera przerwanie podbijało error_rate hosta, czy nadal tak jest nie sprawdzałem. To drugie jest totalnie bez sensu, bo anulowanie zadań jest na pewno lepszym sposobem niż ich kiszenie aż przekisną w wypadku nadmiaru - z anulowanym zadaniem serwer radzi sobie doskonale wysyłając od razu resenda, kiszone wisi w bazie aż do timeouta, po czym również następuje resend, ale workunit jako taki ma wpisy w bazie ze 2 razy dłużej.
Tutaj jednak sytuacja jest jeszcze trochę inna, podczas procesu walidacji serwer może początkowo obniżyć daily quota za anulowanie zadań (pozostałość BOINCowego kodu validatora), ale i tak przywróci maksymalną wartość przy pierwszym poprawnym zwróconym wyniku, bo daemon który zajmuje się ustalaniem aktualnej wartości nresults_today i daily_quota ma po prostu w nosie takie drobiazgi, jak anulowanie zadań. Dla niego liczą się tylko poprawność/niepoprawność wyniku.

Rozważam jeszcze możliwość wprowadzenia bonusu dla 'reliable hostów' - komputery które w momencie odsyłania wyniku miałyby error_rate = 0, mogłyby dostawać jakiś dodatek do punktów za zadanie. Takie komputery są szczególnie cenne z punktu widzenia każdego projektu, bo trafiają do nich zadania które często nie będą miały więcej szans na przeliczenie. Przykładowo, w enigmie zadanie ma około 28 dni na powrót do serwera M4, to daje możliwość przekiszenia zadania dwa razy, ale trzeci resend zostanie wysłany ze skróconym deadline i jeśli nie wróci w czasie, serwer M4 takiego rezultatu nie przyjmie. Co prawda serwer nadal potrafi obsłużyć taki rezultat (czeka na inny workunit z serwera M4 z tymi samymi danymi, do których rezultat będzie pasował), jednak kosztem bardzo obciążających operacji na bazie danych.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Sierpień 2009, 15:13
Poprawiłem dziś resztę drobnych bugów w backendzie i przy okazji znalazłem bug w BOINCu lub przynajmniej jego dokumentacji.
Domyślnie pole workunit.name to max 254 znaki tekstu. Założony jest indeks który automatycznie zabrania wstawienia dwóch workunitów o takiej samej nazwie.
Ale kto by przypuszczał, że nikt nie pomyślał wstawić tam do typu danych BINARY ? Bez tego dupa = dUPa = DUPA, więc nie da się wstawiać również workunitów o nazwach innych, pisanych z różną wielkością liter. Przez to serwer po prostu nie chciał mi wstawiać niektórych workunitów do tabeli, a ja się głowiłem czemu...

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Sierpień 2009, 18:48
Zbudowałem z ciekawości nowy set optymalizowanych aplikacji, w VS 2008. Są tylko dwie sensowne: SSE i SSE2.
Na razie szału nie ma, uzyskałem wyniki na poziomie zbliżonym do starych najlepszych aplikacji. Ale myślę, że zmieniając w opcjach co nieco da się jeszcze dorzucić jakiś bonus do prędkości, więc niewykluczone, że dałoby radę zbudować coś szybszego. Niestety nie używam VS na codzień, więc nie bardzo wiem od czego zacząć.
Orientuje się ktoś, czy jeśli ustawię inline functions -> any suitable, to nadal kompilator będzie brał pod uwagę funkcje oznaczone jako _inline_ ? GCC miał z tym poważne problemy, musiałem całe źródło przepisać, tak żeby w ogóle nie było tych funkcji.

EDIT: oraz fajnie by było, gdyby ktoś z AMD/Win32 przetestował jak się miewa prędkość, może dla AMD będzie na dzieńdobry lepiej niż standard z MinGW.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 16 Sierpień 2009, 20:26
Cytat: TJM w 16 Sierpień 2009, 18:48
Zbudowałem z ciekawości nowy set optymalizowanych aplikacji, w VS 2008. Są tylko dwie sensowne: SSE i SSE2.
Na razie szału nie ma, uzyskałem wyniki na poziomie zbliżonym do starych najlepszych aplikacji. Ale myślę, że zmieniając w opcjach co nieco da się jeszcze dorzucić jakiś bonus do prędkości, więc niewykluczone, że dałoby radę zbudować coś szybszego. Niestety nie używam VS na codzień, więc nie bardzo wiem od czego zacząć.
Orientuje się ktoś, czy jeśli ustawię inline functions -> any suitable, to nadal kompilator będzie brał pod uwagę funkcje oznaczone jako _inline_ ? GCC miał z tym poważne problemy, musiałem całe źródło przepisać, tak żeby w ogóle nie było tych funkcji.

EDIT: oraz fajnie by było, gdyby ktoś z AMD/Win32 przetestował jak się miewa prędkość, może dla AMD będzie na dzieńdobry lepiej niż standard z MinGW.

Kompilator z VS2008 nie jest zły, ale jak już przebudowałeś source tak, żeby działało pod VS2008 (kiedyś próbowałem, no ale jakieś linuxowe funkcje tam siedziały, więc dałem sobie spokój ) to zainteresuj się kompilatorem intela dla windowsa powinno dać dużo lepsze przyspieszenie niż sam vs.

Możesz podesłać przerobione source to może i ja bym się trochę pobawił?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Sierpień 2009, 22:26
Nie potrafię w ogóle podpiąć kompilatora Intela pod Visual Studio, kiedyś ostro z tym walczyłem ale miałem poważne problemy. Udało mi się jedynie pod Visual C++.
Źródło później gdzieś wrzucę, mam chwilowo jedynie jakieś niechlujne na którym dużo rzeczy testowałem, ale projekt i patch da się spokojnie nałożyć na domyślne.

Nie wiesz jak wygląda sytuacja z inline funkcjami w visualu ? Domyślnie nie wciąga nawet najprostszych funkcji jako inline (widzę to od razu po wielkości exeka), a z doświadczenia wiem, że daje to spory przyrost prędkości. Z kolei gdy zdeklaruję coś z inline, __inline lub __forceinline, kompilacja sypie się z błędami linkera.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 16 Sierpień 2009, 22:31
Cytat: TJM w 16 Sierpień 2009, 22:26Nie wiesz jak wygląda sytuacja z inline funkcjami w visualu ? Domyślnie nie wciąga nawet najprostszych funkcji jako inline (widzę to od razu po wielkości exeka), a z doświadczenia wiem, że daje to spory przyrost prędkości. Z kolei gdy zdeklaruję coś z inline, __inline lub __forceinline, kompilacja sypie się z błędami linkera.

inline jakoś nie chce działać na VS ten sam problem był podczas kompilacji milky nie chciał dodawać inline takich funkcji jak sin czy cos a z tego co potem mindc wykombinował na intelu to już wszystko ładnie poszło.

Cytat: TJM w 16 Sierpień 2009, 22:26
Nie potrafię w ogóle podpiąć kompilatora Intela pod Visual Studio, kiedyś ostro z tym walczyłem ale miałem poważne problemy. Udało mi się jedynie pod Visual C++.
Źródło później gdzieś wrzucę, mam chwilowo jedynie jakieś niechlujne na którym dużo rzeczy testowałem, ale projekt i patch da się spokojnie nałożyć na domyślne.

Korzystasz z darmowej wersji express? Kiedyś potrzebowałem na szybko kompilator x64 a na maszynie była tylko wersja express i niestety nie udało mi się zmusić kompilatora do działania. Na domowej maszynie mam wersje Team System i nie ma takich problemów.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Sierpień 2009, 22:47
No cóż, widocznie będę musiał ręcznie rozwinać źródło, jak dla gcc który też coś sapał. Wtedy niedziałanie inline samego kompilatora nie jest problemem.

Co do VS, to mam full wersję, ale mimo to miałem jakieś problemy. Niestety wyczerpałem 30-day triala na obu zainstalowanych systemach, więc póki co nawet nie potestuję czy da się coś jeszcze z tym zrobić.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 16 Sierpień 2009, 22:54
Cytat: TJM w 16 Sierpień 2009, 22:47Co do VS, to mam full wersję, ale mimo to miałem jakieś problemy. Niestety wyczerpałem 30-day triala na obu zainstalowanych systemach, więc póki co nawet nie potestuję czy da się coś jeszcze z tym zrobić.

Do testów możesz zainstalować wersje express ten sam kompilator tylko nie ma x64 jest jedynie x86 i trochę okrojony interfejs, ale z tego co pamiętam opcje kompilacji wszystkie te same.

Edit

Ahh te 30 dni to chodziło o intela, a nie o VS, co do samego intela tez ciekawa sprawa bo zainstalowałem u siebie triala ze strony intela i jakos na win7 ten trial się nie kończy :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Sierpień 2009, 00:32
U mnie trial przywiesił się na ostatnich dniach, ale ostatecznie w końcu kompilator i tak się przyblokował.

Nie rozumiem jednej rzeczy kurcze.



double icscore(const int *stbrett, const int *ciphertext, int len)
{
 int f[26] = {0};
 int S0, S1, S2, S3;
 int c1, c2, c3, c4, c5, c6, c7, c8, c9, c10, c11, c12, c13, c14, c15, c16;
 int i;

 if (len < 2)
   return 0;

 for (i = 0; i < len-15; i += 16) {
   c1 = stbrett[ciphertext[i]];
   c1 = path_lookup[i][c1];
   c1 = stbrett[c1];

   c2 = stbrett[ciphertext[i+1]];
   c2 = path_lookup[i+1][c2];
   c2 = stbrett[c2];

   c3 = stbrett[ciphertext[i+2]];
   c3 = path_lookup[i+2][c3];
   c3 = stbrett[c3];

   c4 = stbrett[ciphertext[i+3]];
   c4 = path_lookup[i+3][c4];
   c4 = stbrett[c4];

   c5 = stbrett[ciphertext[i+4]];
   c5 = path_lookup[i+4][c5];
   c5 = stbrett[c5];

   c6 = stbrett[ciphertext[i+5]];
   c6 = path_lookup[i+5][c6];
   c6 = stbrett[c6];

   c7 = stbrett[ciphertext[i+6]];
   c7 = path_lookup[i+6][c7];
   c7 = stbrett[c7];

   c8 = stbrett[ciphertext[i+7]];
   c8 = path_lookup[i+7][c8];
   c8 = stbrett[c8];

   c9 = stbrett[ciphertext[i+8]];
   c9 = path_lookup[i+8][c9];
   c9 = stbrett[c9];

   c10 = stbrett[ciphertext[i+9]];
   c10 = path_lookup[i+9][c10];
   c10 = stbrett[c10];

   c11 = stbrett[ciphertext[i+10]];
   c11 = path_lookup[i+10][c11];
   c11 = stbrett[c11];

   c12 = stbrett[ciphertext[i+11]];
   c12 = path_lookup[i+11][c12];
   c12 = stbrett[c12];

   c13 = stbrett[ciphertext[i+12]];
   c13 = path_lookup[i+12][c13];
   c13 = stbrett[c13];

   c14 = stbrett[ciphertext[i+13]];
   c14 = path_lookup[i+13][c14];
   c14 = stbrett[c14];

   c15 = stbrett[ciphertext[i+14]];
   c15 = path_lookup[i+14][c15];
   c15 = stbrett[c15];

   c16 = stbrett[ciphertext[i+15]];
   c16 = path_lookup[i+15][c16];
   c16 = stbrett[c16];

   f[c1]++;
   f[c2]++;
   f[c3]++;
   f[c4]++;
   f[c5]++;
   f[c6]++;
   f[c7]++;
   f[c8]++;
   f[c9]++;
   f[c10]++;
   f[c11]++;
   f[c12]++;
   f[c13]++;
   f[c14]++;
   f[c15]++;
   f[c16]++;
 }
 for (; i < len-3; i += 4) {
   c1 = stbrett[ciphertext[i]];
   c1 = path_lookup[i][c1];
   c1 = stbrett[c1];

   c2 = stbrett[ciphertext[i+1]];
   c2 = path_lookup[i+1][c2];
   c2 = stbrett[c2];

   c3 = stbrett[ciphertext[i+2]];
   c3 = path_lookup[i+2][c3];
   c3 = stbrett[c3];

   c4 = stbrett[ciphertext[i+3]];
   c4 = path_lookup[i+3][c4];
   c4 = stbrett[c4];

   f[c1]++;
   f[c2]++;
   f[c3]++;
   f[c4]++;
 }
 for (; i < len; i++) {
   c1 = stbrett[ciphertext[i]];
   c1 = path_lookup[i][c1];
   c1 = stbrett[c1];
   f[c1]++;
 }


 S0 = S1 = S2 = S3 = 0;
 for (i = 0; i < 23; i += 4) {
   S0 += f[i]*(f[i]-1);
   S1 += f[i+1]*(f[i+1]-1);
   S2 += f[i+2]*(f[i+2]-1);
   S3 += f[i+3]*(f[i+3]-1);
 }
 S0 += f[24]*(f[24]-1);
 S1 += f[25]*(f[25]-1);

 //return (double)((S0+S1) + (S2+S3)) / (len*(len-1));
 fprintf(stderr, "i/c debug: %i  \n", S0+S1+S2+S3);
 return (double)((S0+S1) + (S2+S3));

}



To jest funkcja, gdzie myślałem o zmianie double na 64 bit integera, bo pamiętałem jeszcze z listy mailingowej M4 wzmianki o ogromnych liczbach jakie tu występują. A tymczasem:

Cytat: icscore
i/c debug: 442  
i/c debug: 454  
i/c debug: 448  
i/c debug: 474  
i/c debug: 438  
i/c debug: 440  
i/c debug: 488  
i/c debug: 506  
i/c debug: 430  
i/c debug: 450  
i/c debug: 426  
i/c debug: 492  
i/c debug: 488  
i/c debug: 476  
i/c debug: 470  
i/c debug: 442  
i/c debug: 408  
i/c debug: 488  
i/c debug: 496  
i/c debug: 462  
i/c debug: 460  
i/c debug: 472  
i/c debug: 476  
i/c debug: 476  
i/c debug: 460  
i/c debug: 462  
i/c debug: 472  
i/c debug: 456  
i/c debug: 464  
i/c debug: 446  
i/c debug: 440  
i/c debug: 464  
i/c debug: 456  
i/c debug: 464  
i/c debug: 440  
i/c debug: 446  
i/c debug: 436  
i/c debug: 424  
i/c debug: 488  
i/c debug: 462  
i/c debug: 436  
i/c debug: 456  
i/c debug: 484  
i/c debug: 472  
i/c debug: 544  
i/c debug: 514  
i/c debug: 516  
i/c debug: 524  
i/c debug: 542  
i/c debug: 556  
i/c debug: 538  
i/c debug: 512  
i/c debug: 524  
i/c debug: 522  
i/c debug: 516  
i/c debug: 520  
i/c debug: 542  
i/c debug: 530  
i/c debug: 532  
i/c debug: 534  
i/c debug: 532  
i/c debug: 510  
i/c debug: 496  
i/c debug: 516  
i/c debug: 480  
i/c debug: 476  
i/c debug: 532  
i/c debug: 510  
i/c debug: 532  
i/c debug: 534  
i/c debug: 558  
i/c debug: 600  
i/c debug: 532  
i/c debug: 538  
i/c debug: 570  
i/c debug: 544  
i/c debug: 596  
i/c debug: 548  
i/c debug: 530  
i/c debug: 574  
i/c debug: 564  
i/c debug: 540  
i/c debug: 536  
i/c debug: 528  
i/c debug: 516  
i/c debug: 534  
i/c debug: 510  
i/c debug: 546  
i/c debug: 592  
i/c debug: 564  
i/c debug: 520  
i/c debug: 508  
i/c debug: 482  
i/c debug: 470  
i/c debug: 570  
i/c debug: 538  
i/c debug: 510  
i/c debug: 546  
i/c debug: 516  
i/c debug: 534  
i/c debug: 516  
i/c debug: 540  
i/c debug: 584  
i/c debug: 590  
i/c debug: 550  
i/c debug: 546  
i/c debug: 496  
i/c debug: 510  
i/c debug: 504  
i/c debug: 490  
i/c debug: 550  
i/c debug: 546  
i/c debug: 584  
i/c debug: 590  
i/c debug: 482  
i/c debug: 470  
i/c debug: 520  
i/c debug: 508

ciekawe, gdzie tkwi haczyk...

Teoretycznie ciphertext może być o wiele dłuższy, ale według podręcznika operatora enigmy, nie wolno bylo przekroczyć chyba koło 300 znaków.


Zastanawiają mnie też porównania tego typu


                    if (ic-bestic > DBL_EPSILON) {
                      bestic = ic;
                      action = KZ_IZ;
                    }


Skoro po usunięciu dzielenia, które praktycznie nic nie wnosi (przecież i bez dzielenia lepszy score zawsze będzie lepszy, a gorszy będzie gorszy) liczba mieści się powiedzmy w  1000, to po co użyty typ double i jeszcze takie dziwne porównania  |-? DBL_EPSILON zdefiniowany jest jako 0.000000001.
Zastanawiam się, jakie to może mieć znaczenie dla logiki programu.
Możliwe, że dzielenie ma wnieść jakąś dodatkową zależność score od długości tekstu, ale skoro aplikacja cały czas pracuje na tekście jednej długości, to po co to  |-? Chyba spróbuję to pousuwać razem z tym DBL_EPSILONem i przetestować jak zachowa się aplikacja.
Nie wiem na ile bezpieczne są takie modyfikacje, bo aplikacja może działać poprawnie i zwracać poprawne wyniki, ale jakość hillclimba może spaść na łeb i cały soft nie będzie w stanie nic złamać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 17 Sierpień 2009, 01:22
a jakbyś chciał wypisywać double dostajesz te same wyniki? Teoretycznie %i mogło coś obciąć, chociaż i tak liczby są za małe.

Może złe zadania podajesz, w innych może są to te ogromne liczby.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Sierpień 2009, 02:27
EDIT: Fragment o wywalaniu dzielenia nieaktualny dla używanej wersji aplikacji, więc wycinam żeby nie mięszać.

Na pewno z oryginalnego źródła można wywalić z funkcji icscore testowanie if len < 2, bo workunity mają stały len, do tej pory było to 72 i 100. Można jednak tą funkcję zmodyfikować jeszcze co najmniej na dwa sposoby, sęk w tym, że często modyfikacja na jednym procesorze dawała zysk, na innym gwóźdź do trumny...

Cytat
i/c debug: 0.036364
i/c debug: 0.036566
i/c debug: 0.036768
i/c debug: 0.037778
i/c debug: 0.039596
i/c debug: 0.040000
i/c debug: 0.042222
i/c debug: 0.042424
i/c debug: 0.044040
i/c debug: 0.046061
i/c debug: 0.046667
i/c debug: 0.050101
i/c debug: 0.052121
i/c debug: 0.052727
i/c debug: 0.053131
i/c debug: 0.054141
i/c debug: 0.054545
i/c debug: 0.057980
i/c debug: 0.058182
i/c debug: 0.059798
i/c debug: 0.062020
i/c debug: 0.062222
i/c debug: 0.063636
i/c debug: 0.066667
i/c debug: 0.066667
i/c debug: duuuupa
i/c debug: 0.034949
i/c debug: 0.036566
i/c debug: 0.036970
i/c debug: 0.037374
i/c debug: 0.043030
i/c debug: 0.043838
i/c debug: 0.046869
i/c debug: 0.050303
i/c debug: 0.051515
i/c debug: 0.052323
i/c debug: 0.052929
i/c debug: 0.054141
i/c debug: 0.054747
i/c debug: 0.057576
i/c debug: 0.059596
i/c debug: 0.059798
i/c debug: 0.060000
i/c debug: 0.060202
i/c debug: 0.060404
i/c debug: 0.063232
i/c debug: 0.063636
i/c debug: 0.064646
i/c debug: 0.066263
i/c debug: 0.066465
i/c debug: 0.067475
i/c debug: 0.067879
i/c debug: 0.067879
i/c debug: duuuupa
i/c debug: 0.039394
i/c debug: 0.041212
i/c debug: 0.041616
i/c debug: 0.041818
i/c debug: 0.045051
i/c debug: 0.045253
i/c debug: 0.047273
i/c debug: 0.047677
i/c debug: 0.047879
i/c debug: 0.048081
i/c debug: 0.048485
i/c debug: 0.049091
i/c debug: 0.049495
i/c debug: 0.049697
i/c debug: 0.050101
i/c debug: 0.051111
i/c debug: 0.052121
i/c debug: 0.052323
i/c debug: 0.053131
i/c debug: 0.053535
i/c debug: 0.054343
i/c debug: 0.054949
i/c debug: 0.055354
i/c debug: 0.056970
i/c debug: 0.057980
i/c debug: 0.058990
i/c debug: 0.060404
i/c debug: 0.061010
i/c debug: 0.061010
i/c debug: duuuupa
i/c debug: 0.041818
i/c debug: 0.042020
i/c debug: 0.043434
i/c debug: 0.044242
i/c debug: 0.045455
i/c debug: 0.045657
i/c debug: 0.045859
i/c debug: 0.046061
i/c debug: 0.047071
i/c debug: 0.048485
i/c debug: 0.048687
i/c debug: 0.049091
i/c debug: 0.049899
i/c debug: 0.050505
i/c debug: 0.051111
i/c debug: 0.052323
i/c debug: 0.052727
i/c debug: 0.059596
i/c debug: 0.061010
i/c debug: 0.061414
i/c debug: 0.062020
i/c debug: 0.062222
i/c debug: 0.064848
i/c debug: 0.067273
i/c debug: 0.067879
i/c debug: 0.069495
i/c debug: 0.069495

duuupa rozdziela jeden pełny przebieg po ustawieniach - cały cykl pętli hillclimb.c
Nie widziałem, żeby na jakimkolwiek normalnym WU przekroczyło chociażby 0,08.

Tymczasem zostawiam aplikację logującą najlepsze ic score i idę w kimę, jutro normalnie na stronce będę mógł przeglądać w stderr rezultatów logi.

EDIT: no i śmigała aplikacja parę godzin, maksimum dla normalnego icscore i 100 znaków tekstu można przyjąć na poziomie 0,1...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Sierpień 2009, 10:09
Zrobiłem coś takiego, z hillclimb.c wywaliłem wszystko co się dało oprócz deklaracji (w ten sposób mam działający szkielet programu który mogę odpalać jak normalną enigmę), w środek wstawiłem benchmark, np:


   bestelapsedic1 = 500000;
   for (i=0;i<30;i++) {
   start = GetTickCount();
   for (counter=0;counter<400000;counter++) {
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       bestic = icscore(ckey.stbrett, ciphertext, len);
       }
   end = GetTickCount();
   elapsed = end-start;
   if (elapsed < bestelapsedic1) {
      bestelapsedic1 = elapsed;
   }
   printf("elapsed %f\n",elapsed);
}
   printf("best elapsed %f\n",bestelapsedic1);


Tutaj dwa kolejne wyniki: na zwykłej funkcji i po minimalnej zmianie - wycięciu if len < 2

Cytat
C:\Documents and Settings\TJM\Pulpit\project_source_code\bench>enigma -R -o nul
00trigr.naval 00bigr.naval m4_awgly100_1
2009-08-17 10:01:26  enigma: working on range ...
elapsed 3925.000000
elapsed 3818.000000
elapsed 4088.000000
elapsed 4898.000000
elapsed 4221.000000
elapsed 4075.000000
elapsed 4245.000000
elapsed 4083.000000
elapsed 3956.000000
elapsed 4144.000000
elapsed 4094.000000
elapsed 3904.000000
elapsed 4125.000000
elapsed 3982.000000
elapsed 4170.000000
elapsed 3994.000000
elapsed 3806.000000
elapsed 4123.000000
elapsed 4167.000000
elapsed 4069.000000
elapsed 4021.000000
elapsed 3989.000000
elapsed 3942.000000
elapsed 3834.000000
elapsed 4026.000000
elapsed 4056.000000
elapsed 3898.000000
elapsed 3963.000000
elapsed 3964.000000
elapsed 3918.000000
best elapsed 3806.000000

C:\Documents and Settings\TJM\Pulpit\project_source_code\bench>enigma -R -o nul
00trigr.naval 00bigr.naval m4_awgly100_1
2009-08-17 10:05:55  enigma: working on range ...
elapsed 3834.000000
elapsed 3916.000000
elapsed 3887.000000
elapsed 3765.000000
elapsed 3801.000000
elapsed 4056.000000
elapsed 3929.000000
elapsed 3728.000000
elapsed 3999.000000
elapsed 3843.000000
elapsed 3753.000000
elapsed 3915.000000
elapsed 3902.000000
elapsed 3873.000000
elapsed 3891.000000
elapsed 3878.000000
elapsed 3881.000000
elapsed 3509.000000
elapsed 4005.000000
elapsed 3848.000000
elapsed 3727.000000
elapsed 3765.000000
elapsed 3770.000000
elapsed 3791.000000
elapsed 4031.000000
elapsed 3952.000000
elapsed 3812.000000
elapsed 4035.000000
elapsed 3925.000000
elapsed 3880.000000
best elapsed 3509.000000

C:\Documents and Settings\TJM\Pulpit\project_source_code\bench>
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Sierpień 2009, 00:47
No to teraz parę ciekawostek.

Dziwne rzeczy, co się najstarszym fizjononom w głowie nie mieszczą.

Kosmetyczna zmiana na końcu funkcji, usunięcie dzielenia. Czas wykonania spada do lekko poniżej 3000ms na 500000 iteracji (standardowy czas jest wyżej). Zmienna zwracana jako double, ale jest to nadal integer.

No to myślę sobie, zmienię typ danych na integer, będzie jeszcze szybciej. W deklaracji funkcji zmieniłem więc double icscore na int icscore, usunąłem casta na double z return oraz w zmiennej przyjmującej wartość funkcji typ danych zmieniłem na integer. Dzielenie oczywiście dalej usunięte. I co ? A no czas wykonania skoczył na średnio 3800ms, 800ms powyżej tego samego z typem danych double.

Ciekawe dlaczego, nie jestem w stanie tego wytłumaczyć. Możliwe, że działania na liczbach zmiennoprzecinkowych wpadają na jednostkę zmiennoprzecinkową, która wykonuje je szybciej niż stałoprzecinkowa ? Ewentualnie druga hipoteza, że w ten sposób co niektóre instrukcje lecą na FPU, odciążając CPU - procesory na pewno dają radę niektóre instrukcje wykonywać równolegle, widać to po samej pętli w funkcji icscore - jedna pętla wykonuje na raz 4 dodawania na 4 zmiennych i na koniec je sumuje, gdy zmieni się to na tradycyjne dodawanie do jednej zmiennej, wydajność spada na łeb.


Zamieniając coś takiego


  S0 = S1 = S2 = S3 = 0;
  for (i = 0; i < 23; i += 4) {
    S0 += f[i]*(f[i]-1);
    S1 += f[i+1]*(f[i+1]-1);
    S2 += f[i+2]*(f[i+2]-1);
    S3 += f[i+3]*(f[i+3]-1);
  }
  S0 += f[24]*(f[24]-1);
  S1 += f[25]*(f[25]-1);


w coś takiego


  S0 = S1 = S2 = S3 = 0;
    S0 += f[0]*(f[0]-1);
    S1 += f[2]*(f[2]-1);
    S2 += f[3]*(f[3]-1);
    S3 += f[4]*(f[4]-1);
    S0 += f[5]*(f[5]-1);
    S1 += f[6]*(f[6]-1);
    S2 += f[7]*(f[7]-1);
    S3 += f[8]*(f[8]-1);
    S0 += f[9]*(f[9]-1);
    S1 += f[10]*(f[10]-1);
    S2 += f[11]*(f[11]-1);
    S3 += f[12]*(f[12]-1);
    S0 += f[13]*(f[13]-1);
    S1 += f[14]*(f[14]-1);
    S2 += f[15]*(f[15]-1);
    S3 += f[16]*(f[16]-1);
    S0 += f[17]*(f[17]-1);
    S1 += f[18]*(f[18]-1);
    S2 += f[19]*(f[19]-1);
    S3 += f[20]*(f[20]-1);
    S0 += f[21]*(f[21]-1);
    S1 += f[22]*(f[22]-1);
    S2 += f[23]*(f[23]-1);
    S3 += f[24]*(f[24]-1);
    S0 += f[25]*(f[25]-1);


Czas wykonywania spada o 300ms... Odpada licznik pętli i dodawanie w nawiasach kwadratowych kosztem czytelności kodu, ale to żadna strata.

Próbowałem również z różną ilością sum pomocniczych - przy 1 jest najwolniej, przy 2-4 prędkość jest praktycznie taka sama, powyżej zaczyna znów spadać. Myślałem, że przy 5 będzie najszybciej (ze względu na to, że ilość działań to wielokrotność 5), ale nie jest. Wszystko to póki co jedynie dla architektury c2d.
Jest ktoś w stanie przeprowadzić te same testy na AMD ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Karlik w 18 Sierpień 2009, 02:04
Cytat: TJM w 18 Sierpień 2009, 00:47

  S0 = S1 = S2 = S3 = 0;
  for (i = 0; i < 23; i += 4) {
    S0 += f[i]*(f[i]-1);
    S1 += f[i+1]*(f[i+1]-1);
    S2 += f[i+2]*(f[i+2]-1);
    S3 += f[i+3]*(f[i+3]-1);
  }
  S0 += f[24]*(f[24]-1);
  S1 += f[25]*(f[25]-1);


w coś takiego


  S0 = S1 = S2 = S3 = 0;
    S0 += f[0]*(f[0]-1);
    S1 += f[2]*(f[2]-1);
    (...)

Specjalnie usunąłeś dodawanie f[1] czy przez przypadek?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Sierpień 2009, 02:16
Skasował mi się jeden wpis przy kopiowaniu, jedynka też musi być. Bez tego pewnie kaszanka w icscore by była.
Niestety sama funkcja icscore jest dość szybka, przez co mimo częstego używania w programie (praktycznie 1/3 głównej pętli) kilka-kilkanaście procent przyrostu prędkości na samym ic praktycznie nie jest zauważalne w całości. No ale zawsze jakieś sekundy odpadną na najdłuższych zadaniach.



Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: gielo w 18 Sierpień 2009, 14:33
a jaki jest sens liczenia tego projektu ? Po za nabijaniem punktów oczywiście. Czy nie lepiej liczyć coś co przyczynia się do rozwoju nauki czy medycyny?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Sierpień 2009, 18:28
Dla mnie sens jest duży, zaszyfrowane wiadomości to nieznany na chwilę obecną kawałek historii który kiedyś może da się odkryć.

Sesef - wyślę zaraz na priva link do źródeł które budują się pod visualami, ale będziesz musiał sobie odświeżyć zawartość przed nadpisanie świeżym, Windowsowym źródłem ze strony - jak zobaczysz strukturę archiwum od razu rozkminisz co i jak - te moje były edytowane z milion razy i właśnie okazało się, że połowa rzeczy które tu pisałem o dopalaniu funkcji icscore to głupości, bo w aktualnej wersji progsa funkcja jest trochę inna i doskonale tłumaczy użycie typu double dla danych.

I od razu prośba do wszystkich budujących jakieś aplikacje na ewentualny użytek publiczny - wrzucajcie do źródeł jakiś tag, po którym potem da się na stronie rozpoznać jaka aplikacja coś liczyła. Wystarczy znaleźć w hillclimb.c to


#endif
    hillclimb_log("enigma: working on range ...");
  }


i dopisać linijkę, która będzie wyrzucana do stderr a wiec widoczna później także na stronie:


#endif
    hillclimb_log("Win32 Intel/C2D executable v1.0 by ChudyGienek");
    hillclimb_log("enigma: working on range ...");
  }


W ten sposób w razie kłopotów z aplikacją łatwo będzie można znaleźć wszystkich userów, którzy z niej korzystają i poinformować ich, że coś jest nie tak. Aktualnie gdzieś w sieci na 100% krąży jakaś niedorobiona aplikacja która 1/3 zadań wysypuje a z pozostałych 2/3 mniej więcej 1/4 się nie validuje. Pewnie paru userów zainstalowało, zobaczyli że przeliczyła parę rezultatów i zostawili, a teraz dziennie przelatuje przez ich kompy po kilkadziesiąt zadań które tylko się sypią i zaśmiecają bazy serwera. Powoli wychwytuję ich po logach, ale zanim wszystkich znajdę i się z nimi skontaktuję minie trochę czasu.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 18 Sierpień 2009, 18:35
Cytat: TJM w 18 Sierpień 2009, 18:28W ten sposób w razie kłopotów z aplikacją łatwo będzie można znaleźć wszystkich userów, którzy z niej korzystają i poinformować ich, że coś jest nie tak. Aktualnie gdzieś w sieci na 100% krąży jakaś niedorobiona aplikacja która 1/3 zadań wysypuje a z pozostałych 2/3 mniej więcej 1/4 się nie validuje. Pewnie paru userów zainstalowało, zobaczyli że przeliczyła parę rezultatów i zostawili, a teraz dziennie przelatuje przez ich kompy po kilkadziesiąt zadań które tylko się sypią i zaśmiecają bazy serwera. Powoli wychwytuję ich po logach, ale zanim wszystkich znajdę i się z nimi skontaktuję minie trochę czasu.

Zapuścić skrypt jak od 3 dni ma jakiś konkretniejszy error rate to mu dayli quoat ustawić na 20 i po problemie, jak mu zacznie punktów ubywać to się kapnie, że coś jest nie tak. Bo jak takich hostów trochę się trafi to jednak trochę to bazę przymula i generuje niepotrzebny transfer, przy okazji łatwiej będzie odfiltrować hosty które mają niskie daily quota i w razie potrzeby kontaktować się z właścicielem.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Sierpień 2009, 18:47
Daemon czyszczący bazy i generujący niektóre statsy jako skutek uboczny w logu wyświetla statystyki wywalonych próbek (zresztą sam BOINC też to ma wbudowane), więc wystarczy przeglądać i klikać na linkach do profilu usera. Niestety ciężko czasami odróżnić zwykłe wysypywanie się próbek np. przez nieumiejętną podmianę aplikacji (dużo ludzi próbuje podmieniać na włączonym BOINCu) czy też podmianę na złą wersję, gdzie user skapnie się po chwili sam, że wszystko się sypie od skaszanionych wersji - trzeba po prostu obserwować i notować.

Wysyłam właśnie PMa z linkiem do źródeł, przed chwilą sprawdzałem czy da się je przenosić między komputerami - elegancko są przenośne, otwiera je bez problemu i kompiluje Visual Studio 2008 i Visual C++ 2008 Express (w tym były ostatnio zapisane i testowałem czy działa build), nie wiem czy da się backportnąć do wersji 2005/2005 Express - projekt to automatyczna konwersja właśnie z tych starszych wersji do 2008.
W konfiguracji Win32/Release są ustawione opcje które jak do tej pory okazały się najszybsze.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 18 Sierpień 2009, 18:53
Cytat: TJM w 18 Sierpień 2009, 18:47Niestety ciężko czasami odróżnić zwykłe wysypywanie się próbek np. przez nieumiejętną podmianę aplikacji (dużo ludzi próbuje podmieniać na włączonym BOINCu) czy też podmianę na złą wersję, gdzie user skapnie się po chwili sam, że wszystko się sypie od skaszanionych wersji - trzeba po prostu obserwować i notować.

Dlatego pisałem wcześniej, żeby skrypt brał np 3 ostatnie dni pod uwagę, chyba nie ma takich nieogarniętych co przez 3 dni będą wgrywać optymalki, albo nie kapną się, że coś jest nie tak, bo tutaj problemy z tego co rozumiem generują głównie hosty typu "wgraj i zapomnij".
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Sierpień 2009, 20:59
Tak, głównie takie hosty są problemem, zwłaszcza jeśli przeliczają część zadań poprawnie. Natura BOINCa taka, że daily quota spada przy błędach, ale również rośnie przy prawidłowo przeliczonych zadaniach. Stąd zapomniany host z całkowicie zwaloną aplikacją będzie kaszanił 1*ilość rdzeni zadań dziennie lub nawet tylko jedno (nie pamiętam jak to jest rozwiązane, teoretycznie daily quota mnożone jest x liczba CPU), gdy tymczasem host przeliczający część zadań poprawnie będzie mógł też sporo dziennie skaszanić. Po przeliczonym zadaniu daily quota podbijane jest o 2, więc 4 rdzeniowy host po przeliczeniu 2 zadań poprawnie będzie mógł ściągnąć 8 a następnie odesłać je skaszanione.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 18 Sierpień 2009, 21:18
Cytat: TJM w 18 Sierpień 2009, 20:59
Tak, głównie takie hosty są problemem, zwłaszcza jeśli przeliczają część zadań poprawnie. Natura BOINCa taka, że daily quota spada przy błędach, ale również rośnie przy prawidłowo przeliczonych zadaniach. Stąd zapomniany host z całkowicie zwaloną aplikacją będzie kaszanił 1*ilość rdzeni zadań dziennie lub nawet tylko jedno (nie pamiętam jak to jest rozwiązane, teoretycznie daily quota mnożone jest x liczba CPU), gdy tymczasem host przeliczający część zadań poprawnie będzie mógł też sporo dziennie skaszanić. Po przeliczonym zadaniu daily quota podbijane jest o 2, więc 4 rdzeniowy host po przeliczeniu 2 zadań poprawnie będzie mógł ściągnąć 8 a następnie odesłać je skaszanione.


To może wprowadzić coś w rodzaju bana na dany host. Jak host powiedzmy po 3 dniach ma dość duży error rate to dostaje bana na WU + komunikat od serwera przy requescie ze ma bana (manager takie na czerwono wyświetla) i dana osoba ma się skontaktować z administratorem. BOINC po kilku nie udanych próbach połączenia złapie dość duży request time więc często requestami nie będzie sypać, a i problem z błędami się skończy.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Sierpień 2009, 21:45
BOINC teoretycznie obsługuje bany na hosta, ale nigdy ich jeszcze nie testowałem.
Teraz problem jest już zminimalizowany, nowy zestaw daemonów na zapleczu lepiej sobie z tym radzi - hosty które notorycznie zwracają duże ilości błędnych WU przy pierwszym zwróconym błędzie mają daily quota ustawiane od razu na 1 i nresults_today na max_results_day * liczba rdzeni +1, więc tego dnia nic już nie ściągną.
Natomiast przez ostatni miesiąc to była porażka, na 3 zadania ściągnięte z serwera M4 jedno wracało od razu, a pozostałe dwa pierw odbijały się od kaszaniących hostów.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 01 Wrzesień 2009, 01:54
Podpiąłem 'offline' tabelę z wszystkimi unikatowymi rezultatami dla hceyz72 pod prosty interfejs do ich przeglądania:

http://www.enigmaathome.net/results_hceyz72.php?page=1

Można sobie zobaczyć jak to wygląda od kuchni, jak ktoś ma chęć może wszystkie teksty (1,3 miliona) przeczytać i sprawdzić, czy nie ma tam przypadkiem jakiegoś sensownego niemieckiego tekstu %)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 04 Wrzesień 2009, 17:59
Taki nowy bajer, niedługo będzie zlinkowane na stronie głównej projektu (po poprawkach) http://www.enigmaathome.net/cpu_os.php

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 04 Wrzesień 2009, 20:42
Nudzilo Ci sie?  ;). Fajny bajerek :).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 04 Wrzesień 2009, 22:16
Ciekawych rzeczy można się dowiedzieć z tabelki, np. że i7 920/940/950 są wolniejsze niż większość procesorów AMD, które to w tym projekcie uważane są raczej za powolne...
Podana prędkość jest oczywiście wyliczoną średnią z prawdziwych czasów przeliczania WU.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 04 Wrzesień 2009, 22:56
Ja bym raczej powiedzial ze wlasciciele i7 nie stosuja optymalek :). Kupili szybkie proce i rozleniwili sie. Natomiast Ci co maja powolne AMD robia wszystko co sie da zeby tylko dogonic lepszych...

Jak czesto zamierzasz aktualizowac tabele?

Przydalby sie news o tym...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 04 Wrzesień 2009, 23:07
Cytat: AiDec w 04 Wrzesień 2009, 22:56
powolne AMD

no chyba się obrażę  :wth:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 04 Wrzesień 2009, 23:11
No niestety nie jest to tajemnica, że AMD poniżej silnych Phenomów i Enigma to nie jest najlepsze połączenie - bez kombinowania z optymalizacjami speed jest delikatnie mówiąc nienajlepszy %)
Tabele są aktualizowane w czasie rzeczywistym przez assimilatora, ale na czas prac zatrzymuję skrypty, żeby coś się nie pogibało.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 12 Wrzesień 2009, 16:22
Od trzech dni probuję się zalogować na własne konto. Niestety bez powodzenia. >:(
Przekierowuje mnie na jakiś dziwny adres neostrady.

http://83.10.229.196:443/enigma/home.php

Co jest grane?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 12 Wrzesień 2009, 16:28
To nie jest 'dziwny adres neostrady' tylko prawdziwe IP projektu. Zaraz obadam co jest grane, bo nie ty pierwszy o tym wspominasz. Możliwe, że coś się popierniczyło w konfigu serwera reverse-proxy.

EDIT: Możesz sprawdzić teraz, czy wszystko OK ? Coś się musiało zmienić w źródłach projektu, wcześniej wszystkie requesty leciały na project_url/skrypt.php a teraz do niektórych dorzuca project_url/project_name/skrypt.php. Dorzuciłem na proxy workaround z double redirectem, ale trzeba to potestować nieco.
Chyba dla bezpieczeństwa wyedutuję skrypty, żeby to project_name nigdzie się nie pojawiało...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 12 Wrzesień 2009, 22:14
Teraz jest ok.

Cytat: TJM w 12 Wrzesień 2009, 16:28
To nie jest 'dziwny adres neostrady' tylko prawdziwe IP projektu.
Ja nie mam możliwości sprawdzenia, kto się za nim kryje.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 12 Wrzesień 2009, 22:29
No już powinno wszystko trybić, zmieniłem trochę konfig proxy żeby pasował pod te nowsze skrypty.
Wkurza trochę coś takiego, zmienią czasem jakiś detal w kodzie PHP serwera i nie ma nawet o tym wzmianki, a później powstają właśnie takie zonki jak to dzisiaj.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 12 Wrzesień 2009, 22:56
Jeszcze taki mały bug.
Zdarza się często, że nie pojawia się "panel" z pocztą.
Dziś również była czkawka. Raz był, następnym już nie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 12 Wrzesień 2009, 23:09
Mówisz o home.php ? Jeśli tak, to czasami strona po prostu nie była ucięta ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 12 Wrzesień 2009, 23:37
Spójrz na ten screen (http://dl.getdropbox.com/u/349831/screen.png), zrobiony 10 minut temu.

db error + brak "panelu"

Logowałem się przed chwilą i tym razem był. :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 13 Wrzesień 2009, 12:17
pytanie lenia idącego na łatwiznę: jakie opto dla vista64? wiem, że to pewnie jest gdzieś zakopane na forum... %)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 13 Wrzesień 2009, 13:33
Cytat: Pigu w 13 Wrzesień 2009, 12:17
pytanie lenia idącego na łatwiznę: jakie opto dla vista64? wiem, że to pewnie jest gdzieś zakopane na forum... %)

tak samo jak do x86
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 13 Wrzesień 2009, 13:49
widzę, że nie się nie do końca zrozumieliśmy  %) linków szukam hehe
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Wrzesień 2009, 13:58
A jaki proc ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 13 Wrzesień 2009, 14:06
hehe u mnie bez mian q6600@2.8 4GB DDR2@800 EAH4870 VISTA64 BUSINESS %)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Wrzesień 2009, 14:11
http://plikens.no-ip.net/1299xfizob/c2d.zip
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pigu w 13 Wrzesień 2009, 22:48
dzięki
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 20 Wrzesień 2009, 19:45
Znalazłem swój stary benchmark pod Windows, jeszcze z czasów pre-BOINC wersji serwera:

http://dl.getdropbox.com/u/1912652/win_bench.7z

opis działania: podmienić enigma.exe na wybraną wersję (w razie potrzeby zmienić nazwę) i kliknąć benchmark. Podczas benchmarku w trayu siedzi ikonka, po zakończeniu wyskakuje okienko z czasem podanym w sekundach.
Oczywiście można testować dowolne aplikacje, nie tylko te z dołączonego archiwum.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 06 Październik 2009, 11:06
Mam taką prośbę  :respect: czy autor sztandarowego projektu polskiego - Enigma mógłby uporządkować i podać w jednym miejscu jakie są aktualnie optymalizacje na poszczególne rodzaje komputerów i systemów. Trochę to śmieszne że lepiej są opisane na stronie projektu Enigma zaś w naszym forum wszystko jest poplątane  |-?, pisane gwarą komputerową, cofanie się, poprawianie, pisanie o benchmarkach itp. Dla kogoś kto w projekcie uczestniczy od początku i na bieżąco śledził wątek Enigma jego rozwój i pojawianie się optymalizacji być może jest to zrozumiałe, ale dla mnie - nie. Optymalizacje opisane na stronie Enigma próbowałem wgrać na różne kompy: na systemieXP i proc intel było szybciej ale już na Phenoma II pod Vistą 64 wyraźnie gorzej. Skoro promujemy ten projekt to wypadało by pomóc rodzimym liczydłowym nie znającym języka.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: X X X w 06 Październik 2009, 11:09
Na AMD odpuść sobie ten projekt, wyraźnie preferuje Intela.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 06 Październik 2009, 23:53
Na AMD faktycznie jest słabo, ale po wrzuceniu optymalizacji nie jest przynajmniej tragicznie.
Nadal chyba najbardziej uniwersalny jest ten exek który znajdziesz w temacie na forum projektu w paczce z paroma różnymi buildami. Jest najbardziej uniwersalny i przyspieszenie powinno być widoczne na każdym AMD klasy 64/Phenom.
Zresztą najlepiej pobawić się tym benchmarkiem który jest akurat ciut wyżej i po prostu wybrać najszybszy exek. Benchmark pokazuje czas wykonania testu, wiadomo że mniej = lepiej.
Z innych exeków to tutaj na forum musiałbyś poprzeglądać temat i po prostu wybrać coś działającego i szybkiego. Gotowej instrukcji nie ma bo 1) nie mam żadnego hosta AMD z windowsem 2) dziwne sprawy wychodziły przy testach, na jednych kompach optymalka potrafiła być szybsza o paręnaście procent, na innych wolniejsza. Nie mam pojęcia od czego to zależy.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Listopad 2009, 14:47
Umarł dziś prawdopodobnie jeden z dysków w serwie, tak więc daemony off do czasu aż zdiagnozuję problem i ewentualnie podmienię dysk.
Co gorsza trafiło bazę danych, na szczęście jedynie tabelę z logiem wrappera, gdzie dane są nieistotne z punktu widzenia działania projektu, tak więc myślę, że obędzie się nawet bez przywracania backupu - będę musiał się jedynie pomotać, żeby odbudować jakoś strukturę uszkodzonej tabeli (prawdopodobnie skopiuję po prostu z online backupu).


(http://dl.enigmaathome.net/1528xcvw23/20091116001.jpg)

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pantarhei w 07 Styczeń 2010, 12:36
W maju zeszłego roku TJM, na moje pytania - dlaczego trzecia wiadomość nie została jeszcze złamana skoro pierwsze dwie rozszyfrowano po kilku miesiacach - odpowiedział:

Prawdopodobnie wynika to z charakterystyki samej maszyny i algorytmów których używa aplikacja.
Jeśli weźmiesz ten sam tekst i zaszyfrujesz go kilka razy z tymi różnymi ustawieniami, a później będziesz próbować deszyfrować podając tylko część poprawnych danych (żeby skrócić zakres, bo nie ma sensu robić testów na całym przecież) na pewno okaże się, że większość z tych testowych tekstów złamie się bardzo szybko (np. po 2-3 'restartach' - czyli przebiegach po całym poszukiwanym zakresie); ale będą też takie, które wytrzymają znacznie więcej, np. kilkanaście lub kilkadziesiąt. Ekstremalne przypadki potrafią wytrzymać 1000+, ale to już musi być wyjątkowo nieszczęśliwy zbieg ustawień i tekstu.

Na dodatek pojawiają się inne czynniki, np. w przechwyconym tekście może brakować jakiejś litery. Zakłóca to automatycznie prawidłową kolejność przeskoków rotorów, więc tekst po brakującej literze jest nie do odczytania nawet dla kogoś, kto zna ustawienia. Tekst z brakującą literą automatycznie dostaje ogromny 'bonus' do odporności na złamanie, pół biedy jeśli litery brakuje blisko początku lub końca - wtedy algorytm sobie może z tym poradzić, bo kilka skaszanionych liter wiele nie zakłóci. Jeśli jednak brakuje gdzieś w środku, to złamanie takiej wiadomości hillclimbem graniczy raczej z cudem.
Na szczęście i na to jest sposób, wystarczy ciąć wiadomość na kawałki i każdy z nich traktować jako osobną - w ten sposób można liczyć na to, że ewentualny uszkodzony fragment się ominie, to właśnie zostało zrobione z ostatnią wiadomością w projekcie M4 - kilka razy już zmieniane były fragmenty, aktualnie dostępne są dwa, pewnie wkrótce jeden zostanie znów zmieniony, bo zakres poszukiwań zbliża się ekspresowo do końca.


Czy aktualnie można określić na jakim etapie jest projekt w swojej drodze do złamania czwartej wiadomości i czy można coś więcej powiedzieć o problemach które stoją temu na przeszkodzie?  :book:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Styczeń 2010, 18:38
Dla trzeciej wiadomości oba przewidziane zakresy skończyły się i rozwiązanie nie zostało znalezione.
Moim zdaniem te zakresy i tak były co najmniej o połowę za długie, chyba lepiej wykonać wiele krótszych testów niż męczyć jedną możliwą 'hipotezę' zbyt długo.
No ale tak zostało ustawione na serwerze M4, więc nie miałem nic do gadania.

Aktualnie serwer M4 nie ma w ogóle dostępnych zadań, więc póki co serwer śmiga z jednym z ciphertextów dostępnych na cryptocellar.org. Jest ich tam więcej, oraz przy dodawaniu ich nie jestem ograniczony przez zewnętrzny serwer, więc można testować co tylko do głowy przyjdzie.
Tekst ten na pewno ma brakujące litery, ale przyjąłem pewną strategię. Ponieważ M3-keyspace zawiera tylko 60 workunitów o typowej dla projektu długości, do klienta z każdym workunitem wysyłany jest zmieniający się po każdym pełnym obiegu po WU tekst, w którym pierwsze trzy brakujące litery są zamieniane na kolejne litery alfabetu, zaczynając od lewej.
Daje to 26*26*26 kombinacji, co w połączeniu z 60 WU dla każdego tekstu daje 250k WU.
Czwartą literę która jest blisko końca pominąłem, brak jednej nie powinien mieć wpływu na wynik, o ile wiadomość jest do złamania przy użyciu tej metody.


Dlatego jeśli ktoś z was ma chęć się pobawić w historyka-kodołamacza, zapraszam do poczytania dostępnych opisów ataków na teksty enigmy i szukania sensownych możliwości kontynuacji poszukiwań na pozostałych tekstach. Serwer ma ogromne możliwości implementacji dodatkowych rozwiązań, praktycznie ograniczone tylko dostępnością softu (ewentualnie ktoś go musi napisać).



Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Styczeń 2010, 03:21
Pod koniec miesiąca, lub z początkiem następnego prawdopodobnie pojawią się przejściowe trudności z dostępem do serwera.

Wysłałem zapytanie do firmy hostingowej w celu zapoznania się z możliwością przeniesienia się na inną ofertę (niby nawet lepsza niż to co używam, a ta sama cena) - głównie ze względu na konieczność zaoszczędzenia kasiwa.
W aktualnej ofercie zaczyna brakować transferu, na wyższą mnie nie stać, a pojawiła się opcja typu wirtualna maszyna z 2x większymi zasobami (RAM, hdd) i ponad 3 razy wiekszym transferem od tego co mam, w tej samej cenie.
Jeśli przeniesienie nie będzie możliwe, to będę musiał pomyśleć o czymś innym.

Prawdopodobnie sam serwer sprzętowo też wkrótce wyemigruje do innej lokalizacji, znajomy zaoferował możliwość przechowania go u siebie w firmie, gdzie za prąd płacą ryczałtem. Zastanawiam się właśnie nad tą możliwością, gdyż z jednej strony odpadnie spora kwota z rachunku za elektryczność, z drugiej jednak dostęp do serwera nie będzie już taki łatwy i będzie ograniczony praktycznie do Pn-Pt + pół soboty, więc w razie awarii usunięcie będzie trwać dłużej.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: apohawk w 11 Styczeń 2010, 08:47
Downtimem się nie przejmuj. Jak sobie przypomnę na ilę czasu wysiadał Collatz, to wolnej niedzieli Ci nie pożałuję ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Styczeń 2010, 09:10
Jeśli przy okazji ewentualnej przeprowadzki adres IP się zmieni, to downtime najprawdopodobniej przekroczy 24h, z czego te pierwsze 24h będą musiały upłynąć zanim cokolwiek będę mógł dalej zrobić.
Póki co czekam na odpowiedź supportu, lepiej żeby okazało się, że taka zmiana jest możliwa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Hani w 11 Styczeń 2010, 10:09
Hmm.... Z rysiem chyba się znacie. :) Serwer goldbacha nie obsłży obydwu projektów?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: apohawk w 11 Styczeń 2010, 21:28
Cytat: TJM w 11 Styczeń 2010, 09:10
Jeśli przy okazji ewentualnej przeprowadzki adres IP się zmieni, to downtime najprawdopodobniej przekroczy 24h, z czego te pierwsze 24h będą musiały upłynąć zanim cokolwiek będę mógł dalej zrobić.
Póki co czekam na odpowiedź supportu, lepiej żeby okazało się, że taka zmiana jest możliwa.

Na starym IP postaw serwer proxujący do nowego IP. Jak się zmiana w DNSach rozpropaguje, to wyłączysz proxy i po problemie. Tak ostatnio przenosiliśmy serwer naszego klienta w firmie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 12 Styczeń 2010, 01:46
To nie tak łatwo, bo stare IP to wlaśnie proxy, poza tym przy ewentualnej zmianie od razu stracę dostęp - inaczej musiałbym opłacic jednocześnie stary i nowy serwer tylko po to, żeby ze starego korzystac parę dni, co mi się nie uśmiecha.
Z supportu dostałem jednak odpowiedź, że zamiana oferty jest bezproblemowa i od ręki a co więcej, może nawet obraz systemu aktualnej maszyny ruszy na wirtualnej. Tego niestety nie gwarantują, ale jakoś specjalnie mi na tym nie zależy. Najważniejsze, żeby przy zmianie zachowac aktualne IP.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Styczeń 2010, 20:25
Czekam na odpowiedź Stefana Kraha na pytanie, czy ma zamiar kontynuować swój projekt.
Jeśli się poddał lub zawiesił projekt na dłuższy czas, będę musiał poważnie przemyśleć kwestię kontynuowania dalszych poszukiwań na własną rękę.
Problemy na przyszłość widzę dwa - pierwszy to dalsze finansowanie projektu, nawet po zredukowaniu kosztów może przerosnąć moje obecne (i co gorsza, przyszłe tym bardziej) możliwości finansowe.
Druga sprawa to chroniczny brak czasu. Na samo utrzymanie działającego serwera i od biedy rozwój aplikacji czasu mi starczy, ale...
Na wszystkich tekstach które zostały obecnie do złamania ktoś sobie wcześniej połamał zęby, więc trzeba by się przekopać przez przeróżne materiały i przygotować jakąś alternatywną strategię ataku lub ustalić dlaczego wcześniejszy się nie powiódł. Bez dobrego pomysłu popartego dobrą teorią ataki na ślepo mogą się zakończyć złamaniem wiadomości chyba jedynie na zasadzie 'trafiło się ślepej kurze ziarno'.
Najlepiej gdyby jeszcze mieć możliwość skonsultowania się z jakimś historykiem lub chociaż osobą obeznaną trochę w temacie, a takich póki co nie widzę zbyt wiele. Na liście mailingowej M4 kilka osób się udzielało, ale nie wiem czy dałoby ich radę ściągnąć.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 18 Styczeń 2010, 20:29
Smutna to dla nas wielce wiadomość.......  :o
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Akira w 26 Styczeń 2010, 00:22
http://www.enigmaathome.net/results.php?hostid=23456

Fajny numerek hosta mi się trafił ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 23 Luty 2010, 09:40
W tym tygodniu, prawdopodobnie w okolicach weekendu serwer zostanie wyłączony na kilka do kilkunastu godzin. Muszę go rozebrać 'na atomy' i przeczyścić, bo trochę kurzu się zebrało i na dodatek wiatrak w zasilaczu chwilami rzęzi niemiłosiernie.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Marzec 2010, 14:17
Przed momentem w akompaniamencie fajerwerków, dymu i wrażeń zapachowych poszedł do piachu UPS podtrzymujący do tej pory serwer. Drugiego nie ma i nie będzie, więc do czasu naprawy (o ile da się naprawić, na razie nie mam czasu rozbierać) pozostaje mieć nadzieję, że pady prądu nie spowodują utraty danych.

Prawa Murphyego się uaktywniły i akurat na tabeli za którą najwięcej ludzi chciałoby ewentualnie głowę urwać, ale na razie wszystko wygląda ok

(http://img72.imageshack.us/img72/6704/crashr.th.png) (http://img72.imageshack.us/i/crashr.png/)

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 08 Marzec 2010, 14:23
 :fright:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 08 Marzec 2010, 16:20
Cytat: TJM w 08 Marzec 2010, 14:17
Przed momentem w akompaniamencie fajerwerków, dymu i wrażeń zapachowych poszedł do piachu UPS podtrzymujący do tej pory serwer. Drugiego nie ma i nie będzie, więc do czasu naprawy (o ile da się naprawić, na razie nie mam czasu rozbierać) pozostaje mieć nadzieję, że pady prądu nie spowodują utraty danych.

Prawa Murphyego się uaktywniły i akurat na tabeli za którą najwięcej ludzi chciałoby ewentualnie głowę urwać, ale na razie wszystko wygląda ok

(http://img72.imageshack.us/img72/6704/crashr.th.png) (http://img72.imageshack.us/i/crashr.png/)


A wiele trzeba na taki UPS, może zrzutka u kumpli od forum?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 08 Marzec 2010, 16:30
Cytat: Piotr R. (Peciak) w 08 Marzec 2010, 16:20
A wiele trzeba na taki UPS, może zrzutka u kumpli od forum?

2 akumulatory od kamaza, falownik, prostownik i TJM by coś tam pewnie z tego sklecił.

A i jeszcze zapomniałem trafo 1:20 ale to pewnie by szlo wymontować z poprzedniego UPSa
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Machloj w 08 Marzec 2010, 16:36
Cytat: sesef w 08 Marzec 2010, 16:30
2 akumulatory od kamaza, falownik, prostownik i TJM by coś tam pewnie z tego sklecił.

A i jeszcze zapomniałem trafo 1:20 ale to pewnie by szlo wymontować z poprzedniego UPSa
e tam :) damy wam pudełko zapałek i bilet cobyś do TJMa dojechał :) razem sobie poradzicie  ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 08 Marzec 2010, 16:49
makgajwery.....
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Marzec 2010, 20:22
Akurat na trafie wywaliło jakieś przebicie, poszła sieć na uzwojenia które używane są jako pierwotne do pracy z baterii, elektronika zniszczona - nawet płytka do kasacji, została się obudowa, można od biedy używać jako rozgałęźnik po zmostkowaniu kabla sieciowego z wyjściem %)

Trafo mam z innego UPSa którego kiedyś rozebrałem, niby miał 300W ale trafo 100-150W więc ta moc całkowita coś szemrana musiała być.

Do serwera UPS wystarcza najmniejszy jaki da się znaleźć, ważne żeby miał komunikację z PC i soft pod linuksa - wtedy jak tylko wykryje się zanik zasilania można w ciągu kilku sekund zatrzymać kluczowe procesy, zatrzymać bazę danych i po prostu czekać, nawet nie zamykając systemu; jak braknie prądu nic się nie stanie o ile akurat nic nie będzie modyfikowane - linuksowe systemy plików są bardzo odporne na różne nieprzewidziane zdarzenia, zwłaszcza te, które były projektowane jako odporne.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Marzec 2010, 12:01
Z cyklu problemów ciąg dalszy - coś się stało z proxy projektu, apacz umarł i nie ma chęci wystartować - unable to open logs, tak jakby nie miał uprawnień albo miejsca na dysku - tymczasem wszystko niby jest ok.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: apohawk w 10 Marzec 2010, 18:51
"unable to open logs" - mój ulubiony  XD Żeby chociaż to pisało, z którym plikiem jest problem, ale po co ?  XD
Może zrobiłeś jakieś zmiany niedawno w konfiguracji i nie reloadowałeś do tej pory ?
Może jakiś update apache'a przeorał konfigurację ?
Może zepsuł się jakiś program (update ?), do którego przez pipe'a wysyłasz logi ?
Może jakiś program blokuje któryś log ? (lsof ?)
Może coś na filesystemie się popsuło i nikt poza rootem nie może nic z jakimś plikiem zrobić ? - to przy reiserfs tak parę razy miałem, prawa dostępu były, a dostępu nie było  ;D

Przejrzeć cały config i wyłączać logi po kolei, może coś to da.
Daj znać, co to było.  ;D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Marzec 2010, 19:57
Nic w ogóle nie robiłem, po prostu rano wyłączył się apacz i tyle. Odpalić go już nie mogłem.
Problem sam minął, ale żebym pękł nie wiem co go powodowało. Mogę jedynie przypuszczać, że coś nie tak z macierzą z której host korzysta, zgłosiłem sysadminowi problem. Na wszelki wypadek zrobiłem snapshota, chociaż żadnych danych tam i tak nie ma.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: apohawk w 10 Marzec 2010, 20:05
"Sam się wyłączył" to mógł np. być logrotate robiący reloada na apache'u po zrotowaniu logów. Błąd w konfiguracji, reload w środku nocy przez logrotate i błąd ujawnia się dopiero w nocy ;)
Lepiej wybadaj, co to było, bo się powtórzy, Murphy zawsze ma rację ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Marzec 2010, 20:40
Nie ma żadnego rotate, to jest serwer skompilowany prawie w całości ze źródeł, bez bajerów które dodają się automatycznie.
Po prostu wygląda tak, jakby w pewnym momencie dysk znikł na chwilę, po czym pojawił się na jakiś czas w trybie read only.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: apohawk w 11 Marzec 2010, 00:45
Heh, dobre, tego jeszcze nie miałem  XD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 11 Marzec 2010, 00:47
A co na to system plików?? Co ty tam masz?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Marzec 2010, 08:12
Journalised ext3, nawet nie mogę zmienić bo jest częścią składową obrazu systemu (systemy 'instaluje' się jednym kliknięciem w panelu).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Marzec 2010, 10:29
Hm i dziś znów to samo. Serwer po sygnale zdalnego przeładowania (zmiana IP drugiego serwera) nie wstał, znów problem z logami. Dziś akurat stało się to praktycznie na moich oczach, więc się zalogowałem w kilka minut od zdarzenia. System plików niby w porządku, żadnych komunikatów o 'read only', tymczasem apacz do logów zapisywać nie mógł już od kilku godzin - z tego co widzę ostatnie wpisy są w okolicach 7 naszego czasu i potem cisza. Pachnie problemami z dyskiem, moja maszyna go fizycznie nie posiada (jakaś sieciowa macierz), więc wysłałem ticketa. Problem pewnie sam  by się rozwiązał bo w kolejce siedzi i tak przesiadka z 'sprzętowego sprzętu' na wirtualną maszynę, ale wszystkiego na raz zrobić nie da rady.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: apohawk w 11 Marzec 2010, 10:42
Ext3 przynajmniej się nie psuje, w przeciwieństwie do reiserfs. Ma jeszcze jedną zaletę, którą zilustruję na przykładzie reiserfs  ;D
Swego czasu zespół programistów u nas w firmie postawił sobie jakiś pseudo serwer na OpenSuse (nie pamiętam czemu, może przez Oracle'a) na reiserfs właśnie (bo lider zespołu lubiał reiserfs). Pewnego pięknego dnia zrobili update systemu, w tym kernela, zrestartowali i tyle ten system widzieli. Okazało się, że OpenSuse postanowiło przestać wspierać reiserfs i wywalili z kernela.  XD
Trzeba było zrobić partycje ext3 i system przegrać przy pomocy livecd innej dystrybucji z reiserfs w kernelu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Marzec 2010, 11:01
A według mnie Reiser jest właśnie bardziej odporny na błędy od ext3. Przy tym w większości zastosowań wydajność jest także dużo większa - zwłaszcza z folderami gdzie są dziesiątki, albo nawet setki tysięcy plików ReiserFS radzi sobie dużo lepiej.
Chociaż ogólna wydajność zależy też zapewne od samego kernela.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: apohawk w 11 Marzec 2010, 11:36
Może i wydajniejszy, ale generuje błędy i chyba został porzucony, jeśli dobrze pamiętam, więc część dystrybucji przestaje go wspierać.
Może to po prostu kwiestia gustu i doświadczeń ;) Ja z reiserem miałem złe doświadczenia.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 11 Marzec 2010, 11:39
MOże pora na ZFS??
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Marzec 2010, 12:28
Jak dla mnie ZFS nie ma żadnych zalet, a już w szczególności nie na kompie gdzie gdyby nie logi system plików mógłby być read only.
Jeśli już wyskakiwać ponad domyślny ext3, to tylko ReiserFS lub XFS. Teraz muszę dokładnie przemyśleć tą kwestię w świetle nadchodzącego upgrade OSu serwera, bo bez UPSa może być ciężko. Do tej pory przy awariach (głównie pady zasilacza) Reiser dawał radę.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: apohawk w 11 Marzec 2010, 13:02
Ext3 z journalingiem też przeżyje, nie martw się.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 12 Marzec 2010, 01:21
Cytat: apohawk w 11 Marzec 2010, 13:02
Ext3 z journalingiem też przeżyje, nie martw się.

Za to kiedyś czytałem, że Reiser powoduje najmniejsza fragmentację. Serwer jednak tworzy/kasuje sporo plików.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Marzec 2010, 11:17
Niezły bug się trafił. Validator z jakiegoś powodu ignoruje -credit_from_wu.
To znaczy, że userzy z normalnymi klientami dostali mniej punktów niż powinni, MACowcy nie dostali nic (0CPU time), cheaterzy którzy się skapnęli w porę dostali więcej (claimed = granted).
Dobrze że mam skrypt na takie okazje, najpierw naprawię validator a później skrypt wyrówna kredyty  %)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 17 Marzec 2010, 11:21
eh,,,,,
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 17 Marzec 2010, 11:30
Zauważyłem zmianę przedwczoraj. Zastanawiałem się czym podyktowana była zmiana sposobu punktacji.
Na najbardziej niesprawiedliwy i w dodatku sprzyjający wszelkiej maści oszustom.
Dla zasady nie zamierzam liczyć żadnego projektu gdzie claimed = granted.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Marzec 2010, 13:53
Znalazło się paru kolesi z klientami żądającymi po 80-90 kredytów ale nie przewidzieli chyba jak łatwo to poprawić:

http://www.youtube.com/watch?v=2KDz9a3dw6A

W całej akcji i tak chyba z 10 razy więcej kredytów dodałem (głównie 0->21 dla MACów) niż odjąłem.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 17 Marzec 2010, 14:46
Trafiło mi się zadanie z serii xfedt102_0..., to pewnie jakiś rodzynek. W tym wypadku punktacja jest bardzo niedoszacowana w stosunku do WU z serii yngzo50_0.
Na moim zabytku liczyło się około 2x dłużej a przyznane punkty nie wiele większe niż w przypadku xfedt102_0.


Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Marzec 2010, 15:22
W normalnych warunkach punkty są bardziej normalne, ale skryptu już mi się nie chciało edytować dla zadań których w sumie jest tylko kilkanaście tysięcy, a na raz in progress pewnie 1-2 w chwili obecnej.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 20 Marzec 2010, 21:46
Cytat: TJM w 17 Marzec 2010, 11:17
Niezły bug się trafił. Validator z jakiegoś powodu ignoruje -credit_from_wu.

Mówiłem, żeby stable kompilować to się na trunka rzuciłeś :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 20 Marzec 2010, 22:18
Ale to nie była wina trunka, po prostu znikła mi ta opcja z configa lub nigdy jej tam nie miałem, mój poprzedni validator miał chyba ze 2 lata %)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: KrzychuP w 11 Maj 2010, 08:15
Jeśli dobrze widziałem newsa na facebook'u to Enigma@Home rozgryzła pierwszą wiadomość  :parrrty:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Mori w 11 Maj 2010, 08:20
A jakby ktoś Fejsa nie śledził, to linki są takie:
- http://boinc.berkeley.edu/dev/forum_thread.php?id=5719
- http://www.enigmaathome.net/forum_thread.php?id=190&nowrap=true#1592
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 11 Maj 2010, 10:09
Trzeba by newsa trzasnąć. A jak widzę od kiedy dostałem multum roboty to newsy na głównej przestały "się" pisać.....
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: apohawk w 11 Maj 2010, 23:40
A ludzie czekają...  XD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 11 Maj 2010, 23:50
Zapraszam do edytowania naszej wiki  :wth:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 16 Maj 2010, 18:57
Czy to taki urok nowych zadań, czy przyczyny błędów leżą gdzieś w innym miejscu?

Cytat
16-May-2010 18:42:51 [Enigma@Home] Scheduler request succeeded: got 1 new tasks                                 
16-May-2010 18:42:53 [Enigma@Home] Started download of wx_m3_c_253_aa_zz_1_35                                   
16-May-2010 18:42:53 [Enigma@Home] Started download of m3_testtazuk161_2                                         
16-May-2010 18:42:56 [Enigma@Home] Finished download of wx_m3_c_253_aa_zz_1_35                                   
16-May-2010 18:42:56 [Enigma@Home] Finished download of m3_testtazuk161_2                                       
16-May-2010 18:42:57 [Enigma@Home] Starting testtazuk161_0_13679963_35_0                                         
cp: nie można wykonać stat na `projects/www.enigmaathome.net/wx_m3_c_253_aa_zz_1_35': Nie ma takiego pliku ani katalogu                                                                                                           
16-May-2010 18:42:57 [Enigma@Home] [error] Can't copy projects/www.enigmaathome.net/wx_m3_c_253_aa_zz_1_35 to slots/0/00hc.resume                                                                                                 
16-May-2010 18:42:57 [Enigma@Home] [error] Application file 00trigr.naval missing signature                     
16-May-2010 18:42:57 [Enigma@Home] [error] BOINC cannot accept this file                                         
16-May-2010 18:42:58 [Enigma@Home] Computation for task testtazuk161_0_13679963_35_0 finished                   
16-May-2010 18:42:58 [Enigma@Home] Output file testtazuk161_0_13679963_35_0_0 for task testtazuk161_0_13679963_35_0 absent

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Maj 2010, 19:11
Jeśli sypią się wszystkie, to na pewno nie jest wina samych zadań - zostało ich już bardzo niewiele, ilość rzędu 95% jest już przeliczona.
Natomiast pojedyncze mogą się trafić walnięte, czasami zdarzy się jakiś błąd przy dodawaniu WU.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 16 Maj 2010, 19:26
Wysypują się wsie.
Odłączałem się, przyłączałem, restartowałem, skasowałem cały katalog boincowy i kiszka... dziwna sprawa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Maj 2010, 19:44
Zobacz na stronie projektu, czy u kogoś innego te same zadania się przeliczają.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: buninek w 16 Maj 2010, 20:24
Widzę, że u innych przeliczają się bez takich problemów. Przyczyna musi tkwić w moim kompie.

EDIT:
Już jest ok. Pobrał tego testtazuk161_... i się liczy.

O ile ty nic tam nie majstrowałeś, to ewidentną przyczyną był statycznie skompilowany tmux (odpowiednik screena).
Statycznie zlinkowana powłoka + statycznie zlinkowany tmux + statycznie zlinkowana enigma = problemy.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 22 Maj 2010, 15:20
Nie pobiera róbek? Niby są dostępne, a pisze, że "no job available". Tylko u mnie tak jest?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Voice1980 w 22 Maj 2010, 21:23
Mam ten sam problem. Raz na jakiś czas pobierze próbkę.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 23 Maj 2010, 13:20
Po prostu między seriami zadań są przerwy.
Przygotowanie nowej serii to minimum godzina (jeśli wcześniej na papierze wszystko rozpisane), tudzież 2-3 godziny jeśli trzeba robić od zera lub nawet więcej w szczególnych przypadkach. Zadań wolę nie wypuszczać wieczorem (bo jeśli będą błędy, dowiaduję się o tym następnego dnia) więc bywa, że między seriami jest więcej niż 24h przerwy.

Razem z następnymi zadaniami miał być nowy słownik, ale prace nad nim się opóźniają więc chwilowo jeszcze nie ma.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 27 Maj 2010, 04:00
@TJM:

Pytanie dotyczace zadan serii wrmkx


Komp:
Q8300 2,5GHz@3.63GHz (od kilku miesiecy, stabilnie, pod wieloma projektami)
BM 6.10.18 (jak na prawie kazdym innym kompie przez pol roku, rowniez pod Enigma z innej serii)
W7 x64 Ultimate (ten sam, co na wielu innych kompach)
Optymalki najlepsze (to ktorych zawsze uzywam - sprawdzone wielokrotnie, rowniez na tym kompie)

Btw, mam nadzieje ze nie posadzasz mnie ze nie umiem liczyc Enigmy ;)


Po 45min liczenia postep 12% (pasek postepu dziala prawidlowo, checkpointy zapisywane prawidlowo). Pytanie, czy ta seria ma takie dlugie jednostki, czy u mnie cos jest nie w porzadku? Zadania poprzdnich serii zajmowaly ok. 40 min (o ile dobrze pamietam).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: apohawk w 27 Maj 2010, 09:09
U mnie pasek postępu w Enigmie zawsze radośnie skakał do przodu i do tyłu i to ponoć tak miało być. Np. po 5 minutach postęp 69%, a po 15 minutach postęp 12% i tak aż nagle pojawi się koniec.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Maj 2010, 10:34
Tamtych zepsutych zadań już nie ma. Wrmkx z serii 100 to około 45 minut dla 3.8GHz Intela, dłużej nie powinno się liczyć.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 27 Maj 2010, 15:29
Grejt. Dzieki Twojej informacji (potwierdzeniu przypuszczen) znalazlem przyczyne blednego dzialania BM.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 30 Maj 2010, 15:14
Serwer wyłączony ze względu na burzową pogodę, odpalę ponownie jak się nieco uspokoi.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 31 Maj 2010, 09:40
Dalej strach włączać serwer - włączyłem go i uruchomiłem tylko www, bo w razie padu prądu mniejsze szanse na komplikacje w bazie. Po wczorajszych podtopieniach dzieją się nieciekawe rzeczy, chwilowe braki prądu i netu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 31 Maj 2010, 09:54
Dziś we wrocku leje....
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: PMG w 31 Maj 2010, 12:19
W łodzi tak leje że trzymamy okna żeby nie wpadły do środka.


Pytanie do projektu żeby temat nie zjechał za bardzo. Jak rozumiem 3 pierwotne wiadomości z Enigmy  zostały rozszyfrowane i teraz liczymy jakieś inne ? A jeżeli te się skończą ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 31 Maj 2010, 12:33
Trzecia nie została złamana, a chwilowo idą inne.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Tomasz R. Gwiazda w 05 Czerwiec 2010, 11:58
http://deser.pl/deser/1,97052,7976023,Ujawnia_przechwycone_meldunki_Enigmy.html

dopisac ze projekt TJM rozwalil kolejna wiadomosc. Komentowac, agitowac i wykopywac :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Czerwiec 2010, 12:09
Widzę, że się tam już jakiś znawca wypowiedział w komentarzu  XD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Czerwiec 2010, 08:52
Pedały z elektrowni przyszaleli od rana z prądem, popierdoliło się coś w bazie - znów żmudny proces naprawiania. Mam nadzieję, że uda się bez błędów, ale na kiedy się z tym wyrobię nie mam pojęcia.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Tomasz R. Gwiazda w 09 Czerwiec 2010, 09:01
wspolczucie

ps: mam podobne okreslenie na wszelkiego rodzaju fachowcow :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 09 Czerwiec 2010, 09:29
Chyba czas zorganizować zrzutę na UPS'a...
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 09 Czerwiec 2010, 10:12
SKB@P stoją w serwerowni więc UPSa chyba mają :D
co do enigmy to moze by najpierw oszacować jaki UPS dałby radę??
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 09 Czerwiec 2010, 11:04
Takiego upsa to sam zrobi TJM jak mu się wjedzie na ambicje  :ph34r:
należy tylko zebrać kasę na części i tym można by się zająć.

TJM powiedz ile potrzeba Ci na części to się zorganizujemy i zrzucimy, nikt Cie przecież nie będzie rozliczał z faktur itp. Kupisz coś z odzysku, poskładasz, polutujesz, uruchomisz sobie dostępna wiedzę i doświadczenie i
uruchomisz wydajny, zaj...ty UPS   %)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Czerwiec 2010, 14:16
UPSa budować od zera na pewno nie będę, takie urządzenie musi przejść przez fazę prototypu i poprawek, co powoduje, że pojedynczy egzemplarz (o ile nie jest zbudowany z wcześniej sprawdzonego projektu) na pewno wyjdzie drożej niż nowy.

Myślałem nad naprawą tego który się skopcił, ale chyba nie ma to większego sensu. Urządzenie przepracowało ładne parę lat i praktycznie został z niego jeden jeszcze sprawny akumulator oraz transformator przetwornicy (sieć + praca awaryjna).

Poczaję się po bazarkach, bywają czasami używane starsze UPSy bez akumulatorów po dość dobrych cenach.
Bez UPSa jednak jest tzw. chujnia z grzybnią - przy ostatniej awarii parę godzin dłubania w dzień i jeszcze zarwane pół nocy, żeby wszystko do kupy poskładać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 16 Czerwiec 2010, 14:38
http://www.allegro.pl/item1066500955_apc_smart_ups_1000_rminet_3u_230v.html
http://www.allegro.pl/item1065724738_apc_smart_dp_10_kw_online_okazja_bcm_od_1zl.html
http://www.allegro.pl/item1072326507_apc_smart_1000_inet_gwar_fv_wawa_tanio.html
http://www.allegro.pl/item1076973297_apc_smart_ups_1400_i_net230v_bcm.html
http://www.allegro.pl/item1073291037_apc_smart_ups_1400_gwar_fv_wawa_okazja.html
http://www.allegro.pl/item1074591399_apc_smart_1000_bez_aku_sinus_gw_fv.html
http://www.allegro.pl/item1075153445_apc_smart_ups_1000_bez_acc_u.html
http://www.allegro.pl/item1075617512_ups_apc_smart_1250va.html
http://www.allegro.pl/item1079874486_ups_compaq_r3000h.html
http://www.allegro.pl/item1077410988_zasilacz_awaryjny_apc_smart_900_uzywany.html
http://www.allegro.pl/item1071985466_ups_apc_1500_120v.html
http://www.allegro.pl/item1081425401_zasilacz_awaryjny_apc_smart_ups_1000.html
http://www.allegro.pl/item1081584955_apc_smart_ups_v_s_1400_gwaran_fv_w_wa_okazja.html
http://www.allegro.pl/item1081589561_apc_back_ups_1400_gwarancja_fv_wawa_okazja.html
http://www.allegro.pl/item1081594432_apc_back_ups_1400_gwarancja_fv_wawa_okazja.html
http://www.allegro.pl/item1074049583_apc_sua3000i_smart_ups_3000va_nowy.html
http://www.allegro.pl/item1084004417_apc_back_ups_1400_gwarancja_fv_wawa_okazja.html
http://www.allegro.pl/item1084007998_apc_back_ups_rs_1500_bp1500i_fvat_gwar.html
http://www.allegro.pl/item1075065181_apc_smart_ups_1000_rminet_3u_230v.html
http://www.allegro.pl/item1075067695_apc_smart_ups1000_230v.html
http://www.allegro.pl/item1075247126_ups_apc_black_smart_1400va_gwar_fv.html
http://www.allegro.pl/item1077401410_ups_apc_black_smart_1000va_gwar_fv.html
http://www.allegro.pl/item1078626958_apc_smart_1000_new_oryginal_aku_apc_2latagw_d2d_fv.html
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: eclipse99 w 16 Czerwiec 2010, 16:03
Gdzie wpłacamy?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 16 Czerwiec 2010, 16:12
Do TJM na konto :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: eclipse99 w 16 Czerwiec 2010, 17:00
To poproszę numer :)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 16 Czerwiec 2010, 18:32
proś na PW
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: SzaMoT🍀 w 16 Czerwiec 2010, 21:25
Cytat: Troll81 w 16 Czerwiec 2010, 18:32
proś na PW

... niech najpierw autor tematu wyrazi zgodę oficjalną, a potem możemy prosić na PW ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Czerwiec 2010, 09:36
Muszę się nad tym zastanowić, bo z jednej strony UPS by się przydał a na zakup w ciągu najbliższych miesięcy nie mam co marzyć, z drugiej nie chciałbym, żeby np. Urząd Skarbowy wywęszył zbiórkę %)

Przy okazji: jest tu ktoś, kto dobrze śmiga po niemiecku ? Przydałaby się jakaś osoba z dostępem do logów (lub autoforwardem maila który serwer wysyła przy znalezieniu lepszego rezultatu, niestety to oznacza niewielki spam gdy score często się zmieniają %)), mój niemiecki jest dość słaby i z trudnością jestem w stanie odróżnić poprawny tekst od bełkotu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 12 Lipiec 2010, 13:51
Wczoraj znów była jakaś awaria - tym razem na skutek kumulujących się powoli wadliwych WU wywołanych błędami serwera.
Dziś wieczorem udostępnię nowy wrapper dla linuksa - poprawia chyba wszystkie dotychczas znalezione błędy, od kosmetyki do tych najpoważniejszych. Jeśli przejdzie pomyślnie testy, to pod koniec tygodnia będzie też wersja dla Windows.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 12 Lipiec 2010, 14:05
 :respect:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 28 Lipiec 2010, 13:15
Coraz częściej serwer Enigmy jest wyłączony  :(
i obliczenia panie dziejku leżą
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 28 Lipiec 2010, 14:38
Ano dzieją się takie cuda, że mnie chyba kur***ca weźmie niedługo.
14 dni problemów z linią ADSL - w końcu odwiedzili mnie technicy, linia w słabo-średniej kondycji, pewnie zaszkodziły majowe podtopienia. Częściowo winny też router, niestety buble typu darmowy livebox odpadają, więc musi zostać stary. Nie ma ktoś zbędnego routera klasy SpeedTouch 516 lub wyżej, ewentualnie z softem podobnej klasy ? Mam ST510/v4, niestety obecne parametry łącza są na granicy jego sprawności.


Ostatnie 2 dni - spore opady deszczu, nie wycięte drzewka mokre dotykają do idącej na moją ulicę linii 15kV. Kończy się to widowiskowym 'bzzzzzzzyyyyyyyymmmmmppppp' albo 'fuuuuuuuuuuummmmmmmmmmmmmmmm' i czasami ginie prąd gdzie się to zgłasza ?.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: SzaMoT🍀 w 28 Lipiec 2010, 16:17
Zgłoszenie przyjęte  ;)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 28 Lipiec 2010, 16:56
Do ZE :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 29 Lipiec 2010, 18:57
Serwer dziś dość wolno chodzi, bo kopiuję dane między tabelami w bazie.
Rozważam też opcję wyrzucenia paru tabel z archiwalnymi danymi do osobnej bazy, którą backupował będę ręcznie po każdej większej zmianie (tam wyrzucam np. nieaktywne dane WU, czasami mogą się jeszcze przydać).
Powód prosty - coby zaoszczędzić czas i płyty do backupu. Co 2-3 backup nagrywam na DVD, te płyty po paru miesiącach idą do niszczarki więc szkoda marnować więcej niż jedną na raz i nagrywać w kółko to samo (niektóre tabele nie zmieniają się przez miesiące).
Tymczasem jakieś 2 miesiące temu dodałem w bazie łącznie tylko dwie kolumny, coby serwer łatwiej mógł zarządzać zadaniami - w ten sposób skraca się czas reakcji na koniec zakresu, nowe zadania lub wycofanie jakiegoś tekstu np. w razie błędu czy jego złamania. Malutka modyfikacja a wielkość backupu wzrosła z 6 do 12GB %)
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Can-D w 09 Sierpień 2010, 22:16
Hmmm,mam wszystkie proce intela, od PIV,mobilki,celerony,C2D,kończąc na i7 - odpaliłem benchmark,znaleziony klika stron dalej, najszybsze czasy mam na apce od Athlon_Thunderbird'a na wszystkich procach  :ph34r:

Kiedy serwer będzie miał jakieś wu?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Sierpień 2010, 23:41
Nie wiem, pewnie jutro. Na razie borykam się z drobnymi problemami.
Z tą aplikacją od Thunderbirda raczej bym uważał, bo z tego co pamiętam sypała się na innych procach  :ph34r:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Sierpień 2010, 17:04
Jednak nie jestem pewien, czy pojawią się dziś zadania.
Muszę w końcu rozwiązać parę dziwnych problemów które się ostatnio pojawiły, bo ziarnko do ziarnka uzbierało się tego trochę i zaczyna mnie pomału denerwować.
Największym problemem jest to, że serwer nie wysyła zadań które teoretycznie wysłać powinien i w chwili obecnej nie wiem dlaczego.
Ponadto zaczął ostatnio dziwnie się zachowywać i zastanawiam się, czy nie ma czasami jakichś problemów sprzętowych. Praktycznie z dnia na dzień zaczęły się kłopoty z niektórymi skryptami, część rzeczy działa niesamowicie wolno a inne wcale.
Być może proc się przegrzewał i to dlatego, bo parę dni działał praktycznie na pasywnym chłodzeniu - blok wodny zaczął się rozszczelniać  i wróciłem do chłodzenia powietrzem. Dopiero dziś znalazłem jakiś wiatrak żeby tam wcisnąć.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Can-D w 10 Sierpień 2010, 22:19
A szkoda,bo poza i7,to na reszcie maszyn bufory mam puste.

Apka z Thunderbirda narazie się trzyma.A coś na 64 bity jest,bo w nawale tych stron to już ciężko odnaleźć.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Sierpień 2010, 00:23
64 bity nic nie dają, szkoda zachodu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Sierpień 2010, 10:49
Jakby jeszcze mało było problemów, pada jeden z dysków w serwerze. Na szczęście nie padł całkiem, tylko po prostu zaczął się wyłączać podczas pracy - po kilku restartach udało mi się skopiować wszystkie dane, więc obejdzie się bez odtwarzania z backupu.

EDIT: w zasadzie to nie pada dysk tylko chyba płyta w serwerze - błędy pojawiają się losowo na wszystkim co wisi na SATA.
Dziś nic nie dam rady zrobić bo późno wróciłem i padam na pysk, jutro jeśli będę wcześniej spróbuję kompleksowego czyszczenia, gorzej jeśli to nic nie da.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Sierpień 2010, 23:41
Stary serwer poległ, jednak płyta zaliczyła zgon, gwarancji już nima i całość działa teraz na zapasowej maszynie, która nawet nie jest taka najgorsza.
W ciągu paru dni wszystko powinno dojść do ładu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 14 Sierpień 2010, 08:32
widziałem wczoraj na ircu zdjęcie nowego serwera  ???
Macgaiwer przy TJM jest "taki malutki"
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Sierpień 2010, 11:52
Spoko to tylko wygląda tak strasznie, jak będę miał trochę czasu wywalę jakieś niepotrzebne kable i uporządkuję dziada %) Obecnie jest dość chaotyczny bo musiałem robić sporo przekładek, płyta ma tylko 4 złącza SATA (i jedno jakieś NV-RAID spod którego dysków linuks nie widzi); musiałem zrezygnować z jednego dysku i chwilowo nie ma gdzie wpiąć iRAMa.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 16 Sierpień 2010, 00:40
Cytat: Piotr R. (Peciak) w 14 Sierpień 2010, 08:32
widziałem wczoraj na ircu zdjęcie nowego serwera  ???
Macgaiwer przy TJM jest "taki malutki"

Ważne ze wszystko chodzi :) Serwer nie ma aż tak dużych wymagań na Athlonie X P 1800+ z dwoma rozpadającymi się dyskami ATA też chodził bez problemów  XD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Sierpień 2010, 01:03
Serwer nie ma wymagań póki baza jest mała.
U mnie do lokalnych celów spokojnie powinno wystarczyć to co teraz.
Niestety gdy serwer pracował głównie jako wrapper dla M4 nie było juz tak wesoło - wtedy każdy WU miał swój wpis w 2 tabelach i rezultaty trafiały do kolejnych 2, musiałem wszystko trzymać żeby odsyłać do serwera. Trzymanie tego co odesłał klient, po weryfikacji okazało się 'tańsze' w kwestii użycia zasobów serwera niż generowanie tego jeszcze raz przy łączeniu się do serwera M4.
Sama tabela workunitów miała wielkość liczoną w setkach MB, a tabele rezultatów były zawsze około 3-5 razy większe.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Wrzesień 2010, 01:13
Możliwe że serwer będzie jutro wyłączony jakiś czas lub nawet w nocy samoczynnie zdechnie.
Dzieją się jakieś cuda z prądem, napięcie sobie skacze, podejrzewam że jak to raz na jakiś czas bywa - drzewka podrosły i dotykają gałęziami pobliskiej linii 15kV z której mam zasilanie, w takim wypadku pewnie jutro przyjadą przycinać.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 21 Październik 2010, 12:12
Projekt chwilowo zatrzymany, patchuję serwer do najnowszej wersji softu po czym będę poprawiał błędy w kodzie, żeby poprawić błędy generowanego HTMLa i błędy polskiego tłumaczenia, które z jakiegoś powodu w wersji 2100+ mocno się pogorszyło (mnóstwo dziwnych tłumaczeń jak z translatora).
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 25 Październik 2010, 11:57
1 września 2010 pojawiła się nowa wersja aplikacji do Enigma 0.76b
Jak maja się do tego wcześniejsze optymalki ?
Co należy zrobić aby efektywnie liczyć ten projekt?
zresetować projekt
czy też
zresetować projekt i wgrać optymalki ?
optymalki są stare czy powstały jakieś nowe ?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 25 Październik 2010, 12:36
Nic nie trzeba robić, zmienił się tylko wrapper i zmiany są raczej czysto kosmetyczne - dotyczą danych zwracanych do serwera w stderr i paska postępu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 26 Październik 2010, 14:56
Od dziś można zgarnąć więcej - serwer uwzględnia teraz czas przetwarzania zadania i stabilność maszyny, można w porywach dostać mnożnik 1.25 do punktów za zadanie.
Maszyna która nie psuje zadań dostaje stały bonus 1.1 (wykorzystuje to mechanizm z nowszych wersji serwera, samoczynnie resetujący status przy zwracaniu błędnych zadań), natomiast czas przetwarzania liczony jest od momentu upłynięcia około 2 godzin od wysłania, w tym momencie dostępny jest dodatkowy mnożnik 1.15 który liniowo maleje aż do 1.01 w 50-tej godzinie od wysłania.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 26 Październik 2010, 15:24
Czyli pobierz próbkę oblicz ją jak najszybciej i oddaj. Nie trzymaj nic w zapasie  :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 26 Październik 2010, 15:48
Dokładnie taka strategia najlepsza jest z punktu widzenia serwera i całego projektu.
Pierwsza sprawa - nowe zadania wysyłane są gdy wróci część starych [dotyczy to zwłaszcza pierwszego kompletu WU z każdego zestawu] - to dlatego, żeby ustalić priorytety.
Druga sprawa - w każdej serii WU największe szanse na złamanie tekstu są w pierwszych kilku przejściach, może być tak, że ktoś będzie kisił już złamany tekst przez parę dni a w tym czasie reszta projektu będzie marnować moc CPU.
Trzecia sprawa - za duże kolejki to marnowanie zasobów, w momencie złamania KEJNQ u ludzi w kolejkach było praktycznie drugie tyle zadań co przeliczonych, a to oznacza że około 50% mocy która poszła na ten tekst zostało praktycznie zmarnowane a ponadto z tydzień czasu walczyłem z powracającymi resendami. BOINC niestety nie ma mechanizmów zdalnego anulowania zadań, o ile klient się regularnie nie zgłasza.
Czwarta sprawa - podstawowe kredyty pozostają niezmienione, jak ktoś chce mieć 10-dniową kolejkę to jego wybór - więcej zadań na wypadek padu projektu lub końca zadań na serwie, ale też parę % mniej kredytów.

Zresztą zastanowię się jeszcze czy tego nie wyłączyć, ciekawy bajer korzystający z nowych funkcji API, ale jednocześnie obciążenie generowane przez validator rośnie prawie 2 razy.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Październik 2010, 11:41
Wczoraj wypuściłem najbardziej zwaloną serię zadań w historii projektu. Pomyliłem się w nazwie zadania i w rezultacie musiałem na głowie stawać, żeby serwer akceptował rezultaty. Niektóre oznaczane są jako invalid, nie należy się tym przejmować, bo serwer i tak przyznaje za nie kredyty.
Przez durny bug znikło parę rekordów z bazy rezultatów i serwer będzie musiał przemielić to jeszcze raz.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Listopad 2010, 14:24
Niejako rykoszetem przedostał się nowy system punktacji, ponieważ stary dobry --credit_from_wu w obecnej wersji serwera jest zbugowany.
Jest to tak zwany "New credit system" i na razie przyznaje średnio ok. 2x więcej od starego systemu, ale to się może w każdej chwili zmienić bo system przydziela sobie kredyty sam, co jest w pewnym stopniu zaletą (odpada połowa żmudnej kalibracji dla nowych WU).
Niestety systemowi zdarzają się wybryki typu 20x więcej kredytów lub 1000 razy mniej niż powinien i jak na razie nikt nie zna na to lekarstwa  XD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 09 Listopad 2010, 14:29
kusisz na projekt miesiąca??
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Listopad 2010, 14:48
Tak, zwłaszcza z wyłączonym serwerem  XD
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 09 Listopad 2010, 15:00
dopiero od grudnia byśmy liczyli :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Listopad 2010, 15:23
O projekcie miesiąca można z góry zapomnieć, serwer raczej nie będzie miał dostatecznej liczby zadań żeby obsłużyć zwiększone zapotrzebowanie.
Czasy wrappera niestety minęły i teraz nad każdą serią i pomiędzy seriami trzeba się soldnie nasiedzieć, ostatnimi czasy średnio co drugi dzień nie ma zadań bo za szybko znikają.


Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 16 Listopad 2010, 11:25
Z rozrzewnieniem wspominam czasy kiedy próbek było tyle że można było je sobie policzyć kiedy się chciało...
Nie zapowiada się abym dociągnął do 200.000  :(
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Listopad 2010, 12:32
Nic na to nie poradzę, przede wszystkim maszyna i koszt utrzymania całości skutecznie limitują ilości zadań.
Co 2-3 tygodnie po prostu muszę robić przerwę i czekać aż trochę zadań zejdzie, a raz na jakiś czas dłuższą przerwę i czyścić bazę oraz katalogi upload/download ze śmieci które zawsze tam zostają. Inaczej nie wyrabia sprzęt, wszystko zaczyna mulić i pojawiają się problemy.
Ponadto backupy bazy (części "online") robią się za duże i za długo się je generuje.
Dodatkowo w chwili obecnej stać mnie na jakieś 0,7-1M zadań na miesiąc, powyżej tego muszę dopłacać do transferu i/lub w lawinowym tempie spadają fundusze na NFSie (hosting prepaidowy), co ostatnimi czasy zaskutkowało mi już wyłączeniem domeny na kilka dni.

Dwie osobne kwestie to czas potrzebny na wygenerowanie nowych zadań i bugi w serwerze, przez te ostatnie muszę zadania z błędami ręcznie wyszukiwać i zaznaczać do powtórnego przeliczenia, bo serwer nie robi tego z automatu.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 16 Listopad 2010, 12:44
wydłużyć zadania?

a na jakim sprzęcie pracujesz? Może byśmy go wspólnymi siłami podremontowali??
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Listopad 2010, 15:58
Zadania są zawsze maksymalnej długości dla danego tekstu. Jest to tak zwany "full length" czyli jeden przebieg po wszystkich ustawieniach maszyny dla stałej kombinacji rotorów. Są tylko dwie możliwości dalszego wydłużania: dwie kolejne kombinacje rotorów w maszynie (bardzo ciężkostrawne dla validatora, dużo bardziej podatne na błędy od "zwykłych" zadań, całkowita utrata kompatybilności z niektórymi starszymi wrapperami aż do niemożności uruchomienia włącznie); oraz druga możliwość - więcej niż jeden przebieg, co "tylko" stwarza problemy dla niektórych wrapperów, po stronie serwera zmniejsza prawie 2-krotnie miejsce (jeden rezultat w bazie zamiast dwóch), ale też dwukrotnie zwiększa straty przy różnych problemach. 

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Listopad 2010, 02:14
No, chyba udało mi się poprawić wreszcie problem z transitionerem - dziwne że nikt tego nie zgłosił bo chyba od kilkuset wersji był bug w kodzie, ciekawe czy przejdzie mój proponowany fix.
Wreszcie WU przetwarzają się do końca i baza zaczyna się oczyszczać, już była tak spuchnięta, że chwilami serwer rzucał errory 500.


Jak do jutra nic się nie posypie, może pod wieczór będzie kolejna seria WU.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 20 Listopad 2010, 12:27
Projekt znów prawdopodobnie jakiś czas będzie bez zadań, w logice obsługi zadań/rezultatów są bugi i żebym na głowie stał przy kompie, nie dam rady ich sam naprawić, nie ma wystarczającej dokumentacji żeby w ogóle wiedzieć co pozmieniać i jak to powinno działać. Moje maile i tickety są totalnie olewane, nawet nikt nie raczył mi odpisać czy rzeczywiście jest to bug, czy coś źle robię. W związku z tym całą obsługę błędów muszę wywalić o poziom wyżej, do oprogramowania i skryptów sterujących serwerem, bo tak jak obecnie zostać nie może - 1 na 10 WU kończy z poważnymi błędami, a dużo poprawnych wyników jest skreślanych jako błędne, baza puchnie od błędów i serwer już ledwo chodzi.

EDIT: Jest tu jakiś znawca c++ ? Potrzebowałbym lekko rozszerzyć jeden ze standardowych validatorów przychodzących z serwerem, żeby mieć coś do wstępnej walidacji na czas wyłączenia obecnego.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 22 Listopad 2010, 12:07
Pojawiły się próbeczki
czuje się jak w simapie....
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 22 Listopad 2010, 12:40
Teraz przez dłuższy czas raczej nie braknie, chyba że ze względu na pady serwera. Przez te wszystkie bugi baza niesamowicie spuchła, trochę czasu minie zanim db_purge wyleczy wszystkie problemy.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Ufol w 10 Styczeń 2011, 14:16
Jak często Enigma zapisuje wyniki obliczeń? Mam na myśli checkpointy w obecnej wersji projektu. Z tego co zrozumiałem, to aplikacja miała różne po   stacie i niejednokrotnie się zmieniła. Stąd moje pytanie. ps. Pogratulować projektu! :respect:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 10 Styczeń 2011, 14:26
Zależy od wersji aplikacji, co bardziej standardowe zapisują co 120 sekund, ale bywały wersje które zapisywały po 10 minutach.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Ufol w 17 Styczeń 2011, 22:54
Ja w sprawie optymalizacji. Wiem, że są opisane na forum, ale temat rozrósł się do tego stopnia, że aplikacje dosłownie w nim utonęły. Czy enigma optymalizuje się automatycznie? Jeżeli nie to przydałby się jakiś artykuł o tym jak zainstalować rzeczone optymalizacje. Mogło by to wyglądać w sposób następujący: Jeżeli cpuz wyświetla na twoim komputerze: ... Tu krótki opis tego, co musisz zobaczyć, aby wogule myśleć o zainstalowaniu optymalizacji. Aby ją zainstalować: ... Tu kilka zdań o tym jak przyspieszyć obliczenia. Przepraszam za nahalność, ale mam wrażenie, iż w niepojmowaniu specyfikacji określonych aplikacji nie jestem w ekipie sam. Wielu chciało by zwiększyć ilość obliczonych próbek, a poprostu są totalnie zagonieni i totalnie nie mają czasu na wgłębianie się w tematykę pisania programów. ps. Jeżeli niniejszy wpis nie pasuje do tematu, to proszę o utworzenie nowego wątku. Czy mój pomysł ma jakiś sens, czy to bredzenie nieuka?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Styczeń 2011, 23:08
Optymalizacje są uproszczone do oporu, po prostu podpisane są odpowiednimi procesorami. Do Pentium IV włącznie mają konkretne nazwy a dla procesorów powyżej jest po prostu aplikacja podpisana "core 2".
Inna sprawa, że zdechł mi serwer gdzie były wszystkie pliki optymalizacji. Jeśli ktoś posiada te paczki exeków i app_info prosiłbym o wrzucenie gdzieś. Mam kopię na laptopie który chwilowo został dość daleko.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 17 Styczeń 2011, 23:47
http://chomikuj.pl/rakowskipw/boinc/enigma/optymalkienigma,423657713.rar (http://chomikuj.pl/rakowskipw/boinc/enigma/optymalkienigma,423657713.rar)
:arrr:
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 18 Styczeń 2011, 00:07
Dzięki, zaoszczędzi mi to szukania po backupach i czekania na dostęp do maszyny.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Styczeń 2011, 11:35
Coś dziwnego zaczyna dziać się z serwerem, mam nadzieję że to tylko przejściowe od ciągłej pracy z dużym loadem i rozmiarami bazy przekraczającymi możliwości sprzętu.
Mianowicie od czasu do czasu zaczyna - przy kontakcie z schedulerem - zwracać nieprawdziwe informacje o braku danej platformy, czasami czepia się działających app_info. U paru osób te komunikaty nie są tymczasowe (u mnie wyskakuje raz na kilka dni), ale wskoczyły na stałe.
Na chwilę obecną nie mam zielonego pojęcia co może powodować problem, więc gdyby ktoś wpadł na jakiś trop, proszę o info.

Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 09 Luty 2011, 13:19
Na kilku moich maszynach pojawia się jeszcze inny problem związany z długością obliczeń zadań. Obecnie czasy WU wahają się pomiędzy 25 minut a nawet 4,5 godziny. Z powodu tego ze nie zawsze mam dostęp do netu (ach ta kochana TPSA) zwyczajowo mam zaznaczony zapas próbek na 2 dni. I tu się zaczyna problem próbki nie są rozróżniane przez clienta, a teraz wyobraźmy sobie ze ze czas próbek zaczyna gwałtownie puchnąć z 25 minut na 4,5 godziny (jak się takie akurat dostanie). Boinc zaczyna dostawać szalu skacze po próbkach te przeliczy cześć idzie zaczyna drugą i o jakimś skoordynowanym odsyłaniu próbek nie może być mowy, o bonusie można zapomnieć i czasowym i z okazji nie psucia próbek. Czy nie można tego naprawić, albo ustawić na serwerze możliwość wyboru próbek tak aby maszyna nie szalała?
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Luty 2011, 13:58
To błąd dotyczący tylko jednej partii WU, jak sądzę masz kłopot tylko z tymi z dopiskiem M4 z przodu ?
Teraz jest już praktycznie nie do naprawienia, bo zostały chyba same resendy dla tej serii. Dla wszystkich nowszych WU po prostu będę bardziej uważał, żeby nie wpisać w template babola.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 15 Luty 2011, 09:54
Dzięki pomocy ekipy z PNT obecnej na kanale B@P udało się wczoraj wychwycić i poprawić jeden dość poważny problem. Przyczyna odrzucania niektórych WU jest na razie nieznana, ale serwer został spatchowany i poprawia błędy w źle zapisanych plikach. Teraz trzeba przeprowadzić śledztwo i znaleźć źródło problemu, może dotyczyć również innych projektów.
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 15 Luty 2011, 10:07
chwała testerom :D
Tytuł: Odp: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sesef w 15 Luty 2011, 17:31
Z tego co sprawdziłem w DNETC też ten problem występuje, ale akurat w tym wypadku nie ma to wpływu na validator.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: PMG w 16 Kwiecień 2011, 01:59
Od kilku dni Enigma nie chce ode mnie dwóch próbek. Projekt padł?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Karol007 w 16 Kwiecień 2011, 02:59
A zmieściłeś się w czasie zaraportowania? Mi czasem niektóre projekty nie chcą przyjmować, jak mam dane i przestój w obliczeniach, ale to żadkość, zwykle przyjmują, ale punktów nie ma (co jak wiadomo jest normalne), aczkolwiek Collatz mi przyznawał punkty jak się niewiele późniłem %) Pozdr.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Kwiecień 2011, 11:04
Skończyły się fundusze (w zasadzie już dawno temu) i wyłączyli mi pół serwera (to w USA).
Nie wiem kiedy uda mi się to ponownie uruchomić.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Tomasz R. Gwiazda w 16 Kwiecień 2011, 13:11
a ile fundow potrzeba ?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AiDec w 16 Kwiecień 2011, 13:40
O jakiej kasie mowa?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 16 Kwiecień 2011, 22:30
Wspomożemy....
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Cyfron w 17 Kwiecień 2011, 17:43
tylko ile :)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 24 Kwiecień 2011, 01:25
Za hosta wisze 90$ i jak na razie nie mam z czego tego opłacić. Z rozliczeniami za różne roboty jest ostatnio bida, czasami kasa przychodzi po paru miesiącach (rekordziści przekraczają znacznie określenie 'paru'), pod koniec tygodnia miał być częściowy zwrot należności i jak zwykle dupa zbita, tak to jest jak sie stałej roboty nima.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AdNet w 26 Kwiecień 2011, 01:02
Oddam nieco "lewo" zarobionych euro na ten cel ;) przy dobrym kursie Euro do PLNa będzie to nawet zysk 4/5 krotny.
Wszyscy czekamy na odp. ile potrzeba - myślę (czytając właśnie teraz zagraniczne Fora etc), że będzie więcej takich "zagranicznych" wolontariuszy.
Masz może jakieś konto na PayPal'u? Warto by stronę WWW przełączyć na inny serwer i tam podać linka

Swojego czasu ludzie tak zbierali kaskę na unlocka do telefonów i zarobili na tym miliony :)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Cyfron w 27 Kwiecień 2011, 18:12
właśnie - może jakieś konto, namiary, gdzie wpłacać kasę, bo ja bym sam kilka złotych przelał  :boing:
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: krzyszp w 28 Kwiecień 2011, 11:02
Cytat: Cyfron w 27 Kwiecień 2011, 18:12
właśnie - może jakieś konto, namiary, gdzie wpłacać kasę, bo ja bym sam kilka złotych przelał  :boing:
Dawaj namiar na paypal'a (jeśli masz), to też cosik podeślę :)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AdNet w 28 Kwiecień 2011, 18:52
Może ja się zajmę zbieraniem?
Widzę, że kolegi nie ma na Necie za często.
Potrzebował bym jedynie twojej zgody - napisz.
(jak dalej mieszkasz na wyspach to może na browca wypadniemy) :D
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: krzyszp w 28 Kwiecień 2011, 19:15
Cytat: AdNet w 28 Kwiecień 2011, 18:52
(jak dalej mieszkasz na wyspach to może na browca wypadniemy) :D

Ja? Hmm, jeśli Twoja pozycja na mapce nie kłamie, to mam dość daleko, a i kawałek wody między nami... :)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: AdNet w 28 Kwiecień 2011, 21:32
Czyli co - book flight to UK :)
Następnym razem jak będę leciał dam znać wcześniej
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: krzyszp w 29 Kwiecień 2011, 07:39
No, ja w każdym razie dalej siedzę kontem u królowej w pobliżu Nottingham i jak coś to zapraszam na  :parrrty:. Najlepiej ląduj na lotnisku Robina co schudł  ;D
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 29 Kwiecień 2011, 17:43
To nastepny zlot u Ciebie?? Tym razem ogólnoeuropejski?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: krzyszp w 29 Kwiecień 2011, 17:45
Why not?  XD
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Maj 2011, 22:20
Na chwilę obecną serwer działa dzięki AiDecowi który przekazał kwotę 1kzł.
Pokrywa to kilka zaległych faktur i zapewnia ciągłość finansową co najmniej na najbliższe pół roku, w praktyce pewnie więcej.
Koszty utrzymania projektu nie są jakieś szczególnie duże, sam hosting to zaledwie 15$/miesiąc i do tego dochodzą różne okazjonalne koszty jak domena, dodatkowe opłaty za transfer czy pomocniczy serwer. Z frykasów bez których da się obejść, jak np. monitoring treści strony na siteuptime (pozwalał np. określić czy baza działa, a raczej powiadomić w razie jak coś częściowo padło) zrezygnowałem jakiś czas temu.
Obecnie moja sytuacja finansowa jest do bani,

Co do mojej bytności na necie to jestem codzień, jednak nie zawsze mam czas i możliwości połazić po forum, często śmigam na GPRSie i wtedy przeglądanie stron jest bardzo limitowane, zwłaszcza kiedy kończą się kartki na internet znane też jako pakiet.
Sytuacja czasowa w najbliższych dniach niestety jeszcze się pogorszy, ponieważ mam bardzo ciężko chorego ojca któremu praktycznie z dnia na dzień stan zdrowia mocno się pogorszył i wymagana będzie ciągła opieka, na co będę musiał poświęcić co najmniej kilka godzin dziennie niezależnie od innych zajęć.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 07 Maj 2011, 22:49
Jakbyśmy mogli jakoś pomóc to dawaj znać. Na pewno pomożemy.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Cyfron w 08 Maj 2011, 10:34
jakbyś dał jakieś "normalne" konto to myślę, że moglibyśmy w razie czego dorzucić jeszcze parę gorszy na serwery, żebyś miał jeszcze mniejsze zmartwienie odnośnie utrzymywania serwerów.
Na pewno nie pobijemy AiDeca, ale jak wpłaci parę osób po kilkanaście/kilkadziesiąt złotych, to też będzie na jakieś potrzeby :)
Ja chętnie bym wpłacił parę grosików, ale nie mam żadnego paypala ani nic...
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 08 Maj 2011, 20:16
ano. Chętnym podeślij namiary na PW
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: eclipse99 w 09 Maj 2011, 13:37
Dopisuję się do chętnych.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Tobas w 19 Lipiec 2011, 18:56
Trochę OT, ale dla zainteresowanych właśnie widziałem reklamę. Jutro o 20:50 w TVN film Enigma  :)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 20 Lipiec 2011, 00:42
 :parrrty: to o TJM już film zrobili??  %)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 30 Sierpień 2011, 12:59
Kto liczy enigmę, niech rzuci od czasu do czasu okiem na swoje wyniki, czy nie pojawiają się invalidy.
Musiałem wycofać co najmniej 2 (a może być ich więcej) zoptymalizowane aplikacje, ze względu na pojawiające się błędy.
Typowo wygląda to tak, że kilka WU liczy się dobrze, po czym występuje cała seria błędnych i to co najmniej z dwóch powodów: aplikacja w ogóle nie radzi sobie z danym typem WU lub zakresu obliczeń (rzadkie przypadki) i częstsze - na skutek błędnych optymalizacji kompilatora aplikacja dla jakiegoś zakresu obliczeń zwraca po prostu błędne wyniki.
Błąd na pewno dotyczy co najmniej jednej z starych zoptymalizowanych aplikacji (nie wiadomo tylko, czy na każdej platformie, czy np. na niektórych CPU jest ok), jak i jednej z nowszych kompilowanych dla Athlonów 64 (chyba nikt z B@P jej nie używał).
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: s4per w 18 Październik 2011, 21:25
Właśnie zauważyłem, że wali mi teraz same invalidy (Phenom II X4 965BE na Debianie 64bit) :( Ma ktoś podobny problem?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 19 Październik 2011, 10:48
Wersja managera ? Czasami nie ostatni testowy ?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: s4per w 19 Październik 2011, 16:33
Faktycznie :D Swoją drogą głupi jestem, że nie zauważyłem, że w Debianie Sid (unstable) Boinc jest w wersji deweloperskiej.

Downgrade do 6.10.58 for x86_64-pc-linux-gnu - zobaczymy, czy poskutkuje.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: s4per w 21 Październik 2011, 18:26
Pomogło! Dzięki TJM!  :respect:
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pantarhei w 01 Grudzień 2011, 11:57
Może by to http://www.tvn24.pl/-1,1726359,0,1,chcesz-zostac-szpiegiem-zlam-kod,wiadomosc.html przepuścić przez Enigmę ;)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 01 Grudzień 2011, 12:47
Ale enigma wykorzystuje fakt że znamy budowę enigmy :D
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 01 Grudzień 2011, 12:55
eb 04 af c2 bf a3 81 ec        00 01 00 00 31 c9 88 0c
0c fe c1 75 f9 31 c0 ba        ef be ad de 02 04 0c 00
d0 c1 ca 08 8a 1c 0c 8a       3c 04 88 1c 04 88 3c 0c
fe c1 75 e8 e9 5c 00 00       00 89 e3 81 c3 04 00 00
00 5c 58 3d 41 41 41 41      75 43 58 3d 42 42 42 42
75 3b 5a 89 d1 89 e6 89      df 29 cf f3 a4 89 de 89
d1 89 df 29 cf 31 c0 31         db 31 d2 fe c0 02 1c 06
8a 14 06 8a 34 1e 88 34       06 88 14 1e 00 f2 30 f6
8a 1c 16 8a 17 30 da 88       17 47 49 75 de 31 db 89
d8 fe c0 cd 80 90 90 e8        9d ff ff ff 41 41 41 41
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 01 Grudzień 2011, 13:01
mały hendicap?

The UK govt created a challenge to find eligible code crackers. The website is http://www.canyoucrackit.co.uk/.

I got close, but my skills aren't up to par. Here is as far as I got. They give you the following code:

eb 04 af c2 bf a3 81 ec  00 01 00 00 31 c9 88 0c
0c fe c1 75 f9 31 c0 ba  ef be ad de 02 04 0c 00
d0 c1 ca 08 8a 1c 0c 8a  3c 04 88 1c 04 88 3c 0c
fe c1 75 e8 e9 5c 00 00  00 89 e3 81 c3 04 00 00
00 5c 58 3d 41 41 41 41  75 43 48 3d 42 42 42 42
75 3b 5a 89 d1 89 e6 89  df 29 cf f3 a4 89 de 89
d1 89 df 29 cf 31 c0 31  db 31 d2 fe c0 02 1c 06
8a 14 06 8a 34 1e 88 34  06 88 14 1e 00 f2 30 f6
8a 1c 16 8a 17 30 da 88  17 47 49 75 de 31 db 89
d8 fe c0 cd 80 90 90 e8  9d ff ff ff 41 41 41 41


What jumps out at me first are the nops (90 90) in the last line. My mind automagically tells me this is shellcode. I wasn't 100% sure, but it was the only guess I had. I copied the code over into gedit, and made the following adjustments.

\xeb\x04\xaf\xc2\xbf\xa3\x81\xec\x00\x01\x00\x00\x31\xc9\x88\x0c
\x0c\xfe\xc1\x75\xf9\x31\xc0\xba\xef\xbe\xad\xde\x02\x04\x0c\x00
\xd0\xc1\xca\x08\x8a\x1c\x0c\x8a\x3c\x04\x88\x1c\x04\x88\x3c\x0c
\xfe\xc1\x75\xe8\xe9\x5c\x00\x00\x00\x89\xe3\x81\xc3\x04\x00\x00
\x00\x5c\x58\x3d\x41\x41\x41\x41\x75\x43\x48\x3d\x42\x42\x42\x42
\x75\x3b\x5a\x89\xd1\x89\xe6\x89\xdf\x29\xcf\xf3\xa4\x89\xde\x89
\xd1\x89\xdf\x29\xcf\x31\xc0\x31\xdb\x31\xd2\xfe\xc0\x02\x1c\x06
\x8a\x14\x06\x8a\x34\x1e\x88\x34\x06\x88\x14\x1e\x00\xf2\x30\xf6
\x8a\x1c\x16\x8a\x17\x30\xda\x88\x17\x47\x49\x75\xde\x31\xdb\x89
\xd8\xfe\xc0\xcd\x80\x90\x90\xe8\x9d\xff\xff\xff\x41\x41\x41\x41


I then saved this into a shellcode.c file:


char shellcode[] = "\xeb\x04\xaf\xc2\xbf\xa3\x81\xec\x00\x01\x00\x00\x31\xc9\x88\x0c\x0c\xfe\xc1\x75\xf9\x31\xc0\xba\xef\xbe\xad\xde\x02\x04\x0c\x00\xd0\xc1\xca\x08\x8a\x1c\x0c\x8a\x3c\x04\x88\x1c\x04\x88\x3c\x0c\xfe\xc1\x75\xe8\xe9\x5c\x00\x00\x00\x89\xe3\x81\xc3\x04\x00\x00\x00\x5c\x58\x3d\x41\x41\x41\x41\x75\x43\x48\x3d\x42\x42\x42\x42\x75\x3b\x5a\x89\xd1\x89\xe6\x89\xdf\x29\xcf\xf3\xa4\x89\xde\x89\xd1\x89\xdf\x29\xcf\x31\xc0\x31\xdb\x31\xd2\xfe\xc0\x02\x1c\x06\x8a\x14\x06\x8a\x34\x1e\x88\x34\x06\x88\x14\x1e\x00\xf2\x30\xf6\x8a\x1c\x16\x8a\x17\x30\xda\x88\x17\x47\x49\x75\xde\x31\xdb\x89\xd8\xfe\xc0\xcd\x80\x90\x90\xe8\x9d\xff\xff\xff\x41\x41\x41\x41";

void main() {
   int *ret;

   ret = (int *)&ret + 2;
   (*ret) = (int)shellcode;

   printf("done");

}


Running it simply returned the "done" being printed by printf. This told me that the shellcode was at least not crashing, so it was probably valid shellcode. Looks like my first impression was correct. So I jumped to the asm that the shellcode produced to get a better understanding of it:

0000000000601040 :
  601040: eb 04                 jmp    601046
  601042: af                    scas   %es:(%rdi),%eax
  601043: c2 bf a3              retq   $0xa3bf
  601046: 81 ec 00 01 00 00     sub    $0x100,%esp
  60104c: 31 c9                 xor    %ecx,%ecx
  60104e: 88 0c 0c              mov    %cl,(%rsp,%rcx,1)
  601051: fe c1                 inc    %cl
  601053: 75 f9                 jne    60104e
  601055: 31 c0                 xor    %eax,%eax
  601057: ba ef be ad de        mov    $0xdeadbeef,%edx
  60105c: 02 04 0c              add    (%rsp,%rcx,1),%al
  60105f: 00 d0                 add    %dl,%al
  601061: c1 ca 08              ror    $0x8,%edx
  601064: 8a 1c 0c              mov    (%rsp,%rcx,1),%bl
  601067: 8a 3c 04              mov    (%rsp,%rax,1),%bh
  60106a: 88 1c 04              mov    %bl,(%rsp,%rax,1)
  60106d: 88 3c 0c              mov    %bh,(%rsp,%rcx,1)
  601070: fe c1                 inc    %cl
  601072: 75 e8                 jne    60105c
  601074: e9 5c 00 00 00        jmpq   6010d5
  601079: 89 e3                 mov    %esp,%ebx
  60107b: 81 c3 04 00 00 00     add    $0x4,%ebx
  601081: 5c                    pop    %rsp
  601082: 58                    pop    %rax
  601083: 3d 41 41 41 41        cmp    $0x41414141,%eax
  601088: 75 43                 jne    6010cd
  60108a: 48 3d 42 42 42 42     cmp    $0x42424242,%rax
  601090: 75 3b                 jne    6010cd
  601092: 5a                    pop    %rdx
  601093: 89 d1                 mov    %edx,%ecx
  601095: 89 e6                 mov    %esp,%esi
  601097: 89 df                 mov    %ebx,%edi
  601099: 29 cf                 sub    %ecx,%edi
  60109b: f3 a4                 rep movsb %ds:(%rsi),%es:(%rdi)
  60109d: 89 de                 mov    %ebx,%esi
  60109f: 89 d1                 mov    %edx,%ecx
  6010a1: 89 df                 mov    %ebx,%edi
  6010a3: 29 cf                 sub    %ecx,%edi
  6010a5: 31 c0                 xor    %eax,%eax
  6010a7: 31 db                 xor    %ebx,%ebx
  6010a9: 31 d2                 xor    %edx,%edx
  6010ab: fe c0                 inc    %al
  6010ad: 02 1c 06              add    (%rsi,%rax,1),%bl
  6010b0: 8a 14 06              mov    (%rsi,%rax,1),%dl
  6010b3: 8a 34 1e              mov    (%rsi,%rbx,1),%dh
  6010b6: 88 34 06              mov    %dh,(%rsi,%rax,1)
  6010b9: 88 14 1e              mov    %dl,(%rsi,%rbx,1)
  6010bc: 00 f2                 add    %dh,%dl
  6010be: 30 f6                 xor    %dh,%dh
  6010c0: 8a 1c 16              mov    (%rsi,%rdx,1),%bl
  6010c3: 8a 17                 mov    (%rdi),%dl
  6010c5: 30 da                 xor    %bl,%dl
  6010c7: 88 17                 mov    %dl,(%rdi)
  6010c9: 47                    rex.RXB
  6010ca: 49 75 de              rex.WB jne    6010ab
  6010cd: 31 db                 xor    %ebx,%ebx
  6010cf: 89 d8                 mov    %ebx,%eax
  6010d1: fe c0                 inc    %al
  6010d3: cd 80                 int    $0x80
  6010d5: 90                    nop
  6010d6: 90                    nop
  6010d7: e8 9d ff ff ff        callq  601079
  6010dc: 41                    rex.B
  6010dd: 41                    rex.B
  6010de: 41                    rex.B
  6010df: 41 00 00              add    %al,(%r8)


Definitely legitimate shellcode. The x86 asm gcc spits out is exactly what I wanted to see. Not only that, but do you see the 0xdeadbeef?

Once I knew I was in the right direction, I loaded the binary into gdb. I through a breakpoint on the printf line with

break printf

and ran the binary. I looked at the stack frame, traversed through the memory and found the strings I suspected were what we were supposed to be looking for. However, they seemed to be all multi-byte characters. I wasn't able to decipher any of them within the time limit. I had found out about the contest about 2 hours before it was over. This took me about an hour to get to traversing the stack for the strings, and I got stuck.

Oh well. Maybe next time if I have more time I can get a bit further.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 05 Styczeń 2012, 12:29
Kiedy Enigma udostępni jakąś większa ilość WU do pobrania. Dostanie próbek do przeliczenia ostatnimi czasy jest praktycznie niemożliwe ?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Styczeń 2012, 12:55
Zadań jest ciągle tyle, na ile pozwala wydajność serwera, powiedziałbym że dużo powyżej średniej.
Natomiast rzuć okiem na statystyki, jest jeden uczestnik który podpiął jakąś wielką farmę, bywa że zasysa 90% dostępnych zadań.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: toms83 w 05 Styczeń 2012, 13:32
Może jakiś limit zrobić żeby nie ssał wszystkiego? %)
A jak tam kwestia implementacji odznak, bo wiem że czasowo nie bardzo u Ciebie.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Styczeń 2012, 15:21
Limity są, ale nic to nie daje jeśli ktoś podepnie dziesiątki komputerów.
Po awarii zaostrzyłem trochę momenty wyłączania mniej istotnych demonów, ponieważ prawdopodobnie zbyt duża ilość operacji/s dobiła jeden z dysków.

Odznaki muszą kilka dni zaczekać, wczoraj dopiero zakończyłem na dobre przywracanie całego środowiska po awarii.

Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Cyfron w 05 Styczeń 2012, 19:55
a co trzeba serwerowi, żeby lepiej działał - ram/proc/hdd ?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 26 Czerwiec 2012, 14:54
http://boincstats.com/en/forum/10/7519,1 - TJM mógłby coś odpowiedziec w tym temacie....
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Pantarhei w 26 Listopad 2012, 08:03
http://m.onet.pl/wiadomosci/swiat,xlqb8
Choć to wykracza odrobinę poza cele projektu, to może udaloby się pomóc tym gołębiarzom. :)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 26 Listopad 2012, 18:10
chyba nie da rady. jeśli to faktycznie jednorazowy szyfr oparty na księdze kodowej to raczej nici z deszyfrunku :(

ale garść ciekawych faktów. nie wiedziałem ze brytole mają medale dla zwierząt.... i ze próbowano używać gołębi jako podwójnych agentów...
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Marzec 2013, 09:31
Na przykładzie projektu ładnie widać, jak zmieniła się moc obliczeniowa komputerów w ciągu ostatnich lat.

W pierwszych miesiącach 2008 roku pełny przebieg po 1/4 ustawień rotorów (tylko UKW B + greek wheel B) enigmy M4 zajmował ok. 7 do 8 dni.
Dziś na zadaniu o takiej samej długości, pełny przebieg na całym keyrange (UKW B+C, greek wheel B + G czyli 4 kombinacje) trwa mniej niż 24h, a podpiętych komputerów wcale nie ma aż tak dużo więcej. Czyli wychodzi na to, że ogólnie średnia moc obliczeniowa projektu wzrosła (8/1) * 4 = 24 razy. No ale nie dziwne, w 2008 większość komputerów podpiętych do projektu miała 1 rdzeń (o ile pamiętam średnia była na poziomie 1.5 core/host), dziś ta średnia jest dużo wyżej, przy czym zaniżają ją różne telefony, tablety, raspberry Pi i inne wynalazki (które i tak dość skutecznie liczą):


mysql> select avg(p_ncpus) from host where expavg_credit > 1;
+--------------+
| avg(p_ncpus) |
+--------------+
|       4.0698 |
+--------------+
1 row in set (0.52 sec)


Wklejam statystyki jako punkt odniesienia na wypadek, gdyby nie ostygł mi zapał - wznowiłem naukę CUDA, tym razem zamiast od 'programowania na chybił trafił' i błądzenia jak dziecko we mgle, zacząłem od nauki ogólnych zarysów programowania na GPU i po paru dłuższych sesjach mam jakie takie wyobrażenie, jak mogłaby być skonstruowana aplikacja GPU kompatybilna z obecną*. Zamiast kombinować na siłę z przyspieszeniem, o wiele łatwiej i korzystniej zbudować aplikację która wykorzysta moc GPU do zwiększenia siły algorytmu. Swoją wizję powoli rysuję na papierze i po konsultacjach z paroma osobami, jeśli ogólna ocena wypadnie pozytywnie, może zacznę coś tam działać.

* - Taka aplikacja praktycznie jako jedyna daje jakieś nadzieje na implementację. Jak wiadomo jest dostępna 'Bomba Turinga' napisana w CUDA, niestety jej praktyczne wykorzystanie w obliczeniach rozproszonych jest bardzo kłopotliwe, jako że wymaga aktywnego udziału człowieka w obliczeniach (potrzebny 'crib' którego aplikacja sama nie wymyśli). Był taki plan - nie pamiętam czy opisany tu, czy na forum projektu - żeby stworzyć bazę cribów do walcowania przez 'rozproszoną bombę', następnie wynikami wyplutymi z bomby karmić starą aplikację. Całość niestety pozostała niedokończona z wielu powodów (m.in. brak sensownego źródła cribów), ale pomysł był dobry - dokładnie używając tej metody Dan Girard złamał ostatni z tekstów projektu M4.



Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Marzec 2013, 18:28
Pewnie nie wszyscy czytają forum projektu, to wrzucę tu trochę info o ostatnim tekście z 'projektu M4' - tym od którego zaczęły się pracę nad Enigma@Home.

Jak wiecie - albo i nie wiecie  %) - konstrukcja algorytmu głównej aplikacji opiera się na kolejnym sprawdzaniu wszystkich możliwych ustawień Enigmy, w tym wypadku M4-> UKW (reflektor), kolejność rotorów i ustawienia ringów + oczywiście klucz wiadomości. Z pamięci nie podam ile to kombinacji, w każdym razie dużo, ale nie jest to straszliwa liczba dla obecnych komputerów, nawet dla tych dość starych też nie.
Przez te ustawienia dość szybko da się przebić kolejno je sprawdzając. Niestety do niczego to nie prowadzi ponieważ jest jeszcze steckerboard gdzie litery są parami ze sobą pozamieniane. Samych ustawień steckera jest tyle, że łącznie z ustawieniami wirników daje to siłę szyfru porównywalną z użyciem 76 bitowych kluczy (o ile pamiętam).

Algorytm dla każdego ustawienia maszyny stara się znaleźć takie ustawienia steckera, żeby uzyskać coś, co przypomina czytelny tekst - analiza opiera się m.in. na porównaniu ze słownikami oraz poprzez skanowanie czujnym okiem admina (a także innych osób, które zechcą rzucić okiem na teksty, ale coś ich mało jest).
Jedną z jego cech (algorytmu, znaczy się) jest to, że przy każdym przebiegu daje tylko szansę na znalezienie rozwiązania i dla każdego tekstu który daje się złamać (bo są też takie, których się nie da) istnieje ilość przebiegów, przy której szanse złamania graniczą z pewnością (99% lub więcej).
Przykładowo może wyglądać to tak, że przy 5 przebiegach szanse wyniosą 50%, ale żeby uzyskać te 99% przyjdzie zrobić nawet i 100+.

Niestety takie szanse można sobie wyznaczyć, z oczywistych względów, jedynie dla już złamanych tekstów atakując je na częściowo znanych ustawieniach.

Dla ostatniego z tekstów z M4 projektu próg leżał bardzo wysoko. O ile dobrze pamiętam, pierwsze podejście było dla całego tekstu (to miało największe szanse powodzenia - poległo ze względu na długość czasu przeliczania - więcej dalej) - to jeszcze czasy przed BOINCem.

Na kolejne podejścia załapał się już projekt, 500 przebiegów na pierwszych 100 literach, 500 na pierwszych 72 i o ile dobrze pamiętam 500 na 100 wyciętych od tyłu + w czasie alfa testów jeszcze jakiś inny fragment.
Co się okazuje, to dla wszystkich tych trzech przypadków te 500 przebiegów daje dość marne szanse, rzędu 30 do 40% a w miarę jaka taka pewność jest dopiero powyżej 2500, przynajmniej przy użyciu słowników które były wtedy w użyciu.

Pierwsze podejście - to na pełnym tekście - wymagało "zaledwie" około 30 przebiegów, jednak tempo było strasznie ślimacze (wydajność algorytmu leci na łeb, na szyję wraz z długością tekstu) i o ile mi wiadomo, zostało anulowane przy ok. 5.


Oba teksty które teraz wysyłane są do klientów również są dość krótkie ale z konieczności - po prostu więcej liter nie ma %-) Pierwszy ma 72, drugi 76 znaków i to od razu powoduje, że są to "cięższe przypadki", ponieważ pierwszy stopień algorytmu słabo działa na tak krótkim tekście.

Niemniej sytuacja nie jest całkowicie beznadziejna, tutaj jest statystyczna analiza kilku innych tekstów (są to testy przeprowadzane automatycznie przez serwer) przyciętych do 72 znaków -> https://docs.google.com/spreadsheet/ccc?key=0AhS-kPmFI4OxdGVwd3VSZHk3cUx4SkZoR2FFMzRWS1E#gid=0

Kolumna "Unknown key" - to symulacja normalnego podejścia do złamania tekstu, algorytm nie dostaje żadnych informacji oprócz kolejności rotorów, co nie ma żadnego wpływu na skuteczność (po prostu zmniejsza się przeszukiwany zakres, w tym przypadku do 1/4*336 całości).

Kolumna "Single key" to atak na znane ustawienia.
Ktoś teraz mógłby się zastanowić jak to jest, że na znanych ustawieniach potrzeba więcej przebiegów, niż na nieznanych. Otóż podczas szukania przez nieznane ustawienia prawie zawsze trafia się więcej niż 1 produkujące poprawny tekst, a do tego bardzo często trafiają się teksty poprzekręcane, ale dające się zidentyfikować, jak np.:


0 -> 2100941 mituuuvirsgbennulzwoyvirsibenyuldreiyzwodreisechseinsumeinsnuluhrjsassni
1 -> 2100941 mituuuvirsgbennulzwoyvirsibenyuldreiyzwodreisechseinsumeinsnuluhrjsassni
2 -> 2100941 mituuuvirsgbennulzwoyvirsibenyuldreiyzwodreisechseinsumeinsnuluhrjsassni
3 -> 2043565 mituuuvirsgbennulzwoyvirsibenyuldreiyzwodreisechseinsumeinsnuluhrjsasqfv
4 -> 2007311 qtceuuvirsgbennulzwoyvirsibenyuldreiyzwodreisechseinsumeinsnuluhrjsassni
5 -> 2007311 qtceuuvirsgbennulzwoyvirsibenyuldreiyzwodreisechseinsumeinsnuluhrjsassni
6 -> 1835411 miguuuvirsgbennulzwoyvirsibegyuldreiyzwoddeisechseinsueeinsnuluhrjsussni
7 -> 1833468 qycemvuzkhsabmwxizwotvirsibentuldreitzwodreisechseinsumeinsnuluhrgsassni
8 -> 1832272 qyluuuvirsgbennilzwotvirsibegtuldreitzwoddeisechseinsueeinsnuluhrgsussni
9 -> 1832272 qyluuuvirsgbennilzwotvirsibegtuldreitzwoddeisechseinsueeinsnuluhrgsussni







Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 27 Marzec 2013, 18:43
Bardzo wyczerpujące info :D  :respect:
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 04 Kwiecień 2013, 13:43
Około 18 kwietnia projekt będzie zatrzymany na dzień czy dwa.
Przenoszą mi VPSa gdzie mam cały download mirror i 'kawałek serwera' do innej serwerowni. Niby mówią, że downtime będzie trwał kilka minut, ale jak znam życie trzeba się liczyć z prawami Murphyego.
Dodatkowo zmieni się IP, więc jak wszystko już zadziała będę musiał podłubać w konfiguracji. Nie podali mi jeszcze dokładnej godziny, 18-ty wypada w czwartek, liczę na to że ewentualnie w piątek wszystko już uruchomię, jeśli coś będzie nie teges, będę miał zarezerwowany cały weekend na dłubanie.

Mam nadzieję że nowy właściciel będzie równie wyrozumiały, co poprzedni i sieć tam nie będzie gorsza, bo obecnie projekt generuje dość spory ruch - wczoraj w statystykach z ostatniego tygodnia widziałem średnią liczbę jednoczesnych połączeń oscylującą wokół 1,25k.


Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Ania w 10 Kwiecień 2013, 09:53
Cytat: TJM w 04 Kwiecień 2013, 13:43
..... bo obecnie projekt generuje dość spory ruch - wczoraj w statystykach z ostatniego tygodnia widziałem średnią liczbę jednoczesnych połączeń oscylującą wokół 1,25k.

Gratulacje. Spory ruch to większe zainteresowanie. Formula pobudza działania ... i dobrze. Rywalizacja pobudza do działania ! A miło że to Polski projekt.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: KrzychuP w 24 Kwiecień 2013, 07:41
Orientuje się ktoś, czy kiedy Enigma wstanie?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 08 Maj 2017, 22:57
Czas trochę odświeżyć ten wątek.
Na serwerze pojawiła się druga aplikacja -> http://www.enigmaathome.net/apps.php
Chwilowo w wersji tylko dla Win32 a i to jeszcze nie ma pewności, że wszędzie zadziała (build z Visuala 2017, niby testowałem i wygląda dobrze od XP w górę ale różnie może być).
Na razie i tak zadania będą w ilościach do policzenia na palcach, bo nie ma jeszcze co na serwerze obsłużyć wyników, póki co chciałbym zobaczyć głównie, czy automatyczny generator zadań zadziała i czy pliki będą ściągać się poprawnie na klientach. Duża część zaplecza współdzielona jest ze starą aplikacją.

Ta aplikacja liczy dużo szybciej, najkrótszy workunit na w miarę nowych procesorach przelicza się poniżej 4 minut. Zobaczy się w praktyce jaki wpływ będzie to miało na działanie serwera.

EDIT: na razie nie ma validatora, więc odesłane zadania zawisną póki co w nicości. Najważniejsze, że przeliczają się i odsyłają, chociaż musiałem już 2 razy poprawić templatki, stąd nagle wersja 1.03.


Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sirzooro w 09 Maj 2017, 00:54
Z ciekawości sprawdziłem. Pobrało mi jedno zadanie dla tej nowej apki, ale zaraz się wywaliło że nie może znaleźć pliku: http://www.enigmaathome.net/result.php?resultid=253612185

Poza tym w opcjach E@H przydałaby się możliwość wybierania jakie aplikacje chce się uruchamiać, obecnie tego nie ma.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Maj 2017, 01:24
Zassało się dla wersji 1.01 a dopiero od 1.03 zaczyna coś liczyć, przy czym 1.04 zwraca chyba dobre wyniki (validatora na razie nie ma więc nawet nie mam pewności :P). Wszystko poniżej 1.04 od razu można anulować.
Wybór aplikacji pewnie będzie za jakiś czas, w momencie uruchomienia nowej przez dłuższy czas i tak nie będzie zadań dla starej, więc to na razie mały priorytet. Gorzej, że i tak trzeba będzie dorobić preferencje GPU.

EDIT: bez validatora widzę, że wyniki zwraca poprawne, testowy tekst został złamany w jednym podejściu po zaledwie paru poprawnie przeliczonych WU.

Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 09 Maj 2017, 10:15
Czyli co? app_config wywalić, aby liczyć na nowej aplikacji?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 09 Maj 2017, 17:03
Coś nie można się dostać do liczenia,
- ani apki na GPU nie pobiera
- ani apki na CPU nie pobiera
- ani na starym kliencie
- ani na nowym
- ani na ustawieniu używaj CPU
- ani na ustawieniu nie używaj CPU
krótko mówiąć ani, ani .... :(
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 09 Maj 2017, 19:45
Serwer przytkał się zadaniami od których wczoraj skasowałem aplikację.
Większość wywaliłem ale pewnie jakieś ochłapy jeszcze zostały, powinny same zniknąć.
Aplikacji GPU nie ma jeszcze na serwerze, więc raczej danych nie pobierze  %) Nowa jest póki co tylko Win32.

Dziś mam w planach uruchomić drugi validator i dopiero można myśleć o innych rzeczach.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 11 Maj 2017, 23:56
Dalej są problemy z osiągalnością strony projektu, a mój ticket na supporcie u providera usług spuchł już do paru stron. Raz VM jest osiągalny, raz nie, a generalnie działania naprawcze jak na razie sprowadzają się chyba do restartów czegoś bliżej nieokreślonego %)

Jak tak dalej pójdzie przyjdzie się w końcu stamtąd katapultować, tylko nie wiem jeszcze gdzie i średnio mam czas i chęci. Amazon Lightsail wygląda nieźle i teoretycznie powinien się zmieścić w dotychczasowym budżecie.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Maj 2017, 08:36
Od prawie 2 dni brak nowej odpowiedzi na ticketa ze strony dostawcy usługi, to przygotowałem dla nich taką ze swojej strony:

(https://s3-eu-west-1.amazonaws.com/enigma2/enigma_corespace_to_ligthsail_transparent.png)

Od wczoraj wieczora mam nowy VM wykorzystujący Amazon Lightsaila, niestety stary był na debianie, tu do wyboru był ichniejszy linuks albo ubuntu i dość sporo jest drobnych różnic w konfigach, więc nie udało mi się tego na szybko odpalić, jak ogarnę resztę zmienię wpisy w dns. Lepiej żeby nie okazało się to failem  %)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Argento w 13 Maj 2017, 10:58
Cytat: TJM w 13 Maj 2017, 08:36
Od prawie 2 dni brak nowej odpowiedzi na ticketa ze strony dostawcy usługi, to przygotowałem dla nich taką ze swojej strony:

(https://s3-eu-west-1.amazonaws.com/enigma2/enigma_corespace_to_ligthsail_transparent.png)


Prawie jak Elon Musk...  XD
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Maj 2017, 13:24
No i przycisk katapulty został ostatecznie naciśnięty, wpisy w DNSach zmienione.
Efekt uboczny jest taki, że Lightsail Amazona działa chyba z 10x szybciej od mojego starego VPSa, chociaż w prawie żadnym stopniu nie wpływa to na całkowitą wydajność serwera projektu. Widać chyba jednak, że strony ładują się ciut szybciej.

Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 14 Maj 2017, 09:57
W dalszym ciągu występują problemy z liczeniem. Liczyłem szczerze mówiąc na przetestowaniu apki AV w tym celu odłączyłem projekt i podłączyłem go z powrotem. Otrzymałem nowe zadanka i ślady starych apek w postaci plików
enigma_5.32_windows_intelx86.exe
job_1.41.xml
wrapper_5.32_windows_intelx86.exe
pliki o długości 0 KB
w efekcie zadania są marnowane i odsyłane z komunikatem Error while downloading
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Maj 2017, 11:08
Możliwe, że na mirrorze z plikami czegoś brakuje po przeniesieniu na nową lokalizację.
Z racji tego, że składa się on głównie z konfiguracji i lokalnej kopii statycznych plików, kopia robi się raz na dzień i pewnie coś zmieniałem, a stary serwer padł zanim się zrobiła.
Pliki "starej" aplikacji ściągają się pewnie dlatego, że ona nadal funkcjonuje i zadania w teorii są dla obu (w praktyce - dla nowej póki co znikome ilości).
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 14 Maj 2017, 17:13
Sytuacja się trochę zmieniła
aktualnie zaciągane są duchy plików każdy o długości 0KB
enigma3_1.04_windows_intelx86.exe
wrapper_1.04_windows_intelx86.exe
job_1.49.xml
chyba dużą część userów trapi ten problem...


343 Enigma@Home 2017-05-14 17:16:57 Giving up on download of wrapper_1.04_windows_intelx86.exe: permanent HTTP error
344 Enigma@Home 2017-05-14 17:16:57 Giving up on download of enigma3_1.04_windows_intelx86.exe: permanent HTTP error
345 Enigma@Home 2017-05-14 17:16:57 Giving up on download of job_1.49.xml: permanent HTTP error
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 14 Maj 2017, 17:24
Zmieniło się, bo wcześniejszy problem to był zupełny brak vhosta download.enigmaathome.net - zapomniałem go uaktywnić w konfiguracji. W rezultacie kto nie miał aplikacji wcześniej ściągniętych, łykał errory jak pelikan.

Teraz dopiero brakowało plików które były dodawane/zmieniane.

Zaczynam powoli prace nad generatorem zadań dla aplikacji na GPU, tu będzie wesoło bo to w ogóle odmienna aplikacja.
To jednak wydaje się spoko wyzwanie w porównaniu z drobnymi i denerwującymi failami, jak np. nie działanie 2 aplikacji w app_info mimo poprawnej konfiguracji - każda działa osobno, 2 na raz ni cholery i to bez żadnych komunikatów błędów po stronie klienta ani żadnej wzmianki po stronie serwera, a chciałbym docelowo odpalić nawet 3 na raz, bo w ten sposób łatwiej będzie cokolwiek testować.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: spiro w 19 Maj 2017, 22:38
Pod vistą same błędy, wersja 1.04  :(
Jak żyć?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 21 Maj 2017, 11:06
Wywalić zvistę ?  %)
Tak serio to problem jest pewnie w braku zainstalowanego vcredist. Właśnie kompiluję aplikacje które powinny "bardziej działać" tylko sprawdzam jeszcze czy są w ogóle jakieś przyrosty wydajności po włączeniu rozszerzonych zestawów instrukcji. Na razie nic specjalnego nie widzę i plan jest taki, że Windows x86 będzie wymagać zupełnie niczego, a x86-64 sse2 bo chyba i tak każdy taki procesor ma.

EDIT: Jeśli możesz, to sprawdź czy 1.05 rozwiazuje ten problem.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sirzooro w 21 Maj 2017, 21:13
Cytat: TJM w 21 Maj 2017, 11:06
Wywalić zvistę ?  %)
Tak serio to problem jest pewnie w braku zainstalowanego vcredist. Właśnie kompiluję aplikacje które powinny "bardziej działać" tylko sprawdzam jeszcze czy są w ogóle jakieś przyrosty wydajności po włączeniu rozszerzonych zestawów instrukcji. Na razie nic specjalnego nie widzę i plan jest taki, że Windows x86 będzie wymagać zupełnie niczego, a x86-64 sse2 bo chyba i tak każdy taki procesor ma.

EDIT: Jeśli możesz, to sprawdź czy 1.05 rozwiazuje ten problem.
Zgadza się, SSE2 jest na każdym x86-64. SSE3 i wyższe trzeba już sprawdzać bo może ich nie być.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Agbar w 21 Maj 2017, 23:20
TJM, z których źródeł budujesz AV? O ile pamiętam VE3NEA zmienił tylko część odpowiedzialną za optymalizację (w sensie numerycznym, hillclimbing.) Przy wprowadzaniu nowej wersji jest okazja poprawić mały defekt w innej części kodu, ale info wolałbym Ci podać na priv.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 22 Maj 2017, 08:00
Buduję ze źródeł z githuba z linku który podał na forum. Zmieniony jest na pewno hillclimb i sposób wyliczania score w drugim przebiegu, z bigramów na unigramy. W każdym razie aplikacja nie jest kompatybilna ze "zwykłą" stąd jest osobną aplikacją w projekcie.
Ogólnie działa dużo szybciej, ale też zazwyczaj wymaga znacznie więcej przebiegów dla tego samego tekstu.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: spiro w 22 Maj 2017, 21:15
TJM, melduję, że na viście wersja 1.05 działa aż miło  :attack:
Dziękuję za zainteresowanie i odzew  :respect:
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 12 Czerwiec 2017, 20:16
Powoli nadciąga wersja GPU (nv) dla odważnych. Na razie dodatkowo do zadziałania wymaga cudowania, na serwerze jest oflagowana jako beta, ponadto usunięte są z downloadu pliki żeby sama się nie zassała tym którzy włączą beta apps nie wiedząc o co chodzi, a do samej aplikacji można dobrać się jedynie przez app_info. Zasadniczo liczy ale jest problem z plikami wyjściowymi i póki co czekam na poprawki, jak zacznie działać udostępnię komplet plików testowych.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: pawg w 13 Czerwiec 2017, 10:16
Jaki będzie prawdopodobny czas liczenia jednego WU?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Czerwiec 2017, 10:45
Ostatecznie jeszcze nie wiem. Dla 1050 w pierwszych testach było 3m30s dla krótszego bloku i 7m dla dłuższego, przy czym taki blok ma długość jak kilkadziesiąt bloków na CPU.
Z przyczyn technicznych - żeby podział bloków wypadał równo, prawdopodobnie zakresy danych będą trochę dłuższe, dziś pewnie sprawdzę dokładny czas.
Ogólnie będę celował w taką długość, żeby czas przeliczania był rozsądny (nie przekraczający kilkudziesięciu minut) na kartach o wydajności w okolicach 1050 lub trochę gorszych.
Wydajność wydaje się dobrze skalować z przyrostem mocy GPU, ale niestety w dół też.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: pawg w 13 Czerwiec 2017, 12:45
Nie mogę dostać żadnego WU  :( A jak z wykorzystaniem karty? Bo pamiętam, że kiedyś to był największy problem przez który nie było aplikacji dla GPU
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 13 Czerwiec 2017, 12:58
Karta ciśnie na max.
Niestety aplikacja zabiera też 1 core CPU.
Uruchomienie zadań wymaga na razie app_info i ręcznego zassania odpowiedniej wersji aplikacji, ale chwilowo zadań i tak nie ma.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 18 Czerwiec 2017, 22:45
Jak by co to apka już działa i daje konkretne punkty.  :boing:
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: pawg w 19 Czerwiec 2017, 21:25
jak się podpiąć pod aplikację GPU? chodzi mi o plik .xml
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Peciak w 19 Czerwiec 2017, 21:37
http://www.enigmaathome.net/forum_thread.php?id=836&postid=5254#5254 (http://www.enigmaathome.net/forum_thread.php?id=836&postid=5254#5254)
a gotowiec
http://www.boinc.pl/forum/wiesci-t1100.html (http://www.boinc.pl/forum/wiesci-t1100.html)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 19 Czerwiec 2017, 21:39
 :respect:
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 26 Czerwiec 2017, 23:55
Aplikacja GPU jest już dostępna po zaznaczeniu 'beta' w prefsach bez dodatkowego cudowania.
Na razie nie ma ciągłości zadań ale to się pewnie wkrótce zmieni.

Przed uruchamianiem tego rzućcie okiem na forum projektu do wątku o aplikacji, generalnie nie polecam odpalania tego na kompach które robią coś ważnego - wstrzymanie aplikacji GPU uruchamianej przez wrappera, w nieodpowiednim momencie, może spowodować wysypanie się systemu - nie powinno się wstrzymywać/zatrzymywać takiej aplikacji w momencie gdy działa kernel na GPU, a wrapper niestety nie ma nad tym kontroli.
Na razie pomimo długich testów crasha nie doświadczyłem, ale faktycznie czasami wstrzymanie potrafi zrestartować driver od grafy - u mnie podczas długich testów parę razy zdarzyło się, że przygasły na moment ekrany przy wstrzymaniu aplikacji podczas gdy na drugim ekranie leciał film.

W (mam nadzieję niedalekiej) przyszłości może dorobi się API do aplikacji co rozwiąże ewentualne tego typu problemy.
Niestety muszę to na razie odłożyć na trochę później, ponieważ żeby dostosować serwer do jednoczesnego działania z kilkoma różnymi aplikacjami wymagane było trochę upgrejdów, co zepsuło rzeczy które wcześniej działały i teraz trzeba naprawić, lub dodać od nowa.

Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 27 Czerwiec 2017, 08:44
Pięknie idzie  :)
Dzięki za tytaniczną pracę.
PS Odznaki pozostaną jakie są, czy rozszerzysz może jakoś?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Czerwiec 2017, 08:56
Jak można zobaczyć w profilu, serwer śledzi teraz punkty osobno dla każdej aplikacji.
Stare odznaki podłączę albo pod 0.76 albo pod obie aplikacje CPU, jeśli nie będzie z tym za dużo modyfikacji.
To ze względu na fakt, że mimo że kredyty są chyba dość skąpo ustawione na GPU, i tak mając grubszą kartę można w 1 dzień dziobnąć więcej niż wcześniej w parę lat.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 27 Czerwiec 2017, 09:09
Skąpo?
Wydaje mi się, że idealnie. Z 1060 bez turbo wychodzi ~ 300k dziennie. Mniej niż GPUGrid, porównywalnie do PG PPS, więcej niż Xansons4cod.
No jak przez lata zrobiłem 7,5mln punktów, teraz to będzie w niecały miesiąc...Muszę pomyśleć nad checkpointem  ;D
Zaś odznaki - dobrze by było zróżnicować CPU i GPU i to wszystko.
Np te same odznaki z dopiskiem GPU i przesuniętą wartością o hmm 2 miejsca.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: pawg w 27 Czerwiec 2017, 10:10
Odznaką może być maszyna do pisania wpisana w kontury karty graficznej, nawiązywało by to do obecnych odznak
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: pawg w 27 Czerwiec 2017, 11:42
Na starszych grafikach aplikacja się wysypuje
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sirzooro w 27 Czerwiec 2017, 12:37
Cytat: pawg w 27 Czerwiec 2017, 10:10
Odznaką może być maszyna do pisania wpisana w kontury karty graficznej, nawiązywało by to do obecnych odznak
To jest Enigma a nie maszyna do pisania :).

Ja proponuję użyć czegoś innego co będzie nawiązywać do tamtych czasów i samej Enigmy, np. łódź podwodna U-Boot.

Edit: można by też wstawić coś związanego z polskimi matematykami którzy złamali szyfr Enigmy, to by było nawet lepsze.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 27 Czerwiec 2017, 12:40
Cytat: pawg w 27 Czerwiec 2017, 11:42
Na starszych grafikach aplikacja się wysypuje

Działa nawet na starociach z serii 8000.
Nie masz zainstalowanych bibliotek vc redist od visuala 2015.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sirzooro w 27 Czerwiec 2017, 15:45
Cytat: TJM w 27 Czerwiec 2017, 08:56
Jak można zobaczyć w profilu, serwer śledzi teraz punkty osobno dla każdej aplikacji.
Stare odznaki podłączę albo pod 0.76 albo pod obie aplikacje CPU, jeśli nie będzie z tym za dużo modyfikacji.
To ze względu na fakt, że mimo że kredyty są chyba dość skąpo ustawione na GPU, i tak mając grubszą kartę można w 1 dzień dziobnąć więcej niż wcześniej w parę lat.
Jak chcesz podłączać odznaki pod konkretne aplikacje to będziesz musiał jeszcze przeliczyć punkty dla aplikacji 0.76. Mi pokazuje że mam ich 520, a powinno być prawie. 3,8M.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: mimeq w 27 Czerwiec 2017, 17:35
Cytat: TJM w 27 Czerwiec 2017, 12:40
Cytat: pawg w 27 Czerwiec 2017, 11:42
Na starszych grafikach aplikacja się wysypuje

Działa nawet na starociach z serii 8000.
Nie masz zainstalowanych bibliotek vc redist od visuala 2015.

Po doinstalowaniu powyzszego ruszylo na 750Ti ;]]
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 28 Czerwiec 2017, 09:05
Aplikacja działa już z batchem "normalnych" WU. Dziś będzie upgrade wersji, stara ma bug objawiający się niemożnością załadowania słowników przy starcie z niektórymi ustawieniami.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Lipiec 2017, 10:27
Po ostatnim update aplikacja wspiera tylko karty z compute capability 2.1 i w górę. Podyktowane jest to tym, że zoptymalizowana jest do śmigania na nowych i na starszych bardzo szybko traci wydajność. Niemniej okazuje się, że grupa kart z compute capability 2.0 to prawie same grubsze modele które przecież są szybsze niż znaczna część śmieci z compute capability 2.1 (gdzie zaliczają się takie "potwory" jak 420, 430, 520 itp + jeszcze ich wersje z literką M). W związku z tym do testów wejdzie aplikacja z compute capability 2.0 i za jakiś czas z serwera zniknie plan class cuda, zostanie tylko cuda23 i cuda_fermi.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: mimeq w 02 Lipiec 2017, 13:30
No wlasnie wysypalo mi sie all na 750Ti po przejsciu z 1.05 na 1.06 ;/
http://www.enigmaathome.net/results.php?hostid=216965
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Lipiec 2017, 13:39
Tylko że na każdej karcie z serii 700 powinno działać. Gdyby odrzuciło kartę ze względu na za niski compute capability, w logu pojawi się info.
Odpal aplikację z palca i zobacz czy wywali jakiś komunikat.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: pawg w 02 Lipiec 2017, 14:39
mi dopiero po zmianie z 1.05 na 1.06 zaczęło działać, ale obraz tak się tnie jak przy liczeniu MooWrapper  :P
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: mimeq w 02 Lipiec 2017, 14:44
Jak z palca ? Bo ogólnie poza domem i robie przez TeamWiever ;)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Lipiec 2017, 14:53
Możesz po prostu uruchomić z konsoli plik wykonywalny i zobaczyć co wyskoczy.
Ewentualnie zassij to https://s3.eu-central-1.amazonaws.com/enigma4/test_runs/2.0_test.zip i odpal któryś z batów. To jest wersja która zastąpi wkrótce obecną.

Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: mimeq w 02 Lipiec 2017, 15:26
Run_m4 chyba ok
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Lipiec 2017, 15:33
To i z poziomu projektu powinno działać.
Może coś blokuje start aplikacji, bo się zmienił plik wykonywalny ?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: mimeq w 05 Lipiec 2017, 13:05
[smg id=10709 type=preview align=center caption="750"]

Na kompie tylko BOINC nic innego nie robi tylko "liczy", zero anty vir niestety dalej nie chce liczyc na 1.06 ;/
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 05 Lipiec 2017, 14:26
Dziwna sprawa, na pewno nie jest to też wina karty, bo u innych na takich samych działa.
Zobaczymy może przy update do 1.07 samo się naprawi skoro przy 1.06 samo się zepsuło  %)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Ufol w 07 Lipiec 2017, 16:20
Czy aplikacja nvidiowa liczy to samo co ta na cpu? Szczerze powiem, co mi leży na wątrobie. Zdobyłem odznakę w aplikacji
Enigma 0.76b a teraz sobie dumam tak. Karty weszły, w dodatku Ati się nie łapią w projekcie Kamrata, więc już całkiem kicha. Skoro cuda liczy to samo, to mielenie na cpu zakodowanych wiadomości nie ma sensu, z oczywistych przyczyn. A może, jak zwykle bywa, jestem ciemny, jak tabaka w rogu i kompletnie nie ogarniam tematu. Być może każda aplikacja liczy coś innego. Jeżeli tak, to każde liczydło posiadałoby swoją wartość. Wówczas przydałyby się odznaki dla poszczególnych apek.
Enigma AV dopiero rozpoczyna działalność, zatem oddzielne gwiazdki za nią bardzo mile widziane.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: krzyszp w 07 Lipiec 2017, 16:50
Liczą to samo, ale apki GPU nadal przechodzą testy (również dla ATI).
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 07 Lipiec 2017, 22:50
Wszystkie 3 aplikacje mają ten sam algorytm zaimplementowany na różne sposoby i dopóki teksty nie zostaną złamane, nie da się powiedzieć który jest lepszy.
Zauważ też, że algorytm oparty jest na losowości i poszukiwaniu coraz lepszych kombinacji steckera. I teraz tak: wszystkie teksty które dało się łatwo złamać już dawno są złamane, tu nie ma żadnych czarów - od dawna średnio ogarnięty pecet ma wydajność pozwalającą zrobić kilka przebiegów hillclimbem po wszystkich ustawieniach maszyn typu M3 w parę dni, dla M4 dużo dłużej ale też jest to realne. Mając dobre słowniki, góra 10 przebiegów starcza na przeciętny tekst, żeby było szybciej można go sobie przyciąć do optymalnej długości.

Zostały "ochłapy" które na pewno też się da złamać (zakładając że teksty nie są np. w jakiś sposób "uszkodzone") tylko to już jest jak gra w lotto - czym więcej natrzepie się przebiegów tym większe szanse na zdekodowany tekst, ale ile ich potrzeba nie wiadomo póki nie zobaczy się rozwiązania. Można liczyć nawet kalkulatorem, zakładając że algorytm jest taki sam, każdy przebieg ma mniej więcej równe szanse na znalezienie rozwiązania. Jedyna przewaga GPU jest taka, że te najmocniejsze w tym samym czasie robią znacznie więcej przebiegów od CPU.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: mimeq w 09 Lipiec 2017, 08:19
Widocznie sie nie lubia ;/

[smg id=10711 type=preview align=center caption="1.07"]

Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: sirzooro w 11 Lipiec 2017, 15:30
Przydałoby się odpalić tą aplikację w trybie debug (o ile taki ma) żeby drukowała po kolei co robi, bo na razie to trudno powiedzieć co jej się nie podoba.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Lipiec 2017, 01:40
Możliwe że 1.08 poprawia ten problem.
To był build z Visuala 2015 i w domyśle używał AVX nawet nie sprawdzając czy proc to obsługuje.
Przy okazji dzisiejszy update przynosi też obsługę wielu GPU. Przynajmniej teoretycznie bo nie mam jak tego przetestować  %)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: mimeq w 16 Lipiec 2017, 10:50
U mnie "poszlo" choc proc raczej AVX ma ;]  :boing:

GenuineIntel
Intel(R) Core(TM) i5-3570 CPU @ 3.40GHz [Family 6 Model 58 Stepping 9]

--------------------------
UPDATE

Pochwalilem za wczesnie - Computation error sieje znow ;/

-------------------------

kolejny UP

TJM na tej maszynie:

http://www.enigmaathome.net/show_host_detail.php?hostid=131993

Microsoft Windows 7 Enterprise x64 Edition, Service Pack 1, (06.01.7601.00)

Liczy mi na 2 apkach:

Enigma Cuda v1.09 (cuda_fermi) windows_x86_64 - tu jest all ok (liczy poprawnie)

Enigma Cuda v1.09 (cuda_fermi) windows_intelx86 - tu wszystko wywala (Error while computing)

Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 20 Lipiec 2017, 21:50
Dziwne, u mnie działa  %)
A tak serio to problem pewnie rozwiąże się sam jak w końcu włączę wymuszanie do hostów zadań po ich podstawowej platformie.
W zasadzie zostawienie tego wyłączonego nie daje żadnych korzyści, oprócz tego że chyba jest jakiś błąd w samym serwerze BOINC - być może wynikający z wieloletnich upgrade i jakichś pozostałości starych ustawień - i fajnie byłoby wykryć na czym problem polega.

P.S. Dostępna jest testowa aplikacja OpenCL/ATi - plan class opencl_ati_101 z limitowaną ilością testowych WU. Matszpk przepisał z cuda do opencla i po wstępnych testach zdaje się działać. Teraz przyszedł czas na testy na większą skalę.
Żeby to dostać trzeba w prefsach mieć zaznaczone ATI i Beta.



Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Szopler w 20 Lipiec 2017, 22:38
7770 - działa
280X - krzak od razu
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 20 Lipiec 2017, 22:45
Wykrzaczenie się od razu to z wersją aplikacji 1.01 czy 1.02 ?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: mimeq w 20 Lipiec 2017, 23:04
oj na 7870 prognozuje mi testa na 2h :]
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 20 Lipiec 2017, 23:17
Tymi prognozami bym się za zbytnio nie przejmował.
U mnie po każdej zmianie aplikacji na NV pokazuje 2h+, podczas gdy realny czas przeliczania to 20 minut.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: mimeq w 21 Lipiec 2017, 12:46
no wszystko raczej u mnie smiga o.k (oprocz tej 750TI, ktora wywala sie na _x86 a nie dostaje na _x64)
czasy sie ustabilizowaly

Test "liczy" normalne zadanka ?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 21 Lipiec 2017, 16:56
Do aplikacji testowej trafia mix, niektóre zadania są "normalne" te same co na głównej, inne typowo testowe.
Póki co limit generowanych zadań jest ustawiony bardzo nisko, żeby w razie jakiejś wtopy za wiele nie odkręcać, ale na razie wszystko wygląda dobrze.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: spiro w 27 Lipiec 2017, 22:09
Od paru dni na viście nie pobiera nowych WU. Zresetowałem projekt i niestety bez bez zmian  :(
Tak, wiem, ale na razie mogę liczyć tylko na viście.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: pawg w 29 Lipiec 2017, 00:05
Też nie mam WU na CPU
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 02 Sierpień 2017, 18:14
Batch który leciał na CPU się zakończył i zadań nie ma do momentu aż przejdzie do archiwum, wtedy będę mógł odpalić kolejny. Muszę trochę dbać o wydajność serwera, coby mi się nie rozleciał  %) GPU są w lepszej sytuacji, bo tam mimo, że czasowo krótsze, to tak naprawdę WU są znacznie (setki razy) dłuższe niż na CPU, jest ich mniej w batchu i dzięki temu można między batchami przechodzić płynnie bez przestojów.

Tymczasem KLDIO który leciał jako drugi w kolejności batch na GPU, został złamany i to w dość nietypowy sposób:
http://www.enigmaathome.net/forum_thread.php?id=1101

P.S. Jeśli jeszcze ktoś nie zauważył, aplikacja OpenCL jest i działa dobrze. Aktualnie jest oznaczona jako "beta bety" bo ma dodatkowo w nazwie test, ale w wolnej chwili przeniosę pod główną aplikację.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Argento w 05 Sierpień 2017, 16:07
Cytat: TJM w 02 Sierpień 2017, 18:14
Tymczasem KLDIO który leciał jako drugi w kolejności batch na GPU, został złamany i to w dość nietypowy sposób:
http://www.enigmaathome.net/forum_thread.php?id=1101

TJM, czy KLDIO, to akronim?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Ufol w 18 Sierpień 2017, 09:42
Zadania dla ati niekiedy się wysypują i to w dosyć denerwujący sposób. Właśnie przed chwilą okazało się, że po przemieleniu paczki z cudowną aplikacją, wypluło mi błąd po dwudziestu godzinach. Zaznaczyłem oczywiście opcję pt. Run test applications. Niestety trudno wskazać, które zadania się posypią. Dotychczas miałem pecha trafić dwie takie próbki. Co ciekawe pozostałe używające aplikacji w identycznej wersji przeliczyły się bez awarii.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Ufol w 19 Sierpień 2017, 11:02
No i skończyło się rumakowanie. Zdaje się, że liczydło pt. cuda w
wersji 1.10 ostro się wykrzacza. Kolejna próbka z błędem po upływie 14:47:57, czyli 15 godzin mielenia poszło w... Pewnie kolejna też zalicza się do trefnych, bo pokazuje 100% i nadal się tzw. przetwarza. Upłynęło dokładnie 11:14:14. Ubijam zadanie, bo nic już z tego dobrego się nie wykluje. Wyłączyłem cudowne próbki w preferencjach. Ciekawe, jak pracuje druga gpowa aplikacja.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: tito w 19 Sierpień 2017, 12:12
Ufol - masz 2 karty (AMD i NVidia) w jednym pudle?
Zresztą na forum projektu raportują od czasu do czasu, że niektóre karty nie liczą poprawnie - tylko nikt nie wie dlaczego.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Ufol w 20 Sierpień 2017, 21:12
Nvidię mam w laptopie a ati w stacjonarnym. Łapka na razie dosyć rzadko używam. Jeżeli go odpalę na deko dłuższy czas, to chętnie sprawdzę mielenie Enigmy również na nim.
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2017, 00:48
Drugi tekst poległ pod zmasowanym natarciem, ten jest mocno uszkodzony ale myślę że eksperci go poprawią -
mi się udało znaleźć tylko 1 błędną parę na plugboardzie i przekręconą przy czytaniu z odręcznego pisma literę.
http://www.enigmaathome.net/forum_thread.php?id=1109 (http://www.enigmaathome.net/forum_thread.php?id=1109)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Troll81 w 16 Wrzesień 2017, 09:59
 :respect:
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: mimeq w 16 Wrzesień 2017, 14:22
czy tak jak w przypadku KLDIO wiemy kto ? :D

About an hour ago Dave GPU (uid 68703) returned a plaintext of KLDIO 90:
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 16 Wrzesień 2017, 22:33
Zawsze wiadomo kto odesłał dany wynik, w tym przypadku nie wpisałem tego od razu bo sprawa jest bardziej skomplikowana. Tekst jest mocno zniekształcony i nawet ten najlepszy wynik znalazł się dopiero przy ręcznym przeglądaniu, ponad 2 dni po tym jak został odesłany. Jednak znając go, po fragmencie popatrzyłem wstecz i pierwsza wersja, jeszcze bardziej zniekształcona, była odesłana ponad tydzień wcześniej, jednak czytelność była praktycznie żadna i nie było szans tego zauważyć, co najwyżej gdyby uważnie czytać zwrócone unikatowe wyniki jeden po drugim. W wolnej chwili wyciągnę info kto odesłał tą pierwszą wersję i potem tą "lepszą".

Tymczasem na forum pojawiło się tłumaczenie i poprawki błędów: http://www.enigmaathome.net/forum_thread.php?id=1109#6481 (http://www.enigmaathome.net/forum_thread.php?id=1109#6481)
Jak widać nie udało się znaleźć lepszych ustawień maszyny, czyli błędy powstały już na etapie nadawania lub odbioru wiadomości.
Tutaj można zobaczyć jak wygląda taki formularz z pismem odręcznym http://cryptocellar.org/bgac/16071941_214.pdf (http://cryptocellar.org/bgac/16071941_214.pdf)
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: mimeq w 17 Wrzesień 2017, 11:53
TJM a do odznak w projekcie wrócisz ?
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: TJM w 17 Październik 2017, 18:52
Odznaki bym chętnie dodał, tylko nie mam kiedy się za to zabrać.
Ciśnienie jest na wiele rzeczy (aplikacje na dość popularne platformy, których nie ma od miesięcy, różne poprawki na stronie itp).
Tymczasem ostatnio praktycznie cały dostępny czas pochłaniają mi prace nad automatyczną analizą wyników.
O ile dla enigmy M4 wiele się nie działo i nawet na pieszo można było czytać co lepsze unikatowe wyniki, to dla obecnie załadowanych tekstów, z maszyny typu H, rezultaty (unikatowe) wracają w takich ilościach, że nie ma mowy o czytaniu tego na piechotę.

Oczywiście jest hillclimb i jego score, można się spodziewać, że rozwiązanie będzie miało wysoki. Ostatnie 2 pokazują, że może tak być ale nie musi, może być daleko poza top. Wystarczy, że w tekście będą jakieś pomyłki albo przekręcone litery, score może spaść na tyle, że mimo czytelnych fragmentów tekstu wynik będzie nisko. Dlatego szukam sposobów, żeby takie wyniki znaleźć, więcej info tutaj: http://www.boincatpoland.org/smf/enigmahome-78/poszukiwanie-igly-w-stogu-siana/

Jeśli znalazłby się ktoś chętny do pociągnięcia tematu odznak od strony grafiki/designu to ze stroną techniczną jakoś sobie poradzę w tzw międzyczasie.

Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: pawg w 03 Listopad 2017, 09:07
Próbki z serii "g4-vroln72-2_0" dla GPU kończą się po kilku sekundach chwilowym blackscreenem i komunikatem, że sterownik przestał działać ale odzyskał sprawność. Inne serie liczą się bezproblemowo...
Tytuł: Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home
Wiadomość wysłana przez: Ufol w 07 Listopad 2017, 11:37
Zatem, wnioskując z wypowiedzi przedmówcy, miałem szczęście. Zaciągnąłem deko próbek nvidiowych i przemieliły się bezbłędnie. Pytanie za przysłowiowe sto punktów, ile jeszcze zadań wygeneruje Enigma@Home? Gdyby było ich dużo, np. na rok, przy obecnym tempie obliczeń, to moglibyśmy ogłosić, iż istnieje pierwszy polski projekt na gpu. Tzn. działający zarówno na Ati, jak i na Nvidii. To zaś wielce by się przydało w promowaniu boincowania na krajowym podwórku.