Drukuj

Zaloguj się lub zarejestruj.
1 Godzina 1 Dzień 1 Tydzień 1 Miesiąc Zawsze
Zaloguj się podając nazwę użytkownika, hasło i długość sesji

[Tobas]

Witam

Od pewnego czasu noszę, a konkretnie znajomi noszą się z zamiarem uruchomienia projektu BOINC.

Wszystkiego czego nam brakuje to programistów, którzy bo ten projekt wdrożyli.

Na szczęście mamy najważniejsze - budżet!

Osoby posiadające wiedzę, chęci, czas proszę o kontakt na priv.

Co prawda nie jest to projekt komercyjny, ale dopóki sprawa oficjalnie nie ruszy,
zostałem zobowiązany do niepisania o nim publicznie.

Projekt nie był wymyślony na potrzeby BOINC, oni nawet nie wiedzą pewnie co to jest,
ale IMO BOINC - gdyby się udało to zrobić w takiej postaci -  zaoszczędziło by to mnóstwo środków,
które spokojnie można by przeznaczyć na wdrożenie i promocję.

Pozdrawiam i jeszcze raz zapraszam zainteresowane osoby do bardziej szczegółowych konsultacji.

[Troll81]

Zaproś swoich kolegów na forum i niech opowiedzą co ma robić ten projekt myślę że to bardziej zachęci przyszłych programistów.

[Cyfron]

a powiedz mi jakiego typu miałby to być projekt - chemia/biologia, czy matematyka, fizyka czy coś? (bo sam zamierzam pociągnąć za moje nowe "sznurki" i kontakty odnośnie projektów białkowo-chemicznych, ale to dopiero w kwietniu będę mógł)

[kret]

hm..brzmi ciekawie

[Tobas]

Nie chcę zdradzać szczegółów, dopóki nie skonsultuję tego z jakimś developerem.
Chodzi mi konkretnie o fakt czy dany projekt można przenieść na realia BOINC.
Dopóki mi tego nie potwierdzi ktoś, kto coś już wdrożył, albo ma o tym pojęcie,
to nie będę za przeproszeniem Wam dupy zawracał.

To nie są moi koledzy, to ludzie z wrocławskiego środowiska naukowego i są poważnie zainteresowani aby to ruszyło..
Mam szczerą nadzieję, że wkrótce będę się mógł trochę pochwalić i zaprosić do współpracy wszystkich liczydłowych ;-)

[Cyfron]

jak zrobicie projekt na GPU to aż chętnie policzę !

[TJM]

Odpowiem tu na pytanie zadane na ircu, ponieważ żeś zwioł zaczym się tam ocknąłem i zauważyłem pytania

Otóż mogę pomóc z rozważeniem "czy się da" i jak mocno będzie trzeba kombinować, ale żadnego programowania i innych prac developerskich raczej się nie podejmę, ze względu na chroniczny brak czasu.
W razie czego zapraszam do dyskusji na ircu, jak wiadomo jestem dość często.

[apohawk]

Nie chcę zdradzać szczegółów, dopóki nie skonsultuję tego z jakimś developerem.
Chodzi mi konkretnie o fakt czy dany projekt można przenieść na realia BOINC.
Dopóki mi tego nie potwierdzi ktoś, kto coś już wdrożył, albo ma o tym pojęcie,
to nie będę za przeproszeniem Wam dupy zawracał.

To nie są moi koledzy, to ludzie z wrocławskiego środowiska naukowego i są poważnie zainteresowani aby to ruszyło..
Mam szczerą nadzieję, że wkrótce będę się mógł trochę pochwalić i zaprosić do współpracy wszystkich liczydłowych ;-)

Trzeba ustalić, co się ma przeliczać.
1. Czy wiedzą, co chcą policzyć?
2. Jakiego rodzaju jest to algorytm?
3. Czy można obliczenia rozbić na części?
4. Czy obliczenia można zrównoleglić?
5. Czy wykorzystywane obecnie przez tych ludzi oprogramowanie/biblioteki ma otwarte źródła?

Na to musi odpowiedzieć naukowiec, a nie programista. To pomoże odpowiedzieć, czy da się to odpalić na BOINC.

[Tobas]

Trzeba ustalić, co się ma przeliczać.
1. Czy wiedzą, co chcą policzyć?

Wiedzą co chcą policzyć, a konkretnie co znaleźć.

2. Jakiego rodzaju jest to algorytm?

Wydaje mi się że nonCPU

3. Czy można obliczenia rozbić na części?

No właśnie trzeba.

Projekt ma za zadanie odpytywać wszelkie możliwe wyszukiwarki w sieci na bardzo wiele fraz,
następnie trafione wyniki odsyłać do serwera.

Czemu BOINC?

Google nie pozwala zapytać się więcej niż x razy dziennie - zapewne to samo z innymi szukajkami
Chcemy zadać x² zapytań na x² tematów i analizować tylko hit'y
Dlatego fajnie by było jakby ktoś nam spreparował wyniki do analizy np. liczydłowi na swoich kompach

4. Czy obliczenia można zrównoleglić?
5. Czy wykorzystywane obecnie przez tych ludzi oprogramowanie/biblioteki ma otwarte źródła?

Na to musi odpowiedzieć naukowiec, a nie programista. To pomoże odpowiedzieć, czy da się to odpalić na BOINC.

Nie ma softu, nie ma źródeł - wszystko jest do napisania.
Tak jak wspominałem - jest budżet i konkretne zainteresowanie..

Pytanie - czy taką maszynę do analizy sieci da się odpalić na BOINC?

[Rysiu]

Google nie pozwala zapytać się więcej niż x razy dziennie - zapewne to samo z innymi szukajkami

Serio? A jaki to limit?

Nigdy z niczym takim się nie spotkałem.

Pytanie jednak polega na tym, że jeżeli Google coś takiego zablokowało, a Wy chcecie jakoś na boku to ominąć stosując większą ilość komputerów to Google raczej zadowolone z tego by nie było.

[Tobas]

Google ma limity bo maniacy SEO wymyślali skrypty, które bombardowały wyszukiwarkę słowami kluczowymi,
nie wiem dokładnie o co chodzi, ale ludzie od SEO na pewno wiedzą..

W moim projekcie nie ma mowy o spamie, komercyjnym działaniu i odpytywaniu samego google, więc tutaj
bym nie szukał problemu.

[Tobas]

Poza tym nie widzę przeszkód aby w ramach projektu napisać własnego robota i niech projekt sam szuka - bez google i innych,
tylko z pomocą wyszukiwarek - nie musi indexować wszystkiego, tylko trafienia.

[Rysiu]

Ale taki robot by chyba sporo mielił łącze?

[buninek]

Toż to błahostka.
Czy nie ma projektów w których aplikacja potrzebuje blisko 2GB pamięci na zadanie? Inne z kolei mielą dyskiem, aż lecą wióry lub z proca wyciskają maksymalne poty. Jeszcze innne nie wiadomo co robią i po co...
 
Zainteresowani podpiszą nową umowę z operatorem na lepsze łącze.

[Pigu]

ba - swego czasu łączem mielił hal 

nie widzę problemu, by oddać projektowi łącze - zwłaszcza, że przez większość czasu i tak się nudzi

[Tobas]

Ale taki robot by chyba sporo mielił łącze?

Dokładnie takie jest założenie - niech mieli kiedy Ty nim nie mielisz ;-)

[apohawk]

Gorzej, jak się ludzie wkurzą, bo nie mogą a google'a normalnie korzystać, tylko muszą captchę wpisywać. Dla ludzi oznacza to "internet się zepsuł!"
Mielenie łącza nie jest problemem, jeśli odpytuje się poniżej progu wykrywalności google'a.

Coś ostatnio słyszałem, że w google  jest gdzieś API do wyszukiwania, ale nie mogę na szybko niczego sensownego znaleźć.
Można by zrobić takie nonCPU, które odpytuje google'a przez godzinę o jakieś 5-15 rzeczy i przez resztę czasu śpi, to może google się nie zbuntuje.

Podział na WU: chyba trywialny.
Scalanie wyników: zależne od danych wejściowych, jak nie ma wiele pytań, to się to gdzieś pomieści, ale jeśli chcecie sklonować google'a to sklonujcie też ich barki serwerów

[buninek]

Coś ostatnio słyszałem, że w google  jest gdzieś API do wyszukiwania, ale nie mogę na szybko niczego sensownego znaleźć.

Przykład w formacie JSON.

Kod: [Zaznacz]

https://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=$queryZadziwiające i trochę przerażające jest to jakimi zasobami danych dysponują.
Ostatnio korzystałem z API google readera. W kilka minut moża pobrać całą historię newsów z dowolnego serwisu, który jest odwiedzany przez googlowe roboty. Fantastyczne.

[apohawk]

Jak tak dalej pójdzie, to wcale nie będą potrzebowali projektu BOINC 

[kotfryc]

Google ma limity bo maniacy SEO wymyślali skrypty, które bombardowały wyszukiwarkę słowami kluczowymi,
nie wiem dokładnie o co chodzi, ale ludzie od SEO na pewno wiedzą..

W moim projekcie nie ma mowy o spamie, komercyjnym działaniu i odpytywaniu samego google, więc tutaj
bym nie szukał problemu.

Hmmm żeby być pewnym jeśli chodzi o politykę Googla najlepiej udać się do źródła i się zapytać czy takie działania nie zostaną odebrane jako spamowanie wyszukiwarki. Czyli poprosić jakiegoś przedstawiciela Google o opinię - pracownicy tej firmy są dostępni na sieci, wystarczy poszukać... 

Jeśli chodzi o wyszukiwarkę, to doskonale wiem jak można ją wkurzyć i gwarantuję że nie jest to tylko odpytywanie na jakąś określoną frazę x razy w ciągu dnia. Proponuję zaciągnąć więcej  informacji u SEO-wców.

Dodatkowo takie odpytywanie może wpłynąć na wiele aspektów użytkowania wyszukiwarki i innych usług przez osoby uczestniczące w programie, jak chociażby zaśmiecenie/zaspamowanie historii wyszukiwania.

[Tobas]

Dobrze wiedzieć.
Czyli trzeba klientom wysyłać osobną przeglądarkę stworzoną na potrzeby projektu, gdzie nie będą logowane na ich koncie poszukiwania, np. Lynx'a
albo rzeczywiście samemu przeczesywać sieć tzn. bez pomocy wyszukiwarek,
tak czy inaczej dzięki za uwagi - dużo wnoszą, nawet te z pozoru nieistotne i dzięki dla TJM za PM'a

[TJM]

Hehe widzę że ktoś wspomniał go google API. Otóż nie jest tu tak wesoło, ostatnio znajomy je studiował i zauważył coś ciekawego - otóż API zwraca linki, ale w losowej kolejności, więc jego użyteczność do niektórych celów jest zerowa.

[Agbar]

API zwraca linki, ale w losowej kolejności...

To jest cecha chyba wszystkich wyszukiwarek, bo użytkownik najczęściej sprawdza i tak kilka pierwszych - dla niego kolejność nie ma znaczenia. Tym bardziej, że google ocenia strony syntetycznie, a nie wg tego, czego oczekiwał user.

[Cyfron]

a w ogóle to co z tym projektem?
Coś idzie do przodu, czy zostało to zarzucone?

[Tobas]

Powolutku, ale do przodu..
Jak będzie konkret to oczywiście dam znać.
Oczywiście jak wszystkich, również nas obejmuje największy dylemat 21 wieku - chroniczny brak czasu

[Cyfron]

o widzisz - a myślałem, że wszystko zmarło i nie będzie nic

Miło mi słyszeć, że coś się dzieje. W takim wypadku czekamy na dalszy rozwój sytuacji i kolejne informacje.
Jak coś to pewnie coś pomożemy