Serwis wykorzystuje pliki cookies. Korzystajc z forum wyraasz zgod na uywanie cookies. Wicej informacji w regulaminie.
StacjePogody.waw.pl

Autor Wątek: Łączmy się?  (Przeczytany 20814 razy)

Offline KIM

  • Cirrus
  • *
  • Wiadomości: 13
  • Otrzymał podziękowań: 0
  • Typ stacji: TFA Primus 35.1099.IT
Łączmy się?
« dnia: 15 Maja, 2014, 13:15:29 »
Jestem na forum nowym użytkownikiem i długo się zastanawiałem, czy nie za szybko próbuję jako żółtodziób proponować ideę synergii. Reprezentuję projekt "KIM" (Krajowy Instytut Meteorologiczny www.instytutmeteo.pl). Bardzo proszę nie mylić nas z IMGW! :). Nazwa naszego projektu nie jest przypadkowa a jej brzmienie ma podnosić niektórym "urzędom" ciśnienie. Osobiście jestem żeglarzem i stąd zainteresowanie tematyką meteo.

Dysponujemy spora mocą obliczeniową i powierzchnią dyskową oraz pogodowymi modelami i sporym łączem (40Mbps w obie strony na światłowodzie ATM). Kolega Szopler poradził, żebym założył osobny temat i zapytał użytkowników Forum co sądza o takim pomyśle:

Wzorując się na kolegach z Blitzortung chcielibyśmy zaproponować społeczności Forum, integrację danych ze swoich stacji pogodowych do ujednoliconych danych, zapisywanie ich we wspólnej bazie danych SQL, dostępnej dla wszystkich uczestników projektu (każdy który dostarcza dane pogodowe ma prawo wykorzystywać dane uczestników). Na wzór Blitzortunga.. wszystko odbywa się bezpłatnie. Ze swojej strony na pewno możemy się zobowiązać do udzielenia wsparcia z obsługi i pozyskiwania danych z bazy SQL oraz ich przetwarzania.

Bezpieczeństwo danych i serwery udostępniałaby firma NavSim, która i tak w sposób operacyjny je utrzymuje ze względu na generowanie danych pogodowych dla żeglugi morskiej i oceanicznej.

My ze swojej strony chcielibyśmy korzystać z danych ze stacji do zbudowania operacyjnego modelu pogodowego WRF dla Polski. W chwili obecnej potrafimy go generować w oparciu o modele GFS z uwzględnieniem ukształtowania terenu. Chcielibyśmy teraz dołączać do prognozy realne dane. Oczywiście zobowiązujemy się, do bezpłatnego udostępniania prognozy dla członków projektu.

Czy taka forma współpracy, zbierania danych archiwalnych i udostępniania ich użytkownikom interesowałaby Was?

Jacek Pietraszkiewicz
« Ostatnia zmiana: 15 Maja, 2014, 13:18:09 wysłana przez KIM »

Forum Użytkowników Stacji Pogodowych

Łączmy się?
« dnia: 15 Maja, 2014, 13:15:29 »

Offline ShamY

  • Stratus
  • ***
  • Wiadomości: 110
  • Otrzymał podziękowań: 1
  • Płeć: Mężczyzna
  • www.pogodakrotoszyn.pl
    • Pogoda Krotoszyn.pl
  • Typ stacji: Davis Vantage Pro 2 + czujniki Ecowitt
Odp: Łączmy się?
« Odpowiedź #1 dnia: 15 Maja, 2014, 15:59:42 »
Ja osobiście jestem jak najbardziej za :)

Offline miniomax

  • Stratus
  • ***
  • Wiadomości: 158
  • Otrzymał podziękowań: 9
  • Płeć: Mężczyzna
    • Pogoda w Smolcu
  • Typ stacji: WH-2080
Odp: Łączmy się?
« Odpowiedź #2 dnia: 15 Maja, 2014, 17:20:15 »
Popieram i jestem za :)


Offline krishah

  • Cirrus
  • *
  • Wiadomości: 9
  • Otrzymał podziękowań: 0
  • Płeć: Mężczyzna
  • Typ stacji: WS 2080
Odp: Łączmy się?
« Odpowiedź #3 dnia: 15 Maja, 2014, 21:33:50 »
Witam
Oczywiście jestem za, jednakże sprawa nie jest taka prosta - potrzeba się zastanowić w jakim formacie dane miały by być udostępniane.
Należy pamiętać, iż ludzie korzystają z różnych programów jak i systemów operacyjnych, nie mówiąc o różnych stacjach.
Najlepiej było przyjąć już istniejący format np WD lub podobny taki, który wspiera jak największa ilość software'u.
Trzeba się także zastanowić czy komunikacja odbywała by się przez wysyłanie do Was paczki danych, czy tez pobieralibyście sobie z wystawionych przez stacje linków.
Jeżeli już macie opracowany jakiś system dajcie info, tak aby można było przygotować stacje do komunikacji z waszym systemem.
moja stacja działa na weewx (pod Linuksem) i wysyła dane do Wunderground, PWSWeather, CWOP, AWEKAS, OpenWeatherMap, WOW, Wetter.de i  Weatherbug(choć ostatnio chyba coś zmienili w protokole) - Fajnie by było, gdyby w naszym kraju powstała jakaś jednolita inicjatywa do stworzenia dużej sieci stacji pogodowych z dostępem do prognozy numerycznej - pewnie ICM nie pobijemy ale można będzie porównać wyniki.


Pozdrawiam

Offline irek

  • Cirrocumulus
  • **
  • Wiadomości: 63
  • Otrzymał podziękowań: 7
  • Typ stacji: TFA Primus, WS 2300
Odp: Łączmy się?
« Odpowiedź #4 dnia: 15 Maja, 2014, 23:24:27 »
Również chętnie bym się przyłączył do takiego projektu. Jednak obawiam się, że przy asymilacji  danych z amatorskich stacji z modelem numerycznym, nie ma się pewności, czy takie dane będą odzwierciedlały faktyczny stan warunków pogodowych w danym miejscu  i czy nie wpłynie to na pogorszenie jakości prognoz.
W moim przypadku mogę zagwarantować wiarygodność pomiaru temperatury, gdyż czujnik stacji znajduje się w klatce meteorologicznej. Do tego cykliczna kontrola z termometrami wzorcowanymi i dodatkowa stacja w rezerwie. Dane opadowe również wiarygodne, lecz w okresie zimy stosuje podgrzewany deszczomierz, co przy niskich temperaturach obniża sumy opadów.  Właściwą sumę opadów śniegu uzyskuje z deszczomierzy manualnych(korekta ręczna danych). W przypadku wiatru występuje u mnie zaniżenie siły wiatru z uwagi rosnące w pobliżu drzewa oraz brak w protokole wyjściowym programu obsługującego stację danych o porywie.
Z drugiej strony nawet takie dane są potrzebne, gdyż denerwuje mnie np. widget pogodynki z danymi aktualnymi i prognozą, gdzie wszystkie dane pochodzą z prognozy i nieraz wartości z "teraz" mijają się z aktualnymi wskazaniami stacji.

Offline KIM

  • Cirrus
  • *
  • Wiadomości: 13
  • Otrzymał podziękowań: 0
  • Typ stacji: TFA Primus 35.1099.IT
Odp: Łączmy się?
« Odpowiedź #5 dnia: 16 Maja, 2014, 08:43:13 »
Dziękuję wszystkim za chęci. Nie uzurpujemy sobie żadnych praw na monopol wiedzy, a jesli ma to być wspólny projekt, gdzie każdy będzie się czuł współtwórcą, to nie wyobrażam sobie, żebyśmy to my narzucali jedyne słuszne rozwiązanie... choć nie ukrywam, że nasze pomysły nie mogą naruszyć bezpieczeństwa serwerów ( również w naszym interesie). W przypadku Blitzortung sytuacja jest prostsza bo koledzy pozwalają do sieci włączyć tylko swoje rozwiązania. Być może kiedyś napiszemy projekt unijny i kupimy 1000 wypasionych stacji meteo i rozdamy je członkom... ale póki co.. spróbujemy zintegrować wszystko ze wszystkimi. Już z tego założenia wynika, że w systemie mogą znaleźć się koledzy pasjonaci meteo.. z małą wiedzą informatyczną i olbrzymim potencjałem wiedzy o fizyce atmosfery. My mamy sporo wiedzy o działaniu serwerów, zatem z naszego punktu widzenia, jeśli cokolwiek co można "przeczytać" trafi z odpowiednią nazwą do serwera to nawet dla każdego członka zespołu możemy napisać skrypt parsujący zawartość pliku do bazy danych (przynajmniej na początek projektu).

My dzisiaj, na stacji TFA Primus robimy to tak:
1. Na dedykowanym kompie odpalony jest program HeavyWeatherPro WS2800 podłączony do stacji. Generuje on w katalogu C:\ProgramData plik tekstowy currdat.
2. Dane z pliku przetwarzamy prostym skryptem perl-a, co pozwala przenosić system pomiędzy komputerami z systemem windows / linux. Nasza stacja obsługiwana jest obecnie przez komputer z systemem windows 7.
3. Skrypt perl po przetworzeniu danych łączy się bezpośrednio z zewnętrznym serwerem MySQL i tam składuje dane. Wywołanie skryptu następuje automatycznie przez windowsowy harmonogram zadań. Rozwiązanie nie wymaga instalacji na komputerze żadnego dodatkowego oprogramowania, wystarczy wgrać binarki i biblioteki perla oraz skrypt.
Jeśli inne stacje pogodowe również generują pliki z danymi bieżącymi  będę w stanie pisać odpowiednie parsery i na podobnej zasadzie odbierać dane.

Prościej się już chyba nie da dla łaczności Win/Linux. W efekcie otrzymujemy póki co najprostsza strukturę z którą można już robić wszystko:


Offline Dextero

  • Stratus
  • ***
  • Wiadomości: 123
  • Otrzymał podziękowań: 1
  • Płeć: Mężczyzna
    • Pierwsza stacja w Kożuchowie
  • Typ stacji: Sencor SWS 12500 wifi, TFA Primus
Odp: Łączmy się?
« Odpowiedź #6 dnia: 16 Maja, 2014, 10:16:07 »
Witam. Jestem calkowicie "za" takim projektem. Moja stacja TFA Primus polaczona jest z terminalem WYSE z win XP. Dane wysylam do Cumulus i dalej do http://kozuchow.stacjapogody.ct8.pl/ i http://www.wunderground.com/personal-weather-station/dashboard?ID=ILUBUSKI9. Jesli projekt ruszy to chcialbym swoje dane przekazac do Waszego systemu - tyle ze bede potrzebowal pomocy w uruchomieniu proponowanego skryptu.
pzdr

Offline Areecki

  • Cumulonimbus
  • *****
  • Wiadomości: 506
  • Otrzymał podziękowań: 13
  • Płeć: Mężczyzna
    • Pogoda Bukowa
  • Typ stacji: Viking 02047 ( klon WH 1090) , Termio-1 , Termometr LT-102
Odp: Łączmy się?
« Odpowiedź #7 dnia: 16 Maja, 2014, 12:26:42 »
Jeśli strona będzie dynamicznie rozwijana i będą wprowadzane nowe ciekawe zastosowania wyświetlania
danych pogodowych to jestem również Za. Na chwilę obecną ciekawy jest radar burzowy, gdzie można sprawdzić odległość
poszczególnych wyładowań od miejsca wyśrodkowania mapy.
Meteogramy są troszkę moim zdaniem niedopracowane graficznie.
Zobaczymy jak strona będzie się rozwijać.

Fan Page Amatorskich Stacji Meteo na FB : https://www.facebook.com/groups/750342651716988/
Linki Pogodowe : http://areecki.pl/POGODA.html

Offline KIM

  • Cirrus
  • *
  • Wiadomości: 13
  • Otrzymał podziękowań: 0
  • Typ stacji: TFA Primus 35.1099.IT
Odp: Łączmy się?
« Odpowiedź #8 dnia: 17 Maja, 2014, 10:25:08 »
Jeśli strona będzie ....

Nasza propozycja nie jest związana ze stroną instytutmeteo.pl, więc jej rozwój nie jest związany z proponowanym projektem. Nam chodzi o zbieranie danych.. zapisywanie ich w ujednoliconej postaci cyfrowej i udostępnienie ich w takiej postaci członkom. Jeśli do tego etapu nie pokłócimy się.. być może wszyscy będziemy rozwijać jakąś alternatywną stronę www. W zamyśle, każdy będzie mógł korzystać z naszych danych i każdy będzie mógł budować swoją stronę bo będzie miał DANE cyfrowe. W chwili obecnej monopol na dane hydro-meteo ma IMGW i słono sobie za nie liczy.

Jeśli do tego etapu zgadzamy się, my w przyszłym tygodniu przygotujemy skrypty i "wystawimy" bazę na zewnątrz. Na razie z naszymi danymi, żeby się otrzaskać z obsługą zbieranych danych. Później będziemy po kolei dołaczać stacje kolegów, którzy będę chcieli. Pytanie, czy wystarczy dostęp do bazy SQL czy wolimy aby dane były udostępnianie w jakiś inny sposób...? Co myślicie? Jakieś inne propozycje?

Offline szopler

  • Stratus
  • ***
  • Wiadomości: 197
  • Otrzymał podziękowań: 9
  • Płeć: Mężczyzna
  • Radioaktywny
    • Brak...
  • Typ stacji: WS 2800 w rozsypce
Odp: Łączmy się?
« Odpowiedź #9 dnia: 17 Maja, 2014, 21:06:25 »
Moja SQLka wygląda tak:


Mam rozpracowane pliki currdat.lst, history.dat oraz WV5DataStore od TFA Primus... Jakby coś to udostępnię.

Offline dandi

  • Stratus
  • ***
  • Wiadomości: 102
  • Otrzymał podziękowań: 1
    • Prognozowanie Pogody dla miasta Choszczno i okolic.
  • Typ stacji: WH 2080
Odp: Łączmy się?
« Odpowiedź #10 dnia: 17 Maja, 2014, 21:29:20 »
Świetna sprawa z tą stroną, oczywiście również jestem za tym projektem. Jak już wszystko ruszy to z miłą chęcią udostępnię dane z mojej stacji.
A swoją drogą to czy dane które trafiają do bazy SQL są z cumulusa? Jeśli tak to jak to zrobiliście możecie podzielić się tym?
Co do detektora burz na stronie to widziałem że coś takiego udostępnia ta strona http://www.nordicweather.net/phpscripts.php?en ale miałem z tym problemy aby uruchomić to na stronie php.
Pozdrawiam i czekam na odzew w jaki sposób mogę przekazać wam moje dane ze stacji meteo.

Offline kriu

  • Cumulonimbus
  • *****
  • Wiadomości: 534
  • Otrzymał podziękowań: 21
  • Płeć: Mężczyzna
    • Moja stacja na Wunderground
  • Typ stacji: Velleman WS1080, Evolve Pilot 6", Conrad W263, inne układy pomiarowe 1-wire
Odp: Łączmy się?
« Odpowiedź #11 dnia: 17 Maja, 2014, 23:28:42 »
Ja także jestem za.
Mam pytanie - czy inne formaty danych będą akceptowane. Np. program Cumulus (pod Windows) generuje tekstowy plik z danymi realtime.txt (bardzo malutki) w zadanych odstępach czasu. Dodatkowo Cumulus ma opcje wysyłania takiego pliku na dowolny serwer. Czy będzie coś takiego odpowiednie?
Pytam o to bo program ten jest bardzo populary i bardzo dużo ludzi używa Cumulusa (na całym świecie).

Offline KIM

  • Cirrus
  • *
  • Wiadomości: 13
  • Otrzymał podziękowań: 0
  • Typ stacji: TFA Primus 35.1099.IT
Odp: Łączmy się?
« Odpowiedź #12 dnia: 18 Maja, 2014, 08:11:44 »
Z serwerowego punktu widzenia nie ma to najmniejszego znaczenia jaki format danych będzie dostarczany. Warunkiem działania będzie by w pliku były dane
1. Od kogo (np.nazwa pliku lub z jakiego adresu przyszło).
2. Data i czas wykonanego pomiaru
3. Dane w dowolnym formacie (nawet jeśli w jakimś zaszyfowanym to musimy znać klucz deszyfrujący)
4. Jeśli się da, to zawsze taki sam ukłąd danych (w przypadku automatyki to żaden problem np. linia1-TempZewn; linia2-TempWewn itd)
5. Jeśli w zmieniającym się układzie to dana musi być oznaczona jakąś cechą (TempZew=99,TempWew=88

My zobowiążemy się żeby takie dane parsować, interpretować, klasyfikować i składować oraz udostępniać.
Jeśli w Cumulusie można konfigurować dane to każdy otrzyma nazwę hosta, port loginy i hasła. Spróbujemy się przegryźć przez Cumulusa żeby dać wsparcie, choć pewnie wielu z nas zna go doskonale.

BTW. W związku z deszczami i "wielką wodą" udostępniliśmy wczoraj serwis (jeszcze nie skończony) ze stanami rzek. Jesli ktoś chciałby u siebie na stronie podawać stan swojej rzeki (jeśli istnieje tam automatyczny wodowskaz) to bez problemu udostępnimy mu dane... albo w formie wykresu, albo dostępu do SQL albo możemy wysyłąć mailem /FTP http://rzeki.instytutmeteo.pl/graph2.php
« Ostatnia zmiana: 18 Maja, 2014, 08:18:54 wysłana przez KIM »

Offline woolfw90

  • Cirrocumulus
  • **
  • Wiadomości: 49
  • Otrzymał podziękowań: 1
  • Płeć: Mężczyzna
    • http://activeweather.org/Midleton1.php
  • Typ stacji: ws1080
Odp: Łączmy się?
« Odpowiedź #13 dnia: 18 Maja, 2014, 10:05:15 »
Witam. Ciekawa inicjatywa :) i jak najbardziej popieram projekt. Jestem współtwórcą Projektu activeweather.org jeżeli jesteś zainteresowany współpracą to zapraszam na priv. My mamy już opanowane przesył i odbiór danych ze stacji oraz wyświetlanie ich na stronie itd.... Myślę ze wspólnie moglibyśmy stworzyć naprawdę interesujący portal. Mamy już w swojej bazie kilkanaście stacji z Polski i europy..

Pozdrawiam i czekam na info

Offline KIM

  • Cirrus
  • *
  • Wiadomości: 13
  • Otrzymał podziękowań: 0
  • Typ stacji: TFA Primus 35.1099.IT
Odp: Łączmy się?
« Odpowiedź #14 dnia: 18 Maja, 2014, 10:39:20 »
Wysłąne na prw. :)