Forum Użytkowników Stacji Pogodowych
Ogólne => Pogoda => Wątek zaczęty przez: KIM w 15 Maj, 2014, 13:15:29
-
Jestem na forum nowym użytkownikiem i długo się zastanawiałem, czy nie za szybko próbuję jako żółtodziób proponować ideę synergii. Reprezentuję projekt "KIM" (Krajowy Instytut Meteorologiczny www.instytutmeteo.pl). Bardzo proszę nie mylić nas z IMGW! :). Nazwa naszego projektu nie jest przypadkowa a jej brzmienie ma podnosić niektórym "urzędom" ciśnienie. Osobiście jestem żeglarzem i stąd zainteresowanie tematyką meteo.
Dysponujemy spora mocą obliczeniową i powierzchnią dyskową oraz pogodowymi modelami i sporym łączem (40Mbps w obie strony na światłowodzie ATM). Kolega Szopler poradził, żebym założył osobny temat i zapytał użytkowników Forum co sądza o takim pomyśle:
Wzorując się na kolegach z Blitzortung chcielibyśmy zaproponować społeczności Forum, integrację danych ze swoich stacji pogodowych do ujednoliconych danych, zapisywanie ich we wspólnej bazie danych SQL, dostępnej dla wszystkich uczestników projektu (każdy który dostarcza dane pogodowe ma prawo wykorzystywać dane uczestników). Na wzór Blitzortunga.. wszystko odbywa się bezpłatnie. Ze swojej strony na pewno możemy się zobowiązać do udzielenia wsparcia z obsługi i pozyskiwania danych z bazy SQL oraz ich przetwarzania.
Bezpieczeństwo danych i serwery udostępniałaby firma NavSim, która i tak w sposób operacyjny je utrzymuje ze względu na generowanie danych pogodowych dla żeglugi morskiej i oceanicznej.
My ze swojej strony chcielibyśmy korzystać z danych ze stacji do zbudowania operacyjnego modelu pogodowego WRF dla Polski. W chwili obecnej potrafimy go generować w oparciu o modele GFS z uwzględnieniem ukształtowania terenu. Chcielibyśmy teraz dołączać do prognozy realne dane. Oczywiście zobowiązujemy się, do bezpłatnego udostępniania prognozy dla członków projektu.
Czy taka forma współpracy, zbierania danych archiwalnych i udostępniania ich użytkownikom interesowałaby Was?
Jacek Pietraszkiewicz
-
Ja osobiście jestem jak najbardziej za :)
-
Popieram i jestem za :)
-
Witam
Oczywiście jestem za, jednakże sprawa nie jest taka prosta - potrzeba się zastanowić w jakim formacie dane miały by być udostępniane.
Należy pamiętać, iż ludzie korzystają z różnych programów jak i systemów operacyjnych, nie mówiąc o różnych stacjach.
Najlepiej było przyjąć już istniejący format np WD lub podobny taki, który wspiera jak największa ilość software'u.
Trzeba się także zastanowić czy komunikacja odbywała by się przez wysyłanie do Was paczki danych, czy tez pobieralibyście sobie z wystawionych przez stacje linków.
Jeżeli już macie opracowany jakiś system dajcie info, tak aby można było przygotować stacje do komunikacji z waszym systemem.
moja stacja działa na weewx (pod Linuksem) i wysyła dane do Wunderground, PWSWeather, CWOP, AWEKAS, OpenWeatherMap, WOW, Wetter.de i Weatherbug(choć ostatnio chyba coś zmienili w protokole) - Fajnie by było, gdyby w naszym kraju powstała jakaś jednolita inicjatywa do stworzenia dużej sieci stacji pogodowych z dostępem do prognozy numerycznej - pewnie ICM nie pobijemy ale można będzie porównać wyniki.
Pozdrawiam
-
Również chętnie bym się przyłączył do takiego projektu. Jednak obawiam się, że przy asymilacji danych z amatorskich stacji z modelem numerycznym, nie ma się pewności, czy takie dane będą odzwierciedlały faktyczny stan warunków pogodowych w danym miejscu i czy nie wpłynie to na pogorszenie jakości prognoz.
W moim przypadku mogę zagwarantować wiarygodność pomiaru temperatury, gdyż czujnik stacji znajduje się w klatce meteorologicznej. Do tego cykliczna kontrola z termometrami wzorcowanymi i dodatkowa stacja w rezerwie. Dane opadowe również wiarygodne, lecz w okresie zimy stosuje podgrzewany deszczomierz, co przy niskich temperaturach obniża sumy opadów. Właściwą sumę opadów śniegu uzyskuje z deszczomierzy manualnych(korekta ręczna danych). W przypadku wiatru występuje u mnie zaniżenie siły wiatru z uwagi rosnące w pobliżu drzewa oraz brak w protokole wyjściowym programu obsługującego stację danych o porywie.
Z drugiej strony nawet takie dane są potrzebne, gdyż denerwuje mnie np. widget pogodynki z danymi aktualnymi i prognozą, gdzie wszystkie dane pochodzą z prognozy i nieraz wartości z "teraz" mijają się z aktualnymi wskazaniami stacji.
-
Dziękuję wszystkim za chęci. Nie uzurpujemy sobie żadnych praw na monopol wiedzy, a jesli ma to być wspólny projekt, gdzie każdy będzie się czuł współtwórcą, to nie wyobrażam sobie, żebyśmy to my narzucali jedyne słuszne rozwiązanie... choć nie ukrywam, że nasze pomysły nie mogą naruszyć bezpieczeństwa serwerów ( również w naszym interesie). W przypadku Blitzortung sytuacja jest prostsza bo koledzy pozwalają do sieci włączyć tylko swoje rozwiązania. Być może kiedyś napiszemy projekt unijny i kupimy 1000 wypasionych stacji meteo i rozdamy je członkom... ale póki co.. spróbujemy zintegrować wszystko ze wszystkimi. Już z tego założenia wynika, że w systemie mogą znaleźć się koledzy pasjonaci meteo.. z małą wiedzą informatyczną i olbrzymim potencjałem wiedzy o fizyce atmosfery. My mamy sporo wiedzy o działaniu serwerów, zatem z naszego punktu widzenia, jeśli cokolwiek co można "przeczytać" trafi z odpowiednią nazwą do serwera to nawet dla każdego członka zespołu możemy napisać skrypt parsujący zawartość pliku do bazy danych (przynajmniej na początek projektu).
My dzisiaj, na stacji TFA Primus robimy to tak:
1. Na dedykowanym kompie odpalony jest program HeavyWeatherPro WS2800 podłączony do stacji. Generuje on w katalogu C:\ProgramData plik tekstowy currdat.
2. Dane z pliku przetwarzamy prostym skryptem perl-a, co pozwala przenosić system pomiędzy komputerami z systemem windows / linux. Nasza stacja obsługiwana jest obecnie przez komputer z systemem windows 7.
3. Skrypt perl po przetworzeniu danych łączy się bezpośrednio z zewnętrznym serwerem MySQL i tam składuje dane. Wywołanie skryptu następuje automatycznie przez windowsowy harmonogram zadań. Rozwiązanie nie wymaga instalacji na komputerze żadnego dodatkowego oprogramowania, wystarczy wgrać binarki i biblioteki perla oraz skrypt.
Jeśli inne stacje pogodowe również generują pliki z danymi bieżącymi będę w stanie pisać odpowiednie parsery i na podobnej zasadzie odbierać dane.
Prościej się już chyba nie da dla łaczności Win/Linux. W efekcie otrzymujemy póki co najprostsza strukturę z którą można już robić wszystko:
(http://stacjepogody.waw.pl/proxy.php?request=http%3A%2F%2Fwww.navsim.pl%2Ffusp%2Fbaza.JPG&hash=2bf85d6e29698bdd8830ec2692ac0c87)
-
Witam. Jestem calkowicie "za" takim projektem. Moja stacja TFA Primus polaczona jest z terminalem WYSE z win XP. Dane wysylam do Cumulus i dalej do http://kozuchow.stacjapogody.ct8.pl/ i http://www.wunderground.com/personal-weather-station/dashboard?ID=ILUBUSKI9. Jesli projekt ruszy to chcialbym swoje dane przekazac do Waszego systemu - tyle ze bede potrzebowal pomocy w uruchomieniu proponowanego skryptu.
pzdr
-
Jeśli strona będzie dynamicznie rozwijana i będą wprowadzane nowe ciekawe zastosowania wyświetlania
danych pogodowych to jestem również Za. Na chwilę obecną ciekawy jest radar burzowy, gdzie można sprawdzić odległość
poszczególnych wyładowań od miejsca wyśrodkowania mapy.
Meteogramy są troszkę moim zdaniem niedopracowane graficznie.
Zobaczymy jak strona będzie się rozwijać.
-
Jeśli strona będzie ....
Nasza propozycja nie jest związana ze stroną instytutmeteo.pl, więc jej rozwój nie jest związany z proponowanym projektem. Nam chodzi o zbieranie danych.. zapisywanie ich w ujednoliconej postaci cyfrowej i udostępnienie ich w takiej postaci członkom. Jeśli do tego etapu nie pokłócimy się.. być może wszyscy będziemy rozwijać jakąś alternatywną stronę www. W zamyśle, każdy będzie mógł korzystać z naszych danych i każdy będzie mógł budować swoją stronę bo będzie miał DANE cyfrowe. W chwili obecnej monopol na dane hydro-meteo ma IMGW i słono sobie za nie liczy.
Jeśli do tego etapu zgadzamy się, my w przyszłym tygodniu przygotujemy skrypty i "wystawimy" bazę na zewnątrz. Na razie z naszymi danymi, żeby się otrzaskać z obsługą zbieranych danych. Później będziemy po kolei dołaczać stacje kolegów, którzy będę chcieli. Pytanie, czy wystarczy dostęp do bazy SQL czy wolimy aby dane były udostępnianie w jakiś inny sposób...? Co myślicie? Jakieś inne propozycje?
-
Moja SQLka wygląda tak:
(http://stacjepogody.waw.pl/proxy.php?request=http%3A%2F%2Fdl.dropboxusercontent.com%2Fu%2F27006170%2FSQL_Meteo.jpg&hash=3dc0d86ccca21049a3dddc471eb07289)
Mam rozpracowane pliki currdat.lst, history.dat oraz WV5DataStore od TFA Primus... Jakby coś to udostępnię.
-
Świetna sprawa z tą stroną, oczywiście również jestem za tym projektem. Jak już wszystko ruszy to z miłą chęcią udostępnię dane z mojej stacji.
A swoją drogą to czy dane które trafiają do bazy SQL są z cumulusa? Jeśli tak to jak to zrobiliście możecie podzielić się tym?
Co do detektora burz na stronie to widziałem że coś takiego udostępnia ta strona http://www.nordicweather.net/phpscripts.php?en ale miałem z tym problemy aby uruchomić to na stronie php.
Pozdrawiam i czekam na odzew w jaki sposób mogę przekazać wam moje dane ze stacji meteo.
-
Ja także jestem za.
Mam pytanie - czy inne formaty danych będą akceptowane. Np. program Cumulus (pod Windows) generuje tekstowy plik z danymi realtime.txt (bardzo malutki) w zadanych odstępach czasu. Dodatkowo Cumulus ma opcje wysyłania takiego pliku na dowolny serwer. Czy będzie coś takiego odpowiednie?
Pytam o to bo program ten jest bardzo populary i bardzo dużo ludzi używa Cumulusa (na całym świecie).
-
Z serwerowego punktu widzenia nie ma to najmniejszego znaczenia jaki format danych będzie dostarczany. Warunkiem działania będzie by w pliku były dane
1. Od kogo (np.nazwa pliku lub z jakiego adresu przyszło).
2. Data i czas wykonanego pomiaru
3. Dane w dowolnym formacie (nawet jeśli w jakimś zaszyfowanym to musimy znać klucz deszyfrujący)
4. Jeśli się da, to zawsze taki sam ukłąd danych (w przypadku automatyki to żaden problem np. linia1-TempZewn; linia2-TempWewn itd)
5. Jeśli w zmieniającym się układzie to dana musi być oznaczona jakąś cechą (TempZew=99,TempWew=88
My zobowiążemy się żeby takie dane parsować, interpretować, klasyfikować i składować oraz udostępniać.
Jeśli w Cumulusie można konfigurować dane to każdy otrzyma nazwę hosta, port loginy i hasła. Spróbujemy się przegryźć przez Cumulusa żeby dać wsparcie, choć pewnie wielu z nas zna go doskonale.
BTW. W związku z deszczami i "wielką wodą" udostępniliśmy wczoraj serwis (jeszcze nie skończony) ze stanami rzek. Jesli ktoś chciałby u siebie na stronie podawać stan swojej rzeki (jeśli istnieje tam automatyczny wodowskaz) to bez problemu udostępnimy mu dane... albo w formie wykresu, albo dostępu do SQL albo możemy wysyłąć mailem /FTP http://rzeki.instytutmeteo.pl/graph2.php (http://rzeki.instytutmeteo.pl/graph2.php)
-
Witam. Ciekawa inicjatywa :) i jak najbardziej popieram projekt. Jestem współtwórcą Projektu activeweather.org jeżeli jesteś zainteresowany współpracą to zapraszam na priv. My mamy już opanowane przesył i odbiór danych ze stacji oraz wyświetlanie ich na stronie itd.... Myślę ze wspólnie moglibyśmy stworzyć naprawdę interesujący portal. Mamy już w swojej bazie kilkanaście stacji z Polski i europy..
Pozdrawiam i czekam na info
-
Wysłąne na prw. :)
-
Również jestem za wysyłaniem danych w formacie realtime.txt
http://areecki.ihq.pl/pogoda/realtime.txt
Tak wygląda przykładowy zapis
-
Ja też mógłbym wysyłać dane ze swojej stacji, tylko ta moja stacja a mam WS 3600 po podskoku napięcia zaczęła mi się teraz resetować i potrafi po resecie zapisać daną że spadło 2000mm deszczu w 5 minut, więc mam spory problem, chyba dopiero gdy zmienię stację dane będą bezproblemowo udostepniane :/. Chociąż znalazłem drugą stację bazową a ta już działa w miarę poprawnie, brak resetu przez tydzień.
-
Jak tam sprawy się mają? Chętni jak widać są, a z czasem dołączą kolejni, jak projekt się odpowiednio rozwinie.
Jeśli chodzi o Cumulus to jest możliwość zrobienia pliku w formacie *.html (najprościej) gdzie w każdej linijce, bądź tabelce, divie będzie oddzielna wartość. Wszystko wgrywałoby się na serwer co minute, 5 minut, zależy kto jaki ma interwał czasowy ustawiony, a z tego pobierałbyś dane na KIM.
W Cumulusie nie da się wysyłać danych na dwa serwery FTP jednocześnie.
-
OK. Administrator ma mi dzisiaj powiedzieć jaki jest stan przygotowania serweró i zasad komunikacji. Myślę ze w tym tygodniu będziemy próbowali podłączać i udostępniać pierwsze stacje.
-
Ok, w takim razie czekamy na informację i wytyczne ;)
-
Jeszcze chwila cierpliwości.. Mechanizmy już są. Koledzy jeszcze robią ściągi i gotowe aplety.. żeby dane do grafik leciały prosto z bazy i żeby każdy mógł sobie później konfigurować dowolną wizualizację. My zaczerpnęliśmy inspirację z (naszym zdaniem) rewelacyjnej strony kolegi Dextero z Kożuchowa! Wiec każdy bedzie mógł podpiąć gotowy aplet biorący dane z bazy:
http://instytutmeteo.pl/stacjapogodowa/
-
Witam kolegow. Podziekowania za wyglad mojej strony naleza sie koledzie @jarostacja gdyz to z jego szablonow skorzystalem a sam wprowadzilem tylko nieznaczne zmiany.
-
Mam nadzieję ze kolega ShamY nie pogniewa się ze tak publicznie... ale pomyslałem ze może poza nim bedzie wiecej osób które będą chciały dane prognostyczne dla największych miast Polski. Dlatego utworzyliśmy : http://instytutmeteo.pl/customer/stacje . zanim zaczniemy włączać stacje w system (zbierać wasze dane) damy coś od siebie. Pod tym adresem jest wywoływany na żądanie skrypt generujący surowe aktualne dane w formacie Json. Bierzcie i korzystajcie z tego wszyscy.
-
KIM wszystko pięknie ładnie tylko jak z tego skorzystać? Jeśli potrzebuję np. dane z miejscowości Szczecin i Warszawa to jakiego muszę kodu użyć aby pobrać te dane i wyświetlić je na stronie, możesz opisać jak to zrobić?
A co do danych z naszych stacji to czekamy na jakieś informacje.
-
Są to surowe dane w formacie Json (http://pl.wikipedia.org/wiki/JSON). Idea była taka, że każdy może znając surowe warunki cyfrowe bedzie mógł dowolnie zaprogramować swoją strnę. Oczywiście poproszę progrmistę, żeby napisał kawałek przykłądowego skryptu.. jak wyciągać dane z tego i zamieniać na swoją ikonkę.
-
... Oczywiście poproszę progrmistę, żeby napisał kawałek przykłądowego skryptu.. jak wyciągać dane z tego i zamieniać na swoją ikonkę.
Swoich danych to nikt nie musi ściągać z tej strony bo każdy ma te dane u siebie.
Czekamy na coś w rodzaju serwisu, który z naszych wysyłanych danych będzie generował odpowiednie zestawienia (dane liczbowe jak min, max, wykresy, tabelki itp.)
-
Cześć wszystkim. Zaczynamy od pierwszego kroku. Pod adresem: http://instytutmeteo.pl/meteostacje/rejestracja znajdziecie formularz rejestracyjny. Potrzebujemy pewnych informacji od was. W polu "Uwagi" wpisujcie przede wszystkim w jakim formacie eksportujecie dane pogodowe ( najlepiej wkleić przykładowy wpis ). Dzięki temu będziemy mogli napisać odpowiednie parsery. Formularz jest na stronie naszego instytutu, ale docelowa strona projektu stacji pogodowych będzie pod inną domeną. Zatem - do dzieła :).
-
Super! Zgłoszenie poszło, podesłałem tez przykładowy plik, który ma każdy kto korzysta z programu Cumulus, a więc pewnie z 90% osób tutaj, jak nie więcej.
-
Wysłałem zgłoszenie ale w polu Uwagi wpisałem Co dalej?
Nie doczytałem tego co napisał KIM ale ja tak samo mam Cumulusa więc tak jak ShamY mam identyczny plik co wysyła dane.
Czekamy na dalsze instrukcje.
-
Ja mam swoje dane w pliku dat. Dane wysyłam na wunderground.com przez WUHU uploader. Cumulus nie współpracuje z moją stacją, da radę jakoś dane wysyłać?
-
Witam,
mamy już pierwsze programiki do pobierania danych z Waszych stacji. Więcej informacji wysłaliśmy na adresy e-mail podane przy rejestracji na naszej stronie.
-
My zaczerpnęliśmy inspirację z (naszym zdaniem) rewelacyjnej strony kolegi Dextero z Kożuchowa! :
http://instytutmeteo.pl/stacjapogodowa/
Bardzo mi miło. kolega Dextero korzysta ze skórki, którą zrobiłem i chętnie udostępniam.
Od czasu, kiedy kol. Dextero ją pobrał i zaimplementował nieco tę skórkę poprawiłem (usunąłem niepotrzebne elementy z kodu, doczyściłem style i takie tam).
skórkę w najnowszej i w pełni stabilnej wersji można obejrzeć tutaj:
http://zielona10.pl/ (http://zielona10.pl/)
A jakby co - proszę o znak, to wyślę w paczce.
jarostacja
-
Chciałem się dowiedzieć co słychać w sprawie modelu, bo coś nagle temat ucichnął...
-
Z tym wszystkim to jest jakoś dziwnie - pojawiają się różne propozycje (przypomnijcie sobie sprawę powiadamiania sms'ami o burzach) a potem sprawa cichnie.
-
Sezon urlopowy, to pewnie i ludzie z Instytutu mają urlop, więc nie wyciągajmy pochopnych wniosków :)
-
Ostrzeżenia SMS był to projekt który nie do końca nam się udał, program się posypał i nie możemy go naprawić. A z tym właśnie projektem nie jesteśmy związani.