To będzie pieśń tego dziesięciolecia

https://wkramost.blogspot.com/2019/01/sprobujcie-nie-pakac.html

https://wkramost.blogspot.com/2019/01/abedzi-spiew-naszych-rowiesnikow.html

https://wkramost.blogspot.com/2019/03/lara-fabian-i-dimash.html

Na zakręcie - Skoku rozwojowego nie zrobimy

Wywiady Sroczyńskiego. Czy Polska przetrwa kolejną falę globalizacji? "Będziemy musieli się zgodzić na obniżki płac"

Grzegorz Sroczyński15.04.2019 11:51
Polska stoi przy taśmie jak zdyscyplinowany robotnik, który przychodzi do pracy punktualnie i nie bierze zwolnień. Tyle że ten model gospodarczy zaraz się skończy - z ekonomistą Maciejem Grodzickim rozmawia Grzegorz Sroczyński.
Dr Maciej Grodzicki pracuje w Instytucie Ekonomii, Finansów i Zarządzania UJ. Jest też współpracownikiem Fundacji Kaleckiego. Ostatnio wydał książkę „Konwergencja w warunkach integracji gospodarczej. Grupa Wyszehradzka w globalnych łańcuchach wartości”. Laureat stypendium podoktoranckiego P.R.I.M.E. DAAD, realizowanego na Uniwersytecie w Bremie oraz na University of Sussex.

Grzegorz Sroczyński: „Konwergencja w warunkach integracji gospodarczej”. Czy da się pańską książkę w dwóch prostych zdaniach streścić?

Maciej Grodzicki: Nie będziemy Niemcami. Dogonienie Zachodu jest niemożliwe, nie będziemy mieli podobnie rozwiniętej gospodarki i takich samych płac.

Balcerowicz parę lat temu dla „Die Welt”: „W ciągu 20 lat Polska może dogonić Niemcy pod względem poziomu rozwoju gospodarczego”. Morawiecki miesiąc temu: „Za 10 lat Polska osiągnie poziom płac taki jak na Zachodzie”.

Nie dogoni i nie osiągnie. Międzynarodowe powiązania ekonomiczne są dziś tak silne, że jeśli jakiś kraj wybrał określony model gospodarczy, to potem ciężko go zmienić. Myśmy wybrali pod koniec lat 90. po pierwszym szoku transformacji, że będziemy montownią Europy. Dobrą, dość nowoczesną i szybką. W skali makroekonomicznej niesamowicie na tym skorzystaliśmy, goniliśmy sprawnie Zachód i doszliśmy mniej więcej tam, gdzie da się dojść, mając taką gospodarkę. Nie wyciśniemy z niej dużo więcej.
W 2012 roku mieliśmy płace nominalne na poziomie 1/3 płac niemieckich. I dziś też jest mniej więcej tyle - 32 proc. Obstawiam, że za dziesięć lat nadal będzie to 32-35 proc., w porywach 40 proc. Wskoczenie na poziom 100 proc. wymagałoby zastąpienia naszego modelu gospodarki innym modelem. A na to się nie zanosi

Dlaczego?

Bo nie. Z modelami gospodarczymi jest trochę jak z modelami samochodów. Jeśli kupił pan fiata punto i o to auto dba, robi przeglądy, to będzie pan miał sprawne auto. Można założyć alufelgi i obszyć kierownicę skórą, ale nadal to będzie fiat punto. Nie jest tak, że da się w to auto postukać młotkiem i przerobić na mercedesa. Modele gospodarcze mają swoje naturalne ograniczenia i są niebywale trwałe.

To nic nowego. Od kilku lat ekonomiści mówią, że grozi nam „pułapka średniego rozwoju”. Pierwszy był chyba Hausner.

Zgoda. Tyle że cała dyskusja o „pułapce średniego rozwoju” zakłada, że da się coś z tym zrobić. Zwykle ekonomiści narzekają na polityków, że powinni myśleć bardziej perspektywicznie i wtedy polska gospodarka mogłaby wskoczyć na wyższy poziom rozwoju. Moim zdaniem to mrzonki. Od polityków tak naprawdę niewiele dziś zależy, dużo więcej od międzynarodowej sieci powiązań, w którą Polska jest uwikłana po uszy.

Czyli to już? Osiągnęliśmy już wszystko, co było można?

Mniej więcej. Powtórzę: przyjęty przez Polskę model gospodarczy pozwala dojść tu, gdzie jesteśmy. Ograniczenia takich gospodarek jak nasza są znane z badań, porównań, statystyk i przykładów innych podobnych krajów. Trzeba się z tym pogodzić i zacząć myśleć, co można poprawić w ramach istniejących ograniczeń, zamiast zużywać energię na nierealne marzenia. Żeby mieć gospodarkę na poziomie niemieckim, musielibyśmy po prostu stać się Niemcami. Mieć ich nowoczesne firmy, ich ogromne kapitały, ich instytucje. Tymczasem obecnie to my pracujemy dla niemieckich firm i kapitałów.
Powiem rzecz oczywistą, którą rozumieją zwykli ludzie, a ekonomiści nie zawsze. Większość dóbr takich jak laptopy, samochody, maszyny jest wytwarzana kawałek po kawałku w wielu miejscach na całym świecie. Niech pan sobie wyobrazi taśmę montażową - taką jak w fabryce samochodów - tyle że rozciągniętą od Alaski po Kamczatkę. Każdy kraj przy tej taśmie ma swoje miejsce. Niektóre państwa są właścicielami taśmy lub menedżerami, nadzorują pracę, a inne skręcają śrubki albo dostarczają surowców. Zmiana miejsca przy taśmie - ekonomiści nazywają ją światowym łańcuchem wartości - jest w zasadzie niemożliwa.
Niektóre ogniwa światowego łańcucha wartości są szczególnie opłacalne, ich kontrolowanie pozwala osiągać duże dochody: działy badań, projektowanie oraz reklama i marketing. Czyli wszystkie te rzeczy, które są trudne do powtórzenia. Natomiast te ogniwa, które są powtarzalne - montaż albo produkowanie czegoś na podstawie dostarczonego projektu - mają mniejszą zdolność przekuwania pracy w dochód. Bycie świetną montownią taką jak Polska w sytuacji wyrafinowanego podziału pracy na świecie nie oznacza, że można przejść do poziomu zarządzania całym procesem. To tak, jakby robotnik stojący przy taśmie nagle mógł zostać właścicielem całej firmy. Albo nagle awansował na prezesa zarządu.

Gdzie Polska jest w tym łańcuchu?

Stoimy przy taśmie jako dobrze wykwalifikowany i zdyscyplinowany robotnik, który przychodzi do pracy punktualnie i nie bierze zwolnień. Cały nasz region Europy Środkowo-Wschodniej można tak opisać. Załatwiamy dla Zachodu etap montażu i dostawy komponentów do produkcji samochodów i rozmaitych urządzeń. Ostatnio doszły też proste procesy administracyjne takie jak prowadzenie księgowości dla firm zachodnich, bo okazało się, że dzięki informatyzacji można zlecić takie prace tańszej sile roboczej w Polsce bez utraty jakości.
Nieustanne roztrząsanie, kiedy wreszcie zostaniemy Niemcami, to złe stawianie problemu. Ważne pytanie jest inne: czy nasze miejsce przy taśmie montażowej da się utrzymać, czy nikt nas nie odepchnie.

Odepchnie?

Możliwe, że w ciągu 20-30 lat nie będziemy potrzebni.
Chiny są krajem, który wywraca światowe łańcuchy wartości do góry nogami. Dziesięć lat temu model chińskiej gospodarki był zbliżony do polskiego, czyli polegał na dużych strefach ekonomicznych, gdzie były montownie elektroniki i tanie szwalnie. I nagle w światowych statystykach chińskie przedsiębiorstwa pojawiły się jako firmy produkujące skomplikowane innowacyjne towary

Nagle?

Nikt się nie spodziewał. Można powiedzieć, że Chińczycy długo stali pokornie na swoim miejscu przy międzynarodowej taśmie montażowej, ale cały czas robili zdjęcia i notatki. A teraz odtwarzają wszystko u siebie. I to nie na zasadzie ordynarnego kopiowania zachodnich patentów, ten okres mają już za sobą. Sami wymyślają. Jeśli kupujemy telefony Xiaomi czy Huawei, to one nie są już kopią, ale czysto chińskim produktem od projektu poprzez rozmaite innowacyjne rozwiązania aż po montaż. Przedsiębiorstwa chińskie będą za chwilę nadzorować najbardziej dochodowe ogniwa światowego łańcucha wartości, które do tej pory były zarezerwowane dla Amerykanów, Niemców, Holendrów i Francuzów.

Czyli jednak da się.

Owszem. Jak się ma 1,4 mld mieszkańców i autorytarny rząd, który myśli 50 lat do przodu.

Chiny przesuwają się w łańcuchu wartości o ile ogniw?

Nie przesuwają się, robią coś jeszcze bardziej spektakularnego. Organizują całe łańcuchy wewnątrz kraju - od badań, innowacji, projektu, aż po produkcję, reklamę i marketing. To coś niesamowitego. Mają nadal duże zasoby taniej siły roboczej, ale też dobrze wykształconych inżynierów. Mogą być fabryką dla całego świata i nie potrzebować zachodnich technologii. To zresztą będzie stadium przejściowe, za 10-20 lat zaczną eliminować procesy pracochłonne u siebie i umieszczać je w Afryce, gdzie istnieje gigantyczny rezerwuar siły roboczej.

Ale co właściwie z tego wynika?

Że za chwilę obudzimy się w innym świecie. Chińczycy się przyczaili. Udawali przed Zachodem, że są tanią szwalnią, wiele rzeczy umykało obserwatorom, bo odbywały się na chińskim rynku wewnętrznym. Firmy chińskie po prostu nie zgłaszały nowoczesnych procesów do urzędów patentowych, nie był widoczny chiński eksport wysokich technologii, bo puszczali to na własny rynek. Ostatnie trzy lata w statystykach patentowych to lawinowy przyrost chińskich zgłoszeń oraz wzrost wydatków na badania i rozwój. Traktowaliśmy ich jako taniego dostawcę, a mamy producenta innowacji.

I co to dla Polski znaczy?

Dojdziemy do tego.
Europa ma gospodarkę nastawioną na eksport. Sama sobie narzuciła ten niemiecki model, który polega na utrzymywaniu dużych nadwyżek eksportowych, w Niemczech i innych krajach północy to nawet 8-10 proc. PKB. Co roku! Czyli Unia jako całość ma się dobrze dzięki temu, że sprzedaje reszcie świata dużo nowoczesnych towarów. Zwykle jest to przedstawiane jako powód do dumy: „Eksport to niesamowita siła Unii!”. Tymczasem taki model ma istotne słabości.
Po pierwsze w gospodarce nastawionej na eksport cały czas występuje mocna presja na koszty produkcji, zwłaszcza na płace. To wyraźnie widać w Niemczech. Niemiecki przemysł jest niesamowicie wydajny, innowacyjny i zaawansowany technologicznie, ale mocno pilnuje wydatków i nie podnosi wynagrodzeń.

W Niemczech nie ma podwyżek?

Jakieś są. Ale płace rosną tam dużo wolniej niż wydajność gospodarki. Ostatnio w ramach jednej z prac badawczych na UJ przyglądaliśmy się niemieckiemu przemysłowi samochodowemu. A konkretnie temu, w jaki sposób offshoring - czyli przenoszenie produkcji na przykład do Polski - wpływa na konkurencyjność tego przemysłu. I natknęliśmy się na pracę niemieckich badaczy, z której wynika, że wpływ offshoringu może być dużo większy niż wynika z oficjalnych statystyk. Występuje bowiem efekt straszaka. Gdy niemieckie związki zawodowe zaczynają się upominać o podwyżki, to słyszą: „Przeniesiemy produkcję do Polski”.
Skoro płace w Niemczech słabo rosną, to popyt na rynku wewnętrznym też jest niższy niż mógłby być. Więc tym bardziej gospodarka musi swoje nadwyżki eksportować. I tu zderza się z coraz silniejszą presją Chin. Chińskie przedsiębiorstwa nauczyły się łączyć dwie morderczo skuteczne zalety, czyli innowacyjność z niskimi kosztami. I ciężko będzie Niemcom wytrzymać taką konkurencję.
Na to nakłada się inna ważna okoliczność: wszyscy trąbią, że nadchodzi nowy światowy kryzys. W każdym razie tak pisze zachodnia prasa ekonomiczna.

A nadchodzi?

Wystarczy, że coraz więcej ludzi się kryzysu spodziewa i zaczną na wszelki wypadek ograniczać wydatki. To już widać w sektorze samochodowym, gdzie zamówienia w ostatnich miesiącach bardzo spowolniły. Gdy sektor samochodowy spowalnia, to wiele krajów równocześnie wpada w kłopoty. To wynika z faktu, że samochód jest produktem mocno „rozsmarowanym” po światowym łańcuchu wartości, silnik powstaje w jednym kraju, blacha na karoserię w innym, opony w trzecim, a szyby w czwartym.
Ten kryzys może być bardzo głęboki. Koniunktura gospodarcza w ostatnich latach była napędzana długiem. W USA, Wielkiej Brytanii, zresztą prawie na całym świecie gospodarstwa domowe się zadłużały na potęgę. W takiej sytuacji ewentualny kryzys może być pogłębiony tym, że ludzie jeszcze bardziej ograniczą wydatki, bo przecież muszą spłacać raty

A w Polsce?

Też. Poziom prywatnych długów w kilku ostatnich latach wystrzelił.
Według hipotezy austriackiego ekonomisty Josepha Schumpetera kryzysy mają oczyszczający wpływ na gospodarkę. Dochodzi wtedy do selekcji, przestarzałe procesy są zastępowane przez nowocześniejsze, bardziej efektywne. Oczywiście ktoś na tym traci - głównie te kraje, gdzie te mniej efektywne procesy były umieszczone.

Czyli my?

Tak. Moment jest naprawdę wyjątkowy. W ostatnich latach wiele korporacji powstrzymywało się przed wdrożeniem technologii z zakresu cyfryzacji, które są prawie gotowe, gdzieś tam sobie pełzają, być może wymagają dopracowania. Gdy gospodarka ma się dobrze, to nikomu się nie chce po nie sięgać. „Algorytmy? Elektroniczna księgowa? Na razie mamy tanią księgowość w Polsce, działa dobrze, po co to zmieniać”. Kryzys wyzwala tak dużą presję na koszty, że wiele firm zaczyna się rozglądać za nowymi technologiami. Zmiana może być kaskadowa.

Kaskadowa?

Wiele procesów, które wykonujemy w Polsce dla zachodnich firm, może nie przetrwać następnej fali innowacji. Według szacunków OECD od 50 do blisko 70 proc. miejsc pracy można zastąpić robotami. I wiadomo, że to właśnie kraje średnio rozwinięte są najbardziej narażone na robotyzację
Wróćmy na chwilę do Niemiec. Mówiłem już, że ten kraj żyje z nadwyżki eksportowej i będzie musiał jakoś odpowiedzieć na konkurencję Chin, które zaczynają robić tak samo nowoczesne towary. Wprowadzenie cyfrowych technologii i zastępowanie pracowników algorytmami czy robotami być może pozwoli Niemcom się obronić. Pojawi się w pewnym momencie dylemat przed pracownikami w Polsce: zgodzić się na obniżki wynagrodzeń, albo utracić pewne miejsca pracy.

A coś pocieszającego może pan powiedzieć?

Że wielu rzeczy nie wiemy. Przy tego typu prognozach zwykle istnieją przeciwstawne tendencje. Być może najpierw korporacje niemieckie czy francuskie będą chciały konkurować z Chińczykami rozwijając tańsze dostawy z Polski. Jeżeli tak się stanie, to jeszcze przez 15-20 lat trwanie starego modelu może się przedłużyć. Nie będzie nam to gwarantowało skoku rozwojowego, ani wielkich podwyżek, ale względnie dobre życie - owszem.

A potem?

Ekonomistka Mariana Mazzucato przekonuje, że świat jest w przededniu wielkiego skoku technologicznego. Nowy rodzaj taniej energii? Sztuczna inteligencja? Istnieje duża niepewność, które prototypowe technologie znajdą szerokie zastosowanie w produkcji i jaki to będzie miało wpływ na światową gospodarkę. Postęp technologiczny od 300 lat nie przebiega wcale liniowo, ale zrywami. Niewiele się dzieje i nagle - bum - wszystko się zmienia. Dziś zmiana technologiczna czai się za rogiem i może być błyskawiczna, trwać zaledwie parę lat. Mogę sobie wyobrazić, że kraje wysoko rozwinięte dzięki dużym nakładom inwestycyjnym i wsparciu rządowemu błyskawicznie wejdą w erę cyfryzacji, automatyzacji i zielonej energii, a u nas będzie trwał stary model kosztem stagnacji płac.

No dobrze, ale co robić? Bo z tego, co pan mówi wynika, że w zasadzie niewiele da się zrobić. Skoku rozwojowego nie zrobimy, bo to prawie niemożliwe, a bycie montownią Europy też może się zaraz skończyć.

To nie jest sytuacja zero-jedynkowa: albo dogonimy Niemcy, albo jesteśmy skazani na klęskę. Kilka lat temu z optymizmem czytałem plan Morawieckiego, bo dawał szanse, że znajdziemy kilka branż światowej gospodarki, w których istnieją jakieś nisze i spróbujemy się w tych niszach rozpychać. To by wymagało wsparcia przedsiębiorców z tych branż i wydania sporych pieniędzy na badania, a następnie ścisłego egzekwowania od przedsiębiorstw postępu inwestycji. Determinacji w realizacji tej strategii nie widzę. Coś tam niby się dzieje, ale o wiele więcej energii rząd wykazuje w innych sferach niż polityka przemysłowa.
Wciąż słyszę o polskich start-upach, które osiągnęły sukces, a miarą tego sukcesu jest fakt, że wkupił ich zagraniczny inwestor za dobre pieniądze.

Czyli co robić?

Nie porywać się z motyką na słońce, tylko starannie stawiać drobne kroki. Na przykład mieć plan wsparcia sektora energii odnawialnych. I tak już jesteśmy z tyłu, bo Chińczycy i Niemcy od 15 lat wielkie pieniądze w to ładują, ale nadal jest szansa, żeby się pod tę falę podczepić. I mieć firmy, które będę dobrze funkcjonować w niszach tego sektora.
Duży potencjał tkwi również w zmianie relacji z korporacjami międzynarodowymi działającymi w Polsce. One mogą być swoistym wehikułem dla wzrostu polskich przedsiębiorstw. Jednak przy obecnym nastawieniu do korporacji, polegającym na zwolnieniach podatkowych i dopuszczaniu wyzysku pracowników, to się nie uda.
Wszyscy nieustannie mówią: „No tak, grozi nam pułapka średniego rozwoju, musimy unowocześniać gospodarkę”. Organizacje biznesowe w kółko organizują konferencje na ten temat. A później te same organizację biznesowe apelują do rządzących, żeby ułatwiać napływ imigrantów z Bangladeszu i Azji Wschodniej, bo brakuje pracowników. I temu poświęcają swoje wysiłki lobbingowe.

I to źle?

Źle, bo to tylko utrwali pracochłonny i przestarzały sposób produkcji w Polsce. Sercem jestem za otwarciem granic dla migrantów. Ale rząd powinien stawiać biznesowi warunek: wpuścimy migrantów dopiero wtedy, gdy zainwestujecie w wydajne i dobrze płatne miejsca pracy
Warto również nakłonić banki, żeby zamiast pchać obywatelom kredyty hipoteczne, zajęły się też kredytowaniem małego i średniego biznesu.

Nie zajmują się?

Niechętnie, bo na kredytach hipotecznych łatwiej się zarabia. Banki mają tak wyśrubowane kryteria, że polskie firmy boją się brać kredyty albo są one dla nich po prostu niedostępne. Mamy kilka banków państwowych, które mogłyby we współpracy z rządem wyznaczyć kilka branż i je porządnie dofinansować.
A przede wszystkim trzeba zwiększyć nakłady na edukację i naukę. Świat za chwilę się zmieni, nikt nie wie, jak ta zmiana będzie wyglądać, a w takiej sytuacji każda inwestycja w edukację się zwróci, bo ludzie wytrenowani w myśleniu lepiej sobie poradzą na ruchomych piaskach.

Znowu Dimash

Wierzę w wieżę

https://www.youtube.com/watch?v=7i4JyFKyFas
- wkrótce (5 lat?) powróci do istnienia.

Szkicowo o Dobrej dobrej dla Żydów

Spójrzmy na mapkę naszej części Powiśla, przygotowaną specjalnie dla turystów. Nie ma na niej całego kwartału powstającego na terenach dawnej Elektrowni i dlatego można mówić jedynie o szkicowaniu opisu tych miejsc. Ale jedynym budynkiem zaznaczonym na czerwono, czyli uznanym za historyczny przy ulicy Dobrej przez warsawianistów opracowujących mapkę, jest Szary Dom przy rogu Dobrej i Wiślanej.

O jego historii i powiązaniu z wojennymi losami Żydów, a szczególnie dzieci żydowskich, możemy się dowiedzieć z krótkiego opracowania pana Kaczorowskiego:
https://wkramost.blogspot.com/2018/02/w-szarym-domu.html

Dokładnie pod drugiej stronie ulicy znajduje się Biblioteka Uniwersytecka:



W miejscu dzisiejszej Biblioteki Uniwersyteckiej (jej dach jest idealnym miejscem do oglądania tego fragmentu Warszawy) stała jeszcze w czasie powstania fantazyjna kamienica.

Niemieckie bombowce nad jej dachem filmował być może ten operator, albo któryś z jego kolegów:


Bo na rogu Dobrej i Leszczyńskiej mieściło się od przedwojnia filmowe Atelier Falanga, gdzie w sierpniu 1944 roku montowano Kroniki Powstańcze.

Niestety w końcu sierpnia zniszczone zostało pociskiem, którego ślad (i zniszczenia wewnątrz budynku) zarejestrowali operatorzy.

W szkole na Drewnianej (widoczną dziurę w elewacji pozostawiono na pamiątkę Powstania):

działał szpital bestialsko potraktowany przez Niemców:



Dramatyczne wydarzenia stały się udziałem kamienicy Dobra 31:

Tą "malowniczą", a tak naprawdę okropną i niebezpieczną dziurę w jezdni wyrwała bomba, która spadła 20 metrów od wejścia na podwórko tej kamienicy:

Mieszkańcy domów tak bliskich domu zakonnego przy Wiślanej musieli wiedzieć, kogo tam ukrywają Urszulanki (mówi się o tym w niektórych odcinkach radiowej Rodziny Matysiaków, częściowo przecież dokumentarnym przedstawieniu życia na Powiślu w okresie wojny). Aż strach pomyśleć, co by się stało z dziećmi żydowskimi i innym ukrytymi Żydami, gdyby wśród mieszkańców ulicy Dobrej znalazł się jakiś szmalcownik!

To co najważniejsze

Można powiedzieć, że najważniejszą w Warszawie Oś Saską rozpoczyna pomnik Kościuszki:

Stoi on przed Pałacem Lubomirskich, który specjalnie obrócono o 78 stopni w 1970 roku, aby zamknąć dawny przebieg Osi na Zachód.

Jak pokazują powyższe zdjęcia, nie da się iść na wprost Osią Saską, bo po wojnie przecięto ją ruchliwą ulicą. Ale dojście do nieodległego przejścia to tylko pięć minut.

Wracamy na Oś bardzo ładną alejką i dochodzimy do tablicy:

W oddali widać już fontannę i Grób Nieznanego Żołnierza.

A po drodze natrafiamy na tablicę upamiętniającą powitanie zwycięskich wojsk w dniu 22 maja 1921 roku.

Plac Piłsudskiego przechodzony na wprost, właśnie Osią Saską, doprowadzi nas do pomnika jego patrona:


Dawną Oś Saską zamyka Krakowskie Przedmieście nierozerwalnie związane z tradycją Konstytucji 3 Maja.

https://wkramost.blogspot.com/2018/05/3-maja-podtrzymujmy-tradycje.html

https://wkramost.blogspot.com/2019/04/w-perspektywie-siedmiolecia.html

https://wkramost.blogspot.com/2019/04/panorama-borkowska.html

Czarna dziura

W przeddzień Dnia Kosmonautyki (12 IV):
https://wkramost.blogspot.com/2018/04/57-lat-temu.html
pokazano szerokiej publiczność czarną dziurę!

Uzyskano pierwsze w historii zdjęcie czarnej dziury

Astronomowie pokazali dzisiaj pierwszy obraz czarnej dziury (a tak naprawdę jej cienia). Udało się to osiągnąć w obserwacjach supermasywnej czarnej dziury w centrum galaktyki M87. Wyniki uzyskane w ramach projektu o nazwie Teleskop Horyzontu Zdarzeń (EHT) ogłoszono na jednoczesnej konferencji prasowej w Brukseli i w kilku innych miastach. Udział w odkryciu mają Polacy.

Czarne dziury fascynują wiele osób. O ich istnieniu jesteśmy w zasadzie przekonani, chociażby na podstawie obserwacji ruchów innych obiektów w pobliżu czarnych dziur i przewidywań ogólnej teorii względności, ale do tej pory nie udało się takiej czarnej dziury zaobserwować bezpośrednio. Aby zmienić tę sytuację ponad 200 naukowców zaangażowało się w Event Horizon Telescope (EHT), czyli Teleskop Horyzontu Zdarzeń.

Globalna sieć teleskopów

EHT to globalny projekt z celem zaobserwowania cienia czarnej dziury. Łączy radioteleskopy i sieci radioteleskopów z różnych miejsc na Ziemi, aby przeprowadzić obserwacji interferometrii wielkobazowej (VLBI) i utworzyć wirtualny teleskop o wielkości naszej planety. W ten sposób w przypadku supermasywnej czarnej dziury w galaktyce M87 udało się uzyskać kątową zdolność rozdzielczą 20 mikrosekund łuku. To tak jakbyśmy siedząc w kawiarni w Paryżu byli w stanie przeczytać gazetę umieszczoną w Nowym Jorku, albo będąc na Ziemi rozróżnić szczegóły wielkości karty kredytowej na Księżycu.


Rozmieszczenie teleskopów pracujących w ramach Teleskopu Horyzontu Zdarzeń (EHT) podczas obserwacji supermasywnej czarnej dziury w galaktyce M87. Źródło: NRAO.

Łącznie przy projekcie EHT pracuje ponad 200 naukowców z Europy, Afryki, Ameryki Południowej, Ameryki Północnej, Azji. W składzie konsorcjum EHT znajduje się 13 instytucji. Z kolei zaangażowane w obserwacje teleskopy to: ALMA, APEX, IRAM 30-meter Telescope, IRAM NOEMA Observatory, James Clerk Maxwell Telescope (JCMT), Large Millimeter Telescope (LMT), Submillimeter Array (SMA), Submillimeter Telescope (SMT), South Pole Telescope (SPT), Kitt Peak Telescope oraz Greenland Telescope (GLT).

Warte tutaj wskazania są mocno niedostępne miejsca, w których znajdują się teleskopy, takie jak wulkany na Hawajach i w Meksyku, góry w Arizonie i hiszpańskiej Sierra Nevada, chilijską pustynię Atakama, a nawet Antarktydę.

Zdjęcie cienia czarnej dziury

Obserwacje prowadzono na fali o długości 1,3 mm. Udało się uzyskać obraz cienia czarnej dziury oraz wyznaczyć jej masę w sposób niezależny od wyznaczeń masy na podstawie dynamiki gwiazd w M87. Wyznaczona masa to 6,5 miliardów mas Słońca. Z kolei odległość do czarnej dziury wynosi 55 milionów lat świetlnych. Sam cień czarnej dziury mierzy nie więcej niż 40 miliardów kilometrów, a horyzont zdarzeń jest od niego około 2,5 razy mniejszy.


Tak wygląda pierwsze w historii zdjęcie czarnej dziury (a właściwie jej cienia). Źródło: EHT Collaboration.

Jak przebiegły te przełomowe odkrycie? Najpierw wieloktrotnie obserwowano strukturę w kształcie pierścienia w sercu galaktyki M87. Wewnątrz tej struktury znajduje się ciemny obszar. Po upewnieniu się, że wszystkie elementy występują w kolejnych obserwacjach EHT zaczęto sprawdzać wyniki obserwacji z przewidywaniami modeli teoretycznych, takich które uwzględniają uwzględniającymi fizykę zakrzywionej przestrzeni, supergrzanie materii i silne pola magnetyczne. Okazało się, że obserwacje zgadają się z przewidywaniami teoretycznymi. Ten ciemny obszar w środku to cień czarnej dziury!

„Osiągnęliśmy coś, co wydawało się niemożliwe jeszcze generację temu. Przełomy technologiczne, połączenia pomiędzy najlepszymi obserwatoriami radioastronomicznymi na świecie i innowacyjne algorytmy – wszystko to razem otworzyło drogę do zupełnie nowego okna na czarne dziury i na horyzont zdarzeń” powiedział Sheperd S. Doeleman z Center for Astrophysics (Harvard & Smithsonia), dyrektor projektu EHT.

Europejskie zaangażowanie

Europa jest zaangażowana w Teleskop Horyzontu Zdarzeń zarówno od strony sprzętowej (teleskopy), naukowej (astronomowie), jak i finansowej (np. grant Europejskiej Komisji ds. Badań Naukowych w wysokości 14 milionów euro na projekt BlackHoleCam). Wśród instytucji z kluczowym udziałem można wymienić Europejskie Obserwatorium Południowe (ESO), IRAM czy Max Planck Society. Dodatkowo, Karl Schuster, Dyrektor IRAM i członek Rady EHT, wskazał, że uzyskanie tych wyników jest niejako zwieńczeniem wielu dekad rozwoju europejskiej astronomii na falach milimetrowych.

Polski udział w odkryciu

W projekcie Teleskopu Horyzontu Zdarzeń bierze udział dwoje Polaków: prof. Monika Mościbrodzka z Radboud University w Nijmegen w Holandii oraz dr Maciek Wielgus z Black Hole Initiative na Harvard University w USA. Prof. Mościbrodzka kieruje grupą badawczą zajmującą się polaryzacją, była też w gronie naukowców referujących uzyskane wyniki podczas konferencji prasowej w Brukseli. Z kolei dr Wielgus kieruje statystyczną weryfikacją danych oraz badaniem czasowej zmienności obserwowanych źródeł.

Wyniki badań opublikowano w serii sześciu artykułów, które ukazały się 10 kwietnia b.r. w specjalnym wydaniu czasopisma „The Astrophysical Journal Letters”.


Artystyczna wizja supermasywnej czarnej dziury i jej najbliższego otoczenia w centrum galaktyki M87. Źródło: ESO/M. Kornmesser.

Opracowanie: Krzysztof Czart /portal Urania - postępy astronomii/

Pomnikowi smoleńskiemu wciąż brakuje najważniejszej części

„Pomnikowi smoleńskiemu wciąż brakuje najważniejszej części. Miasto nie chce o tym słyszeć”
Rozmowa z Jerzym Kaliną, autorem pomnika smoleńskiego w Warszawie.
– Dla mnie katastrofą na wielką skalę było to, co się stało potem. To bezczeszczenie, te nasyłane bojówki, te krzyże z „Lecha”. Okazało się, że bardzo wielu ludzi zginęło w sferze mentalnej. Ten pomnik miał być poświęcony katastrofie, ale i temu, co się stało po niej – wspomina w rozmowie z portalem tvp.info Jerzy Kalina, światowej sławy artysta, autor pomnika smoleńskiego w Warszawie.

Minął rok od odsłonięcia pomnika smoleńskiego, ale przyznał pan niedawno, że ciągle nie jest on dokończony. Czego mu brakuje i dlaczego?

Pomnikowi brakuje najważniejszej części, znajdującej się pod powierzchnią placu. Nie mógł być dokończony, bo powstawał pod presją, przy tak zwanej przeciąganej linie - albo oni nas, albo my ich. Nie było żadnego dialogu. Czegoś, co powinno być zawsze. Sprawy polityczne, partyjne odkłada się w takich przypadkach. To jest stan takiego lekceważenia i pogardy dla artystów. To też robienie celowych uników, żeby ten pomnik nie powstał w Warszawie. To jest dalszy ciąg eskalacji, która nastąpiła przed Pałacem Prezydenckim po katastrofie i trwa do dzisiaj.

Jak więc ten pomnik miał wyglądać?

Im głębiej, tym ważniejsze znaczenie. Pod powierzchnią miał być dół ekshumacyjny, a w nim wydłubanych 96 niszy, z których bije światło przez cały czas. Nie tylko wieczorem. One palą się wiecznym światłem dzień i noc. Nad tym jest szkło, szyba, po której chodzimy, okalająca trap samolotu. Szkło, jako coś kruchego, symbolizuje naszą drogę nad przepaścią. Od początku wiedziałem, że to nie jest pomnik „na postawienie”, tylko on musi z czegoś wyrastać, z jakiejś tajemnicy. Bo my przecież cały czas czekamy, że musi być ujawniona jakaś tajemnica, a w każdym razie coś, co jest niedopowiedziane. W tej wersji jest tam również zastygły czerwony dywan i oryginalny krzyż katyński, ten z Krakowskiego Przedmieścia. Dla mnie ten pomnik miał być znakiem samej katastrofy, ale i tego, co się stało po niej.

Co dokładnie ma pan na myśli?

Dla mnie katastrofą na wielką skalę było właśnie to, co się stało potem. To bezczeszczenie, te nasyłane bojówki i prowokatorzy, te krzyże z „Lecha” [zrobione z puszek po piwie - przyp. red.], ekscesy różnego rodzaju. Nikt nie zginął przed Pałacem Prezydenckim, ale okazało się, że bardzo wielu ludzi zginęło w sferze mentalnej. Jak można było przyjść w to miejsce i tak reagować... Komuna zrobiła w nas spustoszenie, jeśli chodzi o stosunek do przeszłości i w ogóle do wartości. Mamy złogi z tamtego czasu, i to się nie da wypłukać. Nie spodziewałem się jednak, że to jest w takim rozmiarze. Tu się wydarzyły jakieś potworne, złe i chamskie igrzyska.

Rozmawiał pan z władzami miasta na temat dokończenia pomnika?

Oni dobrze wiedzą, że to jest niedokończone. Ale w tym miejscu występuje dwuwładza. To, co na placu należy do wojewody, to, co pod placem, czyli media, jak np. prąd, do miasta. Miasto i opozycja totalna nie chciała nawet podejmować rozmów, by tam stanął taki pomnik. Tu nie chodzi o formę. Po prostu uznali, że został postawiony pomnik na cmentarzu, więc po co z drugim wychodzić w miasto. Nie ma jednak żadnego szlaku turystycznego, który prowadziłby przez ten cmentarz. Proponowali też pętle autobusu przy Trębackiej, odsuniętej od ciągu komunikacyjnego.

Co do miejsca było wiele zastrzeżeń, ale forma miała zwolenników nawet po drugiej stronie.

Tak, „Gazeta Wyborcza” po raz pierwszy od dziesięcioleci napisała o mnie dobrą recenzję. Chwalono, że pomnik jest wyciszony, że nie ma w nim drastyczności, ma formę kontemplacyjną, ot, usiądziesz na ławce obok i jakoś to wszystko w bólu przejdzie. Byle nie na placu, bo tam jest Grób Nieznanego Żołnierza, bezpośrednie nawiązanie do wojny i wszystkiego, co nas złego spotkało, i na tym poziomie nie chcieli stawiać „Smoleńska”.

Rafał Trzaskowski, prezydent Warszawy, zapowiedział przed wyborami, że chciałby zorganizować referendum w sprawie dalszych losów pomnika. Zaznaczył, że może nie zrobi tego od razu, ale jakiś czas po objęciu rządów.

Przykro mi to mówić, ale żeby zostać prezydentem miasta o takiej historii, trzeba mieć naprawdę więcej w głowie. Kandydatem nie może być młodzian, który mógłby zostać prezydentem, bo ze względów politycznych może wygrać w wyborach. Co on przeczytał, co on przeżył, jaki ma dorobek? To jest niepoważne. To żaden mąż stanu i nie stanie się nim, bo już się przyzwyczaił do podejmowania decyzji koniunkturalnych. Zapowiedział, że rozbierzemy czy przeniesiemy pomnik. Jeżeli ktoś tak mówi, to znaczy, że kupczy, a nie poważnie zastanawia się, co zrobić. Żadnej poważnej debaty, mówi jedynie do ludzi, którzy myślą podobnie jak on sam. Nie ma zresztą w ogóle szerszych dyskusji. Centrum Warszawy nie jest wciąż zaprojektowane. Nie ma nowych projektów Centrum Sztuki Współczesnej. O centrum Warszawy stanowi w dalszym ciągu symbol imperium Związku Radzieckiego i panowania nad nami. To trzeba zdołować, wyrzucić w diabły. To jest piętno, złe piętno. Problem pomnika smoleńskiego jest drobiną w porównaniu z nieuporządkowaniem sprawy Pałacu Kultury i Nauki. To jest w dalszym ciągu dar Stalina, który przypomina wszystkim, że „my wciąż tu jesteśmy”. Pomnik smoleński dopowiada: „Może i jesteście, ale też macie dużo na sumieniu”.

Sztuka, pana zdaniem, powinna prowokować?

To nieprawda. Jest wiele dzieł kontemplujących, które nie potrzebują prowokacji. Czy prowokujący jest Pieter de Hooch albo czy Bruegel jest prowokujący? Niech mi pan pokaże choć jeden obraz, w którym oni prowokują w sposób dosłowny i głupi.

Co zatem myśli pan o jednym z najgłośniejszych spektakli ostatnich lat, „Klątwie” Olivera Frljicia?

Jestem osobą wierzącą, ale też często wątpiącą. Jednak nigdy bym się nie posłużył takimi prymitywnymi elementami w spektaklu, a sam też robiłem spektakl pt. „Pielgrzymi i tułacze”. W „Klątwie” są jednak takie numerasy, że gdyby polski artysta sięgnął do podobnej symboliki i zrobił to w odniesieniu do islamu, to jego łeb znaleźliby w Wiśle albo w śmietniku.

Sztuka powinna więc mieć jakieś granice?

Są granice złej formy, która jest wulgarna, prymitywna i niegodna miejsca, jakim jest teatr. Nie idę tam po to, żeby znajdować sentencje i rysunki, jakie mogę zobaczyć w szaletach. Dlaczego mam przenosić ten poziom szaletowy na sceny teatru? Po co?

Może podejście do sztuki się zmienia? Niedawno krytyk teatralny, obecnie poseł Nowoczesnej Krzysztof Mieszkowski, powiedział, że nie ma nic złego w skakaniu na hulajnodze po pomniku smoleńskim, a scenę z „Klątwy”, w której aktorka mówi o zbiórce pieniędzy na zabójcę Kaczyńskiego, nazywa dowcipną.

Sztuka to świat zmysłów, wrażliwości. A taka krytyka sztuki jest zbełtana z pozorami intelektualnymi wystąpień, manifestów w obronie sztuki i wolności. To jest po prostu magiel, podany w taki sposób, by nabić pianę dużej wartości, ale to zawsze będzie tylko piana, która siada i odpływa. To okolicznościowa walka, kto kogo bardziej przegada, przekrzyczy, zdowcipkuje, wyszydzi, określi i skreśli.

Nie odnalazł się pan w III Rzeczypospolitej, prawda?

Absolutnie nie. Osoby, które mnie początkowo chwaliły, otoczyły mnie kompletnym ostracyzmem w chwili, gdy zdały sobie sprawę, jakie są moje poglądy. Przestałem pasować do nowych czasów, nie pasowałem do tych, którzy decydowali, kto pojedzie bolidem, a kto będzie się tłukł po leśnych drogach.

Budujemy Enigmę

Poniższe trzy strony z książki Michała Szurka "Matematyka. Kody, szyfry, wróżby" (Opole 2018, wyd. Nowik) są bardzo dobrym wprowadzeniem do istoty połączeń w maszynie kodującej Enigma (kliknięcie poprawia ostrość zdjęć).

Granatowy mundur

Jakże był piękny:


Powyżej portretowe zdjęcia naszego dziadka (1916?) w mundurze Policji Warszawskiej (patrz: Syrenka na lewym rękawie), kapelmistrza orkiestry policyjnej od jesieni 1915 roku. W 1918 taki mundur stał się mundurem całej Policji Polskiej na terenach wyzwolonych spod rozbiorów.
Ale Grabowski wie lepiej:
https://wpolityce.pl/polityka/441720-wyborcza-broni-grabowskiego-strzelanie-do-naukowca

Jakie mamy geny?

Gdy w rozmowach ze znajomymi mówię, że na świecie trwa poszukiwanie dwóch genów żydowskich: inteligencji (zważmy ilościową nadreprezentację Żydów w Nagrodach Nobla), ale także długowieczności (też znane przykłady wiekowych Żydów), czyli chyba najbardziej pożądanych genów, patrzą na mnie jak na ???(antyrasistę, czy rasistę - nie wiem). Ale idźmy dalej - wiadomo, że homoseksualizm jest uwarunkowany genetycznie, ale podobno antyhomoseksualizm jest tylko "kulturowy"? Historycznie jest udowodnione, że prześladowania homoseksualistów nie miały miejsca wśród Słowian (Czajkowski, Waldorff i inni), a miały miejsce wśród Niemców i Anglików ("Noc długich noży" i Turing). Może gdzieś, na płynnej granicy między Wschodem i Zachodem mężczyźni mieli geny nakazujące zwalczanie nosicieli genów niemęskich, bo przeszkadzały one w zapłodnieniu maksymalnie dużej liczby samic. A na południu Europy (przykładem armia Aleksandra Macedońskiego) taki konflikt nie istniał.

Kazimierz Pułaski polsko-amerykański bohater

Pułaski był kobietą? (Kopernik był kobietą, pamiętacie z "Seksmisji")
I w tym tkwi cała obrzydliwość "gendrowego" podejścia. Odczepcie się wreszcie od ludzi, którzy są niby dowodami na wasz pogląd na świat. Już z Zośki i Rudego zrobiliście parę homoseksualną, a nasz Tata był z ich klasą na narciarskim obozie, gdzie każdy z uczniów dostał 100 biletów na Kasprowy (podarunek jednego z ojców, chyba ojca Rudego, fabrykanta broni i nie tylko). Jedyne wytłumaczenie na tego typu śledztwa, to istnienie w was jakiegoś genu, właśnie antyhomoseksualnego!:
https://wkramost.blogspot.com/2019/04/jakie-mamy-geny.html
Pulaski is considered a Polish-American hero, honored each year at the Casimir Pulaski Day parade in New York City. The Pulaski Skyway in New Jersey is named for the general, as is the Fort Pulaski national monument in Georgia.
Researchers believe Casimir Pulaski’s skeleton indicates the 18th-century cavalry officer may have been female or intersex

Casimir Pulaski with his signature. ‘The skeleton is about as female as can be,’ said one physical anthropologist. Photograph: North Wind Picture Archives/Alamy Stock Photo

https://tygodnik.tvp.pl/42072855/pulaski-w-sluzbie-gender
Researchers believe a famed Polish general who fought in the American Revolutionary war may have been a woman or possibly intersex.
A new Smithsonian Channel documentary examines the history of Casimir Pulaski, a Polish cavalryman who became a protege of George Washington.

Researchers began their work when a monument to the general in Savannah, Georgia, was set to be removed. Pulaski’s bones were contained in a metal box under the monument, which was erected in 1854. Charles Merbs, a forensic anthropologist at Arizona State University who worked on the case, said that allowed researchers to exhume the skeleton for study.

“Basically I couldn’t say anything about what I found until the final report came out,” Merbs told ASU Now. He worked with Dr Karen Burns, a physical anthropologist at the University of Georgia, and other experts.Sign up for the US morning briefing

“Dr Burns said to me before I went in, ‘Go in and don’t come out screaming.’ She said study it very carefully and thoroughly and then let’s sit down and discuss it. I went in and immediately saw what she was talking about.

“The skeleton is about as female as can be.”

Another team member, Virginia Hutton Estabrook, a Georgia Southern University professor of anthropology, told NBC News: “One of the ways that male and female skeletons are different is the pelvis. In females, the pelvic cavity has a more oval shape. It’s less heart-shaped than in the male pelvis. Pulaski’s looked very female.”

The most immediate question was whether the skeleton was indeed Pulaski. Previous researchers had failed to identify the bones, lacking DNA for a match.
FacebookTwitterPinterest Monument to General Casimir Pulaski in Savannah, Georgia. Photograph: Don Klumpp/Alamy Stock Photo

Estabrook said: “It is remarkable that the will to persist in this project continued more than a decade after it was declared by a team of experts that this was as far as it could possibly go.”

This time, researchers were able to confirm the skeleton through the mitochondrial DNA of Pulaski’s grandniece, known injuries and physical characteristics. The Smithsonian Institute funded the research.

Pulaski was raised as a man in an aristocratic Polish Catholic family, learning to fight and ride. He put those skills to the test against the invading Russians before leaving Poland in 1772 and finding his way to Paris. According to the Smithsonian documentary, the American delegation there sent him across the Atlantic with letters of recommendation from Benjamin Franklin.

Pulaski joined the American forces and on 11 September 1777 and fought the British at Brandywine, south of Philadelphia, probably saving Washington from capture in a damaging defeat. The Pole went on to formalize the American cavalry, demanding better resources and training.

He was fatally wounded at the Siege of Savannah in October 1779, dying aboard ship days later.

Researchers said contemporary accounts of the general painted him as private and deeply driven, a fierce fighter and skilled horseman. He never married or had children.

“I don’t think, at any time in his life, did he think he was a woman,” Merbs said. “I think he just thought he was a man, and something was wrong.”

As much as 2% of babies may be born intersex, according to a survey of medical literature from Brown University. That means the children could be born with characteristics – genital, chromosomal or hormonal – that put them outside the “platonic ideal that for each sex there is a single, universally correct developmental pathway and outcome”.

Pulaski is considered a Polish-American hero, honored each year at the Casimir Pulaski Day parade in New York City. The Pulaski Skyway in New Jersey is named for the general, as is the Fort Pulaski national monument in Georgia.

Speaking to NBC, the New York Pulaski Day parade president, Richard Zawisny, said he was “a little shocked” by the news Pulaski may have been a woman or intersex.

“But in this day and age,” he added, “I don’t think it will matter to most people.”

The documentary about Pulaski is scheduled to be broadcast on Monday.

Natural Language Generation

Evolution of Natural Language Generation
An article to draw attention towards the evolution of Language Generation Models
Abhishek Sunnak, Sri Gayatri Rachakonda, Oluwaseyi Talabi



Since the dawn of Sci-Fi cinema, society has been fascinated with Artificial Intelligence. Whenever we hear the term “AI”, our first thought is typically one of a futuristic robot from movies such as Terminator, The Matrix and I, Robot.



Although we might still be a few years away from robots that can think for themselves, there have been significant developments in the fields of machine learning and natural language understanding over the past few years. Applications such as Personal Assistants (Siri/Alexa), chatbots and Question-Answering bots are truly revolutionizing the way we interface with machines and go about our daily lives.

Natural Language Understanding (NLU) and Natural Language Generation (NLG) are among the fastest growing applications of AI due to the increasing need to understand and derive meaning from language, with its numerous ambiguities and varied structure. According to Gartner, “By 2019, natural-language generation will be a standard feature of 90 percent of modern AI and Analytics platforms”. In this post, we will discuss a brief history of NLG since the early days of its inception, and where it is headed in the coming years.
What is Natural Language Generation?

The goal of language generation is to convey a message by predicting the next word in a sentence. The problem of which likely word to predict (among millions of possibilities) can be tackled by using Language models, which are a probability distribution over sequences of words. Language models can be constructed at a character level, n-gram level, sentence level or even paragraph level. For example, to predict the next word that comes after “I need to learn how to ___”, the model assigns a probability for the next possible set of words which can be “write”, “drive” etc. Recent advances in neural networks such as RNNs and LSTMs have allowed processing of long sentences, significantly improving the accuracy of language models.
Markov Chains

Markov chains are among the earliest algorithms used for language generation. They predict the next word in a sentence by just using the current word. For example, if a model was trained using only the following sentences: “I drink coffee in the morning” and “I eat sandwiches with tea”. There is 100% chance it would predict “coffee” to follow “drink”, while there is 50% chance for “I” to be followed by “drink” and 50% to be followed by “eat”. A Markov chain takes the relationship between each unique word into consideration to calculate the probability of the next word. They were used in earlier versions of smartphone keyboards to generate suggestions for the next word in the sentence.

Markov Model for an example sentence (Source: Hackernoon)

However, by just focusing on the current word, Markov models lose all context and structure of the preceding words in the sentence which can lead to incorrect predictions, limiting their applicability in many generative scenarios.
Recurrent Neural Network (RNN)

Neural networks are models that are inspired by the workings of a human brain, offering an alternate method for computing by modeling non-linear relationships between inputs and outputs — their use for language modeling is known as neural language modeling.

An RNN is a type of neural network that can exploit the sequential nature of the input. It passes each item of the sequence through a feedforward network and gives the output of the model as an input to the next item in the sequence, allowing for the storage of information from the previous steps. The “memory” possessed by RNNs makes them great for language generation, as they can remember the context of the conversation over time. RNNs differ from Markov chains, in that they also look at words previously seen (unlike Markov chains, which just look at the previous word) to make predictions.

Unrolled Architecture of an RNN module (Source: Github)
RNNs for Language Generation

In every iteration of the RNN, the model stores in its memory the previous words encountered and calculates the probability of the next word. For example, if the model generated the text “We need to rent a ___ ”, it now has to figure out the next word in the sentence. For every word in the dictionary, the model assigns the probability based on the previous words it has seen. In our example, the words “house” or “car” will have a higher probability than words like “river” or “dinner”. The word with the highest probability is selected and stored in the memory, and the model then proceeds with the next iteration.

Sentence Generation through unrolling of an RNN

RNNs suffer from a major limitation — the vanishing gradient problem. As the length of the sequence increases, RNNs cannot store words encountered far back in the sentence, and only make predictions based on recent words. This limits the application of RNNs towards generating long sentences that sound coherent.
Long Short-Term Memory (LSTM)

Architecture of an LSTM module (Source: Github)

LSTM based neural networks are a variant of RNNs designed to handle long-range dependencies in the input sequence more accurately than vanilla RNNs. They are used in a wide variety of problems. LSTMs have a similar chain-like structure to RNNs; however, they comprise a four-layer neural network instead of a single layer network for RNNs. An LSTM is composed of 4 components: a cell, an input gate, an output gate and a forget gate. These allow RNNs to remember or forget words over arbitrary time intervals by regulating the flow of information in and out of the cell.
LSTMs for Language Generation

Sentence Generation trough unrolling of an LSTM

Consider the following sentence as an input to the model: “I am from Spain. I am fluent in ____.” To correctly predict the next word as “Spanish”, the model focuses on the word “Spain” in an earlier sentence and “remembers” it using the cell’s memory. This information is stored by the cell while processing the sequence and is then used when predicting the next word. When the full stop is encountered, the forget gate realizes that there may be a change in the context of the sentence, and the current cell state information can be overlooked. This allows the network to selectively keep track of only relevant information while also minimizing the vanishing gradients problem which allows the model to remember information over a more extended period.

LSTMs and its variations seemed to be the answer to the problem of vanishing gradients to generate coherent sentences. However, there is a limitation to how much information can be saved as there is still a complex sequential path from previous cells to the current cell. This limits the length of sequences that an LSTM could remember to just a few hundred words. An additional pitfall is that LSTMs are very difficult to train due to high computational requirements. Due to their sequential nature, they are hard to parallelize, limiting their ability to take advantage of modern computing devices such as GPUs and TPUs.
Transformer

The Transformer was first introduced in the 2017 Google Paper “Attention Is All You Need”, where it proposed a novel method called the “self-attention mechanism”. Transformers are currently being used across a wide variety of NLP tasks, such as language modeling, machine translation and text generation. A transformer consists of a stack of encoders to process an input of any arbitrary length and another stack of decoders to output the generated sentence.

Animation showing the use of a transformer for machine translation (Source: GoogleBlog)

In the above example, the encoder processes the input sentence and generates a representation for it. The decoder uses this representation to create an output sentence word by word. The initial representation/embedding for each word are represented by the unfilled circles. The model then aggregates information from all other words using self-attention to generate a new representation per word, represented by the filled balls, informed by the entire context. This step is then repeated multiple times in parallel for all words, successively generating new representations. Similarly, the decoder generates one word at a time, from left to right. It attends not only to the other previously created words but also to the final representations developed by the encoder.

In contrast to LSTMs, a transformer only performs a small, constant number of steps while applying a self-attention mechanism which directly models relationships between all words in a sentence, regardless of their respective position. As a model processes each word in an input sequence, self-attention allows the model to look at other relevant parts of the input sequence for better encoding of the word. It uses multiple attention heads which expands the model’s ability to focus on different positions regardless of their distance in the sequence.

In recent times, there have been a few modifications made to vanilla transformer architectures which significantly improved their speed and accuracy. In 2018, Google released a paper on Bidirectional Encoder Representations from Transformers (BERT) which produced state of the art results for a variety of NLP tasks. Similarly, In 2019 OpenAI released a transformer-based language model with around 1.5 billion parameters to generate long, coherent articles using just a few lines of input text as a prompt.

Language generation using OpenAI’s GPT-2 model (Source: Venture Beat)
Transformers for language generation

Recently, Transformers have also been used for language generation. One of the most well-known examples of transformers used for language generation is by OpenAI, in their GPT-2 language model. The model learns to predict the next word in a sentence by using attention to focus on the words previously seen in the model that are relevant to predicting the next word.

Relationships determined by the self-attention mechanism in transformers (Source: Medium)

Text Generation with Transformers is based on a similar structure to the one followed for machine translation. If we take an example sentence “Her gown with the dots that are pink, white and ___.” The model would predict blue, by using self-attention to analyze the previous words in the list as colors (white and pink) and understanding that the expected word also needs to be a color. Self-attention allows the model to selectively focus on different parts of the sentence for each word instead of just remembering a few features across recurrent blocks (in RNNs and LSTMs) which mostly will not be used for several blocks. This helps the model recall more characteristics of the preceding sentence and leads to more accurate and coherent predictions. Unlike previous models, transformers can use representations of all words in context without needing to compress all information into a single fixed-length representation. This architecture allows transformers to retain information across much longer sentences without significantly increasing the computation requirements. They also perform better than previous models across domains without the need for domain-specific modifications.

The future of Language Generation

In this blog, we saw the evolution of language generation from using simple Markov chains for sentence generation to using self-attention models for generating longer range coherent text. However, we are just at the dawn of generative language modeling, and transformers are just one step in the direction towards truly autonomous text generation. Generative models are also being developed for other types of content such as images, videos, and audio. This opens the possibility to integrate these models with generative text models to develop advanced personal assistants with audio/visual interfaces.

However, we, as a society, need to be careful with the application of generative models as they open several possibilities for their exploitation in generating fake news, fake reviews and impersonating people online. OpenAI’s decision to withhold release of their GPT-2 language model due to the potential for its misuse is a testament to the fact that we have now entered an age where language models are powerful enough to cause concern.

Generative models have the potential to transform our lives; however, they are a double-edged sword. By putting these models through appropriate levels of scrutiny, whether through the research community or government regulation, there is certainly going to be a lot more progress in this domain over the coming years. Regardless of the outcome, there should be exciting times ahead!


A Light Introduction to Transfer Learning for NLP
In this post, I will introduce transfer learning for natural language processing and key questions necessary to better understand this important area of study.
ElvisFollow
Jul 27, 2018



Picture this: a machine that can model and comprehend natural language and which is able to communicate in any language. Is this possible? Unfortunately, not yet. Because of the complexity of language, this only has credibility in the world of science fiction.

But recent progress in machine learning (ML) and natural language processing (NLP) indicates that we are moving closer to teaching machines remarkable capabilities as it regards to natural language. I admit that the idea of a machine possessing human-level capabilities is pure hype given how complex language is to understand. Nevertheless, recent progress in NLP shows impressive results to be excited about.

In this post, I will briefly introduce some of the recent ideas that could enable generalizable NLP systems, specifically those that employ transfer learning through pretrained language models. By generalizable, I mean NLP systems that are able to perform many tasks at once. For instance, just imagine a scenario where an ML algorithm is able to recognize both sentiment and sarcasm from textual information. Why not? What kind of machine learning technology is needed to achieve this? Enter the world of transfer learning.

Transfer learning

In simple terms, transfer learning is the process of training a model on a large-scale dataset and then using that pretrained model to conduct learning for another downstream task (i.e., target task). Transfer learning was popularized in the field of computer vision thanks to the ImageNet dataset. Here I won’t discuss computer vision. Instead, I will focus on how these concepts are applied to the field of natural language processing.

Pretraining

These are exciting times for NLP and ML researchers and enthusiasts. Very recently, pretrained language models were used to achieve state-of-the-art results on a wide range of NLP tasks (e.g., sequence labeling and sentence classification). Some of the recent works that employ pretrained language models include ULMFit, ELMo, GLoMo, and OpenAI transformer. These language modeling systems conduct deep pretraining of entire models with hierarchical representations or graph-based representations. This concept is a shift from the use of unary word embeddings, which have been effectively used to address many NLP tasks over the past few years, to the use of more sophisticated and abstract representations.

You may be wondering, “How does pretraining work for NLP?” Why is pretraining useful? Simply put it, it just so happens that pretraining allows a model to capture and learn a varity of linguistic phenomena, such as long-term dependencies and negation, from a large-scale corpus. Then this knowledge is used (transferred) to initialize and then train another model to perform well on a specific NLP task, such as sentiment classification.

This works in language because it happens, for example, that negation is an important attribute to detect sentiment polarity from textual information. In addition, negation could also be useful for, say, something like sarcasm detection, which is one of the most complex, unsolved tasks in NLP. We can say that negation is useful for many NLP tasks and thus the pretrained model possesses some universal properties.

A language model that possesses universal properties could be useful in cases where there is a lack of annotated datasets or language resources which is prevalent in NLP research. This idea is exciting because we are not only aiming to build a universal model, but also address some of the difficult challenges in ML research: availability of data and language resources.

The models

So far we know that the knowledge obtained from pretrained language models, such as in the form of word embeddings, perform significantly well for many NLP tasks. The problem here is that this knowledge, in the form of latent features, is not broad or general enough to perform well on the target or downstream task/s at hand. There are many explanations for this — some of it we know and some we don’t — but for now, let us briefly look at one of the recent methods that aim to address these limitations.

One recent, popular method coined as ELMo can be described as “pretraining the entire model with deep contextualized representations through stacked neural layers” as opposed to just employing the word embeddings (i.e., unary representations) as initialization. Don’t worry if it’s not clear what the above concept describes. My goal in this series is to clarify what these models are doing in a very intuitive manner, and answer several key questions that arise when considering them:
What do we mean by modeling deep contextualized representations in the context of language? What is the model really learning?
How to build and train these pretrained language models?
What are the key components of the pretrained language models and how to improve them?
How do we use or apply them to solve different language-based problems?
What are the benefits of pretrained language models as compared to conventional transfer learning techniques for NLP?
What are the drawbacks?
What aspects of natural language do we need to keep in mind when pretraining language models?
What kinds of pretraining tasks are we considering to build and test these so-called generalizable NLP systems?
And more importantly, what kinds of datasets should we use that are representative enough to address the wide range of NLP tasks?

I will stop with the questions here but you can already start to observe how complex this line of research is. It needs to be broken down into parts. All you need to understand for now is that in order to build a universal language modelwe need to consider many things, some of which are still not very clear today. In the next post of this series, I will begin to address each of these important questions while exploring the state-of-the-art research on transfer learning for NLP.



Beyond Word Embeddings Part 2

Aaron (Ari) BornsteinFollow
Oct 17, 2018

Word Vectors and NLP Modeling from BoW to BERT

TL;DR

Since the advent of word2vec, neural word embeddings have become a go to method for encapsulating distributional semantics in text applications. This series will review the strengths and weaknesses of using pre-trained word embeddings and demonstrate how to incorporate more complex semantic representation schemes such as Semantic Role Labeling, Abstract Meaning Representation and Semantic Dependency Parsing into your applications.


Introduction

The last post in this series reviewed some of the recent milestones in neural natural language processing. In this post we will review some of the advancements in text representation.

Computers are unable to understand the concepts of words. In order to process natural language a mechanism for representing text is required. The standard mechanism for text representation are word vectors where words or phrases from a given language vocabulary are mapped to vectors of real numbers.


Traditional Word Vectors

Before diving directly into Word2Vec it’s worth while to do a brief overview of some of the traditional methods that pre-date neural embeddings.

Bag of Words or BoW vector representations are the most common used traditional vector representation. Each word or n-gram is linked to a vector index and marked as 0 or 1 depending on whether it occurs in a given document.

An example of a one hot bag of words representation for documents with one word.

BoW representations are often used in methods of document classification where the frequency of each word, bi-word or tri-word is a useful feature for training classifiers. One challenge with bag of word representations is that they don’t encode any information with regards to the meaning of a given word.

In BoW word occurrences are evenly weighted independently of how frequently or what context they occur. However in most NLP tasks some words are more relevant than others.

TF-IDF, short for term frequency–inverse document frequency, is a numerical statistic that is intended to reflect how important a word or n-gram is to a document in a collection or corpus. They provide some weighting to a given word based on the context it occurs.The tf–idf value increases proportionally to the number of times a word appears in a document and is offset by the number of documents in the corpus that contain the word, which helps to adjust for the fact that some words appear more frequently than others.

https://skymind.ai/wiki/bagofwords-tf-idf

However even though tf-idf BoW representations provide weights to different words they are unable to capture the word meaning.

As the famous linguist J. R. Firth said in 1935, “The complete meaning of a word is always contextual, and no study of meaning apart from context can be taken seriously.”

Distributional Embeddings enable word vectors to encapsulate contextual context. Each embedding vector is represented based on the mutual information it has with other words in a given corpus. Mutual information can be represented as a global co-occurrence frequency or restricted to a given window either sequentially or based on dependency edges.

An example distributional embedding matrix each row encodes distributional context based on the count of the words it co-occurs with

Distributional vectors predate neural methods for word embeddings and the techniques surrounding them are still relevant as they provide insight into better interpreting what neural embeddings learn. For more information one should read the work of Goldberg and Levy.


Neural Embeddings

Word2Vec

Predictive models learn their vectors in order to improve their predictive ability of a loss such as the loss of predicting the vector for a target word from the vectors of the surrounding context words.

Word2Vec is a predictive embedding model. There are two main Word2Vec architectures that are used to produce a distributed representation of words:
Continuous bag-of-words (CBOW) — The order of context words does not influence prediction (bag-of-words assumption). In the continuous skip-gram architecture, the model uses the current word to predict the surrounding window of context words.
Continuous skip-gram weighs nearby context words more heavily than more distant context words. While order still is not captured each of the context vectors are weighed and compared independently vs CBOW which weighs against the average context.

CBOW and Skip-Gram Architectures

CBOW is faster while skip-gram is slower but does a better job for infrequent words.

GloVe

Both CBOW and Skip-Grams are “predictive” models, in that they only take local contexts into account. Word2Vec does not take advantage of global context. GloVe embeddings by contrast leverage the same intuition behind the co-occuring matrix used distributional embeddings, but uses neural methods to decompose the co-occurrence matrix into more expressive and dense word vectors. While GloVe vectors are faster to train, neither GloVe or Word2Vec has been shown to provide definitively better results rather they should both be evaluated for a given dataset.

FastText

FastText, builds on Word2Vec by learning vector representations for each word and the n-grams found within each word. The values of the representations are then averaged into one vector at each training step. While this adds a lot of additional computation to training it enables word embeddings to encode sub-word information. FastText vectors have been shown to be more accurate than Word2Vec vectors by a number of different measures


A 10,000 foot overview of Neural NLP Architectures

In addition to better word vector representation the advent of neural has led to advances in machine learning architectures that have enabled the advances listed in the previous post.

This section will highlight some of the key developments in neural architecture that enabled some of the NLP advances seen thus far. This not meant to be an exhaustive review of deep learning and machine learning NLP architecture, rather the goal is to demonstrate the changes that are driving NLP forward.
Deep Feed Forward Networks


The advent of linear deep feed forward networks also known as multi layer perceptrons (MLP) in NLP introduced the potential for non linear modeling. This development helps with NLP because there are cases where the embedding space may be non linear. Take the following example of a documents whose embedding space is non linear meaning there is no way to linear divide the two document groups.

It doesn’t matter how you fit a line there is no linear way to split the spam and ham documents

A non linear MLP network provides the ability to properly model such non linearities.



This development by itself however did not bring about a significant revolution in NLP, since MLPs are unable to model word ordering. While MLPs open the door for marginal improvements in tasks such as language classification, where decisions can be made by modeling independent character frequencies, for more complex or ambiguous tasks standalone MLPs fall short.
1D CNNs

Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification

Prior to their application in NLP Convolutional Neural Networks (CNNs)provided groundbreaking results computer vision with the advent of AlexNetIn NLP instead of convolving over pixels convulsion filters are applied and pooled sequentially over individual or groups of word vectors

In NLP CNNs are able to model local ordering by acting as n-gram feature extractors for embeddings. CNN models have contributed to state of the art results in classification and a variety of other NLP tasks.

More recently the work of Jacovi and Golberg et al, has contributed to deeper understanding of what convolutional filters learn by demonstrating that filters are able to model rich semantic classes of n-grams by using different activation patterns, and that global max-pooling induces behavior which filters out less relevant n-grams from model decision process.

A good primer on getting started with 1D CNNs can be found in the embedded link below.
Deep Learning for Natural Language Processing — Part III
It’s been a month since I wrote the first part of this series. There, I shared the bit I know about word vector…medium.com
RNNs (LSTM/GRU)

Building on the local ordering provide by CNNs Recurrent Neural Networks (RNNs) and their gated cell variants such as Long Short Term Memory Cells (LSTMs) and Gated Recurrent Units (GRUs) provide mechanisms for modeling sequential ordering and mid range dependencies in text such as the affect of a word in the beginning of a sentence on the end of a sentence.
Illustrated Guide to LSTM’s and GRU’s: A step by step explanation
Hi and welcome to an Illustrated Guide to Long Short-Term Memory (LSTM) and Gated Recurrent Units (GRU). I’m Michael…towardsdatascience.com

Additional variations of RNNs such as Bidirectional-RNNs which process text in both left to right and right to left and character level RNNs for enhancing underrepresented or out of vocabulary word embeddings led to many state of the art neural NLP breakthroughs.

An sample of some different RNN architectures and coupled with example use cases.
Attention and Copy Mechanisms

While standard RNN architectures have led to incredible breakthroughs in NLP they suffer from a variety of challenges. While in theory they can capture long term dependencies they tend to struggle modeling longer sequences, this is still an open problem.

One cause for sub-optimal performance standard RNN encoder-decoder models for sequence to sequence tasks such as NER or translation is that they weight the impact each input vector evenly on each output vector when in reality specific words in the input sequence may carry more importance at different time steps.

Attention mechanisms provide a means of weighting the contextual impact of each input vector on each output prediction of the RNN. These mechanisms are responsible for much of the current or near current state of the art in Natural language processing.

An example of an attention mechanism applied to the task of neural translation in Microsoft Translator

Additionally in Machine Reading Comprehension and Summarization systems RNNs often tend to generate results, that while on first glance look structurally correct are in reality hallucinated or incorrect. One mechanism that helps mitigate some of these issues is the Copy Mechanism.

Copy Mechanism from Get To The Point: Summarization with Pointer-Generator Networks Abigail See, et all

The copy mechanism is an additional layer applied during decoding that decides whether it is better to generate the next word from the source sentence or from the general embedding vocabulary.
Putting it all together with ELMo and BERT

ELMo is a model generates embeddings for a word based on the context it appears thus generating slightly different embeddings for each of its occurrence.



For example, the word “play” in the sentence above using standard word embeddings encodes multiple meanings such as the verb to play or in the case of the sentence a theatre production. In standard word embeddings such as Glove, Fast Text or Word2Vec each instance of the word play would have the same representation.

ELMo enables NLP models to better disambiguate between the correct sense of a given word. On in it’s release it enabled near instant state of the art results in many downstream tasks, including tasks such as co-reference were previously not as viable for practical usage.



ELMo also provides promising implications for preforming transfer learning on out of domain datasets. Some such as Sebastien Ruder have even hailed the coming ELMo as the ImageNet moment of NLP and while ELMo is a very promising development with practical real world applications, and has spawned recent related techniques such as BERT, that use attention transformers instead of bi-directonal RNNs to encode context, we will see in our upcoming post that there are still many obstacles in the world of Neural NLP.

Comparsion of BERT and ELMo architectures from Devlin et. all
Call To Action: Getting Started

Below are some resources to get started with the the different word embeddings above.

Documentation
Getting started with pyTorch and Docker on the Azure DLVM
Character RNN classification with pyTorch
Fast Text Tutorial
Keras NLP intro

Tools
Gensim
Word2Vec
Sci-Kit Learn Bag of Words
SpaCy Examples
PyTorch Text
Allen NLP ELMo
Hugging Face BERT PyTorch
Additional Resources

Open Dataset
Dual Word Embeddings Trained on Bing Queries
Next Post

Now that we have a solid understanding of some of the milestones in neural NLP, as well as the models and representations in the next post will review some of the pitfalls of current state of the art NLP systems.

If you have any questions, comments, or topics you would like me to discuss feel free to follow me on Twitter.

About the Author
Aaron (Ari) Bornstein is an avid AI enthusiast with a passion for history, engaging with new technologies and computational medicine. As an Open Source Engineer at Microsoft’s Cloud Developer Advocacy team, he collaborates with Israeli Hi-Tech Community, to solve real world problems with game changing technologies that are then documented, open sourced, and shared with the rest of the world.