LLM (Large Language Models, czyli takie ChatGPT, Claude, Gemini i spółka) jest już z nami od jakiegoś czasu i stwierdziłem, że zacznę głębiej wchodzić w ten temat i pojawiło się jedno wielkie pytanie: ale jak to w ogóle działa, że model "rozumie" język? Bo przecież pod spodem to tylko "matematyka i statystyka", prawda? No... tak i nie ;-)
\nI wtedy wpadłem na lingwistykę. I okazało się, że żeby naprawdę zrozumieć, co LLM robi z językiem, trzeba najpierw zrozumieć, z czego ten język się składa. A że programista próbujący czytać o lingwistyce to dość zabawny obrazek, to pomyślałem: podzielę się tym z wami ;-)
\nTo jest pierwszy wpis z serii, w której będziemy przeglądać różne poziomy analizy języka i patrzeć, jak to wszystko łączy się z LLM. W dzisiejszym wpisie zbudujemy fundament - poznamy pięć głównych warstw języka i zobaczymy, dlaczego każda z nich jest ważna dla modeli językowych.
\nZanim wejdziemy w szczegóły, wyobraźcie sobie język jako taką... cebulę. Albo tort warstwowy, jeśli wolicie słodkie metafory :D
\nKażda warstwa to inny poziom, na którym język "działa". Od najniższej - dźwięków - do najwyższej - tego, co naprawdę chcieliśmy powiedzieć, nawet jeśli powiedzieliśmy coś zupełnie innego.
\ngraph TD\n A["🔊 Fonetyka i fonologia<br/><i>dźwięki i system dźwięków</i>"] --> B["🧩 Morfologia<br/><i>budowa słów</i>"]\n B --> C["📐 Składnia<br/><i>budowa zdań</i>"]\n C --> D["💡 Semantyka<br/><i>znaczenie</i>"]\n D --> E["🎭 Pragmatyka<br/><i>znaczenie w kontekście</i>"]\n \n style A fill:#ff9999,color:#000\n style B fill:#ffcc99,color:#000\n style C fill:#ffff99,color:#000\n style D fill:#99ff99,color:#000\n style E fill:#9999ff,color:#000\nPięć warstw, pięć sposobów, na jakie język jest "analizowany". I uwaga - LLM musi sobie z każdym z tych poziomów radzić, żeby wydawać się sensownym rozmówcą. Oczywiście nie robi tego świadomie - ale struktury, których uczy się w trakcie treningu, jakoś te warstwy "łapią".
\nNote
\nPięć warstw języka w pigułce:
\nOK, przejdźmy do rzeczy. Zaczynamy od dołu naszej cebulki ;-)
\nFonetyka bada dźwięki mowy jako zjawiska fizyczne. Mówiąc najprościej: jak produkujemy dźwięki, jak one podróżują przez powietrze i jak je odbieramy.
\nMa trzy gałęzie:
\n| Gałąź | \nCo bada | \nPrzykład | \n
|---|---|---|
| Artykulacyjna | \nJak narządy mowy produkują dźwięki | \nGdzie jest język, gdy mówisz "sz"? | \n
| Akustyczna | \nFizyczne właściwości fal dźwiękowych | \nCzęstotliwość, amplituda | \n
| Audytywna | \nJak ucho i mózg odbierają dźwięki | \nJak ślimak przetwarza fale na sygnał nerwowy | \n
Fonologia to poziom wyżej. Nie interesują jej same dźwięki jako fizyczne zjawiska, ale jak dźwięki są zorganizowane w konkretnym języku.
\nKluczowe pojęcie: fonem - to najmniejsza jednostka dźwiękowa, która odróżnia znaczenie słów.
\nProsty przykład po polsku:
\nAlbo po angielsku:
\nTip
\nEksperyment: Wymów na głos "kot" raz jako zwykłe zdanie ("Mój kot śpi."), a raz jako pytanie z zaskoczeniem ("Kot?!" z uniesionymi brwami). Ten sam wyraz, ale intonacja, akcent i melodia całkowicie zmieniają to, co "słyszy" odbiorca. To jest właśnie fonologia w działaniu - dźwięki + ich organizacja w system.
\nNo właśnie - LLM dostaje tekst, nie dźwięk. Nigdy nie usłyszał wymowy. A mimo to...
\nCzyli model jakoś przyswaja informacje fonologiczne z samych danych tekstowych. Trochę jakbyś nigdy nie widział oceanu, ale przeczytał o nim tyle książek, że potrafisz go opisać ;-)
\nNo ale oczywiście są ograniczenia. LLM tekstowy nie rozróżnia homofonów (słów, które brzmią tak samo, ale znaczą co innego) na podstawie fonetyki - radzi sobie z nimi czysto na poziomie semantycznym (o czym za chwilę).
\nI tu ciekawostka: modele typu Whisper (speech-to-text od OpenAI) już łączą fonetykę z tekstem. Ale to temat na osobny wpis w tej serii ;-)
\nWarning
\nParadoks: LLM nigdy nie słyszał żadnego dźwięku, ale z danych treningowych "wie" o rymach, grach słownych i wzorcach brzmieniowych. To trochę jak osoba głucha od urodzenia, która potrafi pisać wiersze z rymami - bo przeczytała ich miliony.
\nMorfologia bada budowę słów - jak są one składane z mniejszych, sensownych kawałków zwanych morfemami.
\nMorfem to najmniejsza jednostka języka, która niesie ze sobą znaczenie. Nie da się jej podzielić na coś jeszcze mniejszego, co miałoby znaczenie.
\nPrzykład z angielskiego, często używany w podręcznikach:
\nunhappiness = un + happy + ness\n ↑ ↑ ↑\n „nie" „szczęśliwy" rzeczownik\nAlbo po polsku:
\nnieszczęśliwy = nie + szczęśliw + y\n ↑ ↑ ↑\n „nie" „szczęście" rodzaj męski\nAlbo jeszcze bardziej:
\nnieprzystojny = nie + przy + stoj + ny\nKażdy z tych kawałków ma swoje znaczenie. To są właśnie morfemy.
\n| Typ | \nOpis | \nPrzykłady | \n
|---|---|---|
| Wolne | \nMogą stać samodzielnie jako słowo | \nkot, dom, biegnie | \n
| Związane | \nMuszą być dołączone do innego morfemu | \nnie-, -ek, -owie, -ować | \n
A wśród morfemów związanych mamy afiksy:
\nTo ważne rozróżnienie:
\nFleksja (odmiana) - zmienia formę gramatyczną, ale nie tworzy nowego słowa:
\nSłowotwórstwo (derywacja) - tworzy nowe słowo, często zmieniając część mowy:
\nWarning
\nPolska morfologia to koszmar dla LLM! Język polski jest silnie fleksyjny - mamy 7 przypadków, 2 liczby, 3 rodzaje, aspekty czasowników, i mnóstwo wyjątków. Dla porównania: w angielskim odmiana rzeczownika to max. dodanie -s. W polskim? "Dom, domu, domowi, dom, domem, domu, domie, domy, domów..." i tak dalej :D
\nTu jest ciekawostka. LLM nie "wie" czym są morfemy. Używa tokenizacji BPE (Byte Pair Encoding), która dzieli tekst na tokeny - ale tokeny to nie to samo co morfemy.
\ngraph LR\n subgraph "Lingwista widzi:"\n A["nie-szczęśliw-y"] --> A1["nie + szczęśliw + y"]\n end\n subgraph "GPT-4o widzi (tokenizacja BPE):"\n B["nie-szczęśliw-y"] --> B1["nie + -s + zcz + ę + śli + wy"]\n end\n \n style A1 fill:#99ff99,color:#000\n style B1 fill:#ff9999,color:#000\nTokenizator BPE dzieli tekst na podstawie częstotliwości występowania w danych treningowych, a nie na podstawie struktury językowej. Czasem to się pokrywa z morfemami, a czasem nie.
\nTo znaczy, że model nie uczy się morfologii "od strony" - on uczy się jej pośrednio, przez statystykę. I jakoś mu to działa ;-)
\nTip
\nZabawa dla was: Potraficie rozbić te słowa na morfemy?
\nSkładnia to zbiór reguł, które określają, jak słowa są łączone w zdania. To dzięki składni wiemy, że "Kot siedzi na macie" to poprawne zdanie, a "Kot macie na siedzi" to bełkot.
\nProste? No... bardziej albo mniej ;-)
\nW różnych językach obowiązują różne zasady porządku słów:
\n| Język | \nPodstawowy szyk | \nPrzykład | \n
|---|---|---|
| Angielski | \nSVO (Subject-Verb-Object) | \nThe cat sits on the mat | \n
| Polski | \n"Elastyczny" SVO, ale... | \nKot siedzi na macie / Na macie siedzi kot / Siedzi kot na macie | \n
| Japoński | \nSOV | \n猫がマットの上に座っている | \n
| Łacina | \nWolny (bo końcówki mówią wszystko) | \nFelix in tapete sedet | \n
Polski jest fajny, bo mamy dość dużą swobodę w szyku zdania. O ile w angielskim "On the mat sits the cat" brzmi poetycko albo nienaturalnie, o tyle u nas to normalne zdanie ;-)
\nZdania mają strukturę hierarchiczną - słowa grupują się w frazy, a frazy w większe frazy. Można to narysować jako drzewo:
\ngraph TD\n S["S (zdanie)"] --> NP1["NP (fraza rzeczownikowa)"]\n S --> VP["VP (fraza czasownikowa)"]\n NP1 --> N1["Kot"]\n VP --> V["siedzi"]\n VP --> PP["PP (fraza przyimkowa)"]\n PP --> P["na"]\n PP --> NP2["NP (fraza rzeczownikowa)"]\n NP2 --> N2["macie"]\n \n style S fill:#9999ff,color:#fff\n style NP1 fill:#99ff99,color:#000\n style VP fill:#ffcc99,color:#000\n style PP fill:#ff9999,color:#000\nTo jest proste zdanie "Kot siedzi na macie" i już ma swoją hierarchię! A wyobraźcie sobie zdania z podrzędnymi, imiesłowami, okolicznikami...
\nTo słynny przykład Noama Chomsky'ego (w oryginale: "Colorless green ideas sleep furiously").
\nZdanie jest składniowo poprawne - ma podmiot, orzeczenie, prawidłową strukturę. Ale semantycznie to kompletny absurd - idee nie mogą być zielone ani spać.
\nI to jest właśnie dowód na to, że składnia i semantyka to dwa różne poziomy. Można mieć perfekt składnię i zero sensu ;-)
\nImportant
\nSkładnia to supermoc LLM. Model uczy się przewidywać następny token na podstawie ogromnej ilości danych tekstowych. W trakcie tego procesu przyswaja wzorce składniowe - wie, że po "Kot siedzi na..." spodziewamy się rzeczownika, a po "Szybko..." czasownika. To jest fundament tego, dlaczego LLM generuje poprawne gramatycznie zdania.
\nSprawdźcie się - które zdania są składniowo poprawne?1
\nJeśli składnia pyta "jak to jest zbudowane?", to semantyka pyta: "co to znaczy?"
\nSemantyka bada znaczenie słów, fraz i zdań. I od razu się okazuje, że to wcale nie jest takie proste.
\nKlasyczny polski przykład: zamek
\nTo samo słowo, cztery zupełnie różne znaczenia. Jak LLM wie, o który chodzi? Z kontekstu. I to jest właśnie to, co robi dobrze - bo widział miliony zdań, gdzie "zamek" występował w różnych kontekstach.
\nAlbo inny klasyk - wieloznaczność w jednym zdaniu:
\n\n\n"Moja droga, ta droga jest bardzo droga."
\n
Trzy razy to samo słowo, trzy różne znaczenia: droga (zwrócenie się do kogoś), droga (ulica/szlak), droga (tania -> droga, przymiotnik). Kontekst zmienia wszystko ;-)
\nPrawie. Ale nie do końca:
\nSemantyka bada te subtelne różnice - zarówno denotację (dosłowne znaczenie), jak i konotację (skojarzenia, nacechowanie emocjonalne).
\nTu wchodzi koncept word embeddings (osadzeń słów). W dużym uproszczeniu: każde słowo jest reprezentowane jako wektor - ciąg liczb - w wielowymiarowej przestrzeni. Słowa o podobnym znaczeniu są "blisko" siebie w tej przestrzeni.
\nSłynny przykład, który prawdopodobnie widzieliście:
\nwektor("król") - wektor("mężczyzna") + wektor("kobieta") ≈ wektor("królowa")\nCzyli: model "wie", że relacja między "król" a "mężczyzna" jest analogiczna do relacji między "królowa" a "kobieta". I to z samych danych, nikt go tego nie uczył!
\nMożemy to nawet pokazać w kodzie. Oto prosty przykład z biblioteką gensim w Pythonie:
from gensim .downloader import load \n\nmodel = load ("glove-wiki-gigaword-50" )\n\nresult = model .most_similar (\n positive = ["king" , "woman" ],\n negative = ["man" ],\n topn = 3 \n)\n\nprint (result )\n# [('queen', 0.85), ...] -- na pierwszym miejscu: queen! Tip
\nJeśli chcecie to przetestować sami: zainstalujcie gensim (pip install gensim) i odpalcie powyższy kod. Oczywiście potrzebujecie trochę RAM-u - model GloVe nie jest mały. Ale efekt jest naprawdę satysfakcjonujący ;-)
Jedno z najważniejszych pojęć w semantyce: znaczenie zdania jest wynikiem znaczeń poszczególnych słów + zasad ich łączenia.
\nCzyli: "Czerwony kot siedzi na macie" = [czerwony] + [kot] + [siedzi] + [na] + [macie] + zasady składniowe.
\nBrzmi banalne, ale to potężna zasada. Dzięki niej potrafimy zrozumieć nieskończoną liczbę zdań, nawet takich, których nigdy wcześniej nie słyszeliśmy. I dzięki niej LLM potrafi generować nowe, niespotykane zdania, które i tak mają sens.
\nWarning
\nAle uwaga: "Zrozumiałem, że nie zrozumiałeś, że to nie było zrozumiałe." - każde słowo jest proste, ale zdanie jako całość wymaga przeanalizowania warstwy po warstwie. Kompozycyjność to potężne narzędzie, ale ma swoje granice.
\nI tak dochodzimy do najciekawszej (według mnie) warstwy. Pragmatyka bada to, jak kontekst wpływa na znaczenie wypowiedzi - co naprawdę chcemy powiedzieć, często mówiąc coś zupełnie innego.
\nJeśli semantyka pyta "co to znaczy?", pragmatyka pyta: "co autor miał na myśli w tej konkretnej sytuacji?"
\nScenka 1: "Zimno tu."
\nSemantycznie: informacja o temperaturze w pomieszczeniu.
\nPragmatycznie: "Zamknij okno!" albo "Zwiększ ogrzewanie!" albo "Daj mi koc."
Każdy z was zrozumie, że kiedy ktoś mówi "Zimno tu" w momencie, gdy stoi przy otwartym oknie - nie pytasz o stopnie Celsjusza, tylko zamykasz okno.
\nScenka 2: "Mógłbyś podać sól?"
\nSemantycznie: pytanie o twoją zdolność podania soli.
\nPragmatycznie: prośba o podanie soli.
Odpowiedź "Tak, mógłbym" (i nic więcej) jest semantycznie poprawna, ale pragmatycznie... no, jesteś trochę niemiły ;-)
\nScenka 3: Ironia
\n\n\n"No gratulacje, znowu to zepsułeś."
\n
Semantycznie: gratulacje.
\nPragmatycznie: ironia, krytyka, rozczarowanie.
Czy LLM łapie ironię? Czasem tak, czasem nie. To wciąż otwarty problem badawczy.
\nFilozof J.L. Austin wymyślił coś genialnego: wypowiedzi nie tylko opisują rzeczywistość, ale też coś robią.
\n| Typ aktu mowy | \nOpis | \nPrzykład | \n
|---|---|---|
| Lokucyjny | \nSamo wypowiedzenie | \nMówisz "Zamykam okno" | \n
| Illokucyjny | \nIntencja wypowiedzi | \nObiecanie, że zamkniesz okno | \n
| Perlokucyjny | \nEfekt na odbiorcę | \nSłuchacz czuje ulgę | \n
Inne przykłady aktów mowy:
\nPaul Grice, inny filozof języka, zauważył, że w rozmowie obowiązuje zasada współpracy - mówimy rzeczy, które są istotne, prawdziwe, jasne i na temat.
\nKiedy ktoś tę zasadę łamie, szukamy implikatury - ukrytego znaczenia.
\nPrzykład:
\n\n\nA: "Idziesz na imprezę?"
\n
\nB: "Mam egzamin jutro."
B nie odpowiedział "tak" ani "nie". Ale z kontekstu A rozumie: nie idę, bo muszę się uczyć. To jest implikatura konwersacyjna.
\nWarning
\nTo jest najtrudniejsza warstwa dla LLM. I to nie jest tylko moje zdanie - badacze z całego świata pracują nad benchmarkami testującymi pragmatykę modeli językowych.
\nProblemy:
\nAle z drugiej strony - GPT-4 i nowsze modele radzą sobie coraz lepiej. Dlaczego? Bo ogromna ilość danych treningowych zawiera pragmatykę w praktyce - dialogi z filmów, książek, forów internetowych. Model "widział" miliony przykładów ironii, grzeczności, próśb.
\nTip
\nEksperyment dla was: Otwórzcie ChatGPT (albo Claude, albo co tam macie pod ręką) i przeprowadźcie ten krótki test:
\nNapiszcie modelowi:
\n"Właśnie strzeliłem sobie w palca gwoździem."
\nA potem od nowej rozmowy:
\n"No gratulacje, znowu strzeliłem sobie w palca gwoździem!"
\nZobaczcie, czy model zauważy, że w drugim przypadku "gratulacje" to ironia, czy jednak zacznie wzywać pogotowie?
\nOto nasze pięć warstw, w pigułce:
\n| Warstwa | \nCo bada | \nPrzykład | \nJak radzi sobie LLM | \n
|---|---|---|---|
| Fonetyka i fonologia | \nDźwięki i system dźwięków | \n/kot/ vs /lot/ | \nNie słyszy, ale "wie" z danych tekstowych | \n
| Morfologia | \nBudowa słów z morfemów | \nnie-szczęśliw-y | \nTokenizacja BPE ≠ morfemy, ale jakoś działa | \n
| Składnia | \nPorządek słów w zdaniu | \nKot siedzi na macie | \nSupermoc modelu - świetnie radzi sobie z gramatyką | \n
| Semantyka | \nZnaczenie słów i zdań | \n"zamek" - który? | \nWord embeddings + kontekst | \n
| Pragmatyka | \nZnaczenie w kontekście | \n"Zimno tu" = zamknij okno | \nNajtrudniejsza warstwa, wciąż otwarty problem | \n
graph LR\n subgraph "Jak LLM przetwarza język"\n F["Fonetyka<br/>❌ nie słyszy"] --> M["Morfologia<br/>⚠️ przez pryzmat tokenów"]\n M --> S["Składnia<br/>✅ bardzo dobrze"]\n S --> Sem["Semantyka<br/>✅ dobrze, z wyjątkami"]\n Sem --> P["Pragmatyka<br/>❓ najtrudniejsza"]\n end\nW kolejnym wpisie zmieniamy perspektywę - zamiast patrzeć na warstwy języka, patrzymy na samą naturę znaków i znaczenia:
\n\n\nJeśli dotarliście aż tu - dzięki! ;-) Naprawdę doceniam, że poświęciliście czas na przeczytanie tego potworka.
\nMam nadzieję, że choć trochę przybliżyłem wam temat. Jeśli coś jest niejasne - napiszcie w komentarzach, postaram się wyjaśnić. A jeśli macie lepsze przykłady (bo na pewno macie!) - tym bardziej dajcie znać.
\nKtóra warstwa was najbardziej zaskoczyła? Która jest waszym zdaniem najciekawsza w kontekście AI?
\nDo następnego wpisu!
\nŹródła i ciekawe linki:
\nJeśli chcecie wejść głębiej, oto materiały, z których korzystałem przy pisaniu tego wpisu:
\nOdpowiedzi do quizu: zdania 1-3 i 5 są poprawne (różnią się szykiem, ale polski na to pozwala; 5 to pytanie z słówkiem "czy"). Zdanie 4 ("Pies listonosza na szczeka") jest niepoprawne składniowo - szyk jest tak zaburzony, że nie spełnia zasad polskiej gramatyki. ↩
\n