Transcription
[Zene]
A Markov-láncok rendkívül népszerű valószínűségi modellek, részben sokoldalúságuknak köszönhetően. Számtalan különböző módon alkalmazhatók. Képesek arra, hogy egy látszólag nagyon-nagyon nehéz valószínűségi problémát olyasmivé alakítsanak, ami rendkívül könnyen megoldható. Nem csoda tehát, hogy mindenhol látom a Discordomon és a YouTube komment szekcióban a kéréseket egy Markov-láncokról szóló videóra. Alkalmazva a kvantitatív pénzügyekre és természetesen a fejlett kiterjesztésekre, ezekre a rezsimváltó modellekre, erre a rejtett Markov-modell ötletére, és így tovább. De valahol el kell kezdenünk. Tehát amit ebben a videóban tenni fogunk, az a Markov-láncok megvizsgálása a kvant pénzügyek kontextusában.
A Markov-lánc ötletének motiválására és megértésére egy valós példát fogunk megnézni a kvantitatív pénzügyekből. Ez egy olyan modell, amit egy kvant a valós világban ténylegesen felépítene. Valójában láttam már felépítve és bevetve ebben a kapacitásban egy cégnél. Tehát azzal fogjuk kezdeni, hogy elindulunk a véletlen változó ötletével. Majd beszélünk a véletlen változók sorozatáról, egy sztochasztikus folyamatról. Aztán beszélünk a függetlenségi feltételezésről, és nagyon gyorsan rájövünk a valós példánkban, hogy ez a függetlenségi feltétel nem lesz elegendő a modellünk számára. És itt jönnek a képbe a Markov-láncok. Majd pedig beszélünk a Markov-láncokról. Beszélünk a feltételezésekről. Beszélünk az alkalmazásról. És befejezésül néhány záró gondolattal és jövőbeli témával zárjuk.
Nagyon ritkán, amikor valamilyen kvant modellt építesz, biztonságos feltételezni a függetlenséget. Azonban, ha egy kvant videóról van szó, mindig biztonságos feltételezni, hogy hozzáférhetsz egy Jupyter notebookhoz. Ez a Jupyter notebook a leírásban lesz linkelve. Felteszem a Quant Guild könyvtárába is a GitHubon, ahol megtalálod az összes Jupyter notebookomat és a hozzájuk tartozó YouTube videókat, valamint az összes forráskódot a kvant építményeimhez.
Ezen a Jupyter notebookon felül néhány kapcsolódó Quant Guild videót fogsz találni, amelyek a statisztika pénzügyekre és kereskedésre való alkalmazását tárgyalják, olyan ötleteket fedve le, mint a kiskereskedelmi és intézményi kereskedés, kereskedés befektetéssel szemben, idősor-elemzés, annak helye a kvantitatív pénzügyekben, miért az elvárás vagy egy nemlineáris feltételes elvárás gépi tanulási értelemben a legjobb előrejelzés, amit bizonytalanság és véletlenszerűség esetén produkálhatunk. Mindezek a statisztikát alkalmazó videók minden bizonnyal jelöltek a Markov-láncok alkalmazására. Tehát, ha nem vagy ismerős ezekkel az ötletekkel, különösen a statisztika alkalmazásának ötletével ezen a területen, az alulbecslés ötletével, az előrejelzés ötletével, erősen ajánlom, hogy nézd meg ezeket a videókat, mielőtt egy ilyet megközelítenél.
Továbbá, ezeknek a videóknak az elkészítése nyilvánvalóan sok erőfeszítést igényel. Tehát, ha szeretnél segíteni a csatorna támogatásában, hogy továbbra is ilyen videókat készíthessek, kérlek, lájkold, kommenteld, iratkozz fel, oszd meg, nézd meg a csatornatagságot. Ez rengeteget segít nekem. Nagyon nagyra értékelem. És ha szeretnéd elsajátítani a kvantitatív készségeidet, nézd meg a quantankgild.com oldalt. Talán üzleti, közgazdasági, fizikai háttérrel rendelkezel, és nem vagy biztos benne, hol kezdj a kvant utazásodon. Talán dolgozó szakember vagy, és szeretnéd élesíteni ezeket a kvantitatív készségeidet. Bármelyik esetben a Quant Guild neked való. Több mint 90 kvant leckét kínálunk matematikából, valószínűségből, pénzügyekből, egy adaptív gyakorló motort, amely a készségszintedhez igazodik, így egyre nehezebb kérdésekhez juthatsz el gamifikált rangalapú fejlődéssel. Interjúkérdések teljes kidolgozott megoldásokkal, hamarosan érkező kereskedési játékok, A-tól Z-ig tartó kurzusok matematikából, statisztikából, kódolásból, és mindez benne foglaltatik a Quank tagságban. És azonnal elkezdheted ingyen. Tehát, ha szeretnél segíteni a csatorna támogatásában és elsajátítani a kvantitatív készségeidet, nézd meg a quant.com oldalt.
Felesleges udvariaskodás nélkül, kezdjük a véletlen változó ötletével, hogy eljussunk a sztochasztikus folyamat és a kvant pénzügyekből vett valós példa ötletéhez.
Tehát mik azok a véletlen változók, és miért használjuk őket? Nos, valahányszor egy esemény kimenetele bizonytalan, és a világ különböző lehetséges állapotait szeretnénk figyelembe venni, általában ezeket az eseményeket véletlen változókként modellezzük. Nos, hogy ezek az események valóban véletlenek-e, az vita tárgya. Ez minden bizonnyal egy másik alkalom témája. De mindenesetre, amikor a bizonytalanságot véletlen változóként modellezzük, általában valamilyen eloszlást feltételezünk. És ez elmond valamit az adott esemény különböző kimeneteleinek valószínűségéről.
Tehát hogyan is néz ez ki valójában? Nos, itt van három különböző véletlen változóm. Van X, Y és Z. És ezek mind különböző eloszlásokkal rendelkeznek. Tehát X egy normálisan eloszlott véletlen változó. Y egy binomiális eloszlás szerint oszlik el. És Z egy Bernoulli. Nos, kísértést jelent ezeket a változókat determinisztikus mennyiségekként kezelni az algebrából, pre-kalkulusból, kalkulusból és így tovább. De az x, y és z itt nem számok. Ezek eloszlások. Valahányszor véletlen változóval találkozol, akár egy egyenletben, akár úgy definiálod, gondolnod kell ezekre a betűkre szó szerint eloszlásként. Lehetséges kimenetelek halmazát képviselik. Nem csak egy kimenetelt. Tehát valahányszor egyenletben látod, gondold: "hé, ez a betű szó szerint egy eloszlást, a lehetséges kimenetelek halmazát jelenti, mind különböző valószínűségekkel és esélyekkel."
Tehát ezeket az eloszlásokat valójában lerajzoltam neked. Itt van X, itt van Y, és itt van Z. Mindegyik különböző eloszlásokat követ. Tehát ez az X betű szó szerint ezt az eloszlást jelenti. Az Y ezt jelenti, és a Z ezt. Itt van egy normálisan eloszlott véletlen változó, egy binomiálisan eloszlott és egy Bernoulli eloszlású véletlen változó. Mindhármat az eloszlási függvényeik teljesen jellemzik. És ezek az eloszlási függvények lehetővé teszik számunkra a következő eloszlások vizualizálását, ahogy itt látjuk őket. Tehát ezek a véletlen változók szó szerint ezek a diagramok, ahogy itt látjuk őket.
Most nagyon fontos megjegyezni, hogy valahányszor valamit véletlen változóként definiálunk, nem mondhatunk semmit arról, hogy mi lesz a kimenetel. Csak valamit elmond az esélyekről a különböző kimenetelekre. Tehát nézzük például a Z-t. Az eloszlást ez a rudas diagram teljesen jellemzi. 70% esély van arra, hogy egyet figyeljünk meg Z-ből, vagy 30% esély van arra, hogy nullát figyeljünk meg. Tehát, még ha rendkívül valószínűtlen is, még mindig láthatunk 10 nullát egymás után Z-ből. Tehát, amikor véletlen eseményeket véletlen változókkal modellezünk, mindössze annyit próbálunk tenni, hogy megértsük az esélyeket, amelyek a különböző kimenetelekhez kapcsolódnak. Ez minden, amit próbálunk tenni. Tehát, ha például a portfólióm hozamait nézem, valószínűleg figyelembe fogom venni: "hé, mi a valószínűsége annak, hogy extrém veszteséget figyeljek meg? talán valami 10-20% egy nap vagy egy hét alatt, hogy annak az eseménynek a valószínűsége minden bizonnyal érdekelni fog engem. És ha nem, akkor talán nem is kellene portfóliókezelőnek lenned. De mindenesetre, így használjuk a véletlenszerűséget a gyakorlatban. Azon kérdésekre próbálunk válaszolni a világ különböző állapotairól, hogy különböző esélyeket kapcsolunk ezekhez a bizonyos kimenetelekhez.
Tehát mi az elefánt a szobában? A kérdés, amire a pénzügyprofesszorod nem fog válaszolni. Nos, hogyan jutunk el ezekhez a valószínűségekhez? Ha mindezek az állapotok érdekelnek minket, akkor hogyan tudunk hatékonyan előállni egy véletlen változóval, annak paramétereivel, vagy az összes bizonytalan kimenetel valószínűségével? Használunk történelmi adatokat? De azt hittem, a történelmi adatok nem jelzik a jövőbeli teljesítményt. Mindezek az adatpontok már megtörténtek. Semmit sem mondanak arról, ami fog történni. Gondolj bele. Ha van Apple-ünk, és a történelmi adatok ésszerű helyettesítői lennének annak, ami fog történni, akkor meddig nézünk vissza? Visszanézünk egy hetet, egy hónapot, egy évet, 5 évet, 10 évet? Az Apple 10 évvel ezelőtt teljesen más cég volt. Nem is beszélve arról, hogy az általános makroklíma, az adminisztráció, minden teljesen más volt 10 évvel ezelőtt. Ez nem is közelíti meg az ésszerűt, hogy beépítsük egy mai modellbe.
Tehát, amit itt el akarok érni, az az, hogy ezeknek a bizonytalan eseményeknek az adatgeneráló eloszlásai idővel változnak. Hogy megértsük, mit is jelent ez valójában, itt van egy példám. Tehát képzeld el, hogy részvényhozamokat nézünk. Ez a lila eloszlás szabályozza a megfigyelt hozamok különböző valószínűségeit bármely adott napon. És ami történni fog, az az, hogy ez az eloszlás idővel változni fog. De nem tudjuk megfigyelni. Csak az eloszlás kimeneteleit tudjuk megfigyelni. Tehát, amit észre fogsz venni, ahogy lejátszom ezt az animációt, láthatod, hogy értékeket realizálunk. Itt a szélsőségeken, és itt. Ha csak lila eloszlásként modellezzük, akkor úgy fog kinézni, hogy "wow, ez nagyon valószínűtlen volt". Úgy fog kinézni, hogy "wow, ez nagyon valószínűtlen volt", igaz? De nézd meg az animációt. A valószínűség idővel változik. Egy ponton nagyon valószínű volt itt értékeket megfigyelni, és egy másik ponton nagyon valószínű volt itt értékeket megfigyelni. Ez közelebb áll ahhoz, amit a valóságban látunk. Nem figyelhetjük meg ezt az adatgeneráló eloszlás, de bizonyosan a különböző értékek valószínűségei és esélyei idővel változnak.
Most nagyon hatékony módszerek léteznek ennek az időbeli változékonyságnak a modellezésére, amit ebben az animációban látunk. Valójában a múlt héten készítettem egy videót az ARCH és GARCH modellekről. Tehát, ha érdekel a volatilitás modellezése, erősen ajánlom, hogy nézd meg azt a videót. De mindenesetre, láttuk, hogy a feltételes heteroszkedaszticitás jobban képes megragadni az empirikusan megfigyelt dinamikát azáltal, hogy a volatilitási tagot idővel változtatja a nemrégiben megfigyelt folyamat alapján. Tehát vannak hatékony módjai ezeknek a dinamikáknak a megragadására, de a legfontosabb lépés ezek felismerése. Ez az első és legfontosabb lépés. Ellenkező esetben csak naiv modelleket fogunk készíteni, amelyek figyelmen kívül hagyják ezt a nagyon fontos valóságellenőrzést.
Most, hogy jól megértettük a véletlen változókat, a modellezésben betöltött szerepüket és néhány fontos szempontot a kvant pénzügyekben, megközelíthetjük a sztochasztikus folyamat ötletét. És őrültségnek hangzik, de a sztochasztikus folyamat mindössze egy véletlen folyamat. Nos, a véletlenszerűséget már jól ismerjük. Tehát mi az a véletlen folyamat? Nos, ez csak egy véletlen változó vagy véletlen változók halmazának kimenetelei sorozata lépések vagy idősorozat során. Tehát ez csak egy véletlen változó, amely különböző pontokon van indexelve. És te határozhatod meg, hogy mik ezek a pontok. Tehát van egy nagyon egyszerű példám, hogy ezt a pontot otthonra vigyem. Ez egy részvényportfólió, amelynek értékét egy kockadobás szabályozza. Tehát egy kockadobás egy véletlen változó. Hívjuk D-nek. Tudjuk, hogy D egy lehetséges kimenetelek eloszlása. Tudjuk, hogy ez egy kockadobás, tehát 1-től 6-ig kell lennie. Lerajzolom az eloszlást itt. Ez egy diszkrét egyenletes eloszlás. És minden egyes nap csak egy kockát fogok dobni. És ez fogja meghatározni a portfólióm értékét az adott napon. És itt láthatod, hogy ezt a mintapályát kapom a portfólióm értékére a következő 100 napra. Nos, ha újra szimulálnám, más mintapályát kapnék és így tovább. Ez az, ami egy sztochasztikus folyamat. Jellemzően képes leszel valamilyen útvonal szimulálására. Az az útvonal lehet egy csomó tulajdonsággal, és mi figyelembe vesszük és elemezzük ezeket a tulajdonságokat. Ez az, ami érdekel minket. Tehát itt például a kilencedik napon a portfólióm értéke öt. De ha újra futtatnám a szimulációt, az bármi lehetne ebből a kockadobásból. Ez a sztochasztikus folyamat általános lényege.
Tehát mi volt ennek a kockadobás példának a célja? Nos, a Markov-láncok megközelítésére törekszünk. Meg kell értenünk a függetlenség ötletét. Nem számít, milyen információt adsz nekem bármelyik napon, akár a negyvenkilencedik napon vagyunk, és megpróbáljuk kitalálni, mi lesz a portfólió értéke az ötvenedik napon, ez nem számít. Bármilyen információ, amit adsz, nem fogja befolyásolni a következő kimenetel valószínűségét. A következő kimenetel továbbra is kockadobás lesz. Minden egyes kockadobás független. Ez a kulcs itt. Különösen, amikor ezt a sztochasztikus folyamatot nézzük. Nem számít, milyen információt adsz, minden egyes napot ez a véletlen változó kimenetele fog szabályozni. Amikor Markov-láncokat nézünk, ez nem így van. És hamarosan látni fogjuk, miért, a feltételezés megsértésének megvizsgálásával a valós példánkban.
Valós példánk egy hitelportfólióval kapcsolatos. Tehát képzeld el, hogy megpróbálod elemezni az ezzel a hitelportfólióval kapcsolatos kockázatot. Talán valamilyen hitelügynökségnél dolgozol, és különösen érdekel a világ különböző állapotainak modellezése. Nos, figyelembe kell vennünk ezt a hitel folyamatot az idő múlásával. Bontsuk le ezt a valós példát, hogy motiváljuk, miért akarjuk használni a Markov-láncokat a portfólió modellezésére. Tehát ez egy több tucat, több száz hitelből álló portfólió. És minden egyes hitel bármikor lehet aktuális, 30-59 napos késésben vagy késedelmes, 60-89 napos késésben, vagy 90+ napos késésben. És egyelőre kizárjuk a teljes csődöt. Oké. Nos, akkor ez hogyan néz ki a portfóliónk számára? Nos, van egy sok ilyen hitelből álló portfóliónk, és megnézhetjük a portfólióban lévő hitelek általános arányát, amelyek bármelyik állapotban vannak, és itt van egy tortadiagram, hogy példaként lebontsuk. Tehát ez a hitelportfóliónk. Ebben a konkrét portfólióban nem teljesít túl jól. 50% aktuális, 20% 30-59 napos késésben, 60-89 napos késésben. 20%-unk van, és akkor 10% 90+ napos késésben. Ez egy durva hitelportfólió.
Tehát mi a helyzet itt? Nos, ez nem fog ugyanaz maradni minden hónapban. Ez idővel változni fog. Tehát amit tenni fogunk, az az, hogy megpróbáljuk modellezni a hitelek arányát az egyes állapotokban az idő múlásával, szimulálva azt egy sztochasztikus folyamatként. Ez pontosan az, amit itt csináltunk a kockadobásokkal. Tehát, amit tenni fogok, az az, hogy történelmi adatokat fogok nézni. Arányt fogok mérni e becslő szerint. Nem fogok belemenni a részletekbe most, de amit tenni fogok, az az, hogy megpróbálok szimulálni néhány hónapot ebből a portfólióból, hogy lássam, mennyi az elmaradt hitelek általános aránya az egyes kategóriákban. Oké. Nos, csináljuk ezt. Tehát a nulla hónapban 100% aktuális hitelem van a portfóliómban. Rendben. Nos, ez pontosan olyan, mint itt kezdeni egy mintapályán. Oké, az induló állapotban vagyunk. Aztán szimulálok egy húzást, szimulálok egy húzást, és tovább haladok az időben. De ahelyett, hogy útvonalként vizualizálnám, rudas diagramként fogom vizualizálni. Tehát megnézhetjük a hitelek arányát az egyes kategóriákban. Tehát itt van a nulla hónap. Minden aktuális. Az első hónap. Oké. Most 81% aktuális. Most 4% 30-59 napos késésben van. De várjunk csak. 11% 60-89 napos késésben van, és 4% 90+ napos késésben van. Ezek az állapotok nem lehetségesek, mert ez csak egy hónap előrehaladása az időben. Egy hitel a portfóliónkban nem ugorhat aktuálisról 90+ napos késésbe egy hónap alatt. Nyilvánvalóan probléma van ezzel a konstrukcióval, ezzel a szimulációval. Ez a tökéletes példa arra, hogyan nem egyezik a naiv függetlenség a valósággal. Ha azt feltételezem, hogy minden lépés ezekből az eloszlásokból húz, legyenek azok a 30-59 napos eloszlások, az aktuális eloszlások, és így tovább. Ha azt feltételezem, hogy minden egyes hónapban függetlenül húzunk ezekből az eloszlásokból, akkor valami ilyesmit fogok kapni, ami valójában nem lehetséges a valóságban. És egy olyan modellt akarunk létrehozni, amely a lehető legközelebb áll a valósághoz, takarékos módon. Ezt egyáltalán nem csináljuk itt. Egyszerűen eljutottunk az összes aktuális hiteltől néhány 60-89 napos késésben lévő, 90+ napos késésben lévő hitelhez. Ez szó szerint lehetetlen. Tehát a függetlenség itt teljesen kiesett az ablakon.
Most, ha azt gondolod, amit én gondolok, akkor talán azt kellene tennünk, hogy korlátozzuk ezt a szimulációt, és azt mondjuk: "hé, csak olyan értékeket húzhatunk, amelyek 30-59 napos késésben vannak a következő lépésben." Aztán a következő lépésben csak a következő vödörbe eső értékeket húzhatjuk, ha már megfigyeltünk értékeket az előző vödörben. És ha elkapod, amit felvetek, akkor valójában elkezded bevezetni a helyi feltételes függőség ötletét. És ezt hatékonyan megragadja egy Markov-lánc. Tehát talán megelőztél, de ez itt az ötlet. El akarunk navigálni ettől a naiv függetlenségtől, mert nem ragadja meg a valóságot. Nem figyelhetünk meg ilyen átmenetet. De ha Markov-láncként modellezzük, soha nem fogunk megfigyelni olyan evolúciós sorozatot, ami nem történhet meg. Ez a Markov-láncok ereje. Ez a helyi feltételes függőség, ez a Markovian szerkezet, és mindezeket mindjárt meg is tárgyaljuk.
Most egy Markov-lánc rendkívül hatékonyan diagramozható. Tehát valójában az ábrával szeretnék kezdeni, majd áttérni a tulajdonságokra és az alkalmazásokra. Nézzük ezt az ábrát. Kicsit őrültnek tűnik, de valójában sok értelme van. Tehát itt van egy úgynevezett állapotátmeneti diagram egy Markov-lánchoz. És lényegében azt csinálom, hogy modellezzem a hitelportfólióm minden egyes hitelét, és azt mondom: "hé, a hitel csak ebben a négy állapotban létezhet." Ismét kizárom a csődöt erre a példára. Tehát egy hitel lehet aktuális. Lehet 30-59 napos késésben, 60-89 napos késésben, vagy 90+ napos késésben. És minden nyíl itt diktálja, hová mehet minden állapotból. Tehát, ha aktuális, maradhat aktuális. Tehát a nyíl önmagára mutat, vagy átugorhat 30-59 napos késésbe, de nem ugorhat 60-89 napos késésbe. Nem ugorhat 90+ napos késésbe. És ez értelmes, mert mindegyik átmenet, a kifelé mutató nyilak egy hónapot, 30 napot jelentenek. Nem tudsz egyszerűen átugrani erre a narancssárga vagy piros körre. És hasonló logikát fogsz látni minden más állapotban. 30-59. Nos, visszatérhetek aktuálisra, vagy 30-59 napos késésben maradok, vagy átmegyek 60-89 napos késésbe. Nem tudok 30-59-ről egészen 90+ napig ugrani. Emlékezz, minden egyes lépés 30 napos lépés. Tehát nem tudok egyszerűen átlépni az időn és átugrani 90+ napig. Ez lenne olyan, mint amit ebben a naiv példában megfigyeltünk, amikor láttuk, hogy egy hónapos lépés 90+ napos késésben lévő hiteleket eredményezett. Nincs értelme. Tehát lényegében ez az átmeneti diagram megragadja a hitelek dinamikáját, amit keresünk. És ez olyan, mint a tökéletes példa egy Markov-láncra, amely a különben nagyon naiv modellt közelebb hozza a valósághoz. Jobban megragadjuk az egyes állapotok átmenetét és a hozzájuk kapcsolódó valószínűségeket.
Mielőtt belemennénk a valószínűségekbe, beszéljünk most a Markov-láncok néhány tulajdonságáról, hogy megértsük, hogyan működnek. A Markov-láncok esetében van néhány kulcsfontosságú tulajdonság, amit ki szeretnék emelni, és további tulajdonságokat fogunk tárgyalni a feltételezésekkel és az alkalmazással együtt alább. De egyelőre beszéljünk az emlékezetlenség tulajdonságáról, az időbeli homogenitásról és a véges állapotterekről. A véges állapotterek valószínűleg a legkönnyebben érthető ötlet. Csak véges számú állapotunk lehet. Oké, nem nagy ugrás. De mi a helyzet az időbeli homogenitás ötletével? Nos, az átmeneti valószínűségek állandóak az idő múlásával. Ez egy nehéz probléma, mert feltételezzük, hogy ezek az átmeneti valószínűségek minden állapotból származnak. Tehát talán ez az aktuális hitelállapot a 30-59 napos állapotba, az aktuális hitel az aktuális hitelre, és így tovább. Mindezek az átmenetek állandóak az idő múlásával. Nos, a fentiek alapján, valószínűleg ez így van? Valószínűleg nem, igaz? Tehát nagyon fontos figyelembe venni ezt. Mi a helyzet az emlékezetlenség tulajdonságával? Nos, lényegében ez azt jelenti: "hé, nem számít, hol voltam, csak az számít, hol vagyok." Tehát nem számít, hogy 90+ napos késésben vagy 60-89 napos késésben voltam-e a múltban. Ha most aktuális vagyok, ez fogja meghatározni az átmeneti valószínűségemet. Ez az aktuálisról aktuálisra, vagy aktuálisról 30-59 napos késésbe való átmenet valószínűsége. Nos, hogy ez ésszerű-e, az a probléma függőségi szerkezetétől függ. Talán ha sok időt töltöttél 90+ napos késésben, és visszatérsz aktuálisra, talán nagyobb a kockázata annak, hogy visszatérsz ebbe az állapotba. Ezt ez a konkrét modell nem fogja megragadni. Ki kellene terjesztened az állapotteret. Ez egy csomó bonyolultságot eredményezne és így tovább. Tehát, amikor Markov-láncokról van szó, ezek néhány kulcsfontosságú tulajdonság és szempont, amikor ezt a valószínűségi modellként felépíted.
Most, ami nagyon jó, az ez az ábra, amit megfigyeltünk, felépíthet egy úgynevezett átmeneti mátrixot. És ez az átmeneti mátrix tartalmazza az átmenet valószínűségeit mindezekből az állapotokból mindezekbe az állapotokba. És itt hónapokkal foglalkozunk. Oké, tehát tartsd szem előtt, hogy ebben a példában hónapról hónapra történő átmeneteket nézünk. Oké, tehát ez az átmeneti mátrix valami ilyesmi. Vannak valószínűségek és vannak nullák. A nullák azt jelzik, hogy nulla valószínűséggel lehet átmenni ebből az állapotból egy másikba. És ez értelmes, igaz? Tehát, ha nincsenek nyilak, akkor nulla lesz az átmenet valószínűsége. Tehát például nem mehetek aktuálisról 90 napos késésbe. Ez nem lehetséges. Tehát az aktuálisból 90+ napos késésbe való átmenet valószínűsége nulla. És ezt bármelyik állapotátmenetre leolvashatjuk. Tehát mi a valószínűsége annak, hogy 30-59 napos késésből 60-89 napos késésbe kerüljünk? Nos, elmegyek 30-59 napos késésbe, majd megtalálom a 60-89 napos oszlopot, és ez az átmeneti valószínűségünk ott van. Ez P alatti 23. Tehát így működik az átmeneti mátrix. Megtalálom a sorban az aktuális állapotomat, és megtalálom az oszlopban az állapotot, amibe át akarok menni, és akkor leolvashatom a megfelelő valószínűséget.
Valójában ezek a valószínűségek kitölthetők, és itt van egy példám. Itt van egy csomó becsült valószínűség az adatokból. És hamarosan megnézzük, hogyan lehet ezeket a becsléseket a gyakorlatban az adatokból előállítani. De egyelőre csak azt akarom megmutatni, hogyan kell kitölteni egy átmeneti mátrixot. Tehát, amit tenni fogok, az az, hogy nyomon követem az egyes állapotok átmenetét a különböző állapotokba és önmagukba. És csak tovább fogok menni, és kitöltöm az átmeneti mátrixot. Tehát például egy aktuális hitel önmagába való átmenetének 0,99 valószínűsége van. Tehát lemegyek az átmeneti mátrixomhoz, aktuálisról aktuálisra 0,99. És ezt minden átmenetre megteszem. És emlékezz, ez havi alapon történik. És itt láthatod, hogy van egy teljesen kitöltött átmeneti mátrixom az állapotok közötti átmenet minden valószínűségével.
Most, hogy ez megvan, néhány nagyon-nagyon klassz kérdésre válaszolhatunk. Tehát itt van egy példakérdés, amit feltehetünk. Mi a valószínűsége annak, hogy az aktuális állapotból indulunk, és 3 hónap elteltével a 90+ napos késedelmes állapotban végzünk? Mi ennek a valószínűsége? Nos, képesnek kell lennünk valahogy kiszámítani a többállapotú átmeneteket. Tehát nem csak az egyhónapos átmenetről beszélek, amit ezek az értékek adnak meg. De most figyelembe kell vennünk a több lépést. Ez lényegében az, amit itt próbáltunk csinálni. De emlékezz, van ez a függetlenségi feltétel. Ez nem ragadta meg a valóságot itt. Markov-láncokat használunk. Tehát képesek leszünk megragadni ezt a függőségi szerkezetet. Hogyan válaszolunk erre a valószínűségi kérdésre? Nos, használhatjuk a Chapman-Kolmogorov egyenletet, és ez lehetővé teszi számunkra, hogy kiszámítsuk az önkényes lépésátmeneteket és a hozzájuk kapcsolódó valószínűségeket. Más szóval, ha ki akarnám találni, mi a valószínűsége annak, hogy aktuálisból 90+ napos késésbe kerüljünk, csak a Chapman-Kolmogorov egyenletet használhatnám, majd megtalálnám az adott mátrix bejegyzését, és ez megadná a valószínűségemet.
Nos, ki az az épelméjű ember, aki ebből az eredményből, amit itt látunk, levezetné a Chapman-Kolmogorov egyenletet? Nos, én. Hisz vagy nem hiszel, van egy nagyon-nagyon régi videóm és cikkem, amely teljes mértékben levezeti ezt az eredményt, amit itt látunk. Tehát, ha szeretnéd megnézni, meghagyom neked. Mindazonáltal, az eredmény tényleges megvalósítása nagyon-nagyon egyszerű. Szó szerint mindössze annyit teszünk, hogy kitaláljuk ezeket a valószínűségeket, hogy megszorozzuk ezt az átmeneti mátrixot, amit az átmeneti diagramunkból együtt kitöltöttünk, önmagával. És az, hogy hányszor szorozzuk meg önmagával, meghatározza a jövőbeli lépések számát. Milyen rendkívül elegáns eredmény.
Itt van néhány példa azokra a nagyon klassz kérdésekre, amelyekre válaszolhatunk. Tehát például, mi a valószínűsége annak, hogy 12 hónap alatt aktuálisból késedelmes állapotba kerüljünk? Nos, alkalmazhatom a Chapman-Kolmogorov egyenlet eredményét. Láthatom itt, hogy a mátrix hatványát veszem. Tehát ez az átmeneti mátrix, amit itt fentebb definiáltunk az ábrából. És mindössze annyit teszek, hogy megszorozom ezt a mátrixot önmagával 12-szer. És akkor megkapom a megfelelő sort és oszlopot ehhez az átmenethez. Tehát emlékezz, ha aktuálisról 90 napos késésbe nézek, akkor a nulladik sorban és a 0123 harmadik oszlopban fogok keresni. És pontosan ezt teszem itt. Van a 03 oszlopom. Lefuttatom ezt, és láthatom, hogy 18,26% esélyem van arra, hogy 12 hónap alatt aktuálisból 90+ napos késésbe kerüljek. Ezt egy lépéssel tovább viszem, és megmutatom az összes átmeneti valószínűséget 12 hónapra. Tudod, ezekből a különböző állapotokból indulva, indulhatsz aktuálisból, 30-60 naposból, 60-90 naposból, 90+ naposból, és rengeteg különböző valószínűséget kapunk. És ez értelmes, igaz? Mert ha 90+ napos késésben kezdesz, akkor valószínűbb, hogy 90-ről 90-re kerülsz, mint aktuálisról 90-re. És ez pontosan az, amit ezek a dinamikák megragadnak a Markov-láncban ezzel a helyi feltételes függőséggel és ezekkel az állapotátmenetekkel. Rendkívül lenyűgöző és nagyon-nagyon klassz. Mindezek a kérdések, amelyek egyébként nagyon nehezen lennének megválaszolhatók, különösen valamilyen naiv modellel, mint ez, nagyon könnyen megválaszolhatók, amivel, már csak pár sor kódot kell írni. Csinálok egy mátrixhatványt, és megkapom a helyes indexet a mátrixból. Már nem is lehetne ennél egyszerűbb. Az összes nehéz munka Markovon, a Markov-lánc szerkezetén és a Chapman-Kolmogorov egyenleteken ment keresztül. Tehát most már válaszolhatunk nagyon klassz kérdésekre. Tehát megnéztük a valószínűségi kérdéseket. Mi a helyzet az elvárás ötletével? Nos, nem csak a Markov-lánc várható értékét fogom figyelembe venni ebben az értelemben. Fogom figyelembe venni az állapoteloszlási vektor ötletét. És ez az, ami egy valószínűségi eloszlás az összes állapot felett t időben. Tehát ez lehet nulla hónap, egy hónap, és így tovább. És ez elmond valamit az állapotok valószínűségéről különböző időpontokban. Ha ez ismerősnek hangzik, nos, ez pontosan az, amiről ebben a naiv példában és a bizonytalan kimenetelek véletlen változókkal történő modellezésének kontextusában beszéltünk. Tehát ez pontosan az, amit itt csinálunk, amikor ezt az állapoteloszlási vektort használjuk. Megnézzük az esélyt arra, hogy bármelyik állapotban legyünk egy adott időpontban. És természetesen, ahogy az idő halad, ezek az eloszlások változni fognak. És kiderül, hogy ebben az esetben ténylegesen stabil értékekre konvergálnak. Nagyon-nagyon fontos ötlet.
Nos, amíg ténylegesen nem konvergálunk ezekre a stabil értékekre, az induló eloszlás nagyon sokat fog számítani, és meg fogja változtatni az esélyt a különböző eloszlások megfigyelésére különböző időpontokban. És ez értelmes, mert ha belegondolunk, nézzük meg ezt a példát itt. Van 50% aktuális, 20% 30-59 napos, és akkor 30% 60-89 napos, nulla 90+ napos. És megnézhetem a hitelek várható arányát, amelyek 90+ napos késésben lesznek 12 hónap után. Látom, hogy nagyjából 7%. Oké. Nos, mi van, ha 30% 30%-kal kezdek 90+ napos késésben? Ez azt jelenti, hogy a hitelek várható aránya növekedni vagy csökkenni fog? Nos, ha több hitellel kezdek 90+ napos késésben, jobban hiszel benne, hogy ez magasabb lesz. Futassuk újra. 27%. Most a hitelek várható aránya, amelyek 90+ napos késésben vannak, 27%. Tehát ez az induló eloszlás minden bizonnyal nagyon számít. De mi van, ha növeljük az időt? Akkor számít? Mi van, ha ezt 100-ra teszem? Oké, ez 13-ra csökken. Mi van, ha ezt 1000-re teszem? Ez 3,8%-ra csökken. Oké. Tehát 10 000 átmenet után valami ilyesmit látok, 3,8% itt a 90+ napos késésben. Oké. Nos, mi van, ha az eredeti állapotból indulok? Tehát ahelyett, hogy 30% lenne 90+ napos késésben, visszamegyek 60-89 naposra, ami 30%. Amikor újra futtatom ezt, várjunk csak, még mindig látjuk ezt a 3,8%-ot. Ez a konvergencia, amiről beszéltem itt. Rövid távon lesz egy fokú változékonyság attól függően, hogy hol kezdesz az egyes állapotokban eltöltött idő arányában. És ez nagyrészt az induló eloszlásodtól függ majd. Mint mondtam, ha több magas kockázatú hitellel kezdesz, akkor igen, rövid távon nagyobb kockázatnak leszel kitéve. De hosszú távon, ha továbbra is megfigyeljük az átmeneteket, amelyeket az ábrán láttunk, akkor ténylegesen megfigyeljük ezt a konvergenciát. És ezt egy diagramon is láthatjuk. Látjuk az összes állapoteloszlási vektort, amelyek ezekre a valószínűségekre konvergálnak. És nem számít az induló állapotvektor. Ez pontosan az, amit itt láttunk. Láttuk, hogy konvergált 3,8%-ra abban az esetben, ha 30% volt a 60-89 napos, vagy 30% volt a 90+ napos. Tehát ez egy kulcsfontosságú tulajdonsága ennek a konkrét konstrukciónak.
Nos, vannak más kulcsfontosságú tulajdonságai is a Markov-láncoknak. Rekurrencia, irreducibilitás, ez a stacionárius állapot ötlete, elnyelő állapotok. Így modelleznéd valamilyen csőd periódusosságát, ergodicizmust és tranziens elemeket, kommunikációs osztályokat, és így tovább. Bizonyosan szükségem lenne egy másik videóra, hogy mindezeket megvitassuk. Tehát, ha szeretnél látni egy másik videót a fejlett Markov-láncokról, majd talán kiterjesztéseket a rejtett Markov-modellekre és rezsimváltó modellekre, kérlek, lájkold, kommenteld, iratkozz fel, tudasd velem lent, és meglátjuk, mit tehetünk egy jövőbeli videóban. Mindazonáltal, most folytatjuk az alkalmazással. Hogyan jutunk el az állapotokhoz és a valószínűségekhez, ha ezeket a Markov-láncokat a gyakorlatban fogjuk használni? Láttunk egy példát fentebb, ahol viszonylag könnyű volt az állapotokat definiálni. Majdnem megkaptuk őket, igaz? Tudjuk, hogy egy hitelt vagy aktuális, 30+ vagy 30-59 napos késésben lévő, és így tovább, jellemezhetünk, igaz? Ezek az állapotok bemutatásra kerülnek nekünk. Nagyon könnyű állapotokat létrehozni. Van néhány példám itt a volatilitásra, piacra, trendre, um, likviditásra. Lehetne alacsony, közepes, magas, bikás, medvés, oldalazó. Nagyon könnyű állapotokat kitalálni. De hogyan becsüljük meg a valószínűségeket? Mert ha tudjuk definiálni az állapotokat, és tudod, ez lehet valamilyen, tudod, rezsimváltó modell, ha rejtett Markov-modellekbe akarunk menni, um, bármi is legyen az, amit ténylegesen modellezni akarunk az állapotok és az átmenetek, és a későbbi átmeneti mátrix meghatározására. Ez általában nem a nehéz rész. A nehéz rész az, hogyan becsüljük meg ezeket a valószínűségeket? Igaz? Valószínűleg tudnál rajzolni nekem egy diagramot, egy nagyon szép diagramot, és előállni az átmeneti mátrixszal. De hogyan jutunk el ezekhez a valószínűségekhez? Ez az a kérdés, amire válaszolnunk kell.
És erre a kérdésre válaszolva meg kell értenünk a maximális valószínűség becslésének ötletét. A maximális valószínűség becslés valójában rendkívül intuitív. Hogy ez ténylegesen hatékony-e, az vita tárgya, különösen az animáció után, amit itt fentebb mutattam, azzal a módon, ahogy ezek az eloszlások idővel változhatnak. Mindazonáltal, a maximális valószínűség becslés ötlete az adatok megfigyelése. Tehát például megfigyeljük ezt a szürke adatot, és a szürke adatot a piros, szaggatott eloszlás generálta. És amit tenni fogunk, az az, hogy az MLE-t használjuk az eloszlás illesztésére a megfigyelt adatokhoz. Ez fogja produkálni a legmagasabb valószínűséget az adatok generálására. Ez az az eloszlás, amelynek a legmagasabb valószínűsége van az általunk látott adatok generálására. Ez nagyon intuitív, igaz? Milyen más eloszlást szeretnél használni, mint azt, amelyiknek a legmagasabb valószínűsége volt az általunk látott adatok generálására? És láthatod ebben a példában, hogy elég jól teljesít. Nagyon-nagyon szorosan követi azt a piros vonalat. Tehát, ha megértjük ezt az ötletet ebben a beállításban, nos, ez pontosan ugyanaz a Markov-láncok esetében. Alkalmazhatjuk ezt a maximális valószínűség becslést, és láthatod, hogy ez ténylegesen konvergálni fog az átmeneti mátrixunk valódi valószínűségeihez. És ez csak akkor lesz igaz, ha egy csomó feltétel teljesül és így tovább. De mindenesetre, ez egy nagyon hatékony módja ezeknek a valószínűségeknek az előállítására. És a maximális valószínűség becslésnek egy csomó nagyon-nagyon jó tulajdonsága van. Ahogy több mintát gyűjtünk, empirikus valószínűségeink konvergálnak a valódi valószínűségekhez. Ezt látjuk itt. Ezek a becslések konzisztensek, ami azt jelenti, hogy több adat jobb becslésekhez vezet. A konvergencia sebessége követi a nagy számok törvényét, de a korai becslések kis minták miatt ingadozóak lehetnek, ahogy itt látjuk. Tehát, van mindezek a nagyon jó tulajdonságok, amelyek ehhez kapcsolódnak, ehhez a maximális valószínűség becslés ötletéhez. De ismét, hogy ez ténylegesen megfelelő-e, vita tárgya. Talán vannak más dolgok, amiket tehetünk, hogy kevésbé vagy jobban alkalmassá tegyük. Különösen, ha figyelembe vesszük, hogyan változnak ezek az eloszlások idővel. De első megközelítésként ez az egyik módja a valószínűségek becslésének.
Tehát hogyan csináljuk ezt valójában? Nos, le kell vezetnünk a maximális valószínűség becslőjét egy Markov-lánchoz. Ennek eléréséhez maximalizálnunk kell a log-valószínűség függvényt. És nem fogom végigvezetni az összes matekot. Valójában van egy videóm, ismét egy nagyon régi videóm erről a témáról. Tehát, ha szeretnéd megnézni, meghagyom neked. Mindazonáltal, miután levezettük az átmeneti valószínűség maximális valószínűség becslését, láthatjuk, hogy rendkívül intuitív. Mindössze annyi, hogy az átmenetek egyszerű aránya az állapotból egy másik állapotba az eredeti állapotból. Lényegében így jutnánk el intuitívan ehhez az arányhoz. Mindenesetre, ez olyan, mintha nyers valószínűségi becslést akarnál csinálni, mit tennél? A kedvező kimenetelek teljes számát elosztod a kimenetelek teljes számával. Lényegében pontosan ugyanaz. És klassz látni, hogy egy ennyire számításigényes folyamat ilyen intuitív eredményt produkál, és ezt felhasználhatjuk az átmeneti mátrixunk valószínűségeinek kidolgozására az adatokból.
Tehát, amit itt van, az egy szintetikus hitelátmeneti adatkészlet. Valami, amit a gyakorlatban megfigyelhetnél, egy csomó különböző hitel, és alkalmazhatjuk az MLE becslőt a valószínűségek levezetésére, és ez pontosan az, amit itt teszek. Valójában ezt az adatot használom ezeknek az átmeneti valószínűségeknek az előállítására. És amit itt látsz, az az átmeneti mátrixom, amelyet az adatokból becsültek, és az igazi átmeneti mátrixom. Láthatod, hogy nagyon-nagyon szorosan követi, és ahogy több adatot figyelek meg ebben a konkrét esetben, ez konvergálni fog az eredeti átmeneti mátrixhoz a valószínűségnek vagy az MLE és a Markov-láncok kapcsolódó tulajdonságainak és feltételezéseinek köszönhetően.
Tehát mik azok a feltételezések, amelyek lehetővé teszik számunkra ezeknek a valószínűségi becsléseknek az előállítását? Nos, a Markov-tulajdonság, a jövőbeli állapot csak az aktuális állapottól függ, nem a múltbeli állapotoktól. Időbeli homogenitás, az átmeneti valószínűségek állandóak az idő múlásával. Ergodicizmus, van egy egyedi stacionárius eloszlás, elegendő adat. Elegendő átmenetet figyeltek meg az összes valószínűség becsléséhez, és függetlenség. Minden hitel ebben az esetben, az átmenetek függetlenek más hitelekért. És tudod, kettő és öt ebben az esetben lesz a legnagyobb aggodalom. Ez bekerül a klaszterezés ötletébe, igaz? Ha van egy csomó csőd, tudod, talán mindenki egyszerre veszti el a munkáját, akkor a függetlenségi feltétel valószínűleg megsértődik. Nos, ez nem a függetlenség az állapotok értelmében. Ez a függetlenség a portfóliónkban lévő hitelek sorozatának kontextusában.
Továbbá, ez az időbeli homogenitás ötlete, hogy ezek az átmeneti valószínűségek állandóak-e az idő múlásával, igen, ez vita tárgya lesz. Ismét, ez visszamegy az animációhoz, amit a videó elején néztünk, igaz? Ezek bizonyosan idővel változni fognak. Tehát, ami az MLE és a Markov-lánc feltételezéseit illeti, amelyek megsértődnek, ezek a valószínűségek, amelyeket generálunk ehhez az átmeneti mátrixhoz. Kettő és öt bizonyosan nagy aggodalomra ad okot. Természetesen ez a Markov-tulajdonság ötlete is aggodalomra ad okot, mert lehet ez a hosszabb távú függőség. Talán több állapottal kell bővítenünk és így tovább. De mindenesetre, ha ezeket a feltételezéseket tesszük, akkor megkapjuk mindazokat a jó tulajdonságokat, amiket korábban említettem: konzisztencia, aszimptotikus hatékonyság, aszimptotikus normalitás. Ez egy hatalmas dolog. Az eloszlás megközelíti a normalitást, ahogy a mintaméret növekszik. Invariancia, maximális entrópiát, néhány fenomenális tulajdonságot kapunk, amelyek természetesen igazak lehetnek vagy nem, attól függően, hogy mennyire és milyen súlyosan sérülnek a feltételezések.
Túl hosszú, nem olvastam. Itt van az összefoglaló. Amikor valamit véletlen változóként modellezünk, a függetlenség túl erős feltételezés, amely rendkívül pontatlan modellekhez vezethet. Láttuk, hogyan vezetett a nulladik hónapról az első hónapra való ugrás ahhoz, hogy 90+ napos késésben lévő hiteleket modellezzünk az összes aktuális hitelből. 30 nap alatt egy hitel 90+ napos késésbe került. Ez nem lehetséges. Tehát a függetlenség ebben a kontextusban semmi értelmet nem adott. Jelentős korrekciót lehet alkalmazni a helyi feltételes függőség egyszerűsítő feltételezésének figyelembe vételével a teljes függetlenség helyett. Ez a Markov-lánc ötlete. Hatékonyan modellezhetjük ezeket a dinamikákat, ezeket az állapotokat és az állapotok közötti és azokból való átmeneteket, ami lehetséges ebben a helyi függőségi szerkezetben. Ezt egy átmeneti mátrix szabályozza, amelyhez kapcsolódó valószínűségek tartoznak, amelyek könnyen becsülhetők az adatokból a fentebb látott MLE eredményének felhasználásával.
Most, bár a Markov-láncok segítik a modellezési folyamatot, pontosabb vagy ésszerűbb – gondolom, ez egy pontosabb megfogalmazás – becslést kínálva, sok feltételezés továbbra is megsértődik a gyakorlatban. Tehát ez messze nem egy csodaszer. Jellemzően ezek a Markov-láncok a modellezési folyamat első lépései. Ha figyelembe vennénk valamilyen rezsimváltó rejtett Markov-modellt, például, ezek megértése az első lépés a teljesebb alkalmazások felé.
Néhány jövőbeli téma, amit szeretnék megvitatni: technikai videók és egyéb megbeszélések, fejlett Markov-láncok. Rengeteg mindent lehet megbeszélni a Markov-láncokról. Szeretném iPadre bontani, megválaszolni egy csomó nagyon érdekes kérdést. Talán néhány Citadel Jane Street interjúkérdés, foglalkozni ezekkel az ötletekkel: kommunikációs osztályok, ergodicizmus, stacionárius eloszlások, induló állapotvektorok, elnyelő állapotok, és így tovább. Ha szeretnél egy videót látni ezekről a témákról, kérlek, jelezd nekem az alábbi kommentekben. Bizonyosan szívesen csinálnék egyet a fejlett Markov-láncokról. Természetesen más kiterjesztések is, mint a rejtett Markov-modellek és más megvalósítások.
Szeretnék visszatérni több kvant építményhez is. Még mindig szeretném megépíteni azt a bevételi esemény opciós kereskedési irányítópultot. Szeretnék egy élő Kalman-szűrő modellt is készíteni rezsimdinamikával. Szerintem ez nagyon klassz lenne, valamint ez az automatizált delta-semleges kereskedési rendszer, amely algoritmusosan kihasználja a vol spekulációt. Még Markov-láncokat és más idősor-modelleket is használhatnánk ezeknek a spekulatív pozícióknak a támogatására. Ezt a videót is már egy ideje fejlesztem. Tehát, tudasd velem a kommentekben, ha ez valami, amit látni szeretnél.
És ez lesz minden erre a videóra a Markov-láncokról a Kvant Pénzügyekben. Remélem, élvezted. Remélem, tanultál valamit. Ennek a videónak az elkészítése bizonyosan sok erőfeszítést igényelt. Tehát, kérlek, lájkold, kommenteld, iratkozz fel, oszd meg, nézd meg a csatornatagságot. Ez rengeteget segít nekem, hogy továbbra is ilyen videókat készíthessek. Nézd meg a quankill.com oldalt, hogy elsajátítsd a kvantitatív készségeidet. Ezen kívül nagyon köszönöm, hogy megnézted, és a következő videóban találkozunk.