Dinamik Sistemlerin Derin Gecikmeli Otokodlayıcılar ile Keşfi
Bir süredir dinamik sistemler, stokastik optimizasyon, optimal kontrol ve sistem tanımlama gibi alanlarda kendimi geliştiriyorum. Bu nedenle geçtiğimiz ay yayınlanan yukarıdaki linkten ulaşabileceğiniz makaleden bahsetmek istedim.
Herhangi bir yüksek-boyutlu bir dinamik sistemin kısmi gözlemlerine sahip olduğumuzu düşünelim. Bu gözlemler bir girdap akımının veya bir insan beyninin EEG /fMRI ölçümleri olabilir. Amaç bu ölçümlerden, ölçümlerin arkasında yatan yüksek-boyutlu dinamik sistemi modelleyebilmektir.
Çalışmanın temel fikrini adımlarla özetleyelim:
- Elimizdeki ölçümlerin bir y(t) zaman serisi olduğunu düşünelim.
2. Bu seriden h(t), zaman-gecikmeli embedding serisini elde edelim (nasıl yapıldığı aşağıda açıklanacak).
3. Taken Embedding teoremi nedeniyle, h(t) zaman serisinin her bir noktası, z(t) tam-durum dinamik sisteminin her bir noktasına difeomorfiktir (aşağıda açıklanacak).
4. Ölçümler ve tam-durum dinamik sisteminden altta yatan sistemin dinamiği (z üzeri nokta (t)) öğrenilebilir.
Burada üç farklı bilinmeyen mevcuttur, difeomorfik dönüşümler ve analitik model. Mevcut çalışma, veriden bu fonksiyonların nasıl öğrenileceğini tanımlamaktadır.
Unutulmamalıdır ki, bu problem bir ill-posed problemdir ve bu nedenle kayıp (loss) fonksiyonu iyi bir biçimde tanımlanmalıdır, yoksa çözümler optimal çözümden uzak olacaktır.
Yukarıda bahsettiğimiz adımları şimdi detaylı bir şekilde inceleyelim.
- Ölçüm zaman serisi y(t) den 4 farklı nokta aldığımızı (y(t), y(t+2τ), y(t+3τ) ve y(t+4τ)) düşünelim, ve bu noktaların zamana göre aldıkları değerleri her gecikme bir eksen olmak üzere çizelim.
2. Her bir girdisi gecikme koordinatı olan Hankel matrisi tanımlanır.
3. (Zayıf) Taken Embedding teoremine göre tam durum koordinat sistemi d boyutlu ise gecikme koordinat sistemi 2d+1 boyutlu olmalıdır. Dolayısıyla 2d+1 boyutlu bir uzaydan d boyutlu bir uzaya bir difeomorphisim arıyoruz. Bunu da otokodlayıcılar (autoencoders) ile sağlayacağız.
Autoencoder sayesinde h(t) serisinden z(t) serisi elde edilebilir ve bir sonraki aşamaya geçilir.
4. Tam durum koordinatları bilindikten sonra, sırasıyla:
- Zaman serisinin gözlemlerinden oluşan Z veri matrisi oluşturulur,
- Bu gözlemlerin çeşitli kombinasyonlarından oluşan bir theta sözlüğü tanımlayalım. Bu sözlükte her bir koordinatın herhangi bir kuvveti, iki veya daha fazla koordinatın çarpımı, bu koordinatlara sinus fonksiyonunun uygulanmasıyla elde edilen sonuçlar olabilir. Dahası, türevler ve (eğer gerçek sistem bir kısmi türevli diferansiyel denklem ise) kısmi türevler içerebilir.
- Ξ bilinmeyen katsayılar matrisi olmak üzere, aşağıdaki diferansiyel denklem tanımlanır ve
- Kayıp fonksiyonunu minimize edilecek şekilde bu katsayılar matrisi belirlenir. Ve bu sayede altta yatan dinamik sistem elde edilir.
Sonuç
Bu makalede derin öğrenmenin oldukça ilgi çekici bir uygulamasını basit bir şekilde paylaşmak istedim. Hatam olduysa veya diğer sorularınız için benimle muratkoptur@gmail.com adresinden veya LinkedIn üzerinden iletişime geçebilirsiniz.
Görüşmek üzere.