SVM_Sunum.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Tarih: 09.11.19\n",
    "# Destekçi Vektör Makineleri (DVM)\n",
    "## Support Vector Machine (SVM)\n",
    "#### Anlatıcılar:\n",
    "   * Ebru TOKA\n",
    "   * Zeyneddin ÖZ\n",
    "   \n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Ajanda\n",
    "\n",
    "#### 1. Tanım \n",
    "#### 2. Avantajları\n",
    "#### 3. Hipotez Fonksiyonu\n",
    "#### 4. Lojistik Regresyondan DVM'ye geçiş\n",
    "#### 5. Karar Sınırları\n",
    "#### 6. Basitleştirilmiş Ardışık Minimal Optimizasyon\n",
    "#### 7. Ağırlık $\\theta$ Hesaplaması\n",
    "#### 8. Sınıf Tahmini\n",
    "#### 9. Dezavantajları\n",
    "#### 10. Kapanış\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 1. Tanım:\n",
    "\n",
    "   * Gözetimli öğrenme algoritmalarından biridir.\n",
    "   * İki sınıfa ait verileri birbirinden en uygun şekilde ayırmayı hedefler.\n",
    "   * DVM bize bir olasılık vermez, direk olarak sınıflandırılmış sonuçları verir.\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 2. Avantajları:\n",
    "\n",
    "   * Net bir ayrılma marjı ile geçekten iyi çalışır. \n",
    "   * Boyut sayısının, örnek sayısından fazla olduğu durumlarda etkilidir.\n",
    "      * n: nitelik sayısı, m: örnek sayısı \n",
    "         * n > m\n",
    "   * Karar foksiyonunda eğitim verilerinin küçük bir altkümesi kullanıldığı için, bellekte daha az yer işgal eder.\n",
    "   \n",
    "   * Yapılandırılmamış ve yarı-yapılandırılmış verilerde de , örneğin text, görsel, iyi çalışır.\n",
    "\n",
    "   * Kernel trick önemli çünkü karmaşık problemleri çözerken bize çok büyük kolaylık sağlıyor\n",
    "\n",
    "   * DVM algoritması genelleştirme yapmamıza imkan sağlar. Aşırı uyma (overfitting) riski DVM de azdır.\n",
    "\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 3. Hipotez:\n",
    "\n",
    "* h : hipotez fonksiyonu\n",
    "* $\\theta:\\$ katsayılar\n",
    "* x : girdi \n",
    "* T : transpoz işlemi\n",
    "* b : kesim noktası (intercept)\n",
    "\n",
    "# $$ h_\\theta(x) = \\theta^Tx + b $$\n",
    "\n",
    "* $\\alpha\\$ : Lagrange çarpanı\n",
    "* y : çıktı\n",
    "* m : toplam veri örneği sayısı\n",
    "\n",
    "#### Basitleştirilmiş Ardışık Minimal Optimizasyon (Simplified Sequential Minimal Optimization)\n",
    "\n",
    "# $$ h(x) = \\sum_{i=1}^m \\alpha_ i y^i <x^i, x> + b $$\n",
    "\n",
    "![title](code1.jpeg)\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Peki ama nasıl??\n",
    "\n",
    "* İkili sınıflandırmada tahmin etmeye çalıştığımız değişken *y*'dir.\n",
    "### $ y \\in \\{-1, 1\\} $\n",
    "### $ -1: \\mbox{Negatif Sınıf}$\n",
    "### $ 1: \\mbox{Pozitif Sınıf}$\n",
    "\n",
    "# $$ h_\\theta(x) = \\begin{cases} \n",
    "      1 & \\theta^Tx + b\\geq 0 \\\\\n",
    "      -1 & \\theta^Tx + b\\ < 0\n",
    "   \\end{cases} $$\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 4. Lojistik Regresyondan DVM'ye geçiş\n",
    "### Lojistik Regresyon Bedel Fonksiyonu: \n",
    "![title](formula7.jpeg)\n",
    "\n",
    "### Destekçi Vektör Makineleri Bedel Fonksiyonu:\n",
    "![title](formula8.jpeg)\n",
    "\n",
    "![title](code13.jpeg)\n",
    "\n",
    "![title](formula11.jpeg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "***\n",
    "# 5. Karar Sınırları\n",
    "* Destekçi Vektör Makineleri, veri setinin doğrusal olarak ayrılabilmesi ve ayrılamamasına göre ikiye ayrılır.  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 5.1 Doğrusal Karar Sınırları:\n",
    "\n",
    "   * Karar doğrusunun yeni katılacak olan veriye karşı dayanıklı olabilmesi için, sınır çizgisinin iki sınıfın sınır çizgisine en yakın uzaklıkta olması gerekmektedir.\n",
    "   \n",
    "![title](Figure1.jpeg)\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 5.2 Doğrusal Olmayan Karar Sınırları:\n",
    "\n",
    "   * Kernel yöntemi doğrusal olmayan verilerde makine öğrenimini yüksek oranda artırmaktadır.\n",
    "   \n",
    "![title](Figure2.jpeg)\n",
    "\n",
    "![title](formula9.jpeg)\n",
    "\n",
    "![title](code11.jpeg)\n",
    "\n",
    "![title](formula10.jpeg)\n",
    "\n",
    "![title](code12.jpeg)\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 6. Basitleştirilmiş Ardışık Minimal Optimizasyon (B-AMO):\n",
    "## Simplified Sequential Minimal Optimization (S-SMO)\n",
    "\n",
    "* B-AMO algoritması αi ve αj  olmak üzere iki parametre alır ve onları optimize eder.\n",
    "* Bunu yapmak için bütün αi'leri i = 1,...,m'e kadar işlem tekrarlar. (Iterate)\n",
    "* Tüm α'lar birkaç tekrarlanmadan sonra hiçbiri değiştirilmezse, algoritma sona erer.\n",
    "\n",
    "# $$ h(x) = \\sum_{i=1}^m \\alpha_ i y^i <x^i, x> + b $$\n",
    "\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 6.1 j'nin seçimi:\n",
    "\n",
    "![title](code2.jpeg)\n",
    "\n",
    "![title](code10.jpeg)\n",
    "\n",
    "# $$ E_j = h(x_j) - y_j $$\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 6.2 Alt ve Üst Sınırların Hesaplanması:\n",
    "\n",
    "![title](Figure3.jpeg)\n",
    "\n",
    "* C : düzenlileştirme (regülasyon) parametresi\n",
    "* H : üst sınır\n",
    "* L : alt sınır\n",
    "\n",
    "![title](formula1.jpeg)\n",
    "\n",
    "![title](code3.jpeg)\n",
    "\n",
    "* Eğer H == L olursa, hiçbir güncelleme yapılmadan iterasyon sonlandırılıp sıradaki veri örneğine geçilir.\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 6.3 Eta'nın hesaplanması:\n",
    "* eta: İşlemdeki i ile j'nin arasındaki uzaklıkları\n",
    "\n",
    "## $$ eta = -(a-b)^2 $$\n",
    "\n",
    "![title](formula3.jpeg)\n",
    "\n",
    "![title](formula4.jpeg)\n",
    "\n",
    "* Eğer eta >= 0 olursa, hiçbir güncelleme yapılmadan iterasyon sonlandırılıp sıradaki veri örneğine geçilir.\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 6.4 Alfa j'nin Güncellenmesi:\n",
    "\n",
    "![title](formula2.jpeg)\n",
    "\n",
    "![title](code4.jpeg)\n",
    "\n",
    "# $ \\alpha_j := \\begin{cases} \n",
    "       H & \\alpha_j > H \\\\\n",
    "       \\alpha_j & H\\geq \\alpha_j\\geq L \\\\\n",
    "       L & \\alpha_j < L\n",
    "   \\end{cases}$\n",
    "   \n",
    "![title](code5.jpeg)\n",
    "\n",
    "* Parametreler AlfaJDuzenleme fonksiyonuna gönderilir.\n",
    "* Ardından duruma göre $\\alpha_j\\$ güncellenir.\n",
    "* Eğer yeni ve eskisi arasındaki farkın mutlak değeri, belirlediğimiz bir eşik değerinin altındaysa (mesela 0.00001 gibi), sürece devam edilmeden iterasyon sonlandırılıp sıradaki veri örneğine geçilir. \n",
    "\n",
    "* Yani $\\alpha_i\\$ ve b güncellenmez.\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 6.5 Alfa i'nin Güncellenmesi:\n",
    "\n",
    "![title](formula5.jpeg)\n",
    "\n",
    "![title](code6.jpeg)\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 6.6 Kesim Noktası Hesaplama:\n",
    "* b : kesim noktası (intercept), yani doğrunun orjinden ne kadar uzakta olması gerektiğini gösterir parametre- \n",
    "\n",
    "![title](formula6.jpeg)\n",
    "\n",
    "![title](code7.jpeg)\n",
    "\n",
    "# $$ b := \\begin{cases} \n",
    "       b_1 & 0 < \\alpha_i < C \\\\\n",
    "       b_2 & 0 < \\alpha_j < C \\\\\n",
    "       (b_1 + b_2) / 2 & diğer\n",
    "   \\end{cases}$$\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 7. Ağırlık $\\theta$ Hesaplama:\n",
    "\n",
    "# $$ w = \\sum_{i=1}^m y_i \\alpha_i x_i $$\n",
    "\n",
    "![title](code8.jpeg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "***\n",
    "# 8. Sınıf Tahmini:\n",
    "\n",
    "![title](code9.jpeg)\n",
    "***"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 9. Dezavantajları\n",
    "\n",
    "* İyi bir kernel seçmek kolay bir iş değil.\n",
    "\n",
    "* DVM hiper parametleri olan cost ve C ‘yi ince ayar vermek ve bunların etkilerini görselleştirmek kolay değil.\n",
    "\n",
    "* En son elde edilen modeli, değişken ağırlıklarını ve kişisel etkiyi anlamak ve yorumlamak zordur. (Yorumlanabilirlik - Interpretability) \n",
    "\n",
    "* Gürültülü verilerde hedef sınıfında veriler üst üste geldiği için iyi performans göstermez.\n",
    "\n",
    "* Büyük verisetlerinde eğitim süresi çok uzun sürer."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "***\n",
    "# 10. Kapanış \n",
    "\n",
    "# Teşekkürler!\n",
    "\n",
    "# İletişim:\n",
    "## ebru.toka@rc.bau.edu.tr\n",
    "## zeyneddinoz@gmail.com"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}