PARTIAL LEAST SQUARE REGRESSION


Partial least square (PLS) adalah suatu tekhnik statistik multivariat yang bisa menangani banyak variabel respon dan variabel eksplanatori sekaligus. PLS merupakan alternatif yang baik untuk metode analisis regresi berganda dan regresi komponen utama karena metode PLS bersifat lebih robust, artinya parameter model tidak banyak berubah ketika sampel baru diambil dari total populasi (Geladi dan Kowalski, 1986).

PLS pertama kali dikembangkan pada tahun 1960-an oleh Herman O. A. Wold dalam bidang ekonometrik. PLS merupakan suatu tekhnik prediktif yang bisa menangani banyak variabel independen, bahkan sekalipun terjadi multikolinieritas diantara variabel-variabel tersebut (Ramzan dan Khan, 2010).

Analisis regresi berganda sebenarnya bisa digunakan ketika terdapat variabel prediktor yang banyak. Namun, jika jumlah variabel tersebut terlalu besar (misal lebih banyak dari jumlah observasi) akan diperoleh model yang fit dengan data sampel, tapi akan gagal memprediksi untuk data baru. Fenomena ini disebut overfitting. Dalam kasus seperti itu, meskipun terdapat banyak faktor manifes, mungkin saja hanya terdapat sedikit faktor laten yang paling bisa menjelaskan variasi dalam respon. Ide umum dari PLS adalah untuk mengekstrak faktor-faktor laten tersebut, yang menjelaskan sebanyak mungkin variasi faktor manifes saat memodelkan variabel respon.

Algoritma PLS

Misal X adalah matriks berukuran n x p dan Y adalah matriks berukuran n x q, maka prosedur PLS akan mengekstraksi faktor dari X dan Y berturut-turut sedemikian hingga diantara faktor-faktor yang terekstrak memiliki kovarian yang maksimal. Metode PLS juga bisa bekerja dengan variabel respon berganda.

Dengan tekhnik PLS akan dicoba untuk mencari suatu dekomposisi linier dari X dan Y sehingga:

X = TP T + E

Y = UQ T+ F

dimana:

Tn x g
= X-scores

Un x g = Y-scores

Pp x g = X-loadings

Q1 x g = Y-loadings

En x p = X-residual

F n x 1 = Y-residual

Kolom dari T merupakan vektor laten, dan U = TB, yaitu regresi dari vektor laten t sehingga:

Y = TBQ T + F

Vektor laten dapat dipilih dalam berbagai cara. Dalam persamaan di atas, setiap set vektor ortogonal pembentuk ruang kolom dari X bisa digunakan. Untuk menentukan T, diperlukan kondisi tambahan. Untuk regresi PLS, yaitu mencari dua set bobot yang dinotasikan dengan w dan c dalam rangka menciptakan suatu kombinasi linier pada kolom-kolom X dan Y sehingga kombinasi linier ini memiliki kovarian yang maksimum. Secara khusus, tujuannya adalah memperoleh pasangan vektor

t = Xw dan u = Yc

dengan konstrain wTw = 1, tTt = 1 dan tTu adalah maksimal. Ketika vektor laten pertama telah dihitung, maka vektor tersebut disubstraksi dari X maupun Y dan prosedur diulang sampai dengan X menjadi matriks nol.

Algoritma standar untuk menghitung komponen (faktor) PLS adalah nonlinear iterative partial least square atau disingkat NIPALS yang pertama kali dikembangkan oleh Herman Wold (1966a). Algoritma NIPALS merupakan inti paling penting dalam PLS dan mempelajarinya merupakan kunci untuk memahami metode PLS.

Ide dasar dalam algoritma ini adalah mengestimasi parameter t dan u dengan suatu proses iteratif dari regresi least square. Berikut ini adalah langkah-langkah dalam algoritma NIPALS:

5 Responses

  1. Mohon bantuannya pak. dimana dapatkan daftar tabel nilai t-statistik untuk PLS. terima kasih atas bantuannya pak

  2. mengapa dalam NIPALS, X dan Y nya
    harus centre dan scale?

  3. algorithm NIPALS stop when matrix E is null matrix,,,what tolerance null matrx?
    thanx

    • you’re welcome, not exactly null matrix, tapi mendekati, biasanya dengan besaran 10^-5. Sebagai alternatif, untuk algoritma yang lebih efisien, I suggest you to use PLS generalised linear regression algorithm.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: