Rima Melati | 17106050041
Algoritma TF-IDF (Term Frequency – Inverse Document Frequency) adalah salah satu algoritma yang dapat digunakan untuk menganalisa hubungan antara sebuah frase/kalimat dengan sekumpulan dokumen. Inti utama dari algoritma ini adalah melakukan perhitungan nilai TF dan nilai IDF dari sebuah setiap kata kunci terhadap masing-masing dokumen. Nilai TF dihitung dengan rumus TF = jumlah frekuensi kata terpilih / jumlah kata dan nilai IDF dihitung dengan rumus IDF = log(jumlah dokumen / jumlah frekuensi kata terpilih). Selanjutnya adalah melakukan perkalian antara nilai TF dan IDF untuk mendapatkan jawaban akhir.
Term Frequency — Inverse Document Frequency atau TF — IDF merupakan suatu metode algoritma yang berguna untuk menghitung bobot setiap kata yang umum digunakan. Metode ini juga terkenal efisien, mudah dan memiliki hasil yang akurat. Metode ini akan menghitung nilai Term Frequency (TF) dan Inverse Document Frequency (IDF) pada setiap token (kata) di setiap dokumen dalam korpus. Secara sederhana, metode TF-IDF digunakan untuk mengetahui berapa sering suatu kata muncul di dalam dokumen.
Untuk menentukan berapa seringnya kata tsb muncul dalam sebuah dokumen. Jadi, semakin banyak frekuensi kemunculan dari kata tsb, semakin besar pula nanti nilainya.
Pada Term Frequency (TF), terdapat beberapa jenis formula yang dapat digunakan :
- TF biner (binary TF), hanya memperhatikan apakah suatu kata atau term ada atau tidak dalam dokumen, jika ada diberi nilai satu (1), jika tidak diberi nilai nol (0).
- TF murni (raw TF), nilai TF diberikan berdasarkan jumlah kemunculan suatu term di dokumen. Contohnya, jika muncul lima (5) kali maka kata tersebut akan bernilai lima (5).
- TF normalisasi, menggunakan perbandingan antara frekuensi sebuah term dengan nilai maksimum dari keseluruhan atau kumpulan frekuensi term yang ada pada suatu dokumen.
- TF logaritmik, hal ini untuk menghindari dominansi dokumen yang mengandung sedikit term dalam query, namun mempunyai frekuensi yang tinggi.
Sebagai contoh, disini kita memiliki 3 data untuk diolah dan diuji :
D1 : semalam saya mengerjakan kerja tugas dari maghrib sampai shubuh, tanpa tidur dan tanpa shalat malam, menjelang → jelang shubuh tugas sudah selesai dan saya sangat mengantuk → kantuk sehingga ketiduran dan baru bangun pukul 8.45, 10 menit sebelum kuliah data mining dimulai.
D2 : Sekarang saya mahasiswa semester 6. tiga tahun sudah saya mengamati, menyukai, mengagumi seorang laki-laki. Semester pertama kami belum terlalu dekat. Semester kedua, saya menunjukkan kelebihan saya, sehingga dia mendekat untuk memanfaatkan kelebihan saya, yaitu mengerjakan tugas. Semester tiga dia menyatakan kagum pada saya, tapi saya pura2 menolak. Semester empat dia mengatakan ingin menikahi saya. Kesempatan ini tidak saya sia-siakan, saya langsung menerimanya. Semester lima, kami menjalani semester paling indah. Dan pada semester enam ini, dia dijodohkan oleh keluarganya dengan saudaranya.
D3 : Saya mahasiswa informatika, yang sejak sebelum masuk jurusan informatika uin sunan kalijaga, bertekad menjadi ilmuwan informatika, yang berkontribusi pada dunia islam. Semester satu, saya menjuarai lomba inovasi ilmuwan muslim tingkat dunia di Dubai. Semester kedua, saya diundang raja arab saudi untuk membuat aplikasi modernisasi masjidil haram dan masjid nabawi.
Penyelesaian :
| Term (t) | D1 | D2 | D3 | DF |
| Mahasiswa | 0 | 1 | 1 | 2 |
| Informatika | 0 | 0 | 3 | 3 |
| Ilmuwan | 0 | 0 | 1 | 1 |
| Semester | 0 | 8 | 2 | 10 |
| Tugas | 2 | 1 | 0 | 3 |
| Mengerjakan | 1 | 1 | 0 | 2 |
| IDF |
| Log (3/2) = 0,176 |
| Log (3/3) = 0 |
| Log (3/1) = 0,477 |
| Log (3/10) = 0,522 |
| Log (3/3) = 0 |
| Log (3/2) = 0.176 |
| TF-IDF | ||
| D1 | D2 | D3 |
| 0 | 0,176 | 0,176 |
| 0 | 0 | 0 |
| 0 | 0 | 0,477 |
| 0 | 0,522 | 0,522 |
| 0 | 0 | 0 |
| 0,176 | 0,176 | 0 |
Sumber : https://piptools.net/algoritma-tf-idf-term-frequency-inverse-document-frequency/
Data Mining 2020 