Go-Sastrawi

Go-Sastrawi is a Go package for doing stemming in Indonesian language. It is based from Sastrawi for PHP by Andy Librian. For more information in English, see readme.

Go-Sastrawi adalah package Go untuk melakukan stemming pada bahasa Indonesia. Dikembangkan dari Sastrawi untuk PHP yang dibuat oleh Andy Librian.

Stemming

Dari Wikipedia, stemming adalah proses untuk mengubah kata berimbuhan menjadi kata dasar. Contohnya :

• menahan => tahan
• pewarna => warna

Contoh Penggunaan

Package ini memiliki dua komponen utama. Yang pertama adalah Tokenizer untuk memecah kalimat menjadi kata-kata sekaligus menghapus simbol-simbol dan URL dalam kalimat tersebut. Yang kedua adalah Stemmer untuk mengubah kata berimbuhan menjadi kata dasar.

import (
	"fmt"
	"github.com/RadhiFadlillah/go-sastrawi"
)

func main() {
	// Kalimat asal
	sentence := "Rakyat memenuhi halaman gedung untuk menyuarakan isi hatinya. Baca berita selengkapnya di http://www.kompas.com."

	// Pecah kalimat menjadi kata-kata menggunakan tokenizer
	tokenizer := sastrawi.NewTokenizer()
	words := tokenizer.Tokenize(sentence)

	// Ubah kata berimbuhan menjadi kata dasar
	stemmer := sastrawi.NewStemmer(sastrawi.DefaultDictionary)
	for _, word := range words {
		fmt.Printf("%s => %s\n", word, stemmer.Stem(word))
	}
}

Selain menggunakan kamus kata dasar default, user juga dapat membuat kamus kata dasar sendiri.

import (
	"fmt"
	"github.com/RadhiFadlillah/go-sastrawi"
)

func main() {
	// Buat kamus baru
	dictionary := sastrawi.NewDictionary("lapar")
	dictionary.Print("")

	// Tambah kata dasar ke kamus
	dictionary.Add("ingin", "makan", "gizi", "enak", "lezat")
	dictionary.Print("")

	// Hapus kata dasar dari kamus
	dictionary.Remove("enak", "lezat")
	dictionary.Print("")

	// Gunakan kamus yang telah dibuat untuk stemming
	sentence := "Aku kelaparan dan menginginkan makanan yang bergizi."
	words := sastrawi.NewTokenizer().Tokenize(sentence)

	stemmer := sastrawi.NewStemmer(dictionary)
	for _, word := range words {
		fmt.Printf("%s => %s\n", word, stemmer.Stem(word))
	}
}

Pustaka

Algoritma

1. Algoritma Nazief dan Adriani
2. Asian J. 2007. Effective Techniques for Indonesian Text Retrieval. PhD thesis School of Computer Science and Information Technology RMIT University Australia. (PDF dan Amazon)
3. Arifin, A.Z., I.P.A.K. Mahendra dan H.T. Ciptaningtyas. 2009. Enhanced Confix Stripping Stemmer and Ants Algorithm for Classifying News Document in Indonesian Language, Proceeding of International Conference on Information & Communication Technology and Systems (ICTS). (PDF)
4. A. D. Tahitoe, D. Purwitasari. 2010. Implementasi Modifikasi Enhanced Confix Stripping Stemmer Untuk Bahasa Indonesia dengan Metode Corpus Based Stemming, Institut Teknologi Sepuluh Nopember (ITS) – Surabaya, 60111, Indonesia. (PDF)
5. Tambahan aturan stemming dari kontributor Sastrawi.

Kamus Kata Dasar

Proses stemming oleh Sastrawi sangat bergantung pada kamus kata dasar. Sastrawi menggunakan kamus kata dasar dari kateglo.com dengan sedikit perubahan.

Lisensi

Sebagaimana Sastrawi untuk PHP, Go-Sastrawi juga disebarkan dengan lisensi MIT. Untuk lisensi kamus kata dasar dari Kateglo adalah CC-BY-NC-SA 3.0.

Di Bahasa Pemrograman Lain

• Sastrawi - PHP
• JSastrawi - Java
• cSastrawi - C
• PySastrawi - Python