Information Retrieval: Preprocessing dengan PHP+MySQL

Tulisan sebelumnya memperlihatkan langkah-langkah preprocessing menggunakan PHP dimana daftar stop word dan term stem disimpan di dalam array. Kali ini, sebagaimana tutorial kuliah IR kemarin malam, saya sertakan kode program, masih dengan PHP dimana teks yang akan diproses dan daftar term stem tersebut dimasukkan ke dalam database MySQL bernama dbstbi yang di dalamnya terdapat 3 tabel, yaitu tbberita, tbstem dan tbindex. Sementara, tbindex tidak digunakan, kali ini.

<?php
//bangun koneksi ke database server MySQL
$con = mysql_connect("localhost","root","abc123");

//pilih database dbstbi
mysql_select_db("dbstbi", $con);	

//query semua record dalam tabel tbberita
$result = mysql_query("SELECT * FROM tbberita");

//proses setiap record, satu demi satu
while($row = mysql_fetch_array($result)) {
	$berita = $row['Berita'];
	
	//tampilkan berita	
	print("<hr />Berita asli: <br />" . $berita);
	
	//ubah ke huruf kecil	
	$berita = strtolower($berita);
	
	//hilangkan beberapa tanda baca
	$berita = str_replace("'", " ", $berita);

	$berita = str_replace(";", " ", $berita);			
	$berita = str_replace(",", " ", $berita);			
	
	//daftar stop list		
	$astoplist = array ("yang", "juga", "dari", "dia", "kami", "kamu", "ini", "itu", 
							   "atau", "dan", "tersebut", "pada", "dengan", "adalah", "yaitu");	

	//hapus term yang sama dengan stop word
	foreach ($astoplist as $i => $value) {
   	$berita = str_replace($astoplist[$i], "", $berita);
	} //end foreach
	
	$berita = trim($berita);	
	print("<br />Setelah stop word removal:<br />" .  $berita);
	
	//query daftar stem dalam tabel tbstem	
	$restem = mysql_query("SELECT * FROM tbstem ORDER BY Id");
	
	//ganti setiap term ke bentuk stemnya
	while($rowstem = mysql_fetch_array($restem)) {  			
  		$berita = str_replace($rowstem['Term'], $rowstem['Stem'], $berita);
  	}			 	
  	
  	print("<br />Setelah stemming:<br />" .  $berita);
} //end while 	
print("<hr />");
?>

Selamat belajar, semoga sukses 🙂