Evaluasi

Evaluasi

•         Evaluasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas system yang dilakukan di dalam laboratorium, di lapangan, atau di dalam kolaborasi dengan pengguna.

•         Yang dievaluasi pada interaksi manusia dan komputer adalah desain dan implementasinya.

•         Evaluasi empiris adalah proses penilaian dengan cara eksperimen, penelitian, atau observasi

•         Data empiris merupakan data yang diperoleh / ditemukan / disimpulkan dari sebuah eksperimen atau penelitian

•         Perancangan eksperimen tidak lepas dari rancangan percobaan (dengan setipa langkah2 nya yang betul2 telah terdefinisikan) sedemikian rupa sehingga informasi yang berhubungan dengan / atau diperlukan untuk persoalan yang sedang diteliti dapat dikumpulkan.

•         Desain eksperimen = sebagai suatu pengujian atau serangkaian pengujian yang bertujuan untuk melakukan perubahan terhadap variabel-variabel input dari proses atau sistem sehingga dapat meneliti dan mengidentifikasi sebab perubahan dari output.

•   Mengapa?

•         Memastikan kecocokan dengan permintaan pengguna/tujuan pengguna

•         Untuk melihat apakah hasil rancangan dengan proses uji coba system yg telah dibuat sesuai dengan user

Tujuan Utama Evaluasi

•         Melihat seberapa jauh sistem berfungsi

            Desain system memungkinkan user  melakukan tugas dgn lebih mudah

•         Melihat efek interface bagi pengguna

            Kemudahan utk mempelajari sistem, usability dan perilaku user.

•         Mengidentifikasi problem khusus yg terjadi pada sistem

•      Di mana evaluasinya?

•         Di laboratorium

•         Di tempat alami pengguna produk

•         Kapan evaluasi?

•         Produk sedang dalam pengerjaan

•         Produk baru

•         Perbaikan produk

Evaluasi Empiris

Evaluasi empiris adalah proses penilaian dengan cara eksperimen, penelitian dan observasi.

Perancangan Eksperimen

Ø Hipotesa

•   Merupakan prediksi yang dihasilkan dalam eksperimen.

•   Masih menggunakan variable independent dan dependent, dimana variasi di dalam independent variable akan menyebabkan perbedaan pada dependent variable.

Ø Variabel

•   Independent variabel

karakter suatu eksperimen yang memanipulasi untuk menghasilkan kondisi yang berbeda sebagai perbandingan.

contoh : jenis interface, level dari help, jumlah item menu dan perancangan icon.

•   Dependent variabel

variabel yang dapat diukur dalam eksperimen.

Contoh pada variabel independent  adalah kecepatan dari pemilihan menu.

Ø Rancangan

1. Between-Groups (Randomized)

•   Masing-masing subyek diberikan kondisi yang berbeda yakni kondisi eksperimen dan control.

•   Setiap user menghasilkan satu kondisi

•   pengaruh dari subyek banyak

2. Within-Groups

•    Setiap user akan menampilkan kondisi yang berbeda

•    Jumlah user yang tersedia lebih sedikit

•    Pengaruh dari subyek lebih sedikit

Paradigma evaluasi

•         “Quick and dirty” evaluation

•         Usability testing

•         Field studies

•         Predictive evaluation

“Quick and dirty” evaluation

            Adalah umpan balik berupa keinginan dan yang disukai dari user atau konsultan yang disampaikan secara informal kepada desainer tentang produk yang dibuatnya

Usability testing

            Melibatkan pengukuran kinerja user dalam mempersiapkan tugasnya secara hati-hati, dari proses inilah maka dibuatkan desain sistemnya

Field studies

            Berbeda dengan usability testing, evaluasi ini dilakukan di lingkungan asli dimana user bekerja, hal ini bertujuan untuk meningkatkan pemahaman tentang kerja user secara alami dan bagaimana teknologi tersebut berdampak padanya

Predictive evaluation

            Didasarkan pada pengalaman seorang ahli dalam menghadapi user, dan biasanya hal ini dijadikan patokan untuk memprediksi masalah-masalah penggunaan sebuah produk

Partisipasi, IRB dan Etika

Ø Partisipasi

                        Merupakan keikutsertaan, peranserta atau keterlibatan yang berkaitan dengan keadaaan.
Bentuk partisipasi antara lain :

     - Partisipasi harta benda

     -  Partisipasi tenaga

     - Partisipasi keterampilan

Ø IRB (Institutional Review Board)

      Merupakan sebuah kelembagaan dewan peninjau ( IRB ), juga dikenal sebagai komite etika independen atau dewan peninjau etik , adalah panitia yang telah ditunjuk secara resmi untuk menyetujui, memantau, dan meninjau biomedis dan perilaku penelitian yang melibatkan manusia.

Ø Etika

     Etika evaluasi terdiri dari 4 hal, yaitu:

     a. Kerahasiaan hasil evaluasi

     b. Keamanan evaluasi

     c. Intepretasi hasil evaluasi

     d. Penggunaan evaluasi

Teknik Pengumpulan Data

1)  Teknik Observasi

a) Think aloud

         Cara yang popular dalam mengumpulkan informasi dengan melihat interaksi user.
b) Analisa Protokol

c) Automatic protocol analysis tools

          EVA (Experimental Video Annotator) yaitu sistem prototipe yang berjalan pada multi-media workstation yang dihubungkan langsung ke video recorder.

d) Post-task walkthroughs

Terdapat beberapa keadaan yang menyebabkan subyek tidak dapat berbicara selama observasi sebenarnya seperti subyek sedang mengerjakan tugas yang sangat penting dan banyak. Pada keadaan ini post-task walkthroughs dapat melihat secara subyektif perilaku user.

2)  Teknik Query

a) Interview

Meng-interview user tentang pengalaman mereka dengan sistem interaktif yang menyediakan informasi secara langsung dan terstruktur.

b) Questionnaire

Metode alternatif yang agak kurang fleksibel dibandingkan dengan interview tetapi dapat meraih subyek yang banyak dan membutuhkan waktu yang tidak lama. Terdapat beberapa jenis questionnaire yaitu General, Open-ended, Scalar, Multi-choice, Ranked.

Metode Pengumpulan Data

1. Kuesioner

Kuesioner adalah daftar pertanyaan tertulis yang ditujukan kepada responden. Jawaban responden atas semua pertanyaan dalam kuesioner kemudian dicatat/direkam

2. Observasi

Pengamatan melibatkan semua indera (penglihatan, pendengaran, penciuman, pembau, perasa).

3. Wawancara

Pengambilan data melalui wawancara /secara lisan langsung dengan sumberdatanya, baik melalui tatap muka atau lewat telephone, teleconference.

4. Dokumen

Pengambilan data melalui dokumen tertulis mamupun elektronik dari lembaga/institusi.

Analisa Data dan Interpretasi Hasil

Analisis data adalah proses Penyederhanaan data ke dalam bentuk Yang lebih mudah dibaca dan Diinterpretasikan.

Analisis dan interpretasi data diperlukan untuk merangkumkan apa yang telah diperoleh, menilai apakah data tersebut berbasis kenyataan, teliti, dan benar. Analisis dan interpretasi data juga diperlukan untuk memberi jawaban terhadap pertanyaan-pertanyaan yang diajukan.