Menterjemahkan Halaman 253-262 Agus Dwi Santoso (1211021030)

MENTERJEMAHKAN

Halaman 253-262

Agus Dwi Santoso (1211021030)

 Dibuat untuk memenuhi tugas kelompok

Mata Kuliah Assemen dan Evaluasi

JURUSAN TEKNOLOGI PENDIDIKAN

FAKULTAS ILMU PENDIDIKAN-UNDIKSHA

SINGARAJA

2014

Sebagai contoh, sponsor antusias dan peserta program pembayaran merit guru mungkin perlu diingatkan tentang dampak potensial dari sistem pada kerja sama tim. Atau pendukung untuk rumah murah tersebar di seluruh komunitas-nity mungkin gagal untuk mengatasi memadai keprihatinan pemilik rumah yang ada mengenai dampak perumahan tersebut pada nilai properti mereka atau kualitas hidup. Evaluator memiliki tanggung jawab untuk Misc pertanyaan seperti itu.

Komisi dan gugus tugas kadang-kadang dibentuk oleh pemerintah nasional, regional, atau lokal untuk mempelajari isu-isu tertentu yang menarik bagi para pemimpin pemerintah. Laporan Tinjauan Kinerja Nasional yang dipimpin oleh Al Gore (1993), Dari Red Tape ke Hasil: Membuat Governmen tbat Bekerja Lebih Baik dan Lebih Hemat, adalah contoh yang baik. Laporan tersebut menimbulkan pertanyaan provokatif, dan meskipun mereka kadang-kadang membuat kebenarannya, mereka biasanya mencerminkan keprihatinan saat ini sosial, masalah, dan keyakinan. Mereka juga dapat berfungsi untuk menarik a.ttention evaluator informasi terhadap isu-isu yang harus diangkat selama evaluasi tertentu. Pertanyaan tentang isu-isu penting saat ini dapat dihilangkan jika evaluator jatuh ke MISC mereka. dengan hasil bahwa evaluasi dapat be'-. con ¬ sidered informatif tetapi tidak memiliki informasi tentang masalah yang dihadapi-nyata lapangan hari ini. `Jelas. kita tidak mengusulkan yg bertingkah aneh-ikutan "pendekatan untuk menentukan apa pertanyaan akan sakit ditangani oleh studi evaluasi, tetapi akan n: tivc memang tidak bahkan mempertimbangkan relevansi isu-isu pendidikan dan sosial menyerap literatur profesional saat ini dan media lainnya.

Selain menjadi akrab aku,. Isu-isu engan di lapangan, evaluator harus menggunakan penelitian yang ada untuk membantu mengembangkan model penyebab dan pertanyaan untuk memandu evaluasi. Chen C1990) pendukung menggunakan theor .. dan penelitian yang ada untuk mengembangkan model program untuk memandu cvalu `asi. Penelitian yang ada dan teori dapat digunakan untuk mengindentifikasi .. penyebab masalah program ini dirancang untuk mengatasi. untuk menemukan keberhasilan dan kegagalan dalam menanggulangi masalah ini, dan untuk memeriksa kondisi yang dapat meningkatkan atau menghambat keberhasilan program ini dengan populasi tertentu literatur penelitian dapat menjelaskan kemungkinan bahwa program yang akan dievaluasi dapat berhasil. Hal ini dapat berguna bagi evaluator program untuk membandingkan model dalam literatur penelitian dengan model program yang normatif yang ada. Perbedaan antara model ini dapat menyarankan kawasan yang penting untuk pertanyaan evaluasi. Diterbitkan evaluasi dari program-program serupa dapat menyarankan tidak hanya pertanyaan untuk diperiksa tetapi juga metode yang mungkin produktif untuk studi evaluasi evaluator yang telah bekerja di daerah ini secara luas mungkin akrab dengan penelitian yang ada. Namun demikian, pencarian literatur bisa menjadi awal yang berguna untuk proses perencanaan.

Menggunakan Standar Profesi, Daftar-pembanding, Pedoman, dan Kriteria Dikembangkan atau Digunakan Di tempat lain

Dalam berbagai bidang, standar untuk praktek telah dikembangkan standar seperti itu sering dapat berguna baik dalam membantu menghasilkan pertanyaan atau dalam menentukan criteria.As dengan exiscingL / esearch dan evaluasi, standar dapat sinyal daerah yang mungkin telah diabaikan dalam fokus pada program yang ada . Standar dapat membantu

untuk menghasilkan pertanyaan atau kriteria yang berkaitan dengan evaluasi tertentu Mereka adalah sumber daya penting bagi evaluator untuk memiliki alat kit mereka.

Satu hati-hati adalah important.As Tittle (1984) telah menunjukkan secara tidak langsung dalam analisis bijaksana nya pengaruh kontekstual pada standar profesional, standar yang ditetapkan oleh kelompok profesi otonom dalam dan dari diri mereka sendiri cenderung lebih konvergen divergen dari Tittle menyatakan:

Standar profesional mengkodifikasi praktik yang dapat diterima untuk lapangan. Dalam profesionalisasi aksesi yang otonom, standar yang ditetapkan oleh anggota profesi. Standar tersebut adalah produk dari konsensus umum dalam profesi, dan sering merupakan hasil dari banyak negosiasi dan kompromi ¬ tion (hal. 3).

Dengan demikian, kompromi dan konsensus dalam mengembangkan set berdiri profesional. batang `mungkin merampok mereka keanekaragaman; menggunakan mereka sebagai satu-satunya sumber dalam hubungannya dengan orang lain membenarkan masuknya mereka dalam diskusi fase yang berbeda dari evaluasi perencanaan yang sama akan berlaku untuk beberapa sumber lain dari pertanyaan evaluatif dan kriteria dibahas di bawah ini.

Mengajukan Konsultan Ahli

untuk Tentukan Pertanyaan atau Kriteria

Evaluator sering diminta untuk mengevaluasi program di luar bidang keahlian mereka kerucut cm. Keahlian evaluator.s dalam evaluasi diperlukan, tapi isi yang spesifik dari program ini adalah relatif baru untuk evaluator. Sebagai contoh, evaluator dapat dipanggil untuk mengevaluasi program membaca `s sekolah, meskipun ia tahu sedikit tentang program tersebut. Dalam kasus ini, adalah penting bahwa evaluator berkomunikasi secara luas dengan staf program dan manajer untuk memahami model untuk program dan melakukan kajian literatur untuk menjadi akrab dengan isu-isu di daerah tersebut. Dalam beberapa kasus, bagaimanapun, evaluator mungkin juga ingin menggunakan konsultan dengan keahlian dalam isi program untuk memberikan pandangan yang lebih netral dan lebih luas dari yang bisa memperoleh keuntungan dari staf program. Konsultan tersebut dapat membantu dalam menyarankan pertanyaan evaluasi dan kriteria yang mencerminkan pengetahuan dan praktek saat ini.

Itu spesialis evaluasi harus mendapatkan masukan dari para ahli konten secara luas diakui 'Scriven (1973) meminta serious.consideration yang diberikan kepada subjea ¬ ahli' pendapat dari kualitas materi kurikulum. Stake (1967) mengusulkan bahwa evaluator mencari, mengolah, dan melaporkan pendapat "orang kualifikasi khusus," mungkin termasuk spesialis konten. Stufflebeam dan rekan-rekannya (1971) menunjukkan bahwa evaluator sering tepat memainkan peran interface "antara para ahli konten dan penonton untuk evaluasi yang

 

Keuntungan dan kerugian dari memiliki evaluator melayani dalam kapasitas dual ahli dalam kedua isi substantif dan metode evaluasi dibahas dalam Worthen dan Sanders (1984)

Komite gabungan Standar Evaluasi Pendidikan (1994) merekomendasi diperbaiki dengan menggunakan tim ahli untuk sebagian evaluasi.

Dalam hal mengevaluasi program membaca di sekolah, misalnya. konsultan bisa diminta tidak hanya untuk menghasilkan daftar lengkap pertanyaan yang harus menambahkan ressed tetapi juga untuk identi6 'evaluasi sebelumnya program membaca, standar yang ditetapkan oleh organisasi profesi seperti Asosiasi Membaca Internasional, dan penelitian tentang kriteria dan metode untuk mengevaluasi membaca program. jika ada kekhawatiran tentang kemungkinan bias ideologi, evaluator migllt mempekerjakan lebih dari satu konsultan independen.

Menggunakan Profesional Penghakiman Evaluator ini

Evaluator tidak boleh mengabaikan pengetahuan dan pengalamannya sendiri ketika menghasilkan pertanyaan potensi dan kriteria. Evaluator yang berpengalaman ACCUS ¬ tomed untuk menggambarkan objek evaluasi secara rinci dan melihat kebutuhan, biaya, dan konsekuensi. Mungkin evaluator telah melakukan evaluasi yang sama dalam pengaturan lain dan tahu dari pengalaman apa pertanyaan terbukti paling ul usef. Rekan-rekan profesional di cv: tluation dan bidang isi program n ca menyarankan penambahan! pertanyaan atau kriteria

Evaluator dilatih. setidaknya sebagian. menjadi skeptis. untuk meningkatkan wawasan (onehopes) pertanyaan yang hcnvisc ot mungkin pernah h: IVC kccn dipertimbangkan. Tr ini. ining adalah ncl'cr lebih berharga t han selama t dia berbeda fase mengidentifikasi cv: pertanyaan cepat terkoordinasi tl dan kriteria. untuk pertanyaan t importan sama dapat dihilangkan kecuali evaluator menimbulkan mereka hilsef.

Berpengalaman: evaluator ind mendalam melihat sebuah proyek baru mungkin menimbulkan pertanyaan seperti ini:

•        Apakah tujuan proyek ini dimaksudkan untuk melayani benar-benar penting? Apakah ada bukti yang cukup dari kebutuhan untuk proyek tersebut seperti yang dirancang? Busur kebutuhan yang lebih penting lainnya akan `tanpa pengawasan?

•        Apakah tujuan, sasaran. dan desain proyek sesuai dengan kebutuhan didokumentasikan? Apakah kegiatan yang dijadwalkan, konten, dan bahan sesuai dengan kebutuhan, tujuan dan sasaran

•        Apakah strategi alternatif telah dipertimbangkan untuk mencapai tujuan dan sasaran proyek?

•        Berdasarkan evaluasi lain, proyek-proyek serupa, apa pertanyaan itu ditujukan yang harus dimasukkan ke dalam evaluasi ini?

•        Berdasarkan pengalaman dengan yang lain, proyek-proyek serupa, apa ide-ide baru, tempat masalah potensial, dan hasil yang diharapkan dapat diproyeksikan?

•        Apa indikator keberhasilan proyek akan diterima? Dapatkah indikator tersebut ditentukan dengan instrumen atau astate teknis seni "?

•        Unsur-unsur apa yang penting dan peristiwa harus diperiksa dan diamati sebagai. proyek berkembang?

•        Apakah peristiwa kritis terhadap proyek terjadi pada waktu dan sesuai anggaran?

•        Apa dampak proyek terhadap efek samping tambahan tapi penting?

Meringkas Saran dari Beberapa Sumber

Di suatu tempat dalam proses yang berbeda evaluator akan mencapai titik pengembalian ing berkurang, di mana tidak ada pertanyaan baru yang dihasilkan asumsi setiap has.been sumber daya yang tersedia disadap, evaluator harus berhenti dan memeriksa apa yang telah diperoleh: biasanya, daftar panjang beberapa lusin pertanyaan evaluasi potensial, bersama dengan kriteria potensial. Sehingga informasi-bisa yang dapat lebih mudah berasimilasi dan digunakan kemudian, evaluator akan ingin mengatur pertanyaan evaluasi ke dalam kategori. Evaluation.frameworks Berikut tertentu, seperti Stufflebearn ini (1971) Model CIPP, Stake.s (1967) keridaan Model, atau Provus ini (1971) Kesenjangan Evaluasi Model mungkin berguna. Evaluator mungkin mengadopsi label dari salah satu kerangka kerja ini atau membuat satu set baru kategori disesuaikan dengan penelitian. Terlepas dari sumber, memiliki sejumlah dikelola kategori sangat penting dalam mengatur pertanyaan potensial dan berkomunikasi kepada orang lain. Berikut adalah contoh dari kemungkinan pertanyaan yang mungkin timbul dalam fase yang berbeda untuk perencanaan evaluasi program resolusi konflik yang ada di sekolah:

konteks:

1.      Apa jenis konflik terjadi di antara siswa di sekolah-sekolah? Siapa yang paling mungkin im'olvcd dalam Cage konflik. jenis kelamin, karakteristik?) Apa sifat dari konflik?

2.      Bagaimana yang konflik diselesaikan tanpa resolusi konflik? Apa jenis permasalahan yang terjadi sebagai hasil dari strategi ini?

3.      Apa keterampilan komunikasi, apakah siswa memiliki resolusi konflik dapat membangun di atas? Apa masalah yang siswa miliki yang mungkin menghambat belajar atau penggunaan keterampilan resolusi konflik?

4.      Berapa banyak konflik saat ini terjadi? Berapa kali adalah setiap jenis?

5.      Efek apa konflik saat ini terhadap learningenvironment itu? Manajemen sekolah? Motivasi dan kemampuan para guru?

proses

1.      Apakah pelatih resolusi konflik cukup kompeten untuk memberikan pelatihan? Apakah personil yang tepat dipilih untuk melakukan pelatihan? Haruskah orang lain akan digunakan?

2.      Apakah siswa yang dipilih untuk pelatihan memenuhi kriteria yang ditentukan?

3.      Berapa proporsi siswa berpartisipasi dalam program pelatihan yang lengkap? Apa yang siswa tersebut lewatkan dengan berpartisipasi dalam pelatihan (biaya kesempatan)?

4.      Apakah.,. Pelatihan meliputi tujuan yang ditunjuk?

6.      Apakah siswa berpartisipasi dalam pelatihan sesuai dengan peruntukannya?

7.      Mana pelatihan berlangsung? Adalah lingkungan fisik untuk pelatihan kondusif untuk belajar?

8.      Apakah guru mendorong penggunaan strategi penyelesaian konflik? Bagaimana? Apakah guru menggunakan strategi ini sendiri? Bagaimana? Apa strategi lain yang mereka gunakan?

hasil

1.      Apakah siswa yang telah menerima pelatihan mendapatkan yang diinginkan  keterampilan? Apakah mereka percaya keterampilan akan berguna?

2.      Apakah siswa mempertahankan keterampilan ini satu bulan setelah selesainya pelatihan?

3.      Berapa proporsi siswa telah menggunakan strategi resolusi konflik satu bulan setelah program selesai? Bagi mereka yang belum pernah menggunakan strategi, mengapa tidak? (Were mereka tidak dihadapkan dengan carrier, atau yang mereka dihadapkan dengan konflik, tetapi menggunakan beberapa strategi lainnya?)

4.      Dalam keadaan apa adalah siswa yang paling mungkin untuk menggunakan strategi? Dalam keadaan apa yang mereka paling tidak mungkin untuk menggunakan strategi?

5.      Bagaimana siswa lain mendukung atau menghambat penggunaan siswa `dari strategi?

6.      Apakah para siswa mendiskusikan / mengajarkan strategi untuk setiap orang lain?

7.      Apakah kejadian konflik berkurang di sekolah? Apakah pengurangan karena penggunaan strategi.

8.      Harus ot: siswa Icr dilatih dalam strategi? Apakah ada tipe lain dari siswa busur paling mungkin untuk manfaat?

Ini akan menjadi jelas bagi evaluator bijaksana dan pemangku kepentingan yang tidak layak untuk menangani semua pertanyaan yang diidentifikasi dalam satu studi. Praktis tions pertimbangan ¬ harus membatasi penelitian untuk apa yang dikelola. Beberapa pertanyaan mungkin disimpan untuk studi lain; orang lain mungkin dibuang sebagai tidak penting. Menampi tersebut adalah fungsi dari fase com'crgcnt.

MEMILIH PERTANYAAN, KRITERIA, DAN ISU

Ditangani: TIIE KONVERGEN FASE

Cronbach (1982) memperkenalkan baik kebutuhan untuk fase konvergen evaluasi ¬ tion planing.

bagian sebelumnya [fase divergen} berbicara seolah-olah ideal adalah untuk membuat evaluasi lengkap, tapi itu tidak bisa dilakukan. Setidaknya ada tiga alasan untuk mengurangi berbagai variabel diperlakukan sistem atically evaluasi. Pertama, akan selalu ada sebuah Iimit anggaran.

Kedua, sebagai st udy menjadi semakin rumit, menjadi semakin sulit untuk mengelola t dia massa informasi menjadi terlalu besar untuk evaluator untuk mencerna, dan banyak yang hilang dari pandangan ketiga dan mungkin yang paling penting, rentang perhatian penonton terbatas sangat sedikit orang ingin tahu semua yang ada untuk mengetahui tentang program. Administrator, legislator, dan para pemimpin opini mendengarkan di jalankan.

Fase divergen mengidentifikasi apa yang mungkin bisa bernilai investigasi gating. Di sini penyidik ​​bertujuan untuk bandwidth maksimum. Pada fase konvergen, sebaliknya, ia memutuskan apa ketidaklengkapan yang paling dapat diterima. Dia mengurangi bandwidth dengan pemusnahan daftar possi-bilities. (p.225).

Tidak ada evaluasi dapat menjawab bertanggung jawab semua pertanyaan yang dihasilkan selama menyeluruh, tahap perencanaan yang berbeda. Jadi pertanyaannya adalah bukan apakah jendela ini `pertanyaan ke subset dikelola melainkan siapa yang harus melakukannya dan busur.

Siapa yang Harus Terlibat dalam Tahap Konvergen?

Beberapa evaluator menulis dan bersikap seolah-olah memilih penting, pertanyaan evaluasi praktis adalah satu-satunya provinsi evaluator. Tidak begitu. Bahkan, dalam kondisi apapun harus evaluator mengasumsikan tanggung jawab untuk memilih pertanyaan-pertanyaan yang harus ditangani atau kriteria evaluatif untuk diterapkan Tugas ini membutuhkan interaksi yang dekat dengan stakeholder.Jalur sponsor evaluasi, khalayak utama. dan individu atau kelompok yang akan dipengaruhi oleh evaluasi semua harus memiliki suara.

Memang. beberapa evaluator konten untuk meninggalkan seleksi akhir pertanyaan kepada sponsor evaluasi atau klien. Tentu ini meringankan tugas evaluator. Dalam pandangan kami, bagaimanapun, mengambil kursus mudah adalah merugikan klien. Kekurangan keuntungan dari evaluator.s pelatihan khusus dan pengalaman, klien mungkin berakhir berpose sejumlah pertanyaan yang tak terjawab untuk penelitian.

Bagaimana Haruskah Tahap Konvergen Jadilah Yang Dilakukan?

Bagaimana bisa evaluator bekerja dengan berbagai pemangku kepentingan untuk memilih target untuk evaluasi? Untuk mulai dengan, evaluator harus menentukan kriteria apa yang harus digunakan untuk menentukan peringkat pertanyaan evaluasi potensial. Cronbach dan lain-lain (1980) mengusulkan kriteria berikut:

Sejauh ini kita telah mendorong evaluator untuk memindai secara luas; hanya sepintas apakah kita mengakui bahwa semua baris penyelidikan tidak sama pentingnya. Bagaimana untuk memotong daftar pertanyaan ke ukuran adalah jelas topik berikutnya. . . pertimbangan simultan diberikan kepada kriteria. . . [dari] ketidakpastian sebelumnya, yield informasi, biaya, dan leverage (yaitu, kepentingan politik). Kriteria ini dijelaskan lebih lanjut sebagai berikut: Semakin

studi mengurangi ketidakpastian, semakin besar hasil inforxllacion dan, karenanya, lebih berguna penelitian.

Leverage mengacu pada kemungkinan bahwa informasi-q bclieved ¬ akan mengubah jalannya peristiwa. (hal. 261, 2 (, 5.)

Kami menarik pada pemikiran Cronbach dalam mengusulkan tujuh kriteria berikut untuk menentukan yang diajukan pertanyaan evaluasi harus diselidiki:

1.      Siapa yang akan menggunakan injornzation ini? Siapa yang ingin tahu? Siapa yang akan menjadi marah jika pertanyaan evaluasi ini dijatuhkan? Jika sumber daya li mitless yang tersedia, orang dapat berargumentasi bahwa (kecuali untuk menyerang hak privasi) siapa saja yang ingin tahu telah, dalam masyarakat demokratis, hak atas informasi tentang apa yang dievaluasi. Jarang adalah sumber daya terbatas, bagaimanapun, dan bahkan jika mereka, kehati-hatian menunjukkan titik hasil yang menurun dalam mengumpulkan informasi evaluatif. Oleh karena itu. jika tidak ada penonton yang penting akan menderita kegagalan evaluator untuk mengatasi pertanyaan tertentu, orang mungkin juga memberikan peringkat yang lebih rendah atau menghapusnya.

2.      Apakah jawaban untuk pertanyaan! Mengurangi ragu hadir atau provie infortmaion tidak sekarang tersedia? Jika tidak. tampaknya ada gunanya mengejar itu. Jika jawabannya sudah ada, maka pertanyaannya dapat diatasi dengan mudah dengan sedikit biaya untuk t dia evaluator atau klien.

3.      Akankah ansuwer pertanyaan menghasilkan informasi penting? Beberapa jawaban memuaskan rasa ingin tahu-tapi sedikit lebih; ini adalah apa yang kita sebut "bagus Tahu" pertanyaan. Pertanyaan penting adalah mereka yang memberikan informasi t topi mungkin ditindaklanjuti. Mereka mungkin mengatasi daerah-daerah dianggap bermasalah oleh para pemangku kepentingan dengan t dia sarana untuk membuat atau 'pengaruh perubahan. Dimana pilihan kekuatan sumber daya yang terbatas . pentingnya jawaban harus menjadi kriteria yang jelas untuk dimasukkan.

4.      Apakah pertanyaan ini hanya ofpassing bunga kepada seseorang, atau tidak fokus pada dimensi kritis bunga terus? Prioritas harus diberikan untuk pertanyaan-pertanyaan kritis dari teori Program portance im yang berkesinambungan dapat membantu menerangi dimensi kritis dari program ini.

5.      Akan ruang lingkup atau kelengkapan evaluasi secara serius terbatas jika pertanyaan ini dijatuhkan? Jika demikian, itu harus dipertahankan jika mungkin.

6.      Akankah jawaban atas pertanyaan berdampak pada jalannya peristiwa? Jika pertanyaan dapat mempengaruhi kebijakan atau keputusan operasi, ada alasan yang baik untuk mengatasinya, bila ada sumber daya

7.      Ini itfeasible untuk menjawab pertanyaan ini diberikan tersedia jlnandal dan sumber daya manusia, waktu, metode, dan teknologi? Sumber daya yang terbatas membuat banyak pertanyaan penting dijawab. Lebih baik untuk menghapusnya awal .., han untuk berkembang biak frustrasi dengan mengejar im mungkin mimpi. Tidak semua pertanyaan sama-sama mahal untuk menjawab. Mungkin ini tampak jelas,

tetapi begitu sering diabaikan bahwa `s cronbach (1982) pengingat penting.

The evaluator, bekerja dalam sumber daya tetap. mengurangi daftar awal pertanyaan untuk subset dikelola; maka ia sumber anggaran tidak merata selama selamat (menahan beberapa cadangan). Tidak banyak pertanyaan putus sepenuhnya keluar dari kesadaran. . . . Adalah masuk akal untuk mengambil informasi komprehensif ¬ inexpen. Merekam pengamatan insidental biaya hampir tidak ada, sementara biaya agak lebih untuk menyisihkan data dari catatan yang dihasilkan oleh operasi normal dan masih lebih untuk mengumpulkan data baru. (hal. 239)

Tujuh kriteria hanya mencatat dapat dilemparkan ke dalam simpJe., .. M.atrix (lihat Gambar. Adalah 14,2) untuk membantu evaluator dan klien sempit `daftar asli dari pertanyaan ke subset dikelola. Gambar 14.2 diusulkan hanya sebagai panduan umum dan dapat disesuaikan atau usedflexibly. Sebagai contoh, seseorang mungkin memperluas matriks untuk daftar sebanyak (n) pertanyaan seperti ada di daftar asli, maka cukup menyelesaikan entri kolom dengan menjawab ya atau tidak untuk setiap pertanyaan atau sebaliknya, menetapkan beberapa nilai numerik. Peringkat numerik menawarkan keuntungan untuk membantu berat badan atau peringkat pertanyaan. Namun matriks digunakan. evaluator dan klien (dan perwakilan dari para pihak lain, jika mungkin) harus bekerja sama untuk menyelesaikannya. Meskipun evaluator mungkin memiliki mengatakan pada apa yang layak, kepentingan relatif dari pertanyaan akan ditentukan oleh klien dan pemangku kepentingan lainnya. Memindai matriks selesai mengungkapkan dengan cepat pertanyaan-pertanyaan yang busur tidak layak untuk menjawab, yang unimportant.and yang bisa. dan harus dikejar.

Tentu saja. ini hanya salah satu cara untuk mempersempit daftar asli. Evaluator hanya mungkin ingin pergi melalui daftar cucian terorganisir dan, untuk setiap pertanyaan yang potensial, menuliskan beberapa kata atau frase, mengingat kriteria diringkas dalam Gambar 14.2.The evaluator mungkin menempatkan tanda bintang (.) Di samping setiap pertanyaan yang muncul kandidat yakin untuk seleksi, kemudian meninjau ruang lingkup keseluruhan pertanyaan yang dipilih dan kelayakan menjawab semua dari mereka dalam.

GAMBAR 14,2 Matrix untuk peringkat atau memilih pertanyaan evaluasi

evaluasi Pertanyaan

 

                                                                                                1  2  3  4  5  . . . . . n

Akan evaluasi. . .

 

1.      Jadilah menarik bagi khalayak kunci?        

2.      Mengurangi ketidakpastian ini?                                        

3.      Yield d informasi penting?                                                           

4.      Jadilah melanjutkan (tidak singkat) minat?                                   

5.      Jadilah penting untuk lingkup pejantan dan kelengkapan?           

6.      Memiliki berdampak pada jalannya peristiwa?                 

7.      Jadilah jawab dalam hal                                                    

a.       Sumber daya keuangan dan manusia?                                    

b.      waktu                                                                          

c.       Metode yang tersedia dan teknologi?  

kualitas cara. Apakah utilitas potensi-evaluasi telah dikompromikan dengan cara apapun sejauh ini? Apakah kelayakan. masih menjadi perhatian?

Pada titik ini, evaluator harus duduk dengan sponsor dan / atau klien untuk meninjau apa yang bisa telah dibahas dalam evaluasi (yang laundr \ `list). apa yang tampaknya paling masuk akal (mereka dengan tanda bintang), dan apa masalah masih ada dalam membuat pilihan (kelayakan, lingkup, potensi utilitas, keprihatinan sponsor atau klien mungkin).

Apakah evaluator lebih memilih untuk bekerja secara langsung dari daftar cucian asli atau menggunakan matriks seperti itu pada Gambar 14.2, kita tidak bisa stres terlalu kuat pentingnya melakukan ini kegiatan-yang akan fokus seluruh evaluasi studi-interaktif dengan klien evaluasi sponsor atau klien akan cenderung ingin-menambah atau mengurangi pertanyaan yang dipilih, kemungkinan negosiasi lingkup ditingkatkan atau dikurangi untuk penelitian atau memperdebatkan alasan-alasan untuk menambahkan atau menjatuhkan pertanyaan-pertanyaan tertentu. Evaluator mungkin `merasa perlu untuk mempertahankan penilaian profesional sendiri atau kepentingan stakeholders terwakili. Ini bisa sulit. Jika sponsor atau klien menuntut terlalu banyak `kontrol atas pemilihan pertanyaan evaluasi (misalnya, memerlukan dimasukkannya pertanyaan yang tak terjawab atau mereka mungkin menghasilkan jawaban satu-sisi), evaluator harus menilai apakah posisinya telah diganggu. Jika memiliki. itu mungkin dalam kepentingan terbaik dari semua pihak untuk mengakhiri evaluasi pada saat ini. Sebaliknya. evaluator harus menahan diri dari memaksakan pertanyaan pilihan sendiri dan mengesampingkan keprihatinan yang sah dari sponsor atau klien.

Biasanya evaluator dan klien dapat menyetujui pertanyaan-pertanyaan harus ditangani. Mencapai konsensus menyenangkan (atau kompromi) pergi jauh-tow ard membangun semacam hubungan yang mengubah sebuah cv;. Tluation usaha menjadi partncrship `'di mana klien senang untuk bekerja sama. Perasaan-berbagi owncrship-sangat meningkatkan kemungkinan bahwa hasil evaluasi akan digunakan.

Jika evaluator dan klien dan / atau sponsor telah menanam, semua pertanyaan evaluasi, penting untuk memeriksa penerimaan subset yang dihasilkan dengan stakeholder penting lainnya untuk memfasilitasi ini. evaluator memberikan daftar pertanyaan yang harus ditangani dengan penjelasan singkat yang menunjukkan mengapa setiap penting. Jika matriks (Gambar 14.2) digunakan, salinan harus diberikan daftar pertanyaan dan / atau matriks harus dibagi dengan semua stakeholder penting dalam evaluasi. Mereka harus diberitahu bahwa daftar sementara ini pertanyaan diberikan kepada mereka karena dua alasan: (I) untuk menjaga mereka informasi tentang evaluasi dan (2) untuk memperoleh reaksi mereka, terutama jika mereka merasa kuat tentang menambahkan atau menghapus pertanyaan. Waktu yang cukup harus disisihkan untuk meninjau mereka sebelum daftar akhir yang dihasilkan.

Komentar yang bersangkutan pantas respon langsung. Evaluator harus bertemu dengan siapa pun yang tidak puas dengan daftar pertanyaan dan dengan sponsor, jika perlu, untuk membahas dan menyelesaikan masalah untuk kepuasan semua orang sebelum continuing.To dorongan untuk penutupan dini pada isu-isu yang sah seputar ruang lingkup evaluasi adalah salah satu kesalahan terburuk evaluator dapat membuat Unresolvedconflicts tidak akan pergi, dan mereka dapat me kehancuran evaluasi dinyatakan terencana.

Satu hati-hati: Sebuah taktik aus namun efektif digunakan oleh mereka yang ingin menjegal evaluasi yang tidak diinginkan adalah untuk mengajukan keberatan diselesaikan. Evaluator yang cerdik harus mengakui desakan melengking pada Termasuk bias atau tidak menjawab. pertanyaan Alkitab. Dia bisa melawan mereka dengan memberikan sebuah komite penasihat pemangku kepentingan, termasuk pihak yang berkonflik, tugas pendengaran dan membuat rekomendasi tentang pertanyaan evaluatif yang harus ditangani. Seperti kita Hay; dibahas, kelompok penasihat yang terdiri dari para pemangku kepentingan merupakan bagian yang berguna dan efektif dari banyak studi evaluasi sukses.

Menentukan Kriteria Evaluasi dan Standar

Setelah mengidentifikasi pertanyaan evaluasi, evaluator, dalam konser dengan para stakeholder atau kelompok penasehat,. perlu menentukan st.a.ndards. untuk setiap pertanyaan Jika pertanyaan tidak membuat. eksplisit kriteria yang digunakan untuk menilai program, kriteria penilaian tersebut juga harus. dikembangkan pada saat ini.

Untuk memastikan bahwa pertanyaan telah memasukkan kriteria yang diinginkan, evaluator harus mendiskusikan dengan kelompok obyek untuk diadili. Jika tujuan dari penelitian ini adalah sumatif, sangat penting bahwa kriteria penting untuk menilai; Program disampaikan dalam pertanyaan-pertanyaan evaluasi. Evaluator harus memastikan bahwa kriteria ditemukan dalam literatur menjadi penting untuk pm & sukses mm indudcd, Dia harus kemudian melihat bahwa kelompok setuju bahwa kriteria yang disampaikan melalui pertanyaan-pertanyaan evaluasi yang sesuai. Jika tujuan dari penelitian ini adalah formatif. penghakiman corolla mengenai program mungkin tidak pantas, tapi keputusan dari bagian tertentu dari programmay yang diperlukan. Dengan cara yang sama dengan yang digunakan untuk ovcrall tersebut,. Pra> gram. evaluator kemudian dapat membantu kelompok. Untuk mempertimbangkan apakah petunjuk tions memadai menyampaikan kriteria mereka untuk menilai ini bagian dari program dan kegiatannya.

Spesifikasi standar kinerja dapat menjadi wilayah yang kompleks penuh dengan ketidakpastian di mana program-program serupa yang ada, program tersebut dapat diperiksa untuk standar kinerja. Dengan program-program baru, atau pertanyaan yang menambah kekhawatiran proses cs, sedikit informasi yang tersedia untuk memandu keputusan. Tidak pernah. Meskipun, itu penting bagi evaluator dan g.roup pemangku kepentingan untuk memiliki beberapa ide tentang tingkat kinerja yang dapat diterima dan tingkat yang tidak dapat diterima untuk masing-masing daerah. Tanpa standar pada tahap ini. evaluasi th.e. itu terlalu mudah bagi manajer program yang tidak bermoral untuk mengklaim that.the tingkat diperoleh kinerja adalah tepat satu yang diinginkan Sebuah standar harus dikembangkan untuk mencerminkan tingkat perbedaan yang akan dianggap cukup bermakna untuk mengadopsi baru, program.Such a standar mungkin absolut atau relatif.

Absolute Standar. Kadang-kadang kebijakan akan membutuhkan spesifikasi standar mutlak. Sebagai negara lebih bergerak menuju pembentukan daging kelulusan membalas dan / atau lulus persyaratan yang membutuhkan demonstrasi pengetahuan dan keterampilan tertentu, standar mutlak harus ditentukan bila memungkinkan untuk menentukan apakah program baru dapat mencapai tingkat yang diinginkan. Demikian pula.