سوالات چند گزینه ای متداول ترین  نوع تست های ارزیابی دانش است

 به دشواری می توان یک ازمون با سوالات چند گزینه ای خوب پیدا کرد .  در یک بررسی ۳۹ هزار تست چند گزینه ای ارزیابی شدند نتیجه نشان داد یک چهارم مواردی که دانشجویان به خطا پاسخ دادند ناشی از اشکال در طراحی سوال توسط استاد بوده است

کیفیت یک ازمون چندگزینه ای را چگونه بررسی می کنیم

باید اهداف اموزشی را تحت پوشش قرار دهد

معمولا هم سطوح شناختی پایین تاکسونومی بلوم با این سوالات محقق می شود

محدودیت های تست را بدانیم قرار نیست با یک ازمون چند گزینه ای همه چیز را بررسی کنیم

تست های چند گزینه ای انواع دارند

دو شکل اساسی ان

 - یک پاسخ از همه بهتر است   one-best-answer - format که یکی از گزینه ها نسبت به سایرین بهترین است

  فرم دوم: صحیح و غلط. یک گزینه صد درصد صحیح و دیگری صد در صد غط است

سوال چند گزینه ای شامل ساقه سوال ، یک سوال پیش برنده یا lead-in- question و چندین گزینه است

 یک گزینه بهترین است و چهار گزینه دیگر کمترین صحت را دارند

 زیرا در عالم واقع به هنگام مواجهه با بیماران نیز نمی توان برای مثال تشخیصی را صد در صد رد نمود

از مشخصات این قبیل سوالات

 دانشجو باید قادر باشد قبل از اینکه گزینه ها را بخواند صرفا با خواندن ساقه سوال پاسخ را بگوید یعنی نباید بخشی از سوال در گزینه ها قرار داده شوند

تمام سوال باید در ساقه باشد

اشکالات تکنیکی سوالات چند گزینه ای

وجود اشکالات تکنیکی منجر می شود دانشجویانی که درس را نخواندند با حدس و سرنخ های موجود

در سوالات و گزینه ها پاسخ صحیح را انتخاب نمایند به این دانشجویان testwiseness گویند یعنی خرد 

تست زدن دارند

قرار است امتحان ما قادر باشد یک پزشک با دانش خوب را از پزشک با دانش بد شناسایی نماید نه اینکه کسی دارای هوش تست زدند از طرف دیگر قرار نیست که بیهوده سوالات را دشوار نماییم و رویکرد سادیتیک داشته باشیم  به طوری که افراد با سواد نمره نیاورند

 موارید از قبیل گزینه های طولانی ، پیچیده، واژگان مبهم، زبان غیرموازی ساقه و گزینه ، داده های عددی گیج کننده، ترتیب نادرست گزینه ها و یا استفاده از هیچکدام از موارد فوق به عنوان پاسخ یکی از  گزینه ها از جمله اشکالات تکنیکی در طراحی ازمون ها به شمار می روند

وجود راهنماهای گرامری نیز مورد دیگر است

 برای مثال در ساقه امده است یک اقای ۶۰ ساله با تابلوی ..... مراجعه کرده است تزریق کدامیک ....

 و در گزینه ها بیاورید

 بررسی مایع مغزی نخاعی

 سی تی اسکن

 فنی توئین

 دیازپام

در دنیای روزمره مفاهیم معمولا مطلق نمی باشند می توانید در گزینه ها اغلب بیاورید ولی از اوردن 

همیشه ، هرگز و کلمات مطلق خودداری نمایید .  دانشجو به راحتی موارد مطلق را کنار می گذارد

از دیگر اشکالات

 گزینه درست گزینه ای طولانی است . برخی از مدرسن دوست دارند ضمن امتحان به دانشجو چیزی را یاد بدهند و این اشتباه است هر کدام زمان خاص خود را دارند

از دیگر اشکالات تکرار کلمه ای خاص در ساقه سوال و در گزینه ها می باشد

 دانشجو از راهبرد تقارب استفاده می کند  به راحتی از کلمات مشابه فاکتور می گیرد و به صورت تقاربی به گزینه درست می رسد

مواردی که باعث می شود دانشجوی باسواد جواب درست ندهد

 گزینه های طولانی

 گزینه های پیچیده

 گزینه های دابل

 استفاده از داده های عددی بهم نزدیک

مثال:

 کمتر از ۲۰ درصد

 بین ۲۰ تا ۳۰ درصد

 بیش از ۹۰ درصد

 ۷۵ درصد

از واژگانی استفاده شود که مفهوم ثابت ندارد

در یک پژوهش به دانشجویان گفتند usually برای شما چند درصد را تداعی می کند. عده ای گفتند پنجاه و عده ای شصت درصد .

 از قیدهای تکرار و مقدار بهتر است در گزینه ها کمتر استفاده شود: همیشه، اغلب، بندرت.

  زبانی که استفاده می شود موازی نباشد و ترتیب گزینه ها منطقی نباشد. سوالی که می پرسید و پاسخ ها چند جنبه مختلف را در کنار هم قرار دهد . باید دانشجو با خواندن ساقه سوال به نتیجه برسد

 از موارد دیگر

 کدامیک از شهرهای زیر به تهران نزدیک تر است؟ چهار شهر را می نویسید و گزینه پنجم می نویسید "هیچکدام" .  این مورد اشکال تکنیکی به شمار می رود . به هر حال یک شهر به تهران نزدیک تر است

گزینه هیچکدام

 قرار است دانشجو بهترین پاسخ را انتخاب کند ایا در عالم واقع در مطب شما می توانید بگویید هیچ تشخیص افتراقی مطرح نمی باشد

 ما تست هوش برگزار نمی کنیم  نباید پیچیدگی های ذهن خود را به رخ بکشیم  پس سوال ما نباید گول زننده باشید و بیهوده پیچیدگی را اضافه نماییم

از کلاس های دکتر شهرام یزدانی دانشگاه شهید بهشتی دوره اموزش پزشکی غیر حضوری

در سال ۱۹۸۷ آقایانbordage و page برای اولین بار بکار بردند. تحلیل نقادانه ای برای clinical assessment هایی که تا سال ۱۹۸۵ انجام شده بود صورت گرفت. دنبال این بودند بداننند وقتی بحث تصمیم گیری های بالینی و مهارت های آن مطرح می شود ارزیابی های اون چه چیزهایی را بررسی می کند. در ان زمان به چند مشکل اساسی پی بردند. در ان زمان روش غالب در ارزیابی patient management problem بود. یک کیس case / سوال خیلی طولانی می دهند که مراحل خیلی طولانی دارد و گاه در یک امتحان نود دقیقه ای فقط یک PMP مطرح می شود.

پیش فرضی که در ان زمان وجود داشت این بود که مهارت های تصمیم گیری ژنریک است و به اون کیس مطرح شده ربطی ندارد پس اگر دانشجویی بتواند یک مساله بالینی را در قالب پی.ام.پی حل کند پس باید بتواند سایر پی.ام.پی ها را نیز حل کند. این پیش فرض تا سال ۱۹۸۷ وجود داشت. روش پی.ام.پی در زمان خودش از سناریوی بالینی و سوالات/مراحل متعدد به دنیال ان تشکیل می شد. معمولا طولانی بود حداکثر سه تا پنج سوال پی.م.پی در یک امتحان بود. یک سری ایراد اساسی در مورد پی.ام.پی مطرح شد. علی رغم اینکه authenticity و face validity بالایی داشت و ظاهر آنها خیلی واقعی است

اما چهار ایراد اساسی دارند: پایایی خیلی پایینی دارند. پژوهش های خیلی متعددی انجام شد. اگر بخواهیم پایایی را افزایش دهیم باید امتحان طولانی شش یا هفت ساعته برگزار کنیم و چند نوبت امتحان.

نکته دوم این که فرایند تصمیم گیری فقط فرایند ژنریک نیست بلکه یک "ویژگی مساله بالینی" دارد. یعنی این نیست که یک مساله را حل کرد بتواند سایر مسائل را هم حل کند. بحث content coverage یا پوشش محتوایی مطرح شد. پس باید پوشش محتوایی معقولی داشته باشد و دو یا سه پی.ام.پی نمی تواند این را فراهم نماید.

سوم. تحقیقات همان زمان نشان داد عملکرد یک داشجوی جینیور با پزشک متبحر خیلی با هم در تست ها فرق ندارد. در حالی که باید متفاوت باشد. نمرات یک پزشک متبحر از پی.ام.پی با پزشک تازه کار یکی بود پس احتمالا اون چیزی که اندازه گیری می شد تصمیم گیری بالینی نبود.

نکته دیگر. نمرات افراد از پی.ام.پی با نمرات انها در تست های دانش محفوظی factual knowledge همبستگی خیلی بالایی داشت. ما قبلا می گفتیم دانش محفوظاتی یک سازه انتزاعی است مستقل از تصمیم گیری بالینی. پس انتظار داشتیم نمرات ان با تست های دانشی همبستگی خیلی بالایی نداشته باشد. فردی ممکن است خیلی خوب از بر کند اما تواند تصمیم گیری بالینی نداشته باشد. تحقیقات نشان داد که پی.ام.پی تصمیم گیری بالینی را اندازه نمی گیرد بلکه دانش محفوظاتی را می سنجد.

مرور این دو محقق نشان داد که پی.ام.پی کفایت لازم را ندارد و شروع کردند به طراحی تست بالینی دیگری به نام key feature problem

مشخصات آزمون رویکرد مشکل کلیدی: شکل خاصی دارند. به مشخصات اساسی یک مشکل اشاره دارد. هر سوال ان می تواند بیش از یک پاسخ داشته باشد.

ما را به یک محیط واقعی تصمیم گیری نزدیک می کند چون در محیط واقعی ما با بیش از تشخیص مواجه هستیم و انعطاف پذیری بیشتر نسبت یه ازمون های چند گزینه ای MCQ دارد. مزیت دیگر این است که فرایند طولی تصمیم گیری بالینی در ان لحاظ می شود. تصمیمات متوالی را بالای سر بیمار می گیریم. در KFP نیز همین نکته وجود دارد البته این مورد با P.M.P مشترک است.

KFP بعد از طراحی توسط این دو فرد توسط موسسات مختلفی اتخاذ شد و جواب پس داد. برای مثال نظام پزشکی کانادا یک KFP چهار ساعته را با یک MCQ سه و نیم ساعته تلفیق می کند و به عنوان qualifying examination برای اعطای مدرک بکار می برد. دو امتحان می گیرد یکی چهار ساعته است و یکی سه و نسم ساعته است. نتیجه خیلی خوبی گرفته است. پژوهش هایی که در این خصوص انجام شده است نشان داده واقعا ترکیب این دو ازمون قادر است دانش و صلاحیت competence را به طور جداگانه بسنجد.

از جاهای دیگر کالج پزشکان عمومی استرالیا است برای اعطای مدرک از یک KFP سه ساعته به همراه یک آزمون کتبی چهار ساعته و یک آزمونOSCE سه ساعته در مجموع ۱۰ ساعته برای پزشکان عمومی و اعطای مدرک استفاده می کند.

اغلب اوقات تلفیق می بینیم. بخشی از صلاحیت توسط OSCE و بخشی از دانش محفوظاتی توسط MCQ یا ازمون های چند گزینه ای بررسی می شود.

کالج پزشکان امریکا نیز MKSAP یا برنامه خود ارزیابی دانش پزشکی دارد که اساس ان KFP است. این ازمون برای آموزش مداوم استفاده می شود.

به هر حال این ازمون خیلی زود جای خود را باز کرده است.

برای تهیه یک KFP چه باید کرد؟ ابتدا باید یک تیم تشکیل داد که به محتوا تبحر و به این روش آشنایی دارد.

مساله یا مشکل را انتخاب می کنند . مثلا اسهال یا استفراغ یا هماچوری. خیلی ها فهرستی از این مسائل را از قبل دارند. این تیم از خودشان می پرسند مواردی از بیماران که اخیرا داشتید و کیس واقعی بودند و به این مشکلات دچار بودند را به یاد بیاورید. هر کدام پنج تا دقیقه فکر می کنند.

اون سوالات مهمی که در ارتباط با این بیماران به ذهن افراد امد و مجبور شدند تصمیم بگیرند چه بوده است . این موارد را فهرست می کنند. این سوالات اساسی همان key feature را به ما ادرس دهی می کند. خیلی از اقدامات است که مهم محسوب می شود اما اساسی یا critical محسوب نمی شود. در KFP باید به سراغ قدم های اساسی یا critical برویم. مدیریت این بیماری که کتواسیدوز دیابتی دارد ممکن است ۲۰ اقدام انجام بدهیم که ۱۵ تای آنها مناسب است اشتباه نمی باشد اما پنج تای آن اساسی است. در KFP به سراغ اون پنج اقدام اساسی یا critical می رویم.

key feature چه چیزی می تواند باشد؟ هر جزئی از فرایندهای اساسی ذهنی ما در حین مدیریت یک بیمار را می توانند تشکیل دهد. معمولا دو گروه می شوند: یک گروه تصمیم های بالینی است clinical decision مریضی که با علائم دمانس امده است باید افسردگی را نیز در تشخیص های بالینی خود لحاط نمایید. این یک key feature از جنس تصمیمات بالینی است. تصمیمی نگرفته اید که بخواهید اقدامی انجام بدهید بلکه به یک اجماع ذهنی رسیده اید. به دنیال ان اقدامی صورت نمی گیرد. گروه دوم اقدامات بالینی یا clinical action مثل دستور یک ماموگرام، سوال در باره عوامل خطر از بیمار، درخواست یک تست، نوشتن یک نسخه است. اقدام بالینی تظاهری از تصمیم بالینی است.

تصمیمات اساسی که در قالب یک KFP می تواند تست شود سامل موارد زیر است:

اخذ شرح حال یا تاریخچه

تفسیر علائم

جستجو برای یافته های فیزیکی اساسی

تفسیر یافته های فیزیکی

تدوین فهرست تشخیصی یا تشخیص های افتراقی

درخواست بررسی هایی برای تایید یا رد تشخیص های افتراقی

اهداف درمانی یا تصمیمات

تجویز دارو

پیگیری مشخص

مرحله بعدی: یک سری واژگان کلیدی در سوال قرار می دهیم یا qualifier

Common qualifiers in key features

مانند: فوری، آغزاین، طولانی مدت، مشخص، بلافاصله، مهم ترین، محتمل ترین، نباید از قلم افتاده شود

چرا این واژگان مهم است؟ زیرا ما، طراحان آزمون، وقتی به اون مسائل کلیدی فکر می کردیم حال با این واژگان دانشجو را هدایت کنیم تا به key feature ها فکر کند.

قدم بعدی تدوین یک مورد یا case development است

فکر می کنند یک کیس واقعی یا کیس غیر واقعی را به صورت یک سناریو در می آورند. به اون نکات اساسی اشاره می شود مانند سن ، جنس ... اگر سوال تشخیصی باشد case کوچک تر می دهند و اگر سوال درمانی باشد معمولا کیس ما طولانی تر و مبسوط تر است و در نهایت ترتیب و توالی سوالات را به صورت طولی/زمانی در نظر گرفته می شود. توالی زمانی سوالات رعایت می شود. معمولا سناریوی key feature در حد یک و یا یک و نیم پاراگراف است. خیلی طولانی نیست.

چیزهایی که در سناریو قرار داده می شود Typical elements in KFP clinical scenarios 

منظور از مراجعه به پزشک : مثلا درد قفسه صدری، چک آپ، فالوپ

درخواست: پیشگیری، ...

علائم: سرفه ، ...

نشانه ها: تندرنس شکمی

نتایج: بیوشیمیایی، تصویر برداری، هماتولوژی، رادیولوژی، نوار قلبی، اسپیرومتری

فوتوگراف ها: نشانه های بالینی، راش ها

مشکلات درمان یا درمان های قبلی اگر داشته است

نوشتن سوالات writing the questions

بعد سوالات را می نویسیم. معمولا دو تا سه سوال بعد از سناریو می آید و هر کدام به یک یا دو key feature اشاره دارد. هدف این نیست که تمامی key feature را در نظر بگیریم معمولا ۵ تا ۶ جنبه کلیدی در قالب دو یا سه سوال می آید.

نکته مهم: پاسخ های هر سوال می تواند بیش از یکی باشد که معمولا هم بیش از یکی است.

سوالات شکل مشخصی دارند. سوال می تواند مربوط به جمع اوری داده ها باشد ، می تواند تشخیصی باشد، مثلا چه مشاوره ای را مطرح می سازید. تشخیص افتراقی باشد و یا مدیریتی باشد.

پاسخ به سوال یک مورد نیست. وقتی می گوئیم قدم های اساسی ممکن است چند قدم باشد همانگونه که در بالین اینطور است. معمولا چند تاست. پاسخ های درست می تواند بین یک تا ۱۰ مورد باشد اما معمولا بین ۳ تا ۵ مورد است. خیلی اوقات سه مورد است. به هر حال بیش از یکی است و این موضوع مهم می باشد. دانشجو باید به یک موارد اساسی فکر کند مثلا قند خون را چک می کنید اما دیگر چه؟ قدم های دیگر. مثلا دو یا سه قدم اساسی . خوب پتاسیم را چک کند و وزن مخصوص ادرار

شکل سوالات selecting question formats 

دو جور سوالات مطرح است:

سوالات Write-In جواب خیلی کوتاه در حد کلمه دارد. دانشجو خود باید جواب را بنویسد مثلا "دیابت وابسته به انسولین"، یا " تجویز پنی سیلین"

سوالات Short-Menu دانشجو باید از میان تعدادی optionپاسخ ها را انتخاب کند. در منو یا لیست کوتاه گاه تا ۲۵ آیتم قرار داده می شود.

ادامه دارد

یادداشت های کلاسی از دوره آموزش پزشکی غیرحضوری دانشگاه شهید بهشتی: کلاس درس دکتر شهرام یزدانی، واحد درسی شیوه های ارزشیابی دانشجو

به عنوان دانشجوی این رشته، از تدریس بسیار جذاب، صحیح و اصولی دکتر یزدانی قدردانی می نمایم.