امروز پنجشنبه 14 مهر 1401

طرح های آزمایشی در تقابل با طرح های نیمه آزمایشی

0

مقدمه
بررسی بسیاری از برنامه ها و طرح های رفاه اجتماعی نشان می دهد که این برنامه ها به طور موفقی اجرا شده اند؛ چرا که به نظر می رسد مراجعین بعد از انجام برنامه ها عملکرد خوبی داشته اند. مثلا ممکن است بیشتر افراد بعد از گذراندن دوره های آموزشی شغل مناسب پیدا می کنند. یا بیشتر افراد می توانند ارتباطات بین فردی خود را به نحو موثری گسترش دهند. با این وجود سوال اساسی این است که: آیا آموزش گیرندگان در برنامه های رفاه اجتماعی، به خاطر شرکت در برنامه های آموزشی توانسته اند شغل مناسب (یا ارتباطات موثر) بدست آورند یا علت چیز دیگری است؟ پاسخ گویی به این سوال هسته‏ی اصلی و مهمترین وظیفه ی ارزشیابی اثربخشی یک برنامه یا سیاست است. به بیان دیگر سوال این است که اگر مراجعین در این برنامه ها حضور پیدا نمی کردند، چه اتفاقی برای آنها رخ می داد؟
فعالیت کلیدی و محوری در این مثال این است که اندازه ی اثر برنامه یا سیاست اعمال شده از سایر عوامل و متغیرهای مستقلی که ممکن است بتوانند روی نتیجه بدست آمده، تاثیر بگذارند(مانند شرایط اقتصاد محلی، ویژگی های شرکت کنندگان و کیفیت مدیریت پروژه)؛ جدا شود و به صورت ایزوله سنجش و اندازه گیری گردد(در واقع همان سوال اصلی در بررسی روایی درونی). برای انجام این کار پژوهشگران سعی می کنند تا یک موقعیت مقابل (counterfactual) موقعیت آزمایشی در نظر بگیرند؛ تا ببیند در این موقعیت، برای گروه مشابه شرکت کنندگان در برنامه، چه روی می دهد؟ موقعیت مقابل در طرح آزمایشی همان گروه کنترل و در طرح های شبه آزمایشی همان موقعیت مربوط به گروه گواه یا شاهد است. به بیان دیگر هدف از طرح های آزمایشی کامل و شبه آزمایشی، مقایسه بین موقعیتی است که در آن متغیر یا متغیرهای مستقل اعمال می شود، با موقعیتی که در آن مداخله ای صورت نمی گیرد.
مقدمه ی مطرح شده به خاطر این است تا سناریوای تنظیم کنیم، که ابتدا پژوهشگران از روش های آزمایشی در انجام این پروژه استفاده کنند و سپس از روش های نیمه آزمایشی و در نهایت به مقایسه ی بین دو روش خواهیم پرداخت.

روش های آزمایشی
بسیاری از محققان اجتماعی باور دارند که طرح های آزمایشی بهترین روش برای سنجش تاثیر یک برنامه و یا سیاست گذاری هستند. در یک روش آزمایشی، افراد، خانواده ها و یا دیگر واحدهای تحلیل به صورتی تصادفی یا به عنوان گروه کنترل و یا در گروه آزمایش treatment گمارده می شوند. تنها گروه اصلی مورد مطالعه در معرض برنامه و یا سیاست جدید به عنوان متغیر مستقل قرار می گیرد و گروه کنترل در معرض آن قرار نمی گیرد.
اگر طرح آزمایشی به خوبی برنامه ریزی و اجرا شود، می تواند به گروه های کنترل و اصلی ای منجر شود که درون آنها ویژگی های غیر قابل سنجش و قابل سنجش وجود دارند. ویژگی های قابل سنجش ناشی از اعمال متغیرهای مستقل (در اینجا برنامه ها و سیاست های رفاه اجتماعی) است و ویژگی های غیر قابل سنجش ناشی از عوامل بیرونی است که مطلوب شرایط پژوهش نمی باشند، مثل شرایط اقتصادی، محیط های اجتماعی و دیگر رویدادهایی که تفاوت های ایجاد شده (واریانس ایجاد شده) توسط آنها، قابل ارجاع به مداخله (برنامه آموزشی رفاه اجتماعی) نباشد.
بنابراین، طرح های آزمایشی عموما نیازمند استفاده از روش های آماری به منظور کاهش تفاوت میان گروه های کنترل و گروه های آزمایش نمی باشند. از این رو نتایج بدست آمده از طرح آزمایشی کامل، مدیران و سیاست گذاران را قادر می سازد تا به جای انجام بحث های دنباله دار در مورد اینکه آیا یافته ها در یک مطالعه خاص از لحاظ آماری معتبر هستند یا خیر، بر نتایج نهایی بدست آمده تمرکز نمایند. بنابراین در روش های آزمایشی کامل، کنترل متغیرهای مداخله گر یا عوامل تهدید کننده ی درونی به جای تمرکز بر روش های آماری، بر روش شناسی آزمایشی تکیه دارد. این روش شناسی به گونه ای تنظیم می شود، که نتایج بدست آمده، می تواند به صورت علی تفسیر شوند. همانطور که خواهیم دید، این مورد برای طرح های شبه آزمایشی مصداق ندارد. اگر گروهی که در معرض برنامه ی آموزشی خاص قرار گرفته اند، نسبت به گروه کنترل تفاوت معنادار و مثبتی داشته باشند، می توان نتیجه گرفت که دوره های آموزشی یا سیاست اعمال شده ی مورد نظر موثر است و سبب بهبود وضعیت رفاه اجتماعی شرکت کنندگان می شود.
طرح های آزمایشی دارای محدودیت های زیادی می باشند. این طرح ها می تواند الف) مسائل اخلاقی خاصی را ایجاد نمایند، ب) اجرای درست آن ها بسیار دشوار باشد و ج) نمی توان از آنها برای برخی مداخلات خاص استفاده کرد.
در مثال کنونی که در اینجا مطرح شده است، یکی از مسایل اخلاقی در طرح آزمایشی کامل این است که ممکن است لازم باشد، افرادی که در معرض متغیر آزمایشی قرار می گیرند برای زمانی از خدمات اجتماعی که به آنها ارائه می شود، محروم شوند. این دست از محدودیت ها در مثال ذکر شده زیاد است. بنابراین امکان اعمال متغیر مستقل و دستکاری آن توسط پژوهشگر میسر نیست. تجربه های قبلی در استفاده از شیوه های آزمایشی کامل نشان می دهد که شکایات و به ثمر نرسیدن پژوهش، مخصوصا در مثال ذکر شده در اینجا، زیاد است. زمانی که چنین محدودیت هایی به وجود می آید؛ ممکن است بر انتخاب کامل تصادفی افراد به منظور گمارش در گروههای کنترل و آزمایش تاثیر بگذارد و علاوه بر معذوریت های اخلاقی ممنوعیت های حقوقی نیز برای برگزار کنندگان پژوهش ایجاد نماید.
مشکل دیگر طرح های تصادفی کامل عدم خلوص نتایج است. به خاطر مسائل اجرایی که در هر مطالعه ای روی می دهد، خالص سازی گروهها به لحاظ دریافت متغیر یا متغیرهای مستقل دشوار می شود. در مساله ی "عدم خلوص"، اعضای گروه کنترل در معرص تمامی و یا برخی از مداخلات اعضای گروه آزمایش، قرار می گیرند. یکی از این موارد در مثال مورد نظر در اینجا، دریافت سطوح مختلف متغیر مستقل از منابعی غیر از منابع پژوهش است. مطالعات آزمایشی همواره نمی توانند با موفقیت با چنین مسائلی برخورد کنند.
در طرح های آزمایشی لازم است هم اعضای گروه کنترل و هم اعضای گروه اصلی آزمایش قوانین را به خوبی درک کرده باشند. اگر شروط یا قوانین آزمایش به خوبی درک نشده باشد، ممکن است روی روایی درونی تاثیر بگذارد و نتوان از طرح های کاملا آزمایشی استفاده کرد. در این صورت باید نتایج به گونه ای تفسیر شود که طرح شبه آزمایشی است.
فرسایش، فرسودگی و افت نمونه تحقیق و عدم پاسخ آزمودنی ها یکی دیگر از مسائلی است که روی نتایج بدست آمده از طرح تحقیق آزمایشی کامل تاثیر می گذارد، اگر چه این موارد می تواند روی نتایج بدست آمده از تحقیقات شبه آزمایشی نیز تاثیر بگذارند؛ ولی تاثیر آنها در تحقیقات شبه آزمایشی کمتر است. زمانی که افت آزمودنی وجود دارد یا آزمودنی ها به سوالات پاسخ نمی دهند، نمونه بدست آمده معرف جامعه نخواهد بود-معرف بودن نمونه در طرح های آزمایشی یکی از مهمترین ویژگی های آن است-. مخصوصا این مساله زمانی بیشتر خود را نشان می دهد که در مطالعات روانشناسی افرادی که سوالات را پاسخ نمی دهند یا تا انتهای آزمایش همراه نیستند، در بیشتر موارد به لحاظ ویژگی های روانشناختی با یکدیگر یکسان و با گروهی که تا پایان پژوهش همراه اند، متفاوت می باشند و به این صورت یک خطای منظم در نمونه گیری ها اتفاق می افتد. در مثال مربوطه ممکن است افرادی که رضایت بیشتری از خدمات رفاه اجتماعی دارند اطلاعات و پیشینه خود را در اختیار ارزیاب ها قرار بدهند و افراد ناراضی به صورت سوداری این کار را کمتر انجام دهند و به بسیاری از سوالات پاسخ ندهند. در چنین شرایطی نتیجه گیری های علی که از طرح های آزمایشی می شود، به صورت جدی تر پژوهشگر را به خطا می اندازد. بنابراین زمانی که تفاوت بین افراد دارای افت و افراد حاضر در آزمایش به لحاظ ویژگی های موثر در مطالعه معنادار است، روایی درونی طرح آزمایش مورد تهدید است. اما از آنجا که در طرح های شبه آزمایشی نتیجه گیری ها با ملاحظات بیشتر و به صورت محافظه کار تر است، اثر خطای افت کمتر خواهد بود. لازم به ذکر است که تمامی مسائل اجرایی، در مورد مطالعات نیمه آزمایشی هم صادق است؛ اما از آنجا که نتیجه گیری ها در طرح های شبه آزمایشی و استدلال ها مبتنی بر روش ها و نمونه های مختلف است (یعنی مبتنی بر تکرار طرح شبه آزمایشی در گروهها یا به شیوه های مختلف است)، اثرات اجرایی گفته شده اثر کمتری دارد.
طرح های نیمه آزمایشی
در سال های گذشته، طرح های نیمه آزمایشی برای ارزیابی تعداد زیادی از مداخلات رفاه اجتماعی به کار گرفته شده اند. این سیاست ها عموما در بخش هایی مانند کمک هزینه مسکن، اصلاحات بیمه سلامت، مالیات درآمد منفی، و برنامه های استخدام و تعلیم بوده است.
طرح های نیمه آزمایشی
زمانی که انتخاب تصادفی ممکن یا مناسب نباشد، محققان اغلب از طرح های شبه آزمایشی استفاده می کنند. در مطالعات شبه آزمایشی، یک موقعیت یا وضعیت مقابل موقعیت آزمایشی ایجاد می شود. این موقعیت انتخاب گروه مقایسه است که اعضای آن تحت مداخله قرار نمی گیرند، ولی در سایر شرایط با گروه آزمایش یکسان می باشند یا سعی بر این است که یکسان باشند.
در مطالعات شبه آزمایشی مشارکت کنندگان در برنامه با افرادی که در برنامه رفاه اجتماعی شرکت نمی کنند، یعنی همان گروه شاهد، مقایسه می شوند. در مثال حاضر فرض بر این است که ویژگی های مشابهی بین دو گروه وجود دارد، یکی از این ویژگی ها در این مثال عبارتند از وضعیت مشابه اجتماعی و اقتصادی. با وجود این ممکن است که دو گروه در ویژگی های غیر قابل سنجش یا به سختی قابل سنجش، دارای تفاوت هایی باشند. برای مثال، آن هایی که به صورت داوطلبانه در یک برنامه آموزشی شرکت کرده اند، ممکن است ویژگی هایی داشته باشند که با افرادی که در برنامه آموزشی شرکت نکرده اند، تفاوت های معناداری در ویژگی های مورد سنجش داشته باشند. هر دو امکان را باید در تفسیر نتایج یک مطالعه شبه آزمایشی، مد نظر داشت. روش های آماری و یا روش های دیگر برای کنترل چنین "تاثیرات انتخابی" به کار می روند، اما موفقیت واقعی در استفاده از شیوه های ترکیبی است.
موسسه تحقیقات شهری در آمریکا از یک طرح شبه آزمایشی به منظور ارزیابی برنامه آموزش و استخدام ماساچوست استفاده کرد. در پایگاه داده ی ایجاد شده که حدود 17 هزار دریافت کننده داشت، نیمی از آن ها مشارکت کردند و نیمی دیگر تنها ثبت نام های اولیه را انجام دادند. افراد غیر مشارکت کننده به عنوان گروه مقایسه انتخاب شدند. در مورد بسیاری از ویژگی های قابل سنجش، شامل نژاد، جنسیت، سن، و ترکیب خانوادگی اطلاعات لازم از این دو گروه یکسان بود اما برخی از ویژگی ها، مثل انگیزه، برای آنها قابل سنجش نبود. بنابراین در نهایت نتایج همچنان غیر قطعی باقی مانده است. بسیاری از پژوهش های مبتنی بر روش های آنلاین متاثر از این منبع خطا خواهند بود. در نتیجه گیری از روش های شبه آزمایشی اطلاع از ویژگی های مربوط به پژوهش چه در گروه شاهد و چه در گروه آزمایش بسیار ضروری است.
همانطور که از این بحث حاضر برمی آید، مشکلی بزرگ طرح نیمه آزمایشی سوگیری انتخاب است. سوگیری انتخاب محصول فرآیندهایی است که ناشی ویژگی های افرادی است که در تحقیق شرکت می کنند و یا در پژوهش شرکت نمی کنند. تفاوت های سنجیده نشده در ویژگی های فردی، مثل میزان انگیزه، ممکن است بتواند نتایج متفاوت را توضیح دهد. انتخاب افراد برای گروههای مورد مطالعه در طرح های شبه آزمایشی از روش هایی که پژوهشگر برای انتخاب افراد استفاده می کند؛ متاثر می شود. شرکت کننده های داوطلب حتما دارای ویژگی هایی هستند که با افراد غیر داوطلب متمایز می شوند، اما بررسی این موضوع که ویژگی های مورد تمایز در مطالعه مورد نظر اهمیت دارند یا خیر، مساله دیگری است که خود نیازمند پژوهش بیشتر است. با اینکه تنوعی از تکنیک های آماری برای تصحیح سوگیری انتخابی وجود دارند، امکان شناخت قطعی مناسب ترین روش وجود ندارد. و از آنجام که این روش ها منجر به تخمین های متفاوتی می شوند، همواره عدم قطعیت در مورد یافته های مطالعات شبه آزمایشی وجود دارند. گری برتلس از موسسه بروکینگ این موضوع را گونه شرح می دهند:
"عدم قطعیت درباره حضور، مسیر، و بزرگی سوگیرهای انتخاب افراد در مطالعات شبه آزمایشی، اعتبار برآوردهای مبتنی بر این مطالعات را دشوار می سازد. البته برآوردهای بدست آمده از این طرح ها می تواند الهام بخش باشند. مخصوصا زمانی که نتایج حاصل از طرح های مختلف شبه آزمایشی در یک مسیر قرار دارند، می تواند مفید و قابل توجه باشد. اما اگر متخصصان بر اساس روش های آماری به نتایج بسیار متفاوتی برسند و یا اگر تخمین های موجود دارای سوگیری های کاملا مشخص باشند، سیاست گذاران و مدیران در مورد کارآمدی آن ها داری شک و تردید خواهند شد و از نتیجه گیری بر اساس آنها اعراض خواهند نمود."
در مورد برنامه های آزمایشی، همتاسازی هایی که در روش های شبه آزمایشی ضروری است، غیرالزامی می باشد. در این روش ها انتخاب تصادفی سبب یکسانی پراکندگی ویژگی های قابل مشاهده و غیر قابل مشاهده در گروههای کنترل و آزمایش می شود.
مطالعات آزمایشی در ارزیابی ها به عنوان روش های اولیه و مهم تلقی می شوند. با وجود این، دست یابی به شرایطی که بتوان از روش های آزمایشی در مواردی مانند آنچه در اینجا ذکر شد (یعنی شرایطی که موضوعات اجتماعی یا روانشناسی اجتماعی را در بر می گیرد) استفاده کرد، نادر است. حوزه ی کابرد روش های آزمایشی کامل به موضوعات خاصی محدود می شود و برای بیشتر موقعیت های پژوهشی، پژوهشگر لاجرم باید از روش های شبه آزمایشی استفاده کند، هر چند نتیجه گیری های حاصل از مطالعات شبه آزمایشی نیازمند ملاحظه بیشتری است. با وجود این اگر پژوهشگر می خواهد در حوزه ای که امکان انجام مطالعات آزمایشی میسر نیست، دست به تبین های علی بزند، لازم است مطالعات شبه آزمایشی را روی گروههای مختلف و به روش های مختلف انجام دهد تا به ماتریسی مانند ماتریس کمپل و فیسک دست یابد، تا از طریق کلیت نتایج بدست آمده بتواند روابط علی را مشخص سازد. بنابراین، در بسیاری شرایط، یک طرح شبه آزمایشی رویکرد ارجح است. با اینکه همانند طرح های آزمایشی خالی از اشکال نیست، ولی می تواند اطلاعات مهمی را درباره برنامه ها و سیاست گذاری های جدید ارائه دهد.

نویسنده: لیلا بهنیا (دانشجوی دکتری رشته روانشناسی)