اعتبار
یک مطالعه جدید ، به سرپرستی دکتر وادیم آکسلرود ، از مرکز تحقیقات مغز چند تخصصی در گوندا (گلدا) در دانشگاه بار الان ، نگرانی های جدی در مورد کیفیت داده های جمع آوری شده بر روی یک پلت فرم مکانیکی ترکی (MTURK) را نشان داد-یک بستر گسترده ای برای تحقیقات روانی و روانی است.
Mturk ، گروهی از بازار خارج از کشور به صورت آنلاین که در آن افراد وظایف پرداخت کوچک را تکمیل می کنند ، به عنوان یک منبع اصلی برای محققان برای بیش از 15 سال. با وجود نگرانی های قبلی در مورد کیفیت شرکت کنندگان ، این پلتفرم در جامعه دانشگاهی رایج است. تیم دکتر Axelroud شروع به ارزیابی کیفیت فعلی داده های تولید شده توسط شرکت کنندگان MTURK کرده است.
این مطالعه ، که شامل بیش از 1300 شرکت کننده از طریق تجربیات و تکرار عمده ، از روشی واضح اما قوی استفاده می کند: تکرار عناصر پرسشنامه یکسان برای اندازه گیری قوام پاسخ. “اگر شرکت کننده قابل اعتماد باشد ، پاسخ سوالات مکرر باید سازگار باشد.” علاوه بر این ، این مطالعه شامل انواع مختلفی از سؤالات “شکار توجه” است که باید به راحتی با توجه به هرگونه توجه پاسخ داده شود.
نتیجه ای که به تازگی منتشر شده است جامعه سلطنتی علم باز استآنها سختگیر بودند: اکثر شرکت کنندگان در گروه کارگران عمومی MTURK نتوانستند بررسی کنند و پاسخ های بسیار متناقض نشان دادند ، حتی اگر نمونه 95 ٪ یا بالاترین تصویب به کاربران محدود شود.
دکتر اکسلرود ، اعتماد به شخصی که ادعا می کند دشمنی پس از تکمیل ماراتن در هوای بسیار گرم خسته نشده است ، دشوار است.
“شرکت کنندگان فاقد دانش برای پاسخ به این سؤالات شکار بودند – چرا ژوئیه توجه کافی را ندارد. معنای ضمنی این است که پاسخ آنها به پرسشنامه اصلی ممکن است به طور تصادفی با یک سطح مساوی باشد.”
در مقابل ، کارگران نخبه “استاد” از آمازون انتخاب شده توسط آمازون بر اساس عملکرد بالا در کارهای قبلی-داده های با کیفیت بالا تولید می کنند. نویسندگان استفاده از کارگران اصلی را برای تحقیقات آینده توصیه می کنند ، با توجه به اینکه این شرکت کنندگان با تجربه تر و بسیار کمتر از این تعداد هستند.
“داده های قابل اعتماد اساس هر علوم آزمایشی است.” “محققان باید از قابلیت اطمینان گروه شرکت کنندگان خود کاملاً آگاه باشند. نتایج ما به دست آمده است که نشان می دهد احتیاط هنگام استفاده از گروه تحقیقاتی رفتاری عمومی MTURK توجیه می شود.”
اطلاعات بیشتر:
ارزیابی داده ها و قابلیت اطمینان داده های آمازون Mechantical Turk (MTURK) در سال 2024 ، جامعه سلطنتی علم باز است (2025). doi: 10.1098/rsos.250361. RoyalsocietYpublishing.org/doi/10.1098/rsos.250361
مقدمه ای از دانشگاه بار ایلان
نقل قول: تحقیقات غیرقابل اعتماد از اکثر کاربران آمازون متورک ، به استثنای کارگران “استاد” (2025 ، 15 ژوئیه) ، در 15 ژوئیه 2025 از https://medicalxpress.com/news/2025-07- برجسته های غیر قابل اعتماد بازیابی شد.
این سند منوط به حق چاپ است. صرف نظر از هرگونه معامله عادلانه به منظور مطالعه یا تحقیقات خصوصی ، هیچ بخشی از مجوز کتبی قابل بازتولید نیست. محتوا فقط برای اهداف اطلاعاتی ارائه شده است.
منبع: https://medicalxpress.com/news/2025-07-highlights-unreliable-responses-amazon-mturk.html