الاستجابات غير الجدية وأثرها على جودة مطابقة فقرات الصورة الإلكترونية للمقياس النفسي

سوسن عابد عبدالله المغذوي; ربيع عبده أحمد رشوان

doi:10.55074/hesj.vi50.1592

Authors

Sawsan Abed Abdullah Al-moghazawi Ph.D. Scholar in Measurement and Evaluation College of Languages and Human Sciences Qassim University - KSA
Rabie Abdou Ahmed Rashwan Professor of Educational Psychology College of Languages and Human Sciences Qassim University - KSA

DOI:

https://doi.org/10.55074/hesj.vi50.1592

Keywords:

Insufficient Effort Responses, Careless/Insufficient Effort, Electronic Scale, Satisficing Theory-Item Response Tree (IRTree), Graded Response Model

Abstract

The study investigated the prevalence of Insufficient Effort Responses (IER) in an electronic psychological scale using the Item Response Tree (IR Tree) model, and examined variations by gender and grade level, as well as item fit differences using the Graded Response Model before and after IER removal. A 31-item Test Attitude Scale was administered to 818 secondary school students. The (IR Tree) model, Z-Test Two Proportion, (S-X2) Item-Fit Index, and McNemar's Test were utilized. Results showed a (%26.65) IER prevalence, with no significant differences by gender or grade level. Item fit quality significantly improved after IER removal.

Downloads

Download data is not yet available.

References

الإدارة العامة للتعليم بمنطقة المدينة المنورة. (2025). إحصائية التعليم. إحصاءات إدارة تعليم منطقة المدينة المنورة. استرجع في (28 فبراير 2025)، من https://madinaedu.com/st.html

أنستازي، آن.؛ ويورينا، سوزانا. (2015). القياس النفسي. صلاح الدين محمود علام، مُترجم، دار الفكر: (العمل الأصلي نشر في 1997).

تيغزة، أمحمد بوزيان. (2012). التحليل العاملي الاستكشافي والتوكيدي: مفاهيمهما ومنهجيتهما بتوظيف حزمة SPSSوليزرل .LISREL ط1، دار الميسرة.

الثبيتي عمر عواض عوض. (2022). الحكمة الاختبارية وعلاقتها بالاتجاه نحو الاختبار لدى طلبة المرحلة الثانوية في ضوء بعض المتغيرات. مجلة الجامعة الإسلامية للعلوم التربوية والاجتماعية، (10)، 109-156.

جوارنة، ريا؛ والقرعان، محمود. (2020). أداء مؤشر مطابقة الفرد (Lpz) في الكشف عن الاستجابات غير الجدية للفقرات متعددة التدريج باختلاف عدد فئات التدريج. المجلة الأردنية في العلوم التربوية، 16(3)، 385-398.

حمدان، روان صلاح الدين. (2020). نسب الاستجابات غير الجدية وأثرها في تقييم الطلبة للأداء التدريسي في جامعة اليرموك.] رسالة ماجستير منشورة[، جامعة اليرموك، قاعدة معلومات دار المنظومة.

حمروش، أسماء السيد محمد. (2013). مقياس قلق الامتحان لدى طلاب المرحلة الثانوية. مجلة الإرشاد النفسي، جامعة عين شمس، (35)، 436-478.

درابسة، شذى حسين. (2019). مقارنة فعالية طريقتي سلسلة الإجابات والأسئلة الإضافية في الكشف عن الاستجابات غير الجدية في المقاييس غير المعرفية] .رسالة ماجستير منشورة[، جامعة اليرموك، قاعدة معلومات دار المنظومة.

الدريدر، عبدالمنعم أحمد. (2006). الإحصاء البارامتري واللابارامتري في اختبار فروض البحوث النفسية والتربوية والاجتماعية. ط1، دار عالم الكتب.

دي إيالا، روبرت. جيه. (2017). النظرية والتطبيق في نظرية الاستجابة للفقرة. عبد الله زيد الكيلاني، إسماعيل سلامة البرصان، مُترجم، دار جامعة الملك سعود للنشر: (العمل الأصلي نشر في 2009).

زهران، محمد حامد. (2000). الإرشاد النفسي المصغر للتعامل مع المشكلات الدراسة. عالم الكتب.

سميث، أليسون.؛ فولود، كريس؛ كيب، ميلاني.؛ وكوس، داريا جي. (2022). دليل أكسفورد لعلم النفس السيبراني. مفيد حواشين، مراد عيسى، مُترجم؛ ط1، دار الفكر: (العمل الأصلي نشر في 2019).

الشافعي، محمد منصور محمد. (2014). الإحصاء التقليدي والمتقدم في البحوث العلمية والإنسانية أسس نظرية وتطبيقية باستخدام برامج، SPSS-LISREL-AMOS. ط1، مكتبة الرشد.

الشريفين، نضال كمال محمد. (2019). أثر نموذج نظرية الاستجابة للفقرة ذات الاستجابة المتعددة التدريج على دقة تقدير القدرات للأفراد والخصائص السيكومترية للفقرات والاختبار. المجلة التربوية، 130(33)، 241-295. https://doi.org/10.34120/joe.v33i130.3131

عبد الحافظ، ليلى عبد الحميد. (1986). مقياس قلق الامتحان (الاتجاه نحو الامتحان). المجلة التربوية، 1(1)، 40-82. https://doi.org/10.21608/edusohag.1987.130992

عبيدات، ذوقان؛ عبدالحق، كايد، وعدس، عبدالرحمن. (2021). البحث العلمي: مفهومه، أدواته، أساليبه. ط21، دار الفكر ناشرون وموزعون.

علام، صلاح الدين محمود. (2023). الاختبارات والمقاييس النفسية والتربوية. ط8، دار الفكر.

العنزي، فلاح محروت. (2016). علم النفس الاجتماعي. ط5، نشر المؤلف، توزيع مكتبة جرير.

كروكر، ليندا.؛ والجينا، جيمس. (2017). مدخل إلى نظرية القياس التقليدية والمعاصرة. هند الحموري، زينات دعنا، مُترجم، دار الفكر: (العمل الأصلي نشر في 2008).

كوهين، رونالد جاي.؛ وسويردليك، مارك. (2023). القياس النفسي والتقويم مقدمة إلى الاختبارات والقياس (أحمد الثوابيه وايمان عبده وشيربن حامد، مُترجم؛ ط1، دار الفكر: (العمل الأصلي نشر في 2018).

ليفجستون، رونالد.؛ ورينولدز، سيسيل. (2013). إتقان القياس النفسي الحديث. صلاح الدين محمود علام، مُترجم، دار الفكر: (العمل الأصلي نشر في 2012).

هزايمة، منار عبد المجيد أحمد. (2021). فاعلية عدد الفقرات السلبية الإضافية في الكشف عن الاستجابات غير الجدية في مقياس الاتجاهات نحو الإحصاء (SATS-36). ]رسالة ماجستير منشورة[، جامعة اليرموك، قاعدة معلومات دار المنظومة.

هويت، دينيس.؛ وكريمر، دنكان. (2016). مقدمة لحزمة البرامج الإحصائية SPSS في علم النفس. صلاح الدين محمود علام، مُترجم؛ ط1، دار الفكر: (العمل الأصلي نشر في 2014).

Alarcon, G. M., & Lee, M. A. (2022). The Relationship of Insufficient Effort Responding and Response Styles: An Online Experiment. Frontiers in Psychology, 12.

https://doi-org.sdl.idm.oclc.org/10.3389/fpsyg.2021.78437

American Educational Research Association, American Psychological Association& National Council on Measurement in Education (2014). Standards For Educational and Psychological Testing. DC: American Educational Research Association.

Ashley, M., & Shaughnessy, K. (2023). Predicting insufficient effort responding: The relation between negative thoughts, emotions, and online survey responses. Canadian Journal of Behavioral Science /Revue canadienne des sciences du comportment, 55(3), 198-209. https://doi.org/10.1037/cbs0000308

Bartram, D. (2006). The Internationalization of Testing and New Models of Test Delivery on the Internet. International Journal of Testing, 6(2), 121-131. https://doi.org/10.1207/s15327574ijt0602_2

Böckenholt U. (2017). Measuring response styles in Likert items. Psychological methods, 22(1), 69-83.

https://doi.org/10.1037/met0000106

Böckenholt, U. (2012). Modeling multiple response processes in judgment and choice. Psychological Methods, 17(4), 665-678.

https://doi.org/10.1037/a0028111

Böckenholt, U., & Meiser, T. (2017). Response style analysis with threshold and multi-process IRT models: A review and tutorial. The British journal of mathematical and statistical psychology, 70(1), 159-181. https://doi.org/10.1111/bmsp.12086

Bowling, N. A., Huang, J. L., Bragg, C. B., Khazon, S., Liu, M., & Blackmore, C. E. (2016). Who cares and who is careless? Insufficient effort responding as a reflection of respondent personality. Journal of Personality and Social Psychology, 111(2), 218-229.

https://doi.org/10.1037/pspp0000085

Cassady, J. C., & Johnson, R. E. (2002). Cognitive test anxiety and academic performance. Contemporary educational psychology, 27(2), 270-295.‏

Chalmers, R. P. (2023). mirt: Multidimensional item response theory (Version 1.44.0) [Computer software]. Retrieved from https://cran.r-project.org/package=mirt

Christensen, K. B., Makransky, G., & Horton, M. (2017). Critical values for Yen’s Q3: Identification of local dependence in the Rasch model using residual correlations. Applied Psychological Measurement, 41(3), 178-194. https://doi.org/10.1177/0146621616677520

De Boeck, P.& Cho s. (2020). IRTree Modeling of Cognitive Processes Based On Outcome And Intermediate Data. In H. JIAO (Ed.), Innovative Psychometric Modeling and Methods (pp. 91-104). Information Age Publishing.

De Boeck, P., & Partchev, I. (2012). IRTrees: Tree-Based Item Response Models of the GLMM Family. Journal of Statistical Software, Code Snippets, 48(1), 1-28. https://doi.org/10.18637/jss.v048.c01

De Boeck, P., & Partchev, I. (2023). IRTrees: Item response trees (Version 1.0.0) [Computer software]. Retrieved from https://cran.r-project.org/package=IRTrees

DeSimone, J. A., DeSimone, A. J., Harms, P. D., & Wood, D. (2018). The differential impacts of two forms of insufficient effort responding. Applied Psychology: An International Review, 67(2), 309–338. https://doi.org/10.1111/apps.12117.

Embreson, S.& Reise, S. (2000). Item Response Theory for Psychologists. Lawrence Erlbaum associates.

Gehlbach, H., & Barge, S. (2012). Anchoring and Adjusting in Questionnaire Responses. Basic and Applied Social Psychology, 34(5), 417-433. https://doi.org/10.1080/01973533.2012.711691

Hambleton,r.k &Swaminathan,H. (1985). Item Response Theory Princinple And Application. Boston: kluwer: Nijhoff Publishing.

Hattie, J. (1985). Methodology review: Assessing unidimensionality of tests and items. Applied Psychological Measurement, 9(2), 139-164. https://doi.org/10.1177/014662168500900204

Hinders, D. C. (2000). 5 steps to a 5. McGraw-Hill Professional Publishing.

Hong, M. R., & Cheng, Y. (2019). Clarifying the Effect of Test Speededness. Applied Psychological Measurement, 43(8), 611-623. https://doi-org.sdl.idm.oclc.org/10.1177/0146621618817783

Hong, M., Steedle, J. T., & Cheng, Y. (2020). Methods of Detecting Insufficient Effort Responding: Comparisons and Practical Recommendations. Educational and Psychological Measurement, 80(2), 312-345. https://doi-org.sdl.idm.oclc.org/10.1177/0013164419865316

Hong, M., Steedle, J. T., & Cheng, Y. (2020). Methods of detecting insufficient effort responding: Comparisons and practical recommendations. Educational and Psychological Measurement, 80(2), 312–345. https://doi.org/10.1177/0013164419865316

Huang J. L., Curran P. G., Keeney J., Poposki E. M., DeShon R. P. (2012). Detecting and deterring insufficient effort responding to surveys. Journal of Business and Psychology, 27(1), 99-114. https://doi.org/10.1007/s10869-011-9231-8

Huang, J. L., Liu, M., & Bowling, N. A. (2015). Insufficient effort responding: examining an insidious confound in survey data. The Journal of applied psychology, 100(3), 828-845. https://doi.org/10.1037/a0038510

Huang, J. L., Wang, Z., Huang, R., Wu, D., & Shi, H. (2025). Insufficient effort responding in management research: A critical review and future directions. Journal of Management. Advance online publication. https://doi.org/10.1177/01492063251330268

Iannone, R. (2025). DiagrammeR: Graph and network visualization (Version 1.0.11) [Computer software]. Retrieved from https://cran.r-project.org/package=DiagrammeR

International Test Commission. (2006). International Guidelines on Computer-Based and Internet-Delivered Testing. International Journal of Testing, 6(2), 143-171. https://doi.org/10.1207/s15327574ijt0602_4

Johnson, J. A. (2005). Ascertaining the validity of individual protocols from Web-based personality inventories. Journal of Research in Personality, 39(1), 103-129. https://doi.org/10.1016/j.jrp.2004.09.009

Kang, T., & Chen, T. T. (2008). Performance of the generalized S-X2 item fit index for polytomous IRT models. Journal of Educational Measurement, 45(4), 391-406. https://doi.org/10.1111/j.1745-3984.2008.00071.x

Kim, D. S., Reise, S. P., & Bentler, P. M. (2017). Identifying Aberrant Data in Structural Equation Models With IRLS-ADF. Structural Equation Modeling: A Multidisciplinary Journal, 25(3), 343-358. https://doi-org.sdl.idm.oclc.org/10.1080/10705511.2017.1379881

Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5(3), 213-236. https://doi.org/10.1002/acp.2350050305

Krosnick, J. A., & Alwin, D. F. (1987). An Evaluation of a Cognitive Theory of Response-Order Effects in Survey Measurement. The Public Opinion Quarterly, 51(2), 201-219.

https://doi-org.sdl.idm.oclc.org/10.1086/269029

Krosnick, J. A., Holbrook, A. L., Berent, M. K., Carson, R. T., Hanemann, W. M., Kopp, R. J., Mitchell, R. C., Presser, S., Ruud, P. A., Smith, V. K., Moody, W. R., Green, M. C., & Conaway, M. (2002). The Impact of “No Opinion” Response Options on Data Quality: Non-Attitude Reduction or an Invitation to Satisfice?. The Public Opinion Quarterly, 66(3), 371-403. https://doi-org.sdl.idm.oclc.org/10.1086/341394.

‏Kupffer, R. (2025). Development and validation of indices for detecting careless responding in multidimensional forced-choice questionnaires [Unpublished doctoral dissertation]. University of Kaiserslautern-Landau.

Meade, A. W., & Craig, S. B. (2012). Identifying careless responses in survey data. Psychological Methods, 17(3), 437-455.

https://doi.org/10.1037/a0028085

Melipillan Araneda, E. R. (2019). Careless Survey Respondents: Approaches to Identify and Reduce their Negative Impact on Survey Estimates (Doctoral dissertation), University of Michigan

Naglieri, J. A., Drasgow, F., Schmit, M., Handler, L., Prifitera, A., Margolis, A., & Velasquez, R. (2004). Psychological testing on the Internet: new problems, old issues. American Psychologist, 59(3), 150

Nichols, A. L., & Edlund, J. E. (2020). Why don’t we care more about carelessness? Understanding the causes and consequences of careless participants. International Journal of Social Research Methodology, 23(6), 625-638. https://doi.org/10.1080/13645579.2020.1719618

Niessen, A. S. M., Meijer, R. R., & Tendeiro, J. N. (2016). Detecting careless respondents in web-based questionnaires: Which method to use? Journal of Research in Personality, 63, 1-11.

Reckase, M. D. (1979). Unifactor Latent Trait Models Applied to Multifactor Tests: Results and Implications. Journal of Educational Statistics, 4(3), 207–230. https://doi.org/10.2307/1164671

Schmitt, N., & Stuits, D. M. (1985). Factors Defined by Negatively Keyed Items: The Result of Careless Respondents? Applied Psychological Measurement, 9(4), 367-373. https://doi.org/10.1177/014662168500900405

Schroeders, U., Schmidt, C., & Gnambs, T. (2022). Detecting Careless Responding in Survey Data Using Stochastic Gradient Boosting. Educational and Psychological Measurement, 82(1), 29-56. https://doi.org/10.1177/00131644211004708

Thompson, A. H. (1975). Random responding and the questionnaire measurement of psychoticism. Social Behavior and Personality: an international journal, 3(2), 111-115.

https://doi.org/10.2224/sbp.1975.3.2.111

Ulitzsch, E., Yildirim-Erbasli, S.N., Gorgun, G. and Bulut, O. (2022), An explanatory mixture IRT model for careless and insufficient effort responding in self-report measures. Br J Math Stat Psychol, 75 (3),668-698 https://doi.org/10.1111/bmsp.12272

Voss, N. M. (2024). The effects of careless responding on the fit of confirmatory factor analysis and item response theory models. Behavior Research Methods, 56(2), 577-599. https://doi-org.sdl.idm.oclc.org/10.3758/s13428-023-02074-9

Ward, M. K., & Meade, A. W. (2023). Dealing with Careless Responding in Survey Data: Prevention, Identification, and Recommended Best Practices. Annual review of psychology, 74, 577-596.

https://doi.org/10.1146/annurev-psych-040422-045007

Wertheimer, M. E. (2017). Identifying The Types of Insufficient Effort Responders. (Unpublished Doctoral Dissertation), Middle Tennessee State University.

Wickham, H. (2024). ggplot2: Elegant graphics for data analysis (Version 3.5.1) [Computer software]. Retrieved from https://cran.r-project.org/package=ggplot2

Yen, W. M. (1984). Effects of local item dependence on the fit and equating performance of the three-parameter logistic model. Applied Psychological Measurement, 8(2), 125-145. https://doi.org/10.1177/014662168400800201

Yentes, R., & Wilhelm, F. (2023). careless: Procedures for computing indices of careless responding (Version 1.2.2) [Computer software]. CRAN. https://cran.r-project.org/package=careless

Z Score Calculator for 2 poulation proportions. (n.d.). Social Science Statistics. https://www.socscistatistics.com/tests/ztest/default2.aspx

Zettler, I., Lang, J. W., Hülsheger, U. R., & Hilbig, B. E. (2016). Dissociating Indifferent, Directional, and Extreme Responding in Personality Data: Applying the Three-Process Model to Self-and Observer Reports. Journal of personality, 84(4), 461-472. https://doi.org/10.1111/jopy.12172