1、本研究主要采用認知任務分析(CTA)技術對試題的難度進行事前的主觀評定，并通過對被試言語報告的分析提取反映試題難度的客觀指標，進而分析主、客觀指標的一致性程度。最終，對采用CTA方法對試題的難度進行事前評定的方法體系的可靠性和有效性進行驗證。 實驗研究主要分為事前主觀評定和事后客觀評定兩個部分，研究材料為2007年上海市高考數(shù)學理科試卷。 在事前評定部分，研究者首先設定了一個問題難度評定的假設框架體系，整個體系由五個指標

2、構成，分別為：要素個數(shù)、要素辨識難度、運用原理數(shù)量、原理辨識難度和認知負荷。2名評定者按這一框架體系對五個指標分別進行獨立的評定，最后將各題的五個指標相加得到這一題的事前主觀難度。對2名評定者各自的評定結果進行相關分析，結果表明在這一框架體系的嚴格規(guī)范下，不同評定者能對同一試題作相對一致的評定，五個指標也都能較好地預測試題的事前難度。 在事后評定部分，主要是對8名被試的言語報告進行分析。研究者事先根據(jù)試題的標準答案對每一試題劃分

3、若干個解題關鍵步驟。然后將被試的言語報告對照關鍵步驟，提取被試完成每一關鍵步驟所需的認知負荷和時間，并計算8名被試在各題上的正確率。最后，對這三個客觀指標進行相關分析，結果發(fā)現(xiàn)三個指標間相關程度較高，都能較客觀地反映試題的難度。 進一步對事前、事后評定部分的各個指標進行相關分析，發(fā)現(xiàn)事前、事后指標間存在較高程度的相關。從而表明，使用試題的事前難度標定體系能夠對試題的難度作有效的預測。 通過對事前、事后部分評定結果的討論，

4、本研究主要得出以下結論： (1)采用CTA的方法，在試題難度事前標定的框架體系的規(guī)范下，不同的評定者能對試題的難度作出相對一致的主觀評定。 (2)通過對被試解題過程言語報告的分析，能在很大程度上把握住解題過程中認知負荷的大小，從而實現(xiàn)對解題過程中認知負荷的相對客觀的評定。 (3)試題事前難度標定系統(tǒng)是比較有效的系統(tǒng)，它可以對試題的相對難度作出較為準確的估計。 (4)試題事前難度標定的框架系統(tǒng)作為試題難度標