Article

Online Self Assessments as guidance systems for self-reflection and decision making in higher education – Broadly implemented yet poorly understood

Authors:
To read the full-text of this research, you can request a copy directly from the authors.

No full-text available

Request Full-text Paper PDF

To read the full-text of this research,
you can request a copy directly from the authors.

Article
Full-text available
Die Studienwahl ist die erste Herausforderung zu Beginn einer akademischen Laufbahn. Ist die Wahl getroffen, müssen sich Studieneinsteigerinnen und Studieneinsteiger in der neuen akademischen Umwelt zurechtfinden und den Anforderungen ihres Studienfachs gerecht werden. In keiner anderen Phase des Studiums brechen so viele Studentinnen und Studenten ab. Zu den Hauptgründen dafür zählen Leistungsdefizite und Motivationsmangel. Diese wiederum rühren nicht selten daher, dass Studieneinsteigerinnen und Studieneinsteiger von den tatsächlichen Studieninhalten überrascht werden. Daraus können Überforderung und Enttäuschung resultieren. Viele Hochschulen versuchen diese Diskrepanz zwischen Studienerwartungen und Studienwirklichkeit zu minimieren, indem sie Studieninteressierten die Möglichkeit bieten, sich im Rahmen von Online Self-Assessments (OSA) vorab intensiv mit ihrem Wunschstudienfach auseinander zu setzen. Bietet eine Hochschule dieses Instrument an, so sollte es evaluiert werden. Je nach Evaluationszeitpunkt und -zweck bieten sich verschiedene Ansätze an. In diesem Beitrag präsentieren wir Beispiele dafür, wie eine Evaluation gestaltet werden kann, wenn – wie in den meisten Fällen – keine direkte Verknüpfung des individuellen OSA-Ergebnisses mit Studienverlaufsdaten möglich ist, und reflektieren Chancen und Hindernisse dieser exemplarischen Ansätze. Die Beispiele stammen aus dem OSA der Justus-Liebig-Universität Gießen (JLU). Zunächst zeigen wir auf Basis der Daten einer Studieneingangsbefragung, wie viele der eingeschriebenen Studienanfängerinnen und -anfänger das OSA genutzt haben und wie sie es bewerten (Studie 1). Anschließend stellen wir detailliertes Feedback der Nutzerinnen und Nutzer vor (Studie 2). Es folgt der Bericht über eine Studie zur Akzeptanz von studienbezogenen Intelligenztests und Persönlichkeitsfragebogen (Studie 3): Verfahren, die typischerweise im Rahmen von OSA eingesetzt werden. Abschließend diskutieren wir, an welche Gelingensbedingungen Evaluationen eines OSA geknüpft sind und welche strategischen Implikationen sich, aus unseren Erkenntnissen, ableiten lassen.
Article
Full-text available
High dropout rates at universities, often caused by false expectations and a lack of motivation, pose a serious problem in higher education. Online self-assessments (OSAs) assess expectations regarding a field of study (major) and provide feedback on the reality of the major, thus pointing out expectation-reality discrepancies as well as helping prospective students choose a major. Based on cognitive dissonance theory, pointing out expectation-reality discrepancies should be related to changes in motivation for the major (expectancies for success, subjective values, intention to choose a major) and this relationship should be strengthened by feedback. Past research has shown that OSAs can correct expectations and that expectation-reality discrepancies are related to motivation but has not investigated the role of feedback for this process. Therefore, we extend past research by examining whether the positive relationships between expectation-reality discrepancies and changes in motivation for a major are stronger for prospective students who receive feedback on their expectation-reality discrepancies than for prospective students who do not receive feedback after the assessment. We conducted a field experiment in which 234 prospective students were randomly assigned to one of two groups (EG1 = OSA including feedback; EG2 = OSA without feedback). As hypothesized larger expectation-reality discrepancies were associated with larger changes in motivation for a major (expectancies for success, subjective values, intention to choose a major). Beyond that, we found a moderation effect of the feedback condition showing that the positive relationships between expectation-reality discrepancies and expectancies for success were stronger when prospective students received feedback (vs. no feedback). As feedback only showed effects beyond expectation-reality discrepancies in one of the considered outcomes, both the development of assessment and feedback should be targeted to optimize the effectiveness of OSAs.
Article
Full-text available
Zusammenfassung: Online-Self-Assessments werden als Instrument zur Unterstützung selbstregulierenden Lernverhaltens Studierender diskutiert. Hierbei kann ein Online-Self-Assessment eine Selbstreflexion aktueller Lernerfahrungen, eine Phase selbstregulierten Lernverhaltens, anregen und sich in einer elaborierteren Selbstreflexionserkenntnis manifestieren. Es wurde angenommen, dass die durch ein Online-Self-Assessment angeregte Selbstreflexionserkenntnis in Zusammenhang mit individuellen Lern- und Arbeitsvermeidungszielen steht (H1) und mit dem Erleben motivationaler Erwartungsdiskrepanz sowie einer Verunsicherung ob der passenden Studienwahl einhergeht (H2). An einer Stichprobe von 299 Lehramtsstudierenden wurden diese beiden Hypothesen geprüft. Die Befunde zeigten, dass Lernziele eine Selbsterkenntnis zur Lernsituation durch ein Online-Self-Assessment begünstigten, Arbeitsvermeidungsziele jedoch nicht damit in Zusammenhang standen. Eine erhöhte durch ein Online-Self-Assessment angeregte Selbstreflexionserkenntnis war zudem mit dem Erleben einer positiven motivationalen Erwartungsdiskrepanz assoziiert, nicht jedoch mit einer Verunsicherung ob der passenden Studienwahl.
Article
Full-text available
Choosing a field of study (study major) is challenging for prospective students. However, little research has examined factors measured prior to enrollment to predict motivation and well-being in a specific study major. Based on literature on affective forecasting and person-environment fit, prospective students’ well-being forecast could be such a factor. However, affective forecasts are often biased by individuals’ inaccurate theories about what makes them happy and their misconstrual of future situations. Thus, we hypothesize that subjective and objective interest-major fit forecasts improve predictions as these factors are based on a well-founded theory (person-environment fit theory) and objective interest-major fit forecasts are additionally based on a more accurate construal of the future situation (expert estimates of a study major). We tested these hypotheses in a longitudinal field study. Over 2 years, more than 4000 prospective students were asked for their well-being forecast and subjective interest-major fit forecast before using an online-self-assessment to assess their objective interest-major fit forecast. Of these prospective students, 234 subsequently entered the psychology major and took part in a survey about their motivation and well-being in their study major. As hypothesized, higher well-being forecasts predicted higher motivation, more positive affect, and higher satisfaction in the respective major. Beyond that, higher subjective interest-major fit forecasts predicted higher motivation, less negative affect, and higher satisfaction, while objective interest-major fit forecasts incrementally predicted higher motivation, more positive affect, and higher satisfaction. We discuss theoretical implications for affective forecasting and person-environment fit theory and practical implications for study orientation and guidance.
Article
Full-text available
Large language models represent a significant advancement in the field of AI. The underlying technology is key to further innovations and, despite critical views and even bans within communities and regions, large language models are here to stay. This commentary presents the potential benefits and challenges of educational applications of large language models, from student and teacher perspectives. We briefly discuss the current state of large language models and their applications. We then highlight how these models can be used to create educational content, improve student engagement and interaction, and personalize learning experiences. With regard to challenges, we argue that large language models in education require teachers and learners to develop sets of competencies and literacies necessary to both understand the technology as well as their limitations and unexpected brittleness of such systems. In addition, a clear strategy within educational systems and a clear pedagogical approach with a strong focus on critical thinking and strategies for fact checking are required to integrate and take full advantage of large language models in learning settings and teaching curricula. Other challenges such as the potential bias in the output, the need for continuous human oversight, and the potential for misuse are not unique to the application of AI in education. But we believe that, if handled sensibly, these challenges can offer insights and opportunities in education scenarios to acquaint students early on with potential societal biases, criticalities, and risks of AI applications. We conclude with recommendations for how to address these challenges and ensure that such models are used in a responsible and ethical manner in education.
Article
Full-text available
The development of science, technology, engineering, and mathematics (STEM) requires more qualified professionals in these fields. However, gender segregation in higher education in this sector is creating a gender gap that means that for some disciplines female representation does not even reach 30% of the total. In order to propose measures to address the phenomenon, it is necessary to understand the possible causes of this issue. A systematic literature review and mapping were carried out for the study, following the PRISMA guidelines and flowchart. The research questions to be answered were (RQ1) What studies exist on the gender gap in relation to the choice of higher education in the STEM field; and (RQ2) How do gender roles and stereotypes influence decision-making related to higher education? The review of peer-reviewed scientific articles, conferences texts, books and book chapters on the European education area was applied. A total of 4571 initial results were obtained and, after the process marked by the PRISMA flowchart, the final results were reduced to 26. The results revealed that gender stereotypes are strong drivers of the gender gap in general, and the Leaky Pipeline and Stereotype Threat in particular. To narrow the gender gap, it is necessary to focus on influences from the family, the educational environment, and the peer group, as well as from the culture itself. Positive self-concept, self-efficacy, self-confidence, and self-perception need to be fostered, so that the individual chooses their studies according to their goals.
Article
Full-text available
Realistische Erwartungen und Passung zwischen Interessen und Studieninhalten sind zentrale Ansatzpunkte bei der Steuerung von Studienwahlentscheidungen. In einem neu entwickelten fachspezifischen Erwartungs- und Interessenstest (E × I - Test) für Psychologie werden erstmals Erwartungsdiskrepanzen und Interessen kombiniert betrachtet und dementsprechend auch übertroffene oder enttäuschte Erwartungen erfasst und rückgemeldet. Die zu den Studieninhalten des neuen Verfahrens entwickelten Items konnten annähernd perfekt den Studienfachbereichen zugeordnet werden und deckten diese weitgehend vollständig und gleichmäßig ab. 2,033 Studieninteressierte bearbeiteten den E × I - Test im Rahmen eines Online-Self-Assessments und fühlten sich danach informierter als vorher. Insgesamt bewerteten die Studieninteressierten das neue Verfahren positiv und 94% würden es weiterempfehlen. Auf Basis des vorgestellten Verfahrens für das Bachelor-Psychologiestudium könnten weitere E × I - Tests für die Orientierung in andere Studienfächer oder Berufe entwickelt und validiert werden, für welche sowohl spezifische Interessen als auch enttäuschte Erwartungen eine Rolle spielen.
Article
Full-text available
Extensive evidence clearly endorses the use of standardized reasoning ability tests and subject-specific knowledge tests as valid and useful tools for admission-restricted study programs. Yet, tests are still rarely applied for university admission in Germany. Instead, current admission practices are predominantly based on grade point average (GPA) achieved in high school. In the present study, we report the development and validation of a test battery for admission into bachelor’s degree programs in psychology for German universities. Its compilation is driven by evidence from international validity generalization, consensual models of cognitive abilities, and a taxonomy of the B.Sc. psychology degree in Germany. It consists of three subtests for reasoning ability, two tests that tap relevant declarative knowledge, and two psychology-specific text comprehension tests. N = 371 freshmen from five German universities completed the tests and university GPA was retrieved 2.5 years later. We use confirmatory factor analyses and structural equation modeling to investigate the construct and criterion validity of the test battery. The results indicate that individual tests, as well as the test battery, meet psychometric requirements. As expected, the test battery predicts university GPA substantially and incrementally beyond high school GPA. The results illustrate the substantial added value that standardized achievement tests provide in university admissions.
Chapter
Full-text available
Dieses Kapitel widmet sich den grundlegenden Merkmalen und Wirkmechanismen von Online Self-Assessments (OSA) zur Studienfachwahl. Wir beginnen mit einer Begriffsklärung und der Beschreibung der verschiedenen Elemente und zugrundeliegenden Wirkmechanismen von OSA. Anschließend stellen wir unterschiedliche Einsatzmöglichkeiten und aktuelle Erscheinungsformen von OSA vor. Vor diesem Hintergrund entwickeln wir ein allgemeines Rahmenmodell zur Entwicklung, zu den Wirkmechanismen und zur Bewertung von OSA und dazu, wie die einzelnen Aspekte ineinandergreifen.
Article
Full-text available
Prognostic models that aim to improve the prediction of clinical events, individualized treatment and decision-making are increasingly being developed and published. However, relatively few models are externally validated and validation by independent researchers is rare. External validation is necessary to determine a prediction model’s reproducibility and generalizability to new and different patients. Various methodological considerations are important when assessing or designing an external validation study. In this article, an overview is provided of these considerations, starting with what external validation is, what types of external validation can be distinguished and why such studies are a crucial step towards the clinical implementation of accurate prediction models. Statistical analyses and interpretation of external validation results are reviewed in an intuitive manner and considerations for selecting an appropriate existing prediction model and external validation population are discussed. This study enables clinicians and researchers to gain a deeper understanding of how to interpret model validation results and how to translate these results to their own patient population.
Article
Full-text available
In the current study, we examined the viability of a multidimensional conception of perceived person-environment (P-E) fit in higher education. We introduce an optimized 12-item measure that distinguishes between four content dimensions of perceived P-E fit: interest-contents (I-C) fit, needs-supplies (N-S) fit, demands-abilities (D-A) fit, and values-culture (V-C) fit. The central aim of our study was to examine whether the relationships between different P-E fit dimensions and educational outcomes can be accounted for by a higher-order factor that captures the shared features of the four fit dimensions. Relying on a large sample of university students in Germany, we found that students distinguish between the proposed fit dimensions. The respective first-order factors shared a substantial proportion of variance and conformed to a higher-order factor model. Using a newly developed factor extension procedure, we found that the relationships between the first-order factors and most outcomes were not fully accounted for by the higher-order factor. Rather, with the exception of V-C fit, all specific P-E fit factors that represent the first-order factors’ unique variance showed reliable and theoretically plausible relationships with different outcomes. These findings support the viability of a multidimensional conceptualization of P-E fit and the validity of our adapted instrument.
Article
Full-text available
Student outcomes are influenced by different types of motivation that stem from external incentives, ego-involvement, personal value, and intrinsic interest. These types of motivation as described in self-determination theory each co-occur to different degrees and should lead to different consequences. These associations with outcomes are in part due to unique characteristics and in part to the degree of autonomy each entails. In the current meta-analysis, we examine these different types of motivation in 344 samples (223,209 participants) as they relate to 26 performance, well-being, goal orientation, and persistence-related student outcomes. Findings highlight that intrinsic motivation is related to student success and well-being, whereas personal value (identified regulation) is particularly highly related to persistence. Ego-involved motives (introjected regulation) were positively related to persistence and performance goals, but also positively related with indicators of ill-being. Motivation driven by a desire to obtain rewards or avoid punishment (external regulation) was not associated to performance or persistence but was associated with decreased well-being. Finally, amotivation was related to poor outcomes. Relative weights analysis further estimates the degree to which motivation types uniquely predict outcomes, highlighting that identified regulation and intrinsic motivation are likely key factors for school adjustment.
Article
Full-text available
Fachspezifische Studierfähigkeitstests werden in mehreren zulassungsbeschränkten Studiengängen als Auswahlinstrument eingesetzt. Eine Metaanalyse von Hell, Trapmann und Schuler (2007) ermittelte eine hohe prognostische Validität solcher Tests. Seitdem hat es allerdings umfassende Veränderungen des Bildungssystems (z.B. Bologna-Prozess, Änderungen der Schulsysteme) sowie eine stete Weiterentwicklung der Testverfahren gegeben. Zur Klärung der Frage, ob fachspezifische Studierfähigkeitstests nach wie vor eine gute Erfolgsprognose liefern, schreibt die vorliegende Arbeit die Metaanalyse von Hell et al. (2007) fort. Die prognostische Validität im deutschsprachigen Raum ist stabil geblieben (ρ = .427, K = 54 Stichproben, N = 8410 Personen). Es fanden sich höhere Validitäten bei neueren Studien, Zeitschriftenartikeln mit Peer-Review, universitären Stichproben sowie bei kürzerem Abstand zwischen Test und Studiennotenerfassung. Zudem zeigten sich Fachunterschiede bezüglich der prognostischen Validität beispielsweise zugunsten von Sozialwissenschaften (ρ = .510). Die Studierfähigkeitstests besitzen außerdem eine inkrementelle Validität über die Abiturnote hinaus (ΔR2 = .081, k = 31, n = 3999). Die Befunde sprechen dafür, dass die Testverfahren einen hilfreichen Beitrag zur erfolgreichen Studierendenauswahl liefern (als Alternative oder Ergänzung zur Abiturnote).
Article
Full-text available
Enrollment at university can be based on personal interests (intrinsically motivated) as well as financial prospects (extrinsically motivated). I investigate whether and how these qualities of motivation for enrollment influence achievement motivation and well-being of university students at the beginning of their studies. Thereby, I relied on data from a longitudinal study in which university freshmen were questioned at the beginning and end of their first academic year. The results of the study indicate that intrinsic motivation for enrollment facilitates the development of a learning goal orientation and retrospective satisfaction with choice of major. Extrinsic motivation for enrollment was related to impaired study satisfaction over time and enhanced thoughts about dropout. These prospective effects were robust when controlling for initial individual differences in achievement goal orientations, life satisfaction, and GPA. The presented research provides new insights regarding how educational decisions affect achievement motivation and well-being in educational contexts over time.
Article
Full-text available
In the present study, we investigated the predictive power of three kinds of university admission criteria used to select students who enlisted to study in German bachelor programs in the field of psychology. The admission criteria investigated were grade point average, single grades in mathematics and English, as well as practical experiences in jobs related to psychology. We used the data of 10,605 university applicants from five bachelor cohorts of a German university to investigate whether the different admission criteria would differentially predict academic success operationalized by the first grade in statistics at university, the final grade point average of the bachelor degree, and the duration of studies. Path analyses showed that grade point average was the only valid predictor for indicators of academic success indicated by grades, while none of the admission criteria were predictive of the duration of studies. Furthermore, we found that a stronger weighting of grade point average that simultaneously weakened the influence of other admission criteria on the admission process also increased the predictive power of the predictor set for graded academic success. In sum, this study illustrates the benefits of evidence-based university admission procedures and discusses the limits of such procedures set by federal law.
Article
Full-text available
Women and racial minorities are underrepresented in science, technology, engineering, and math (STEM) fields. This review describes six wise psychological interventions that can improve gender and race equality in STEM education by addressing psychological processes that inhibit achievement. The interventions are brief, low-cost, and effective because they target specific psychological processes that cause disinterest, disengagement, and poor performance in STEM education. Interventions promoting a growth mindset address needs for competence and confidence. Communal goal interventions portray STEM as fulfilling communal values. Utility-value interventions highlight the usefulness and value of STEM education in students’ lives and careers. Values-affirmation interventions can buffer negative effects of social identity threat by reaffirming one’s personal values. Belonging interventions can bolster sense of belonging and identity with STEM by fostering a personal connection with the STEM community. Role models can instill a sense of belonging and identity compatibility for underrepresented groups in STEM. Educators, researchers, and policy makers can promote STEM education and careers by advocating for wise psychological interventions.
Article
Full-text available
During academic orientation, online self-assessments (OSAs) are an important instrument as they provide feedback about a person’s fit regarding a particular study subject. OSAs are supposed to initiate self-selection processes as they are assumed to change study-related attitudes. Using a quasi-experimental design, the present paper investigates the effectiveness of OSAs from the perspective of expectation-value theory (Wigfield & Eccles, 2000) and decision stages (pre-decision-, decision-, and post-decision stage) of academic decision processes (Ertelt & Schulz, 2015). A sample of 119 students, who showed interest in studying Social Sciences (sociology or political science), used the Mannheim Information System for Social Sciences (MISS). Regression analyses revealed that feedback about a discrepancy between a persons’ expectations and actual study demands negatively predicts attitudes (intrinsic value, utility value and expectation of success), while person’s attitudes (decidedness to choice of study and attainment value) is promoted if the person already is in an advanced stage of the decision process (i.e. in the decision or post-decision stage).
Chapter
Full-text available
Self-Assessments gelten als gute Möglichkeit, Studieninteressierte bei der Wahl eines passenden Studienfaches zu unterstützen und immer mehr deutsche Hochschulen bieten entsprechende onlinebasierte Beratungsangebote an. Im folgenden Kapitel soll am Beispiel der Universität des Saarlandes, an der bereits vor mehr als sieben Jahren das Self-Assessment Study-Finder entwickelt wurde, beschrieben werden, wie Self-Assessments die Studienfachwahl unterstützen können. Dabei wird insbesondere auf die, an den Bedürfnissen der Universität orientierte, zweistufige Konzeption des Study-Finders eingegangen. Berichtet werden außerdem empirische Befunde zur Nutzung und Verbreitung des Beratungsangebotes sowie zur Validität der einzelnen Self-Assessment- Module. Ergänzend werden Erfahrungen zur Einbindung des Beratungs-Tools in andere Beratungsangebote der Universität berichtet.
Article
Full-text available
The present paper demonstrates the importance of realistic expectations for a well-founded and stable study choice. Unrealistic expectations can lead to lack of study motivation and even to dropout. Expectation checks in online self-assessments provide an effective instrument to identify and correct students’ expectations directly. Findings on the use and acceptance of expectation checks as well as first empirical results on their effectiveness are reported.
Article
Full-text available
Computer science has one of the largest gender disparities in science, technology, engineering, and mathematics. An important reason for this disparity is that girls are less likely than boys to enroll in necessary "pipeline courses," such as introductory computer science. Two experiments investigated whether high-school girls' lower interest than boys in enrolling in computer science courses is influenced by stereotypes of the field. We further tested whether these stereotypes can be communicated by the physical classroom environment, and whether changing this environment alters girls' interest. In 2 experiments (N = 269), a computer science classroom that did not project current computer science stereotypes caused girls, but not boys, to express more interest in taking computer science than a classroom that made these stereotypes salient. The gender difference was mediated by girls' lower sense of belonging in the course, even beyond the effects of negative stereotype concerns, expectations of success, and utility value. Girls' lower sense of belonging could be traced to lower feelings of fit with computer science stereotypes. Individual differences in fit with stereotypes predicted girls' belonging and interest in a stereotypical, but not a nonstereotypical, classroom. Adolescence is a critical time for career aspirations. Girls may avoid computer science courses because current prevailing stereotypes of the field signal to them that they do not belong. However, providing them with an educational environment that does not fit current computer science stereotypes increases their interest in computer science courses and could provide grounds for interventions to help reduce gender disparities in computer science enrollment. (PsycINFO Database Record
Article
Full-text available
This study investigated the combined predictive validity of intelligence and personality factors on multiple measures of academic achievement. Students in a college of higher education in the Netherlands (N = 137) completed a survey that measured intelligence, the Big Five personality traits, motivation, and four specific personality traits. Student performance was measured with grade point average (GPA) and time to graduation, as well as with five specific performance measures: regular exams, skills training, team projects, internships, and a written thesis. Results show that 33% of the variance in GPA and 30% of the variance in time to graduation can be explained by combining intelligence, personality, and motivational predictors. Conscientiousness is the best predictor across a broad spectrum of academic achievement measures and explains five times as much variance in GPA as does intelligence. The practical implications are that institutes of higher education should collect personality data on students at the outset and then help students accordingly. Highly conscientious students who are organized and internally motivated might potentially be offered more challenging honours programs with corresponding special commendations on their diplomas, whereas students who score low on conscientious would receive more structure through student study groups, frequent deadlines, shorter assignments, group assignments, clearly defined learning goals, and less second chances for passing examinations.
Article
Full-text available
We hypothesized that college major persistence would be predicted by first-year academic performance and an interest-major composite score that is derived from a student’s entering major and two work task scores. Using a large data set representing 25 four-year institutions and nearly 50,000 students, we randomly split the sample into an estimation sample and a validation sample. Using the estimation sample, we found major-specific coefficients corresponding to the two work task scores that optimized the prediction of major persistence. Then, we applied the estimated coefficients to the validation sample to form an interest-major composite score representing the likelihood of persisting in entering major. Using the validation sample, we then tested a theoretical model for major persistence that incorporated academic preparation, the interest-major composite score, and first-year academic performance. The results suggest that (1) interest-major fit and first-year academic performance work to independently predict whether a student will stay in their entering major and (2) the relative importance of two work task scores in predicting major persistence depends on the entering major. The results support Holland’s theory of person-environment fit and suggest that academic performance and interest-major fit are key constructs for understanding major persistence behavior.
Article
Full-text available
The performance of prediction models can be assessed using a variety of methods and metrics. Traditional measures for binary and survival outcomes include the Brier score to indicate overall model performance, the concordance (or c) statistic for discriminative ability (or area under the receiver operating characteristic [ROC] curve), and goodness-of-fit statistics for calibration.Several new measures have recently been proposed that can be seen as refinements of discrimination measures, including variants of the c statistic for survival, reclassification tables, net reclassification improvement (NRI), and integrated discrimination improvement (IDI). Moreover, decision-analytic measures have been proposed, including decision curves to plot the net benefit achieved by making decisions based on model predictions.We aimed to define the role of these relatively novel approaches in the evaluation of the performance of prediction models. For illustration, we present a case study of predicting the presence of residual tumor versus benign tissue in patients with testicular cancer (n = 544 for model development, n = 273 for external validation).We suggest that reporting discrimination and calibration will always be important for a prediction model. Decision-analytic measures should be reported if the predictive model is to be used for clinical decisions. Other measures of performance may be warranted in specific applications, such as reclassification metrics to gain insight into the value of adding a novel predictor to an established model.
Article
Student dropout is a frequent phenomenon in higher education institutions that entails high costs for individuals, institutions, and society as a whole. Thus, it is crucial to identify protective factors regarding dropout in cases in which it could have been prevented. In line with Person-Environment Fit Theory, we assume that intrinsic motivation for enrollment (i.e. choice of major based on personal interests) is an important protective factor that facilitates intrinsic learning motivation over time, which should in turn be positively associated with performance at university and negatively associated with dropout (intentions). We tested these assumptions in two longitudinal studies using structural equation modeling. In study 1, we found that intrinsic motivation for enrollment was associated with a positive development of intrinsic learning motivation (N = 774 students, two time points during the first two semesters). In study 2, we investigated whether intrinsic learning motivation mediated the association between intrinsic motivation for enrollment and study success variables (N = 1185 students, three time points during the first academic year). Intrinsic motivation for enrollment was only slightly positively associated with university GPA, but negatively with students’ dropout intention measured one year later – mediated via intrinsic learning motivation. We did not find an association between intrinsic motivation for enrollment and actual dropout. The presented research provides the foundation for a process model linking the quality of motivation for enrollment to study success, which has strong implications for counseling of prospective students as well as for the identification of students at risk.
Chapter
Die Bereitstellung von Informationen, welche für die Studienfachwahl relevant sind, ist ein weiterer wichtiger Baustein eines Online-Self-Assessments (OSA). Im Sinne der Darstellungen in Kap. 1 sollen Informationselemente Studieninteressierte dazu befähigen, ihre Überlegungen bezüglich eines Studiums auf Basis objektiver Informationen zu reflektieren, um eine differenzierte Wahrnehmung ihrer persönlichen Passung mit einem Studiengang zu erlangen. In diesem Kapitel geben wir einen Überblick über den Nutzen und Einsatz von Informationselementen im Rahmen von Online-Self-Assessments. Wir beschreiben, welche Formen der Informationsvermittlung es im Rahmen von OSA gibt, welche Vor- und Nachteile mit verschiedenen Formaten verbunden sind, wie die Qualität (Validität) der bereitgestellten Informationen sichergestellt werden kann und was bei der Erstellung von Informationselementen beachtet werden sollte.
Chapter
In diesem Kapitel sollen aus eignungsdiagnostischer Perspektive relevante Personeneigenschaften (im Folgenden als Konstrukte bezeichnet) von Studieninteressierten für die Vorhersage von Studieneignung und Studienerfolg vorgestellt werden. Diese Konstrukte werden im Folgenden ihm Rahmen ihrer Rolle in OSA auch als Prädiktoren bezeichnet, während die vorhergesagten Variablen (z. B. Studieneignung, Studienerfolg und Studienzufriedenheit) als Kriterien bezeichnet werden. In den Darstellungen des Rahmen- und Wirkmodells in der Einleitung dieses Buches sind die Inhalt dieses Kapitels verortet. Es geht folglich um die personengebundenen Voraussetzungen (Personeneigenschaften) für Studienerfolg, somit um die späteren Inhalte der diagnostischen Elemente von OSA und im Ausblick auch um die aus der OSA-Bearbeitung resultierende Rückmeldung. Basierend auf vorangegangener Forschung fassen wir bisherige Erkenntnisse zur Prädiktion von Studieneignung und Studienerfolg im Allgemeinen zusammen. Darüber hinaus bieten wir einen Überblick über die Studien, die sich mit Kriteriumsvaliditäten (d. h., den Zusammenhänge zwischen Prädiktoren und Kriterien) von in OSA bisher erfassten Konstrukten und den dazu verwendeten Instrumenten beschäftigt haben. Angelehnt an den in der Psychologie gebräuchlichen Begriff der Validität (Gültigkeit) von Eignungsaussagen soll das Zusammenspiel von Prädiktor (OSA-Instrumente) und Kriterium (Studieneignung, Studienerfolg) genauer beleuchtet werden. Empirisch-theoretisch Interessierte finden zudem eine Einführung in den komplexen Wirkzusammenhang der OSA-Nutzung (von Rückmeldung an die Teilnehmenden über deren Verständnis der Rückmeldung, deren Entscheidung für oder gegen ein bestimmtes Studium und die potentielle Aufnahme des Studiums und den dann ggf. vorhandenen Kriterien für die Beurteilung von Studieneignung und Studienerfolg). Anhand einer Simulationsstudie werden wir durchdeklinieren, welche Parameter innerhalb dieses Prozesses welchen Einfluss auf die Validitätskoeffizienten der diagnostischen Elemente haben können. Zusammenfassend leiten wir ab, was in der Praxis bei der Auswahl von Prädiktoren für ein neues OSA in Ergänzung zur im vorherigen Kapitel beschriebenen Anforderungsanalyse zu beachten ist und wie Befunde aus der Literatur zur Validität verschiedener Prädiktoren vor dem konkreten Anwendungskontext zu beurteilen sind.
Book
Die Sicherung des Studienerfolgs gehört zu den großen Herausforderungen für Hochschulen: Nach derzeitigen Schätzungen verlassen knapp 30 % aller Bachelorstudierenden die Hochschulen ohne Abschluss. Schon weil es sich um eine quantitativ so bedeutsame Gruppe handelt, sind Fragen nach den Ursachen und Folgen von Studienabbrüchen von hoher Relevanz – für Hochschulen und Bildungsforschung gleichermaßen. Trotz hoher Bedeutsamkeit wurde das Thema Studienabbruch durch die empirische Hochschulforschung bislang vergleichsweise wenig fokussiert. Seit 2017 fördert das Bundesministerium für Bildung und Forschung daher in der Förderlinie „Studienerfolg und Studienabbruch“ 19 (Verbund-)Projekte, um mehr empirisch gesichertes Wissen zum Phänomen Studienabbruch zu generieren. Zum Ablauf der ersten Förderphase werden in diesem Sammelband die zentralen Erkenntnisse der Forschungsprojekte dargestellt. Der Inhalt • Ursachen von Studien(miss)erfolg und besondere Risikogruppen • Folgen und Kosten von Studienabbrüchen • Maßnahmen zur Sicherung des Studienerfolgs Die Herausgeber Prof. Dr. Martin Neugebauer ist Juniorprofessor für Empirische Bildungs- und Hochschulforschung an der Freien Universität Berlin. Prof. em. Dr. Hans-Dieter Daniel forscht am Psychologischen Institut der Universität Zürich. Prof. (i.R.) Dr. Andrä Wolter lehrte Hochschulforschung an der Humboldt-Universität zu Berlin.
Chapter
Mit diesem Buch legen wir eine Übersicht über die aktuelle Studienerfolgs- und Studienabbruchforschung in Deutschland vor. Im Rahmen dieser Einleitung, die bewusst kurzgehalten ist, um Überschneidungen mit den einzelnen Beiträgen zu vermeiden, erläutern wir zunächst die Motivation zu diesem Buch. Es folgt eine Übersicht über die einzelnen Beiträge, bevor wir nach einem kurzen Ausblick all jenen danken, die zur Entstehung des Buches beigetragen haben.
Chapter
Der Prozess des Studienabbruchs ist sehr komplex. Ihm liegt keine isolierte Ursache zugrunde, sondern vielmehr ein Ursachenbündel sich gegenseitig bedingender Einflussfaktoren. In diesem Projekt wurden moderne Verfahren des maschinellen Lernens, welche in der Bildungsökonomik eine innovative Herangehensweise darstellen, genutzt, um diese Bedingungsgefüge zu identifizieren, Studienabbrüche zu prognostizieren und somit Risiko-Gruppen frühzeitig zu erkennen. Im Fokus standen die Modellbildung zur Prognose von Studienabbrüchen mittels Klassifikationsmethoden und der Vergleich verschiedener Modelle sowohl hinsichtlich ihrer Prognosegüte, als auch ihrer Eigenschaften und Anwendbarkeit in der Praxis. Ferner wurden verschiedene Studienabbruchtypen unter Anwendung von Clusteranalysen identifiziert. Die Ergebnisse der Analysen betonen die Bedeutung der eigenen Erwartungen an das Studium für den Studienerfolg und damit die Wichtigkeit von Informationsangeboten. Für die Mehrheit der Studienabbrecherinnen und -abbrecher ist nicht nur ein Abbruchmotiv ausschlaggebend, sondern vielmehr ein Bündel von Gründen. Des Weiteren liefern vor allem Baum-basierte Modelle eine gute Prognose und verfügen über einige Vorteile für die Anwendbarkeit in der Praxis. Die Ergebnisse können Hochschulen als Grundlage dienen, um gezieltere Maßnahmen und Strategien zu entwickeln, Studienabbrüchen frühzeitig entgegenzuwirken.
Article
Understanding characteristics that contribute to psychology students’ academic success is important to better support them during their studies. Referring to person–environment fit theory, we examined effects of study-relevant characteristics (self-efficacy beliefs, self-assessed level of information about the study program) on subjective criteria of success (persistence with the choice of study subject, later study satisfaction) and controlled for effects of grade point average (GPA) and mathematical skills. We present a longitudinal survey study including five cohorts of first-year students (total N = 854). Mediation models ( N = 254) revealed that self-efficacy and level of information at study entry predicted students’ persistence at the end of the first semester, which predicted satisfaction at the end of the second semester. In the presumed overall model we found total effects of self-efficacy and level of information, with direct and indirect effects (via persistence) on satisfaction, and no total or direct effects of GPA and mathematical skills, but an indirect effect of GPA on satisfaction. Thus, psychology students’ satisfaction substantially depends on study-relevant characteristics and less on skills. An enhancement of students’ self-efficacy beliefs and comprehensive information for those who are interested in the subject might help to increase satisfaction and thus success.
Article
Online-Self-Assessments (OSAs) can provide critical guidance for student applicants during their search for the study program with the best match to their interests and capabilities. To provide the best information possible, it is necessary that OSAs take local characteristics of study programs under consideration. However, existing OSAs often ignore such characteristics of study programs, possibly because the development of such procedures requires different methods than the development of more general tools. Within this article we provide a theoretical view on the challenges and prospects of OSAs that take local characteristics of study programs into account. We also provide practical advice on how OSA material can be developed, using the expertise of students and staff within the respective university. The presented two-staged process is meant to assist higher education practitioners in developing OSAs with a strong fit to the respective university.
Article
In this commentary, the two critical attributes of seductive details are described through a historical lens: relevance and interest. For each of these attributes, various forms that have populated the seductive detail literature are distinguished, and the specific manner in which each is interpreted by contributors to the Special Issue is considered. The forms of relevance overviewed are personal, structural, instructional, and task relevance. For interest, distinctions between individual and situational interest are noted, and the concept of interestingness is delineated. With this historical backdrop, the studies in this Special Issue are analyzed, and four provocative questions are posed: When are “seductive details” not seductive? What contextual factors contribute to seduction? For whom is seduction a problem? When is the solution worse than the problem?
Chapter
Am Anfang jeder Laufbahn muss die Entscheidung für eine der vielen möglichen Ausbildungswege getroffen werden. Für die Wahl eines passenden Studienfachs können Online Self-Assessments wertvolle Unterstützung liefern. Im folgenden Kapitel werden Online Self-Assessments zur Studien- und Universitätswahl vorgestellt, theoretische Hintergründe, Klassifikationsmöglichkeiten und Zielsetzungen dieser Angebote erläutert sowie deren Nutzen beleuchtet. Ein Beispiel aus der Praxis gibt einen Einblick in eines dieser Angebote.
Book
Das Buch gibt einen umfassenden Überblick über den aktuellen Forschungsstand zu den Bedingungsgrößen des individuellen Studienerfolgs und zeigt, welche Bedeutung dabei der Fähigkeit zukommt, Absichten entgegen anderen Wünschen und emotionalen Impulsen in (Lern-)Handlungen umzusetzen. Im ahmen einer systematischen Testung, die bisher vornehmlich konzeptionell und nur in Einzelfällen auch empirisch unternommen wurde, untersucht Daniela Heinze auf der Basis einer Vielzahl von Analysen den Zusammenhang zwischen volitionalen Lernstrategien und verschiedenen objektiven wie subjektiven Studienerfolgsmaßen. Der Inhalt • Der Untersuchungsgegenstand Volition • Der individuelle Studienerfolg • Theoretisches Rahmenmodell und empirische Studie zu dem Zusammenhang von Volition und Studienerfolg Die Zielgruppen • Lehrende und Studierende der Fachgebiete Psychologie, insbesondere der pädagogischen Psychologie, der Motivationspsychologie sowieder Bildungs- und Hochschulforschung • Praktikerinnen und Praktiker aus Leitung und Verwaltung in der Hochschule sowie im Bereich Coaching und Selbstmotivation Die Autorin Daniela Heinze ist Referentin im Ministerium für Wissenschaft, Weiterbildung und Kultur des Landes Rheinland-Pfalz.
Article
Berufliche Interessen determinieren neben der Studienfachwahl auch Zufriedenheit und Erfolg im Studium. Viele Schüler/innen treffen bei der Einschätzung ihrer Interessen jedoch auf Schwierigkeiten. Ein Angebot zur Verbesserung dieser Einschätzung stellen sogenannte Self-Assessments dar: Auf Basis von Interessenfragebögen wird das individuelle Interessenprofil ermittelt und dazu passende Studiengänge vorgeschlagen. Die vorliegende Studie untersucht in einem experimentellen Prä-Post-Kontrollgruppen-Design mit N = 430 Schüler/innen Effekte der Self-Assessments was-studiere-ich.de und EXPLORIX® auf den Studienwahlprozess im Vergleich zu einer allgemeinen Studieninformation. Varianzanalysen mit Messwiederholung zeigen, dass sich durch die Bearbeitung der Self-Assessments die studienwahlbezogene Selbstwirksamkeit, die Entschlossenheit, die Zufriedenheit mit der Entscheidung, das Wissen über die berufliche Umwelt und die Selbstkenntnis erhöhen. Die Selbstkenntnis steigt durch die Bearbeitung der Self-Assessments stärker an als durch die Studieninformation. Die Rückmeldung der individuellen Interessen im EXPLORIX® führt außerdem dazu, dass mehr Schüler/innen mit ihren Interessen kongruente Studienwünsche äußern als zuvor.
Article
The teacher training applicants at the University of Lüneburg are obliged to use the online programme Career Counselling for Teachers (CCT) to reflect on their aptitude for a teacher career. For the present study, the data of 1 918 of these persons, which had been collected in the processing of the self-exploration questionnaires of CCT, were available. Additional information from a research questionnaire involving 173 persons was used. Results show that the information and the self-exploration questionnaires provided by CCT are perceived as useful to assist the career decision. The programme confirmes students’ intention to enroll at teacher training, especially for people with motivational and personal preconditions which are fitting for the teaching profession. Because persons with unfavourable preconditions are clearly underrepresented in the sample little can be said about that group Die Bewerberinnen und Bewerber um die Zulassung zum Lehramtsstudium an der Universität Lüneburg sind verpflichtet, das Online-Beratungsverfahren Career Counselling for Teachers (CCT) zu nutzen, um ihre Eignung für den Lehrerberuf zu reflektieren. Für die vorliegende Studie standen Daten von 1 918 dieser Personen zur Verfügung, die bei der Bearbeitung der Selbsterkundungsverfahren in CCT angefallen waren. Von 173 Personen liegen zusätzlich Angaben aus einem Forschungsfragebogen vor. Es zeigte sich, dass die über CCT bereitgestellten Informationen und Selbsterkundungsverfahren als hilfreich für die Laufbahnentscheidung erlebt werden. Das Programm steigert insbesondere bei Studieninteressierten mit günstigen motivationalen und personalen Voraussetzungen für den Lehrerberuf die Bereitschaft, ein Lehramtsstudium zu beginnen. Da in der Stichprobe Personen mit ungünstigen Voraussetzungen deutlich unterrepräsentiert sind, können bezüglich dieser Personengruppe nur beschränkt Aussagen gemacht werden.
Article
The United States has made a significant effort and investment in STEM education, yet the size and the composition of the STEM workforce continues to fail to meet demand. It is thus important to understand the barriers and factors that influence individual educational and career choices. In this article, we conduct a literature review of the current knowledge surrounding individual and gender differences in STEM educational and career choices, using expectancy-value theory as a guiding framework. The overarching goal of this paper is to provide both a well-defined theoretical framework and complementary empirical evidence for linking specific sociocultural, contextual, biological, and psychological factors to individual and gender differences in STEM interests and choices. Knowledge gained through this review will eventually guide future research and interventions designed to enhance individual motivation and capacity to pursue STEM careers, particularly for females who are interested in STEM but may be constrained by misinformation or stereotypes.
Das D-A-CH-Projekt „OSA-Portal“. Übersichtsportal für deutschsprachige Online-Self-Assessments zur Studienorientierung und -beratung
  • S Höft
  • T Ortner
  • B Hell
Bildung und Kultur: Studierende an Hochschulen
  • Destasis
Destasis. (2022). Bildung und Kultur: Studierende an Hochschulen (Fachserie 11 Reihe 4.1). Destasis.
HAW-Navigatorinternetbasierte Orientierungs-und Self-Assessment-Instrumente und ihre Verbindung mit der Studienberatung an der HAW Hamburg
  • J Diercks
  • J Kast
  • K Kupka
  • K Bolten
Diercks, J., Kast, J., Kupka, K. & Bolten, K. (2009). HAW-Navigatorinternetbasierte Orientierungs-und Self-Assessment-Instrumente und ihre Verbindung mit der Studienberatung an der HAW Hamburg. Zeitschrift für Beratung und Studium, 4(1), 15 -22.
Arbeitskräftemangel belastet die deutsche
  • J Garnitz
  • S Sauer
  • D Schaller
Garnitz, J., Sauer, S. & Schaller, D. (2023). Arbeitskräftemangel belastet die deutsche Wirtschaft. ifo Schnelldienst, 76(9), 60 -64.
Motive und Ursachen des Studienabbruchs an baden-württembergischen Hochschulen und beruflicher Verbleib der Studienabbrecherinnen und Studienabbrecher
  • U Heublein
  • J Ebert
  • C Hutzsch
  • S Isleib
  • R König
  • J Richter
  • A Woisch
Heublein, U., Ebert, J., Hutzsch, C., Isleib, S., König, R., Richter, J. & Woisch, A. (2017b). Motive und Ursachen des Studienabbruchs an baden-württembergischen Hochschulen und beruflicher Verbleib der Studienabbrecherinnen und Studienabbrecher (DZHW Projektbericht No. 6/2017). DZHW, Deutsches Zentrum für Hochschul-und Wissenschaftsforschung.
Die Entwicklung der Studienabbruchquoten in Deutschland
  • U Heublein
  • C Hutzsch
  • R Schmelzer
https://econtent.hogrefe.com/doi/pdf/10.1024/1010-0652/a000383 -Monday, February 03, 2025 12:47:58 AM -IP Address:2a02:8071:7181:2400:2c04:dac4:7f4e:7e16 Heublein, U., Hutzsch, C. & Schmelzer, R. (2022). Die Entwicklung der Studienabbruchquoten in Deutschland. (DZHW Brief 05 | 2022).
OSA-Portal". Übersichtsportal für deutschsprachige Online-Self-Assessments zur Studienorientierung und -beratung
  • S Höft
  • T Ortner
  • B Hell
  • D-A-Ch-Projekt Das
Höft, S., Ortner, T. & Hell, B. (2020). Das D-A-CH-Projekt "OSA-Portal". Übersichtsportal für deutschsprachige Online-Self-Assessments zur Studienorientierung und -beratung. In J. Kohler, P. Pohlenz, & U. Schmidt (Ed.), Handbuch Qualität in Studium, Lehre und Forschung. [Teil E. Methoden und Verfahren des Qualitätsmanagements -Praxisbeispiele und Innovationen] (pp. 93 -108).