Für den Aufnahmetest ist die prognostische Validität von zentraler Bedeutung. Das Hauptziel besteht darin, valide Informationen darüber zu sammeln, ob die Bewerberinnen und Bewerber die erforderlichen sprachlichen und fachlichen Voraussetzungen mitbringen, um erfolgreich am Studienkolleg teilnehmen zu können. Der Einsatz von KI-Werkzeugen hätte zur Folge, dass diese Informationen verschleiert werden und somit die prognostische Validität des Tests beeinträchtigt wird. In einem solchen Fall würden konstruktirrelevante Fähigkeiten, nämlich der Umgang mit KI-Werkzeugen gemessen.
Obwohl die Fähigkeit im Umgang mit KI-Werkzeugen studien- und berufsrelevant sein kann, ist sie keine unmittelbare Voraussetzung für einen erfolgreichen Besuch des Studienkollegs. Aus diesem Grund sollte der Einsatz von KI-Werkzeugen im Aufnahmetest entweder vermieden werden oder im Falle ihres Einsatzes erkannt werden.
Im Projekt wurden zunächst die technischen Möglichkeiten der Teilnehmenden analysiert. Die vorhandenen Testitems wurden mithilfe von KI-Werkzeugen überprüft und überarbeitet. Eine Änderung besteht darin, dass viele Aufgaben nunmehr durch selbstgezeichnete Bilder präsentiert werden. Bei einigen Testelementen erfolgt die Aufgabenstellung ausschließlich durch Vorlesen. Einige Aufgaben wurden so gestaltet, dass die Antworten, die mithilfe von KI-Werkzeugen generiert werden, bei der Überprüfung auffallen. Zusätzlich werden die Ergebnisse von Fragen, die nicht mit KI-Werkzeugen lösbar sind, mit denen verglichen, die mit KI-Werkzeugen beantwortet werden können.
Neben den technischen Aspekten, die bei Online-Prüfungen eine zentrale Rolle spielen, werden auch sozialpsychologische Verhaltenstheorien und soziologische Erklärungsmodelle berücksichtigt, um regelkonformes Verhalten zu fördern.
In den Wirtschaftswissenschaften wird die "Theorie der rationalen Wahl" als Erklärungsansatz für menschliches Verhalten genutzt. Dieser Ansatz geht davon aus, dass Menschen ihr Verhalten anhand einer Kosten-Nutzen-Abwägung bestimmen. Im Aufnahmetest müssen die Teilnehmenden davon überzeugt sein, dass der Einsatz von KI-Werkzeugen keinen Vorteil bringt und dass ihre Chancen, die Prüfung zu bestehen, größer sind, wenn sie darauf verzichten. Vor der Prüfung werden daher Informationsveranstaltungen durchgeführt, in denen die Regeln erläutert werden, und es wird gezeigt, dass Regelverstöße erkannt werden und zum Ausschluss führen.
Sozialpsychologische Theorien betonen das Zusammenspiel von interner und externer Kontrolle. Den Prüfungsteilnehmenden wird ein hohes Maß an Selbstkontrolle abverlangt. Daher ist es sinnvoll, die "interne Kontrollinstanz" anzusprechen und Argumente für regelkonformes Verhalten anzuführen. Die externe Kontrollinstanz bezieht sich nicht nur auf die Möglichkeit, das Verhalten zu überwachen, sondern auch auf die Bindung an andere Personen und gemeinsame Werte. In den Informationsveranstaltungen und im Kontakt mit den Bewerberinnen und Bewerbern wird daher versucht, ein gemeinsames Ethos zu vermitteln.
Auch soziologische Theorien können zur Erklärung von regelkonformem Verhalten herangezogen werden. Wenn Menschen es für möglich halten, ihre Ziele mit legitimen Mitteln erreichen zu können, sind sie auch bereit dazu. Wenn der Eindruck entsteht, dass dies nicht möglich ist, werden innovative und nichtkonforme Lösungen gesucht und eingesetzt. Daher ist es wichtig, dass Personen, die über die erforderlichen Fähigkeiten und Kenntnisse verfügen, auch eine realistische Chance haben, den Aufnahmetest zu bestehen und einen Platz zu erhalten. Das Verhältnis zwischen den Teilnehmenden und den zugelassenen Bewerberinnen und Bewerbern sollte nicht ungünstig ausfallen, und auch diese Ausgangssituation muss den Bewerberinnen und Bewerbern verdeutlicht werden.
Die Verfahren haben sich bewährt; die Überprüfung der Items und die Anleitung zu regelkonformem Verhalten bleiben aber Daueraufgaben beim Aufnahmetest.