Record #508654

DFG project G:(GEPRIS)460676551

Relevance Assessment Tool (RAT): Entwicklung und Erweiterung einer Software zur Durchführung von Studien, die auf Ergebnissen aus Suchsystemen beruhen

Coordinator	Professor Dr. Dirk Lewandowski
Grant period	2021 -
Funding body	Deutsche Forschungsgemeinschaft
	DFG
Identifier	G:(GEPRIS)460676551

Note: Das übergreifende Ziel des Projekts ist, die Software Relevance Assessment Tool (RAT) so weiterzuentwickeln und zu ergänzen, dass sie fächerübergreifend zu einem stabilen, flexiblen und nachhaltigen Werkzeug zur Durchführung von Studien, die sich mit der Sammlung und Analyse von Daten aus Suchmaschinen und weiteren Information-Retrieval-Systemen beschäftigen, wird.Das RAT ist eine Software, die es Forschenden erlaubt, Studien auf der Basis von Ergebnissen (kommerzieller) Suchmaschinen und anderer Information-Retrieval-Systeme durchzuführen. Die Software besteht aus Modulen für (1) das Studiendesign, (2) die automatische Sammlung von Daten aus den Suchsystemen, (3) die Sammlung von Nutzerbewertungen, (4) das Herunterladen/Analysieren der Ergebnisse. Der Ausgangspunkt für die Entwicklung des RAT war die Tatsache, dass Studien zur Retrievaleffektivität einen hohen Anteil manueller Arbeit erfordern; dies sowohl beim Design der Tests, beim Erfassen der Suchergebnisse, bei der Rekrutierung der Juroren und ihrer Bewertungen, sowie bei der Analyse der Studienergebnisse. Mit dem RAT wird eine Lösung entwickelt, die Retrievalstudien auf allen Stufen effektiver und effizienter macht.Beim Design des RAT wird von dem Wunsch der Forschenden ausgegangen, auch die Ergebnisse externer IR-Systeme, insbesondere kommerzieller Suchmaschinen, zu analysieren. Mit diesem Ansatz unterscheidet sich das RAT von anderer Software, die entwickelt wurde, um Forschende, die vollständigen Zugang zu den zu evaluierenden Systemen haben, zu unterstützen.Studien können in RAT sowohl unter dem systemorientierten als auch dem nutzerorientierten Paradigma durchgeführt werden. Das RAT ist darüber hinaus für alle Forschenden nützlich, die an der Analyse von Suchergebnissen interessiert sind. Bereits während der Entwicklung des Prototyps wurde klar, dass es einen großen Bedarf an einer Software wie RAT in der Suchmaschinen- und Information-Retrieval-Forschung gibt. Bei der Verbreitung der Software werden wir zuerst die Suchmaschinen-/IR-Community ansprechen, bevor wir die weitere Verbreitung anstoßen. Um die gewünschten Communities zu erreichen, werden wir (1) die Softwareentwicklung eng von Pilotnutzern begleiten lassen, (2) die Software auf Konferenzen, über einen wissenschaftlichen Beirat sowie über Publikationen bewerben, (3) eine Anwendercommunity aufbauen. Um die Forschenden zu erreichen, werden wir die Software hinsichtlich ihrer Usability weiterentwickeln und durchgängig testen. Damit wollen wir erreichen, dass die Software auch leicht von Nutzern außerhalb der Informationswissenschaft/Informatik genutzt werden kann. Die Software wird allen Interessierten open source zur Verfügung gestellt.Wir werden die Nachhaltigkeit der Projektergebnisse durch Maßnahmen in drei Bereichen sicherstellen: (1) Aufbau und Verfügbarmachung der Software, (2) Aufbau und Pflege der Anwender- und Entwicklercommunity, (3) Verfügbarmachung der Software nach Projektende.

Recent Publications

There are no publications

Record created 2023-01-19, last modified 2024-09-27

Similar records

Rate this document:

(Not yet reviewed)

Add to personal basket
Export as Author List with IDs BibTeX (UTF-8), EndNote XML, EndNote Text, RIS, MARC, Print MARC, MARCXML, DC,
Request correction
Submit fulltext

guest :: login PUBDB
		Search		Submit		Personalize Your alerts Your baskets Your searches		Help