PLEASE BE PATIENT WHEN SCROLLING DOWN. THIS PAGE MIGHT TAKE A WHILE TO FULLY LOAD.
Dank je wel dat je wilt deelnemen aan de pilot om gevonden media optredens automatisch in je persoonlijk profiel in PURE in te laden.
Voor deze pilot vragen we 10 minuten van je tijd om de media optredens die we hebben gevonden te beoordelen of deze juist zijn, en vragen naar het belang.
Doel: Met deze pilot willen we polsen of dergelijke automatiseringsmethodes aan slaan om vaker te gebruiken bij de periodieke vulling van items in PURE, naast de research output, nu ook voor Contributions en Mentions in Media, Patenten, Beleidsdocumenten, Startups, etc.
Wat gaan we met je antwoorden doen: de geanonimiseerde antwoorden bespreken we bij het VU Overleg van Portefeuillehouders Onderzoek, ter goedkeuring voor een vu-brede aanpak voor geautomatiseerde invoer van Press Clippings suggesties. Ook gebruiken we het om het clustering algoritme te verfijnen.
Context: De universiteitsbibliotheek wil graag de onderzoeker ontzorgen. Deze pilot doen we onder de vlag van de VU Strategie, en in het de context van de Onderzoeksvisie, om de Maatschappelijke impact van de VU zichtbaarder en inzichtelijker te maken. Een proxy voor maatschappelijke impact is deelname aan het maatschappelijke debat. Indirect (mentions: je publicaties die geciteerd worden in krant of blog), en direct (contributions: bijv column of interview in krant of radio). Om al deze contributions en mentions handmatig bij te houden levert je inzicht en bewijs dat je als wetenschapper ook bijdraagt aan de maatschappij met je kennis, maar het is wel een hele klus. Dat ontzorgen proberen we te doen door automatisch de Mentions en Contributions in PURE in te laden en voor je klaar te zetten ter goedkeuring. En op de tweede plaats een dashboard waarbij inzicht in de Mentions en Contributions worden gemaakt voor jouw als individu, maar ook geaggregeerd per afdeling of faculteit. Deze gegevens kunnen vervolgens bijvoorbeeld worden gebruikt voor Evaluaties en Grant aanvragen.
Hieronder volgt het Media Dashboard, met een link naar je PURE preview, en daaronder de korte vragenlijst.
Voor vragen kunt u terecht bij maurice.vanderfeesten@vu.nl
Maurice Vanderfeesten - Innovation Manager VU Library
Hieronder zie je het Media Dashboard (interactief). We hebben op basis van je naamvariaties in PURE gezocht in de media database van C&M (coosto.com) tussen januari 2012 en juni 2022. Die gegevens hebben we gebruikt om voor de pilot de gegevens te vullen in PURE.
In onderstaand Dashboard: Zoek en selecteer je naam.
2. Klik op de link "PREVIEW" in PURE (zie links onderaan link in gele kader).
3. Ga door naar de Vragenlijst
Hieronder de vragenlijst om te toetsen of dergelijke automatiseringsmethodes aan slaan om onderzoekers te ontzorgen bij de periodieke vulling van media en andere impact items in PURE. Scroll naar boven voor het Media Dashboard en de Inleiding.
Inmiddels hebben 20 van de 31 respondenten gereageerd. Dank hiervoor!
Hieronder volgen de finale resultaten.
De resultaten zijn hier te vinden: PILOT: Media in PURE (google.com) [analytics view]
Algemeen: positief tov Media en Impact items in PURE. Belangrijkste redenen: bespaart tijd en uitzoekwerk. Punt van zorg: automatisch betekent bias, , persoonlijke/wetenschappelijk rol in maatschappelijk debat. Wens: zelf zoekcriteria aanpassen en resultaten selecteren.
Belangrijkste gebruik: voor grant aanvragen en E&W. Functie: verzamelplek van 'engagement evidence' voor ondersteuning van narratief (kwalitatief). Weerstand: tellen van media optredens bij evaluaties en beoordelingen (kwantitatief).
Resultaten: Redelijk ok. Gemeld wordt: te veel resultaten (ruis: naam wordt genoemd, maar geen actieve bijdrage geleverd), maar aan de andere kant ook te weinig resultaten (bijdragen die ontbreken: "ik zie mijn radio optredens niet terug"). (extra uitleg hieronder [1])
Clustering: uit de reacties tot 17 aug te lezen dat de vraag onduidelijk was door begrip "media stories" (explainer hieronder [2]) Heb iets meer uitleg gegeven bij de vraag, misschien veranderd het beeld dan nog.
Extras: Grote interesse in contributions en mentions in Press/media en Policy. Wensen: Opt-out mogelijkheid wenselijk. [3] Interesse in contributions en mentions op social media platformen. Maar ook de wens om dit er uit te filteren [4] Preprints erbij werd genoemd.
Dashboard: "Leuk extraatje", inzicht in bereik van media optredens.
We zoeken in Coosto op je voor- en achternaam in combinatie met de naamvariaties van de VU.Dat combineren doen we om foutieve resultaten te komen (iemand met jouw naam, maar dat ben je niet). En zodat de media optredens zijn geaffilieerd aan de VU en niet aan een andere werkgever.Zoeken op alleen je naam levert misschien veel meer resultaten op, en werkt goed als je naam vrij uniek is. Maar voor mensen met een minder unieke naam krijgen veel resultaten te dien waardoor de werkbelasting te hoog wordt om alle resultaten door te lopen / te valideren om in het PURE profiel te plaatsen. Daarom hopen we dat we hiermee ~80% completeness kunnen bereiken van je relevante media optredens, en dat er nog ~20% handmatig aangevuld moet worden, maar dat al beter is dan 100% handmatig invullen. De facultaire communicatie medewerker kan je van alle ruwe coosto data voorzien met hoge recall en dus meer ruis (sleepnet). Als er een manier is om onderscheid te maken tussen "hier wordt mijn naam genoemd, maar heb geen actieve bijdrage geleverd" en "…, en wel een actieve bijdrage geleverd", dan horen we dat graag.
Selectie: Voor de Pilot hebben we alle resultaten meteen als "validated" resultaat in je TEST PURE profiel geplaatst. De selectie stap hebben we voor de pilot overgeslagen. Als deze dienst in productie gaat, worden de resultaten in "Entry in progress"-wachtkamer gezet, waar je dus de items moet selecteren die op je PURE profiel kunnen worden opgenomen.
Aanpassen van search query als oplossing voor verfijnen van resultaten in de "Entry in progress"-wachtkamer. Het is duidelijk dat er behoefte is om de zoekopdracht te verfijnen om het te vernauwen, maar ook om het te verbreden. De VU Library zou, om de toepasbaarheid op grote schaal te waarborgen en tegemoet te komen aan de individuele behoeftes, opzoek moeten naar een oplossing. Dat kan bijvoorbeeld doordat een 'veilige' default zoekopdracht wordt ingesteld, maar dat die per individu kan worden aangepast door de onderzoeker zelf, of gecureerd door de facultaire PURE medewerker.
Selectie als oplossing voor Ruis: De Validatiestap zorgt ervoor dat niet meteen alle items die je beschouwt als ruis in je PURE profielpagina komt te staan. Dit levert wel iets meer werk op, maar hopelijk is dat nog altijd minder dan een handmatige invoer.
Alle Media items die u op uw profiel ziet zijn Media Stories. Een Media Story is een collectie aan media berichten die bij hetzelfde verhaal horen. Als u op een Media Item klikt kan het zijn dat er twee of meer bronnen te vinden zijn met een vergelijkbare titel. Meestal is er maar een bron te zien.
In de praktijk: Sommige berichten worden overgenomen door verschillende media, met name anp berichten die in lokale kranten komen.
Clustering Algorithme: Onder een "Media Story" groeperen we berichten met ongeveer vergelijkbare titels (Levenstein algoritme) en die een publicatie datum hebben die maximale 7 dagen uit elkaar liggen. Na 7 dagen beschouwen we het als een nieuwe "Media Story".
Manier 1: In de productie omgeving van PURE komen de gesuggereerde items eerst in de "Entry in progress wachtkamer" te staan. Als geen enkele van deze items als "validated" worden bestempeld, komen ze niet in de PURE profielpagina of rapportages terecht. In deze wachtkamer kunt u ook de gesuggereerde items verwijderen.
Manier 2: (nog in ontwikkeling) in PURE profiel editor; Verwijderen van ‘Press / Media name variant’, waarop door ons gezocht wordt in media-sources.
Manier 3: (nog in ontwikkeling) in PURE profiel editor; Verwijderen van te doorzoeken media-bronnen in keyword sectie.
In de Pilot richten we ons in eerste instantie op de MSM (mainstream media). In Coosto zitten ook berichten van Facebook, Instagram, Twitter en LinkedIn. Het meenemen van deze berichten in de "Entry in progress"-wachtkamer kan veel ruis opleveren. Echter als hier blijkbaar veel interesse in is, zou de VU library naar een oplossing moeten zoeken om het als een opt-in aan te zetten. Zo kunnen we het op schaal toepasbaar houden en rekening kunnen houden met de individuele behoefte.
A: Ja dat kan. Op Termijn. Doordat we de dataverzameling op PURE baseren kunnen we de organisatie hiërarchie meenemen.
Voorproefje: Als je in het dashboard , onderaan het pijltje naar rechts klikt , dan zie je en overzicht per faculteit. (waarbinnen dus onderzoekers werken). Dit hebben we gedaan voor alleen die 21 respondenten in de pilot, dus dat is geen volledig overzicht.
https://bit.ly/VU-Media-Contributions
A: Heel interessant. Dat is niet een out-of-the-box oplossing. Het is wel mogelijk als een custom analyse, waarbij de scope en complexiteit het budget bepalen. Er zijn ideëen voor een aanpak. Dit zou je kunnen bespreken met team research intelligence. UBVU Researchintelligence <researchintelligence.ubvu@vu.nl>