Prosjektdagboken tar for seg hvordan jeg har jobbet de forskjellige ukene med prosjektet
Planlegge prosjektet, sette mål for hva det skal oppnå, smått begynne å kode.
Legge plan med Digin om hvordan det skal gjennomføres
Lage filstruktur for prosjekt samt se på muligheter for å innhente med webscraper og RSS feeds
Finne nettsider og RSS feeds som kan hentes og jobb med muligheter for innhenting
Fokus på å få hentet inn riktig informasjon fra artikler
Starte smått med oppsummeringer av LLM
Hvordan det kan hentes, sendes og oppsummeres. Hva skal LLM få av artikkelen
Mer jobb med LLM. Hvilken modell skal brukes, hvordan skal system og user prompt være
Se på muligheter for å lagre i database. Hva som skal brukes og hvordan det kan gjøres
Veldig mye testing og småendringer i innhenting og LLM
Mer jobb med lagring i database. Hva som skal lagres, og hvordan oppsummeringene skal sendes fra LLM
Småfix på LLM
Optimalisering på innhenting av webscrapede artikler for å effektivisere innhenting
Mer testing
Lage Readme.md som beskriver hva programmet gjør og hva man trenger for å kjøre.
Endring i informasjonen som sendes til LLM fra artikler. Krever også endring i hvordan jeg henter inn artikler og hva jeg ser etter når jeg henter nye artikler.
Endringer i hvordan artikler blir lagret slik at det er sikret at det blir laget en llm oppsummering før de lagres
Oppdatere supabase database slik at mer relevant informasjon er lagret
Legge til sjekk for Robots.txt slik at ikke nettsider scrapes uten at det er greit for de.
Videre forbedre problemer med innhenting og lagring
Lagt til lagring av ikke relevante artikler også for å unngå å sjekke disse og lage oppsummering hver gang
Problemer med lagring av webscrapede artikler
Videre oppdatering av databasen
Endre debugging i terminal for å få bedre oversikt når jeg kjører
Optimalisering for å få oppsummeringene til å gå raskere
Se smått på muligheter for å sende relevante artikler til andre plattformer som mail eller spreadsheet
Finne og fjerne feil som gjør at ikke alle relevante artikler vises
Finne flere kilder å hente relevante artikler fra
Videre finpuss av hva som sendes til DB
Endre oppsummeringene til ikke relevante artikler for å se om system prompt fungerer bra
Kort oppsummert gjorde det ikke det og er derfor endret videre på
Se på oversikt for pris og anbefalt antall artikler som bør hentes per kjøring
Se på muligheter for automatisering
Lage spreadsheet som inneholder alle relevante artikler, enklere å dele med digin og gir bedre oversikt
Oppdatere videre på innhentingen for å få med alle relevante artikler og finne måter å sjekke at noe er en artikkel og ikke bare tekst på en side. Mange flere artikler tilgjengelig nå