Subjectivity Detection with Machine Learning & Transformers

NLP og søkNLP

Maskinlæring og Transformer-baserte NLP-modeller som skiller subjektive setninger fra objektive.

Formål

Prosjektet undersøkte hvordan språkmodeller kan brukes til å skille mellom subjektive og objektive setninger. Dette er relevant for tekstklassifisering, innholdsanalyse, nyhetsanalyse og automatisert sortering av store tekstmengder.

Løsning

En encoder-only Transformer/BERT-basert modell ble finjustert for å klassifisere setninger som subjektive eller objektive. Arbeidet inkluderte databehandling, trening, evaluering og sammenligning mot enklere baselines.

Resultat

Transformer-modellen ble evaluert mot enklere baselines på et ubalansert datasett, med evalueringsmål som tar hensyn til klasseubalansen. Prosjektet viser praktisk erfaring med Transformer-baserte NLP-modeller og evaluering av klassifisering på ubalanserte data.

Teknologi brukt

NLPBERTTransformersHuggingFacePythonModel Evaluation