Sentimentanalyse op FOK! posts

Hoihoi,

Ik ben sinds een paar maanden geïnteresseerd geraakt in neural networks en hoe die gebruikt kunnen worden, en heb ook al ooit een 'fok bot' gemaakt die zoals mij kan posten.

Nu ben ik afgelopen week bezig geweest met een serie python scriptjes die ervoor zorgen dat je op FOK! kunt inloggen, de cookiewall kunt accepteren etc, en dan vervolgens een topique kunt ophalen en daar iets mee kunt doen. Bijv. een sentimentanalyse, om te bepalen welke topiques en forums het positiefst of negatiefst gereageerd wordt. Dat leek me wel interessant. Of een leuke visuele wordcloud per user .

Mgoed, sentimenanalyse dus. Wat ik het liefste doe is zo weinig mogelijk werk, dus met bestaande datasets werken. Nu gebruik ik daarvoor pattern-nl, maar die is nog niet zo goed als ik zou willen, omdat ie gebaseerd is op boekreviews en dus niet op het type teksten dat je hier leest.

Hebben jullie wellicht ideeën hoe ik het beste mijn eigen classifier kan trainen en wat dan een positieve of negatieve post zou zijn? Ik zat zelf te denken aan smileys als alternatief, maar of dat ook het beste is? Bovendien heb je er van die sarcasten bij die de hele tijd de gebruiken terwijl ze iemand tot op het bot afzeiken. Dus dan heb je ook de reacties nodig.
Of ik train 'm op de FP want daar worden reacties gewaardeerd met een score. Maar dan loop je het risico dat mensen die alleen een hoge score gaven omdat men het met ze eens was ipv dat het bericht zelf positief was. Ideetjes zijn welkom

quote:

Op dinsdag 30 mei 2017 11:37 schreef jogy het volgende:
De ' ' smiley is meestal wel een negatieve indicator. De [ afbeelding ] ook. Dat zijn zo op het eerste gezicht degene die het 'eerlijkst' gebruikt worden.

Je hebt verder ook FOK!kers die permanent en overal negatief zijn dus die zou je ook kunnen gebruiken of je maakt zelf een beginnetje door een woordenlijst die over het algemeen gebruikt wordt in een negatieve post. Zoiets. Wel een tof project trouwens, ik ben benieuwd naar je voortgang .

Het liefste zou ik de source hier posten. Het werkt op basis van python met wat libraries, er wordt tijdelijk data opgeslagen in een sqllite database (zodat je apart kunt scrapen). Maargoed, het is niet leuk voor FOK! als iedereen het gaat gebruiken ivm mogelijke performance issues . Had nog wel even de AV doorgelezen om te keken of het mocht en daar stond niks over in.

quote:

Op dinsdag 30 mei 2017 11:41 schreef jogy het volgende:
Of begin inderdaad eerst door de 'makkelijkste/eerlijkste/minst sarcastische' users te selecteren voor je training. Is even wat handmatig gedoe maar dan heb je in ieder geval een redelijke basis. Er zijn vast nog wel een paar mensen die bijvoorbeeld post-icoontjes gebruiken om daadwerkelijk aan te geven wat de bedoeling is van de post.

Voor PI's zal ik het oude 'johnnyknoxville' document wel eens weer naar boven toveren .
Ik zat zelf al te denken om bijv. te classificeren op basis van écht positief ( ) en écht negatieve ( , , , ) smileys. en dan gewoon iig te classificeren per zin (of de smiley die er in de buurt staat). En dan daarna misschien op andere emoties. Bijv 'grappig' ( , ) , verveeld ( ), verdrietig ( ) , teleurgesteld ( ) etc..

Echter dan moet ik nog wel een stukje hebben om namen er uit te filteren, maar dat zou ik moeten kunnen doen op basis van een bestaande NL corpus (woordenlijst) in combinatie met hoofdlettercheck. Want anders krijg je dat mensen die het over sylvana simons hebben altijd een negatieve ondertoon terwijl de zin op zich niet eens negatief is.

quote:

Op dinsdag 30 mei 2017 13:01 schreef jogy het volgende:

[..]

De source hier neergooien lijkt me ook niet het meest geweldige plan eigenlijk, gewoon centraal houden dat iedereen gebruik maakt van dezelfde libraries en het forum niet onnodig word gebruikt.

SPOILER

Om spoilers te kunnen lezen moet je zijn ingelogd. Je moet je daarvoor eerst gratis Registreren. Ook kun je spoilers niet lezen als je een ban hebt.

Ik ken dat tooltje niet eens meer, dus geen idee waar je het over hebt.

quote:

Op dinsdag 30 mei 2017 13:38 schreef Danny het volgende:

[..]

Nou ja, je was behoorlijk aan het drammen over dat tooltje destijds en dan is het wel raar dat je nu zelf op vergelijkbare wijze iets wilt doen dat dan blijkbaar voor jou wél oké is enkel en alleen omdat dit jouw projectje is. Ik denk dat daarop wordt gedoeld.

Dit is puur een analyse, de data wordt niet bewaard . Vergelijkbaar met wat Arcee doet/deed dus, en drammen was het ook niet echt. Sorry als het destijds zo over kwam maar ja ouwe koeien he

[ Bericht 6% gewijzigd door Maanvis op 30-05-2017 15:48:26 ]

Okay, sentimentanalyse werkt nog niet helemaal goed, ik heb het idee dat de library die ik gebruik nog niet geavanceerd genoeg is.

SPOILER: meest positieve replies in ONZ

Om spoilers te kunnen lezen moet je zijn ingelogd. Je moet je daarvoor eerst gratis Registreren. Ook kun je spoilers niet lezen als je een ban hebt.

SPOILER: meest negatieve in ONZ

Om spoilers te kunnen lezen moet je zijn ingelogd. Je moet je daarvoor eerst gratis Registreren. Ook kun je spoilers niet lezen als je een ban hebt.

Kortom, wat ik nog moet doen is denk ik filteren op smiley only reacties. Alhoewel die zeer positief zijn of negatief zijn is het natuurlijk wel zo dat het niet fijn werkt om echt de tekst te analyseren.

Wordclouds zijn daarentegen weer wel leuk. Hier 1 van mezelf (van een paar myat lijsten van mezelf)



Of voor een aantal fora (ik denk dat je wel kunt raden welke dit zijn )










Je kunt zo'n wordcloud dan ook transponeren over iemands usericon, maar het eindresultaat is dan nog niet echt om over naar huis te schrijven:


Anyway, zoals je waarschijnlijk wel ziet zitten in die wordcloud alleen zelfstandige naamwoorden. Dat komt omdat je anders wordclouds krijgt vol met 'de het een van op naast' etc . Dus gebruik ik de 'pattern' library om alleen zelfstandige naamwoorden te krijgen. Deze library gebruik ik overigens ook voor de sentimentanalyse zelf, maar deze is nog niet zo accuraat als ik zou willen.
Verder gebruik ik https://github.com/amueller/word_cloud deze library voor de wordclouds, en voor het scrapen gewoon standaard functionaliteit die in python zit (session en request libraries).

quote:

Op dinsdag 20 juni 2017 00:41 schreef jogy het volgende:
Tof! Leuk dat je er vervolg aan geeft, leuk experiment, Maanvis.

thx

quote:

Op dinsdag 20 juni 2017 19:49 schreef TwenteFC het volgende:
Mag hier serieus op geantwoord worden of is dit sowieso een no-go op fok?
Ik wil ook geen scriptkiddies aanzetten tot een (onbedoelde) dos aanval op FOK! doordat ze met een aantal vps-jes hun databases lopen te vullen.

Erg waardevolle en helaas niet beschikbare data zou zijn de verwijderde en/of gewijzigde reacties van moderators. Of je moet over een langere periode topics gaat monitoren en de mutaties bij houden.

Je wilt sturen op een voorspellende factor welke posts weggemodereerd worden?
Is dat wel echt mogelijk? Moderatie is toch grotendeels nattevingerwerk.
Ik zou het wel op reacties van de FP kunnen doen, voorspellen welke reacties geliked worden .

quote:

Op woensdag 21 juni 2017 11:32 schreef Bosbeetle het volgende:


Ik reageer vrij vaak in ONZ met alleen " " blijkbaar... En hoezo staat GPD twee keer in ONZ wordcloud?

Geen idee waardoor dat precies komt, dat wordcloud generator ding is een black box voor mij. . Misschien doordat er speciale karakters bij staan?

Oh by the way verzoekjes zijn welkom (mits redelijkerwijs te doen)