diff --git a/cleaning.py b/cleaning.py index 55fd812..9810c06 100644 --- a/cleaning.py +++ b/cleaning.py @@ -29,7 +29,7 @@ global REGEX_SPECIALCHAR global WORDS -REGEX_SPECIALCHAR = r'[`\-=~%^&*()_+\[\]{};\'\\:"|]' #+r',.' +REGEX_SPECIALCHAR = r'[`\=~%^&*()_+\[\]{};\'"|]' #+r',.-\\:' #+r',.?!' WORDS= {} @@ -99,7 +99,7 @@ def clean(stringstream,autocorrect=False): string = textacy.preprocess.fix_bad_unicode(string.lower(), normalization=u'NFC') # seperate_words_on_regex: - string = " ".join(re.compile(REGEX_SPECIALCHAR).split(string)) #frage ,.?! + string = " ".join(re.compile(REGEX_SPECIALCHAR).split(string)) #normalize whitespace string = textacy.preprocess.normalize_whitespace(string) diff --git a/config.ini b/config.ini index 39dc5d6..453ac97 100644 --- a/config.ini +++ b/config.ini @@ -41,8 +41,8 @@ filename=topicModelTickets.log [de_corpus] -input=M42-Export/Tickets_small.csv -#input=M42-Export/de_tickets.csv +#input=M42-Export/Tickets_small.csv +input=M42-Export/de_tickets.csv path=corpi/ @@ -62,12 +62,11 @@ metaliste=TicketNumber,Subject,CreatedDate,categoryName,Impact,Urgency,BenutzerI [preprocessing] -ents2keep=WORK_OF_ART,ORG,PRODUCT,LOC +#ents2keep=WORK_OF_ART,ORG,PRODUCT,LOC -custom_words=geehrt,dame,herr,hilfe,problem,lauten,bedanken,voraus,hallo,gerne,freundlich,fragen,fehler,bitten,ehre,lieb,helfen,versuchen,unbestimmt,woche,tadelos,klappen,mittlerweile,bekommen,erreichbar,gruss,auffahren,vorgang,hinweis,institut,universitaet,name,gruss,id,erfolg,mail,folge,nummer,team,fakultaet,email,absender,tu,versenden,vorname,message,service,strasse,prozess,portal,raum,personal,moeglichkeit,fremd,wende,rueckfrage,stehen,verfuegung,funktionieren,kollege,pruefen,hoffen +custom_words=geehrt,dr,not,frage,betreff,gerne,dame,herr,frau,hilfe,moeglichkeit,beste,freuen,voraus,problem,lauten,bedanken,voraus,hallo,gerne,freundlich,fragen,fehler,bitten,ehre,lieb,liebe,gruesse,helfen,versuchen,unbestimmt,woche,tadelos,klappen,mittlerweile,bekommen,erreichbar,gruss,auffahren,vorgang,hinweis,name,gruss,id,erfolg,folge,team,absender,versenden,vorname,strasse,prozess,portal,moeglichkeit,fremd,wende,rueckfrage,stehen,verfuegung,funktionieren,pruefen,hoffen,ok -#lemmatize=True [topicmodeling] diff --git a/de_stopwords_1.txt b/de_stopwords_1.txt new file mode 100644 index 0000000..2d85da8 --- /dev/null +++ b/de_stopwords_1.txt @@ -0,0 +1,3020 @@ +jenem +grosse +eigen +dieselbe +viele +siebente +sagt +siebenter +sind +fuenftes +weit +beiden +kleine +uhr +vielen +ihn +neunter +ihren +durch +eigener +besser +woher +daselbst +grosse +lieber +tritt +mochte +wieso +weiteren +einiges +zeit +habe +viertes +machte +dass +jeden +hier +wollen +na +eigene +erst +jene +offen +neuen +seid +noch +durften +im +wollt +vor +aber +leide +mussten +haette +muss +zehn +werde +nachdem +ist +man +alle +weit +au +zehn +damals +heute +wohl +gekonnt +jeder +menschen +eigener +sieben +sein +eins +neun +gewesen +wirklich +achten +allerdings +d +eigen +meinen +erste +na +duerft +darfst +indem +dritte +wieder +eines +zwei +meinem +werde +keine +mittel +auch +neuen +deinen +demzufolge +was +derer +eine +zu +deiner +jenes +dieselben +leider +sonst +doch +a +neben +derjenige +etwas +muesst +oben +soweit +euer +nicht +wuerden +seines +schon +meine +weiter +wurden +gegenueber +manchen +sechste +sechster +moegt +tat +mochten +welches +zehnter +fuenf +diejenige +demselben +uebrigens +gern +neunten +jetzt +waehrenddessen +konnte +leicht +deinem +diese +jedoch +nachdem +moegen +seinen +achter +dritten +jener +will +viel +daher +darf +dir +solcher +mal +kleines +darin +neue +wir +muesst +wo +zehnter +besonders +welche +schluss +derjenige +mir +seine +alle +sagte +zehntes +andere +lieber +morgen +a +ganzen +gekannt +zurueck +ich +neun +und? +daher +anderer +koennen +hattet +genug +weshalb +wessen +anderr +magst +bei +jenen +ehrlich +sein +neunten +bekannt +bin +niemanden +zugleich +hat +jede +die +bereits +demgemaess +ihnen +geschweige +zweiten +besser +kleine +wollten +daraus +zum +elf +ins +heisst +kann +ausserdem +jemand +aller +koennte +einmaleins +rechter +ander +tage +sechs +gewollt +gehabt +nein +diesen +eigenen +fuenften +duerfen +s +sich +wird +jemandem +zur +gleich +dahin +an +mittel +mehr +zwanzig +zweite +etwas +vier +jemanden +fuenf +welcher +zweite +gemacht +euren +diesem +fuenftes +sie +siebentes +siebenter +welchen +zweites +dazu +durchaus +richtig +dritter +erste +wenn +sa +darin +hier +musst +gross +oft +koennen +mag +denn +manche +offen +weitere +bald +hast +wollte +ihrer +neunte +drei +wird +ersten +zehnten +duerfen +heisst +deiner +infolgedessen +sei +zwanzig +ihm +gesagt +gehen +kleinen +denselben +hatte +achte +solcher +sollte +dafuer +weg +einig +nie +wurden +tage +recht +gehen +teil +diesen +weiteres +diese +dich +dasein +demselben +weiteres +hoch +dabei +durfte +musst +moeglich +keinem +nach +darum +manches +unsere +ihre +besten +sehr +ausserdem +ach +davor +in +wirklich +magst +dritten +dort +jedes +allgemeinen +auch +erstes +gute +der +fuer +j +z.b +neuntes +rechtes +euch +jemanden +darunter +ende +spaeter +welchen +ausser +und +seinem +wegen +fuenfter +denen +sache +so +tag +gesagt +ende +einem +erster +deren +solche +denn +zwischen +sowie +solchem +zu +keinen +sechste +eben +weiteren +waehrend +drittes +habt +als +satt +ihr +gekannt +damals +haetten +allen +jede +sollen +unsen +besonders +gehabt +alles +einander +andern +diejenigen +unter +einigen +dein +oft +vom +waere +bis +jemand +siebter +darum +zweiter +kurz +zehnte +kein +sowie +wem +wenig +sechstes +ein +jedermann +nichts +grosse +seit +gut +warst +beim +darunter +sei +kaum +gedurft +meinem +wen +einander +meiner +wohl +wenig +rechte +man +dermassen +darauf +morgen +jenen +eures +einen +dann +niemandem +darueber +menschen +y +ganzer +endlich +seiner +manchem +jahr +achte +aus +dass +natuerlich +gemacht +q +d.h +solang +beiden +eigenen +damit +mag +zum +wen +jedoch +jene +f +zwar +davon +drin +jahr +jahren +mancher +bald +ab +en +besten +einer +rechtes +hin +dagegen +demgemaess +bist +ebenso +unses +vor +anders +ganz +wollte +weil +hoch +deine +gemusst +z +mich +ei +ganz +seitdem +hatte +ersten +moegt +wuerden +aus +dahinter +eigene +werden +daran +dieses +teil +ihres +wollt +manchem +erst +duerft +dein +kann +sah +ueberhaupt +ausser +deshalb +fuenfte +hinter +zwischen +zurueck +sagt +wie +dadurch +demgegenueber +infolgedessen +jedermanns +tag +dafuer +weniger +oder +wurde +kleiner +manches +startseite +ausser +bei +sollten +anderem +worden +vierter +ins +zuerst +l +waren +kommen +grosser +einem +dort +diejenigen +soll +gemocht +niemand +demzufolge +gerade +habt +sechs +machte +einigeeinigen +ohne +warum +achter +du +etwa +ach +nichts +gekonnt +jedem +moeglich +uns +gott +gemusst +ein +kannst +fuenften +alles +denselben +dank +grosses +auf +kam +im +hatten +wo +statt +ueberhaupt +darueber +seines +vielleicht +mochten +vierte +dasselbe +nach +ag +nein +dank +leicht +war +werdet +solche +tagen +dazu +hatten +unser +vier +siebten +ganze +wann +dieses +unsere +u +zwei +konnten +immer +die +drei +kleinen +solang +ihre +dieselben +hab +ihrem +dieser +keinem +wurde +elf +mit +allerdings +bekannt +ab +sollst +waere +sind +rund +viele +kannst +geht +er +daran +nur +wirst +und +jedermanns +selbst +recht +einmal +keinen +des +keiner +bisher +machen +einigem +o +ausserdem +wieder +wahr +jenes +er +muss +jetzt +sollen +ihrem +geworden +wenn +koennt +vergangenen +ihn +danach +wissen +heute +musst +nahm +allem +durften +niemandem +dies +seien +wollten +grosses +an +anderen +am +warum +vielen +danach +hast +ganzes +dessen +ebenso +willst +manchen +zusammen +mahn +demgemaess +achten +weil +musste +mein +ist +unserer +w +vierte +siebente +solches +acht +so +willst +moechte +waren +anderm +um +aber +eben +ja +p +zweites +gemocht +seid +wollen +zehnten +welchem +ganzen +fuer +frueher +dieselbe +grosse +ihm +neunter +grossen +ihrer +los +dir +weniger +anderen +ernst +wem +konnten +natuerlich +davor +dies +vielem +daselbst +vielleicht +seiner +tun +v +trotz +etwa +wirst +irgend +jedermann +rechte +gibt +seinen +wie +dieser +allein +deinem +aller +sechsten +einiger +erster +zunaechst +dermassen +sich +welche +wenigstens +dazwischen +also +zeit +werden +ging +her +um +einiger +seitdem +siebtes +beispiel +lange +suche +hin +eine +haetten +grosser +meines +gewesen +zweiter +drin +kein +kleines +frueher +damit +wann +schon +kleiner +weitere +mensch +wenigstens +jahre +unter +deine +wir +dahinter +gibt +h +achtes +moegen +zuerst +dem +rechten +jeder +koennt +selbst +diejenige +dabei +hat +will +dem +der +gleich +haben +jener +wart +weiter +niemanden +sagte +koennte +kommt +satt +durfte +war +auf +durch +sie +á +gab +dazwischen +ganzer +solchen +trotzdem +jahre +grosses +allen +eure +vierten +kurz +genug +anderes +dermassen +vergangenen +welcher +gross +mancher +siebentes +gross +andere +kaum +dritte +wohin +mir +c +dasein +waehrend +mochte +fuenfter +allein +bin +haben +derselbe +sehr +muss +ueber +wahr? +muessen +steht +unser +waehrenddessen +worden +gross +des +das +i +zwoelf +ausser +je +schlecht +bis +seien +her +ehrlich +muss +guter +nun +je +desselben +vierter +b +guter +ganze +gar +wart +acht +unserer +von +andern +endlich +tel +rechten +tagen +daraus +hinter +daneben +weniges +ihr +sollten +keine +entweder +seine +wenige +uhr +bist +gewollt +tat +immer +den +mein +dahin +deines +es +am +ei, +manche +unse +neunte +es +sechster +vielem +zehnte +vierten +einer +vom +weniges +keines +moechte +nicht +desselben +solchem +sonst +keiner +gutes +derjenigen +wer +solchen +durchaus +einiges +seit +muessen +muesst +beispiel +nun +eigenes +geschweige +jedem +grossen +viel +dagegen +gab +r +dadurch +meines +dementsprechend +eigenes +dermassen +ging +derselbe +soll +meiner +derjenigen +allem +dass +da +meinen +musste +einen +dich +werdet +waehrenddem +heisst +von +gegen +mehr +bereits +euch +davon +da +los +mann +siebte +mich +gegenueber +sechstes +folgende +machen +ueber +grosser +statt +darauf +en +sollte +tel +gott +rund +zunaechst +gerade +dann +deshalb +geht +jemandem +anders +wessen +macht +entweder +lange +k +ganzes +sollt +kam +rechter +eurem +mensch +wuerde +x +gegen +wuerde +siebenten +wenige +eines +sieben +sondern +neben +m +schlecht +dessen +erstes +grossen +kommt +ja +deren +drittes +beim +indem +nie +geworden +grosser +n +lang +dass +gute +sechsten +e +derselben +spaeter +t +trotzdem +ihres +derselben +zehntes +gar +oben +ausserdem +als +niemand +was +ordnung +haette +eurer +ob +oder +grosses +allgemeinen +ihnen +einmal +denen +beide +solches +gern +ich +macht +tun +unsem +also +einige +welchem +bisher +gutes +hattest +zugleich +daneben +uns +habe +viertes +neue +mit +neuntes +nahm +dementsprechend +welches +fuenfte +zweiten +darf +richtig +mussten +zwar +darfst +dritter +zur +nur +seinem +beide +wer +g +grossen +demgemaess +doch +jahren +vergangene +ag +irgend +in +konnte +jeden +sondern +deswegen +achtes +demgegenueber +noch +ob +kommen +du +dasselbe +sah +den +gedurft +diesem +lang +zusammen +das +siebenten +wegen +ohne +gut +meine +waehrenddem +jenem +deswegen +fuer +ab +aber +abermaliges +abermals +abgerufen +abgerufene +abgerufener +abgerufenes +abgesehen +acht +aehnlich +aehnliche +aehnlichem +aehnlichen +aehnlicher +aehnliches +aehnlichste +aehnlichstem +aehnlichsten +aehnlichster +aehnlichstes +aeusserst +aeusserste +aeusserstem +aeussersten +aeusserster +aeusserstes +aehnlich +aehnliche +aehnlichem +aehnlichen +aehnlicher +aehnliches +aehnlichst +aehnlichste +aehnlichstem +aehnlichsten +aehnlichster +aehnlichstes +alle +allein +alleine +allem +allemal +allen +allenfalls +allenthalben +aller +allerdings +allerlei +alles +allesamt +allg +allg. +allgemein +allgemeine +allgemeinem +allgemeinen +allgemeiner +allgemeines +allgemeinste +allgemeinstem +allgemeinsten +allgemeinster +allgemeinstes +allmaehlich +allzeit +allzu +als +alsbald +also +am +an +and +andauernd +andauernde +andauerndem +andauernden +andauernder +andauerndes +ander +andere +anderem +anderen +anderenfalls +anderer +andererseits +anderes +anderm +andern +andernfalls +anderr +anders +anderst +anderweitig +anderweitige +anderweitigem +anderweitigen +anderweitiger +anderweitiges +anerkannt +anerkannte +anerkannter +anerkanntes +anfangen +anfing +angefangen +angesetze +angesetzt +angesetzten +angesetzter +ans +anscheinend +ansetzen +ansonst +ansonsten +anstatt +anstelle +arbeiten +auch +auf +aufgehoert +aufgrund +aufhoeren +aufhoerte +aufzusuchen +augenscheinlich +augenscheinliche +augenscheinlichem +augenscheinlichen +augenscheinlicher +augenscheinliches +augenscheinlichst +augenscheinlichste +augenscheinlichstem +augenscheinlichsten +augenscheinlichster +augenscheinlichstes +aus +ausdruecken +ausdruecklich +ausdrueckliche +ausdruecklichem +ausdruecklichen +ausdruecklicher +ausdrueckliches +ausdrueckt +ausdrueckte +ausgenommen +ausgenommene +ausgenommenem +ausgenommenen +ausgenommener +ausgenommenes +ausgerechnet +ausgerechnete +ausgerechnetem +ausgerechneten +ausgerechneter +ausgerechnetes +ausnahmslos +ausnahmslose +ausnahmslosem +ausnahmslosen +ausnahmsloser +ausnahmsloses +aussen +ausser +ausserdem +ausserhalb +aeusserst +aeusserste +aeusserstem +aeussersten +aeusserster +aeusserstes +author +autor +baelde +bald +baelde +bearbeite +bearbeiten +bearbeitete +bearbeiteten +bedarf +beduerfen +bedurfte +been +befahl +befiehlt +befiehlte +befohlene +befohlens +befragen +befragte +befragten +befragter +begann +beginnen +begonnen +behalten +behielt +bei +beide +beidem +beiden +beider +beiderlei +beides +beim +beinahe +beisammen +beispielsweise +beitragen +beitrugen +bekannt +bekannte +bekannter +bekanntlich +bekanntliche +bekanntlichem +bekanntlichen +bekanntlicher +bekanntliches +bekennen +benutzt +bereits +berichten +berichtet +berichtete +berichteten +besonders +besser +bessere +besserem +besseren +besserer +besseres +bestehen +besteht +bestenfalls +bestimmt +bestimmte +bestimmtem +bestimmten +bestimmter +bestimmtes +betraechtlich +betraechtliche +betraechtlichem +betraechtlichen +betraechtlicher +betraechtliches +betraechtlich +betraechtliche +betraechtlichem +betraechtlichen +betraechtlicher +betraechtliches +betreffend +betreffende +betreffendem +betreffenden +betreffender +betreffendes +bevor +bez +bez. +bezgl +bezgl. +bezueglich +bezueglich +bietet +bin +bis +bisher +bisherige +bisherigem +bisherigen +bisheriger +bisheriges +bislang +bisschen +bist +bitte +bleiben +bleibt +blieb +bloss +boeden +boeden +brachte +brachten +brauchen +braucht +braeuchte +bringen +bsp +bsp. +bspw +bspw. +bzw +bzw. +ca +ca. +circa +da +dabei +dadurch +dafuer +dafuer +dagegen +daher +dahin +dahingehend +dahingehende +dahingehendem +dahingehenden +dahingehender +dahingehendes +dahinter +damalige +damaligem +damaligen +damaliger +damaliges +damals +damit +danach +daneben +dank +danke +danken +dann +dannen +daran +darauf +daraus +darf +darfst +darin +darueber +darueberhinaus +darueber +darueberhinaus +darum +darunter +das +dass +dass +dasselbe +dat +davon +davor +dazu +dazwischen +dein +deine +deinem +deinen +deiner +deines +dem +demgegenueber +demgegenueber +demgemaess +demgemaess +demnach +demselben +den +denen +denkbar +denkbare +denkbarem +denkbaren +denkbarer +denkbares +denn +dennoch +denselben +der +derart +derartig +derartige +derartigem +derartigen +derartiger +derem +deren +derer +derjenige +derjenigen +derselbe +derselben +derzeit +derzeitig +derzeitige +derzeitigem +derzeitigen +derzeitiges +des +deshalb +desselben +dessen +dessenungeachtet +desto +desungeachtet +deswegen +dich +die +diejenige +diejenigen +dies +diese +dieselbe +dieselben +diesem +diesen +dieser +dieses +diesseitig +diesseitige +diesseitigem +diesseitigen +diesseitiger +diesseitiges +diesseits +dinge +dir +direkt +direkte +direkten +direkter +doch +doppelt +dort +dorther +dorthin +dran +drauf +drei +dreissig +drin +dritte +drueber +drueber +drum +drunter +du +duerfte +duerften +duerftest +duerftet +dunklen +durch +durchaus +durchweg +durchwegs +duerfen +durfte +duerfte +durften +duerften +durftest +duerftest +durftet +duerftet +eben +ebenfalls +ebenso +ect +ect. +ehe +eher +eheste +ehestem +ehesten +ehester +ehestes +eigen +eigene +eigenem +eigenen +eigener +eigenes +eigenst +eigentlich +eigentliche +eigentlichem +eigentlichen +eigentlicher +eigentliches +ein +einbauen +eine +einem +einen +einer +einerlei +einerseits +eines +einfach +einfuehren +einfuehrte +einfuehrten +eingesetzt +einig +einige +einigem +einigen +einiger +einigermassen +einiges +einmal +einmalig +einmalige +einmaligem +einmaligen +einmaliger +einmaliges +eins +einseitig +einseitige +einseitigen +einseitiger +einst +einstmals +einzig +empfunden +ende +entgegen +entlang +entsprechend +entsprechende +entsprechendem +entsprechenden +entsprechender +entsprechendes +entweder +er +ergaenze +ergaenzen +ergaenzte +ergaenzten +ergo +erhaelt +erhalten +erhielt +erhielten +erneut +eroeffne +eroeffnen +eroeffnet +eroeffnete +eroeffnetes +erscheinen +erst +erste +erstem +ersten +erster +erstere +ersterem +ersteren +ersterer +ersteres +erstes +es +etc +etc. +etliche +etlichem +etlichen +etlicher +etliches +etwa +etwaige +etwas +euch +euer +eure +eurem +euren +eurer +eures +euretwegen +fall +falls +fand +fast +ferner +fertig +finde +finden +findest +findet +folgend +folgende +folgendem +folgenden +folgender +folgendermassen +folgendes +folglich +for +fordern +fordert +forderte +forderten +fort +fortsetzen +fortsetzt +fortsetzte +fortsetzten +fragte +frau +frei +freie +freier +freies +fuer +fuers +fuenf +fuer +fuers +gab +gaenzlich +gaenzliche +gaenzlichem +gaenzlichen +gaenzlicher +gaenzliches +gaengig +gaengige +gaengigen +gaengiger +gaengiges +ganz +ganze +ganzem +ganzen +ganzer +ganzes +gaenzlich +gaenzliche +gaenzlichem +gaenzlichen +gaenzlicher +gaenzliches +gar +gbr +geb +geben +geblieben +gebracht +gedurft +geehrt +geehrte +geehrten +geehrter +gefallen +gefaelligst +gefaellt +gefiel +gegeben +gegen +gegenueber +gegenueber +gehabt +gehalten +gehen +geht +gekommen +gekonnt +gemacht +gemaess +gemaess +gemeinhin +gemocht +genau +genommen +genug +gepriesener +gepriesenes +gerade +gern +gesagt +gesehen +gestern +gestrige +getan +geteilt +geteilte +getragen +getrennt +gewesen +gewiss +gewisse +gewissem +gewissen +gewisser +gewissermassen +gewisses +gewollt +geworden +ggf +ggf. +gib +gibt +gilt +gleich +gleiche +gleichem +gleichen +gleicher +gleiches +gleichsam +gleichste +gleichstem +gleichsten +gleichster +gleichstes +gleichwohl +gleichzeitig +gleichzeitige +gleichzeitigem +gleichzeitigen +gleichzeitiger +gleichzeitiges +gluecklicherweise +gluecklicherweise +gmbh +gottseidank +gratulieren +gratuliert +gratulierte +groesstenteils +groesstenteils +gruendlich +gruendlich +gut +gute +guten +hab +habe +haben +habt +haette +haeufig +haeufige +haeufigem +haeufigen +haeufiger +haeufigere +haeufigeren +haeufigerer +haeufigeres +halb +hallo +halten +hast +hat +haett +hatte +haette +hatten +haetten +hattest +hattet +haeufig +haeufige +haeufigem +haeufigen +haeufiger +haeufigere +haeufigeren +haeufigerer +haeufigeres +hen +her +heraus +herein +herum +heute +heutige +heutigem +heutigen +heutiger +heutiges +hier +hier +hierbei +hiermit +hiesige +hiesigem +hiesigen +hiesiger +hiesiges +hin +hindurch +hinein +hingegen +hinlanglich +hinlaenglich +hinten +hintendran +hinter +hinterher +hinterm +hintern +hinunter +hoch +hoechst +hoechstens +http +hundert +ich +igitt +ihm +ihn +ihnen +ihr +ihre +ihrem +ihren +ihrer +ihres +ihretwegen +ihrige +ihrigen +ihriges +im +immer +immerhin +immerwaehrend +immerwaehrende +immerwaehrendem +immerwaehrenden +immerwaehrender +immerwaehrendes +immerwaehrend +immerwaehrende +immerwaehrendem +immerwaehrenden +immerwaehrender +immerwaehrendes +immerzu +important +in +indem +indessen +inf. +info +infolge +infolgedessen +information +innen +innerhalb +innerlich +ins +insbesondere +insgeheim +insgeheime +insgeheimer +insgesamt +insgesamte +insgesamter +insofern +inzwischen +irgend +irgendein +irgendeine +irgendeinem +irgendeiner +irgendeines +irgendetwas +irgendjemand +irgendjemandem +irgendwann +irgendwas +irgendwelche +irgendwen +irgendwenn +irgendwer +irgendwie +irgendwo +irgendwohin +ist +ja +jaehrig +jaehrige +jaehrigem +jaehrigen +jaehriger +jaehriges +jaehrig +jaehrige +jaehrigem +jaehrigen +jaehriges +je +jede +jedem +jeden +jedenfalls +jeder +jederlei +jedes +jedesmal +jedoch +jeglichem +jeglichen +jeglicher +jegliches +jemals +jemand +jemandem +jemanden +jemandes +jene +jenem +jenen +jener +jenes +jenseitig +jenseitigem +jenseitiger +jenseits +jetzt +jung +junge +jungem +jungen +junger +junges +kaeumlich +kam +kann +kannst +kaum +kaeumlich +kein +keine +keinem +keinen +keiner +keinerlei +keines +keineswegs +klar +klare +klaren +klares +klein +kleinen +kleiner +kleines +koennen +koennt +koennte +koennten +koenntest +koenntet +komme +kommen +kommt +konkret +konkrete +konkreten +konkreter +konkretes +koenn +koennen +koennt +konnte +koennte +konnten +koennten +konntest +koenntest +konntet +koenntet +kuenftig +kuerzlich +kuerzlichst +kuenftig +kuerzlich +kuerzlichst +laengst +lag +lagen +langsam +laengst +laengstens +lassen +laut +lediglich +leer +legen +legte +legten +leicht +leider +lesen +letze +letzte +letzten +letztendlich +letztens +letztere +letzterem +letzterer +letzteres +letztes +letztlich +lichten +liegt +liest +links +mache +machen +machst +macht +machte +machten +mag +magst +mal +man +manch +manche +manchem +manchen +mancher +mancherlei +mancherorts +manches +manchmal +mann +margin +massgebend +massgebende +massgebendem +massgebenden +massgebender +massgebendes +massgeblich +massgebliche +massgeblichem +massgeblichen +massgeblicher +mehr +mehrere +mehrerer +mehrfach +mehrmalig +mehrmaligem +mehrmaliger +mehrmaliges +mein +meine +meinem +meinen +meiner +meines +meinetwegen +meins +meist +meiste +meisten +meistens +meistenteils +meta +mich +mindestens +mir +mit +miteinander +mitgleich +mithin +mitnichten +mittels +mittelst +mitten +mittig +mitunter +mitwohl +mochte +moechte +moechten +moechtest +moechte +moeglich +moeglichst +moeglichste +moeglichstem +moeglichsten +moeglichster +moegen +moeglich +moegliche +moeglichen +moeglicher +moeglicherweise +moeglichst +moeglichste +moeglichstem +moeglichsten +moeglichster +morgen +morgige +muessen +muesst +muesste +muss +muessen +musst +muesst +musste +muesste +mussten +muessten +nach +nachdem +nacher +nachher +nachhinein +naechste +nacht +naechste +naemlich +nahm +naemlich +naturgemaess +naturgemaess +natuerlich +ncht +neben +nebenan +nehmen +nein +neu +neue +neuem +neuen +neuer +neuerdings +neuerlich +neuerliche +neuerlichem +neuerlicher +neuerliches +neues +neulich +neun +nicht +nichts +nichtsdestotrotz +nichtsdestoweniger +nie +niemals +niemand +niemandem +niemanden +niemandes +nimm +nimmer +nimmt +nirgends +nirgendwo +noch +noetigenfalls +noetigenfalls +nun +nur +nutzen +nutzt +nuetzt +nutzung +ob +oben +ober +oberen +oberer +oberhalb +oberste +obersten +oberster +obgleich +obs +obschon +obwohl +oder +oefter +oefters +off +offenkundig +offenkundige +offenkundigem +offenkundigen +offenkundiger +offenkundiges +offensichtlich +offensichtliche +offensichtlichem +offensichtlichen +offensichtlicher +offensichtliches +oft +oefter +oefters +oftmals +ohne +ohnedies +online +paar +partout +per +persoenlich +persoenliche +persoenlichem +persoenlicher +persoenliches +persoenlich +persoenliche +persoenlicher +persoenliches +pfui +ploetzlich +ploetzliche +ploetzlichem +ploetzlicher +ploetzliches +ploetzlich +ploetzliche +ploetzlichem +ploetzlicher +ploetzliches +pro +quasi +reagiere +reagieren +reagiert +reagierte +recht +rechts +regelmaessig +reichlich +reichliche +reichlichem +reichlichen +reichlicher +restlos +restlose +restlosem +restlosen +restloser +restloses +richtiggehend +richtiggehende +richtiggehendem +richtiggehenden +richtiggehender +richtiggehendes +rief +rund +rundheraus +rundum +runter +sage +sagen +sagt +sagte +sagten +sagtest +sagtet +samt +saemtliche +sang +sangen +sattsam +schaetzen +schaetzt +schaetzte +schaetzten +scheinbar +scheinen +schlechter +schlicht +schlichtweg +schliesslich +schlussendlich +schnell +schon +schreibe +schreiben +schreibens +schreiber +schwerlich +schwerliche +schwerlichem +schwerlichen +schwerlicher +schwerliches +schwierig +sechs +sect +sehe +sehen +sehr +sehrwohl +seht +sei +seid +seien +seiest +seiet +sein +seine +seinem +seinen +seiner +seines +seit +seitdem +seite +seiten +seither +selbe +selben +selber +selbst +selbstredend +selbstredende +selbstredendem +selbstredenden +selbstredender +selbstredendes +seltsamerweise +senke +senken +senkt +senkte +senkten +setzen +setzt +setzte +setzten +sich +sicher +sicherlich +sie +sieben +siebte +siehe +sieht +sind +singen +singt +so +sobald +sodass +soeben +sofern +sofort +sog +sogar +sogleich +solange +solc +solc hen +solch +solche +solchem +solchen +solcher +solches +soll +sollen +sollst +sollt +sollte +sollten +solltest +solltet +somit +sondern +sonst +sonstig +sonstige +sonstigem +sonstiger +sonstwo +sooft +soviel +soweit +sowie +sowieso +sowohl +spaeter +spielen +startet +startete +starteten +statt +stattdessen +steht +steige +steigen +steigt +stellenweise +stellenweisem +stellenweisen +stets +stieg +stiegen +such +suchen +tages +tat +taet +tatsaechlich +tatsaechlichen +tatsaechlicher +tatsaechliches +tatsaechlich +tatsaechlichen +tatsaechlicher +tatsaechliches +tausend +teile +teilen +teilte +teilten +tief +titel +toll +total +trage +tragen +traegt +trotzdem +trug +tun +tust +tut +txt +uebel +ueber +ueberall +ueberallhin +ueberaus +ueberdies +ueberhaupt +ueberll +uebermorgen +ueblicherweise +uebrig +uebrigens +ueber +ueberall +ueberallhin +ueberaus +ueberdies +ueberhaupt +uebermorgen +ueblicherweise +uebrig +uebrigens +um +ums +umso +umstaendehalber +umstaendehalber +unbedingt +unbedingte +unbedingter +unbedingtes +und +unerhoert +unerhoerte +unerhoertem +unerhoerten +unerhoerter +unerhoertes +unerhoert +unerhoerte +unerhoertem +unerhoerten +unerhoerter +unerhoertes +ungefaehr +ungemein +ungewoehnlich +ungewoehnliche +ungewoehnlichem +ungewoehnlichen +ungewoehnlicher +ungewoehnliches +ungewoehnlich +ungewoehnliche +ungewoehnlichem +ungewoehnlichen +ungewoehnlicher +ungewoehnliches +ungleich +ungleiche +ungleichem +ungleichen +ungleicher +ungleiches +unmassgeblich +unmassgebliche +unmassgeblichem +unmassgeblichen +unmassgeblicher +unmassgebliches +unmoeglich +unmoegliche +unmoeglichem +unmoeglichen +unmoeglicher +unmoegliches +unmoeglich +unmoegliche +unmoeglichen +unmoeglicher +unnoetig +uns +unsaeglich +unsaegliche +unsaeglichem +unsaeglichen +unsaeglicher +unsaegliches +unsagbar +unsagbare +unsagbarem +unsagbaren +unsagbarer +unsagbares +unsaeglich +unsaegliche +unsaeglichem +unsaeglichen +unsaeglicher +unsaegliches +unse +unsem +unsen +unser +unser +unsere +unserem +unseren +unserer +unseres +unserm +unses +unsre +unsrem +unsren +unsrer +unsres +unstreitig +unstreitige +unstreitigem +unstreitigen +unstreitiger +unstreitiges +unten +unter +unterbrach +unterbrechen +untere +unterem +unteres +unterhalb +unterste +unterster +unterstes +unwichtig +unzweifelhaft +unzweifelhafte +unzweifelhaftem +unzweifelhaften +unzweifelhafter +unzweifelhaftes +usw +usw. +vergangen +vergangene +vergangener +vergangenes +vermag +vermoegen +vermutlich +vermutliche +vermutlichem +vermutlichen +vermutlicher +vermutliches +veroeffentlichen +veroeffentlicher +veroeffentlicht +veroeffentlichte +veroeffentlichten +veroeffentlichtes +verrate +verraten +verriet +verrieten +version +versorge +versorgen +versorgt +versorgte +versorgten +versorgtes +viel +viele +vielen +vieler +vielerlei +vieles +vielleicht +vielmalig +vielmals +vier +voellig +voellige +voelligem +voelligen +voelliger +voelliges +voelligst +vollends +voellig +voellige +voelligem +voelligen +voelliger +voelliges +voelligst +vollstaendig +vollstaendige +vollstaendigem +vollstaendigen +vollstaendiger +vollstaendiges +vollstaendig +vollstaendige +vollstaendigem +vollstaendigen +vollstaendiger +vollstaendiges +vom +von +vor +voran +vorbei +vorgestern +vorher +vorherig +vorherige +vorherigem +vorheriger +vorne +vorueber +vorueber +wachen +waehrend +waehrenddessen +waere +waehrend +waehrenddessen +wann +war +waer +waere +waren +waeren +warst +wart +warum +was +weder +weg +wegen +weil +weiss +weit +weiter +weitere +weiterem +weiteren +weiterer +weiteres +weiterhin +weitestgehend +weitestgehende +weitestgehendem +weitestgehenden +weitestgehender +weitestgehendes +weitgehend +weitgehende +weitgehendem +weitgehenden +weitgehender +weitgehendes +welche +welchem +welchen +welcher +welches +wem +wen +wenig +wenige +weniger +wenigstens +wenn +wenngleich +wer +werde +werden +werdet +weshalb +wessen +weswegen +wichtig +wie +wieder +wiederum +wieso +wieviel +wieviele +wievieler +wiewohl +will +willst +wir +wird +wirklich +wirklichem +wirklicher +wirkliches +wirst +wo +wobei +wodurch +wofuer +wofuer +wogegen +woher +wohin +wohingegen +wohl +wohlgemerkt +wohlweislich +wolle +wollen +wollt +wollte +wollten +wolltest +wolltet +womit +womoeglich +womoegliche +womoeglichem +womoeglichen +womoeglicher +womoegliches +womoeglich +womoegliche +womoeglichem +womoeglichen +womoeglicher +womoegliches +woran +woraufhin +woraus +worden +worin +wuerde +wuerden +wuerdest +wuerdet +wurde +wuerde +wurden +wuerden +wurdest +wuerdest +wurdet +wuerdet +www +x +z.b. +zahlreich +zahlreichem +zahlreicher +zb +zb. +zehn +zeitweise +zeitweisem +zeitweisen +zeitweiser +ziehen +zieht +ziemlich +ziemliche +ziemlichem +ziemlichen +ziemlicher +ziemliches +zirka +zog +zogen +zu +zudem +zuerst +zufolge +zugleich +zuletzt +zum +zumal +zumeist +zumindest +zunaechst +zunaechst +zur +zurueck +zurueck +zusammen +zusehends +zuviel +zuviele +zuvieler +zuweilen +zwanzig +zwar +zwei +zweifelsfrei +zweifelsfreie +zweifelsfreiem +zweifelsfreien +zweifelsfreier +zweifelsfreies +zwischen +zwoelf \ No newline at end of file diff --git a/de_stopwords_2.txt b/de_stopwords_2.txt new file mode 100644 index 0000000..1a66fd3 --- /dev/null +++ b/de_stopwords_2.txt @@ -0,0 +1,622 @@ +a +ab +aber +ach +acht +achte +trotz +achten +achter +achtes +ag +alle +allein +allem +allen +aller +allerdings +alles +allgemeinen +als +also +am +an +ander +andere +anderem +anderen +anderer +anderes +anderm +andern +anderr +anders +au +auch +auf +aus +ausser +ausserdem +außer +außerdem +b +bald +bei +beide +beiden +beim +beispiel +bekannt +bereits +besonders +besser +besten +bin +bis +bisher +bist +c +d +d.h +da +dabei +dadurch +dafür +dagegen +daher +dahin +dahinter +damals +damit +danach +daneben +dank +dann +daran +darauf +daraus +darf +darfst +darin +darum +darunter +darüber +das +dasein +daselbst +dass +dasselbe +davon +davor +dazu +dazwischen +daß +dein +deine +deinem +deinen +deiner +deines +dem +dementsprechend +demgegenüber +demgemäss +demgemäß +demselben +demzufolge +den +denen +denn +denselben +der +deren +derer +derjenige +derjenigen +dermassen +dermaßen +derselbe +derselben +des +deshalb +desselben +dessen +deswegen +dich +die +diejenige +diejenigen +dies +diese +dieselbe +dieselben +diesem +diesen +dieser +dieses +dir +doch +dort +drei +drin +dritte +dritten +dritter +drittes +du +durch +durchaus +durfte +durften +dürfen +dürft +e +eben +ebenso +ehrlich +ei +ei, +eigen +eigene +eigenen +eigener +eigenes +ein +einander +eine +einem +einen +einer +eines +einig +einige +einigem +einigen +einiger +einiges +einmal +eins +elf +en +ende +endlich +entweder +er +ernst +erst +erste +ersten +erster +erstes +es +etwa +etwas +euch +euer +eure +eurem +euren +eurer +eures +f +folgende +früher +fünf +fünfte +fünften +fünfter +fünftes +für +g +gab +ganz +ganze +ganzen +ganzer +ganzes +gar +gedurft +gegen +gegenüber +gehabt +gehen +geht +gekannt +gekonnt +gemacht +gemocht +gemusst +genug +gerade +gern +gesagt +geschweige +gewesen +gewollt +geworden +gibt +ging +gleich +gott +gross +grosse +grossen +grosser +grosses +groß +große +großen +großer +großes +gut +gute +guter +gutes +h +hab +habe +haben +habt +hast +hat +hatte +hatten +hattest +hattet +heisst +her +heute +hier +hin +hinter +hoch +hätte +hätten +i +ich +ihm +ihn +ihnen +ihr +ihre +ihrem +ihren +ihrer +ihres +im +immer +in +indem +infolgedessen +ins +irgend +ist +j +ja +jahr +jahre +jahren +je +jede +jedem +jeden +jeder +jedermann +jedermanns +jedes +jedoch +jemand +jemandem +jemanden +jene +jenem +jenen +jener +jenes +jetzt +k +kam +kann +kannst +kaum +kein +keine +keinem +keinen +keiner +keines +kleine +kleinen +kleiner +kleines +kommen +kommt +konnte +konnten +kurz +können +könnt +könnte +l +lang +lange +leicht +leide +lieber +los +m +machen +macht +machte +mag +magst +mahn +mal +man +manche +manchem +manchen +mancher +manches +mann +mehr +mein +meine +meinem +meinen +meiner +meines +mensch +menschen +mich +mir +mit +mittel +mochte +mochten +morgen +muss +musst +musste +mussten +muß +mußt +möchte +mögen +möglich +mögt +müssen +müsst +müßt +n +na +nach +nachdem +nahm +natürlich +neben +nein +neue +neuen +neun +neunte +neunten +neunter +neuntes +nicht +nichts +nie +niemand +niemandem +niemanden +noch +nun +nur +o +ob +oben +oder +offen +oft +ohne +ordnung +p +q +r +recht +rechte +rechten +rechter +rechtes +richtig +rund +s +sa +sache +sagt +sagte +sah +satt +schlecht +schluss +schon +sechs +sechste +sechsten +sechster +sechstes +sehr +sei +seid +seien +sein +seine +seinem +seinen +seiner +seines +seit +seitdem +selbst +sich +sie +sieben +siebente +siebenten +siebenter +siebentes +sind +so +solang +solche +solchem +solchen +solcher +solches +soll +sollen +sollst +sollt +sollte +sollten +sondern +sonst +soweit +sowie +später +startseite +statt +steht +suche +t +tag +tage +tagen +tat +teil +tel +tritt +trotzdem +tun +u +uhr +um +und +und? +uns +unse +unsem +unsen +unser +unsere +unserer +unses +unter +v +vergangenen +viel +viele +vielem +vielen +vielleicht +vier +vierte +vierten +vierter +viertes +vom +von +vor +w +wahr? +wann +war +waren +warst +wart +warum +was +weg +wegen +weil +weit +weiter +weitere +weiteren +weiteres +welche +welchem +welchen +welcher +welches +wem +wen +wenig +wenige +weniger +weniges +wenigstens +wenn +wer +werde +werden +werdet +weshalb +wessen +wie +wieder +wieso +will +willst +wir +wird +wirklich +wirst +wissen +wo +woher +wohin +wohl +wollen +wollt +wollte +wollten +worden +wurde +wurden +während +währenddem +währenddessen +wäre +würde +würden +x +y +z +z.b +zehn +zehnte +zehnten +zehnter +zehntes +zeit +zu +zuerst +zugleich +zum +zunächst +zur +zurück +zusammen +zwanzig +zwar +zwei +zweite +zweiten +zweiter +zweites +zwischen +zwölf +über +überhaupt +übrigens \ No newline at end of file diff --git a/de_stopwords_3.txt b/de_stopwords_3.txt new file mode 100644 index 0000000..d40bb82 --- /dev/null +++ b/de_stopwords_3.txt @@ -0,0 +1,1855 @@ +ab +aber +abermaliges +abermals +abgerufen +abgerufene +abgerufener +abgerufenes +abgesehen +acht +aehnlich +aehnliche +aehnlichem +aehnlichen +aehnlicher +aehnliches +aehnlichste +aehnlichstem +aehnlichsten +aehnlichster +aehnlichstes +aeusserst +aeusserste +aeusserstem +aeussersten +aeusserster +aeusserstes +aehnlich +aehnliche +aehnlichem +aehnlichen +aehnlicher +aehnliches +aehnlichst +aehnlichste +aehnlichstem +aehnlichsten +aehnlichster +aehnlichstes +alle +allein +alleine +allem +allemal +allen +allenfalls +allenthalben +aller +allerdings +allerlei +alles +allesamt +allg +allg. +allgemein +allgemeine +allgemeinem +allgemeinen +allgemeiner +allgemeines +allgemeinste +allgemeinstem +allgemeinsten +allgemeinster +allgemeinstes +allmaehlich +allzeit +allzu +als +alsbald +also +am +an +and +andauernd +andauernde +andauerndem +andauernden +andauernder +andauerndes +ander +andere +anderem +anderen +anderenfalls +anderer +andererseits +anderes +anderm +andern +andernfalls +anderr +anders +anderst +anderweitig +anderweitige +anderweitigem +anderweitigen +anderweitiger +anderweitiges +anerkannt +anerkannte +anerkannter +anerkanntes +anfangen +anfing +angefangen +angesetze +angesetzt +angesetzten +angesetzter +ans +anscheinend +ansetzen +ansonst +ansonsten +anstatt +anstelle +arbeiten +auch +auf +aufgehoert +aufgrund +aufhoeren +aufhoerte +aufzusuchen +augenscheinlich +augenscheinliche +augenscheinlichem +augenscheinlichen +augenscheinlicher +augenscheinliches +augenscheinlichst +augenscheinlichste +augenscheinlichstem +augenscheinlichsten +augenscheinlichster +augenscheinlichstes +aus +ausdruecken +ausdruecklich +ausdrueckliche +ausdruecklichem +ausdruecklichen +ausdruecklicher +ausdrueckliches +ausdrueckt +ausdrueckte +ausgenommen +ausgenommene +ausgenommenem +ausgenommenen +ausgenommener +ausgenommenes +ausgerechnet +ausgerechnete +ausgerechnetem +ausgerechneten +ausgerechneter +ausgerechnetes +ausnahmslos +ausnahmslose +ausnahmslosem +ausnahmslosen +ausnahmsloser +ausnahmsloses +aussen +ausser +ausserdem +ausserhalb +aeusserst +aeusserste +aeusserstem +aeussersten +aeusserster +aeusserstes +author +autor +baelde +bald +baelde +bearbeite +bearbeiten +bearbeitete +bearbeiteten +bedarf +beduerfen +bedurfte +been +befahl +befiehlt +befiehlte +befohlene +befohlens +befragen +befragte +befragten +befragter +begann +beginnen +begonnen +behalten +behielt +bei +beide +beidem +beiden +beider +beiderlei +beides +beim +beinahe +beisammen +beispielsweise +beitragen +beitrugen +bekannt +bekannte +bekannter +bekanntlich +bekanntliche +bekanntlichem +bekanntlichen +bekanntlicher +bekanntliches +bekennen +benutzt +bereits +berichten +berichtet +berichtete +berichteten +besonders +besser +bessere +besserem +besseren +besserer +besseres +bestehen +besteht +bestenfalls +bestimmt +bestimmte +bestimmtem +bestimmten +bestimmter +bestimmtes +betraechtlich +betraechtliche +betraechtlichem +betraechtlichen +betraechtlicher +betraechtliches +betraechtlich +betraechtliche +betraechtlichem +betraechtlichen +betraechtlicher +betraechtliches +betreffend +betreffende +betreffendem +betreffenden +betreffender +betreffendes +bevor +bez +bez. +bezgl +bezgl. +bezueglich +bezueglich +bietet +bin +bis +bisher +bisherige +bisherigem +bisherigen +bisheriger +bisheriges +bislang +bisschen +bist +bitte +bleiben +bleibt +blieb +bloss +boeden +boeden +brachte +brachten +brauchen +braucht +braeuchte +bringen +bsp +bsp. +bspw +bspw. +bzw +bzw. +ca +ca. +circa +da +dabei +dadurch +dafuer +dafuer +dagegen +daher +dahin +dahingehend +dahingehende +dahingehendem +dahingehenden +dahingehender +dahingehendes +dahinter +damalige +damaligem +damaligen +damaliger +damaliges +damals +damit +danach +daneben +dank +danke +danken +dann +dannen +daran +darauf +daraus +darf +darfst +darin +darueber +darueberhinaus +darueber +darueberhinaus +darum +darunter +das +dass +dass +dasselbe +dat +davon +davor +dazu +dazwischen +dein +deine +deinem +deinen +deiner +deines +dem +demgegenueber +demgegenueber +demgemaess +demgemaess +demnach +demselben +den +denen +denkbar +denkbare +denkbarem +denkbaren +denkbarer +denkbares +denn +dennoch +denselben +der +derart +derartig +derartige +derartigem +derartigen +derartiger +derem +deren +derer +derjenige +derjenigen +derselbe +derselben +derzeit +derzeitig +derzeitige +derzeitigem +derzeitigen +derzeitiges +des +deshalb +desselben +dessen +dessenungeachtet +desto +desungeachtet +deswegen +dich +die +diejenige +diejenigen +dies +diese +dieselbe +dieselben +diesem +diesen +dieser +dieses +diesseitig +diesseitige +diesseitigem +diesseitigen +diesseitiger +diesseitiges +diesseits +dinge +dir +direkt +direkte +direkten +direkter +doch +doppelt +dort +dorther +dorthin +dran +drauf +drei +dreissig +drin +dritte +drueber +drueber +drum +drunter +du +duerfte +duerften +duerftest +duerftet +dunklen +durch +durchaus +durchweg +durchwegs +duerfen +durfte +duerfte +durften +duerften +durftest +duerftest +durftet +duerftet +eben +ebenfalls +ebenso +ect +ect. +ehe +eher +eheste +ehestem +ehesten +ehester +ehestes +eigen +eigene +eigenem +eigenen +eigener +eigenes +eigenst +eigentlich +eigentliche +eigentlichem +eigentlichen +eigentlicher +eigentliches +ein +einbauen +eine +einem +einen +einer +einerlei +einerseits +eines +einfach +einfuehren +einfuehrte +einfuehrten +eingesetzt +einig +einige +einigem +einigen +einiger +einigermassen +einiges +einmal +einmalig +einmalige +einmaligem +einmaligen +einmaliger +einmaliges +eins +einseitig +einseitige +einseitigen +einseitiger +einst +einstmals +einzig +empfunden +ende +entgegen +entlang +entsprechend +entsprechende +entsprechendem +entsprechenden +entsprechender +entsprechendes +entweder +er +ergaenze +ergaenzen +ergaenzte +ergaenzten +ergo +erhaelt +erhalten +erhielt +erhielten +erneut +eroeffne +eroeffnen +eroeffnet +eroeffnete +eroeffnetes +erscheinen +erst +erste +erstem +ersten +erster +erstere +ersterem +ersteren +ersterer +ersteres +erstes +es +etc +etc. +etliche +etlichem +etlichen +etlicher +etliches +etwa +etwaige +etwas +euch +euer +eure +eurem +euren +eurer +eures +euretwegen +fall +falls +fand +fast +ferner +fertig +finde +finden +findest +findet +folgend +folgende +folgendem +folgenden +folgender +folgendermassen +folgendes +folglich +for +fordern +fordert +forderte +forderten +fort +fortsetzen +fortsetzt +fortsetzte +fortsetzten +fragte +frau +frei +freie +freier +freies +fuer +fuers +fuenf +fuer +fuers +gab +gaenzlich +gaenzliche +gaenzlichem +gaenzlichen +gaenzlicher +gaenzliches +gaengig +gaengige +gaengigen +gaengiger +gaengiges +ganz +ganze +ganzem +ganzen +ganzer +ganzes +gaenzlich +gaenzliche +gaenzlichem +gaenzlichen +gaenzlicher +gaenzliches +gar +gbr +geb +geben +geblieben +gebracht +gedurft +geehrt +geehrte +geehrten +geehrter +gefallen +gefaelligst +gefaellt +gefiel +gegeben +gegen +gegenueber +gegenueber +gehabt +gehalten +gehen +geht +gekommen +gekonnt +gemacht +gemaess +gemaess +gemeinhin +gemocht +genau +genommen +genug +gepriesener +gepriesenes +gerade +gern +gesagt +gesehen +gestern +gestrige +getan +geteilt +geteilte +getragen +getrennt +gewesen +gewiss +gewisse +gewissem +gewissen +gewisser +gewissermassen +gewisses +gewollt +geworden +ggf +ggf. +gib +gibt +gilt +gleich +gleiche +gleichem +gleichen +gleicher +gleiches +gleichsam +gleichste +gleichstem +gleichsten +gleichster +gleichstes +gleichwohl +gleichzeitig +gleichzeitige +gleichzeitigem +gleichzeitigen +gleichzeitiger +gleichzeitiges +gluecklicherweise +gluecklicherweise +gmbh +gottseidank +gratulieren +gratuliert +gratulierte +groesstenteils +groesstenteils +gruendlich +gruendlich +gut +gute +guten +hab +habe +haben +habt +haette +haeufig +haeufige +haeufigem +haeufigen +haeufiger +haeufigere +haeufigeren +haeufigerer +haeufigeres +halb +hallo +halten +hast +hat +haett +hatte +haette +hatten +haetten +hattest +hattet +haeufig +haeufige +haeufigem +haeufigen +haeufiger +haeufigere +haeufigeren +haeufigerer +haeufigeres +hen +her +heraus +herein +herum +heute +heutige +heutigem +heutigen +heutiger +heutiges +hier +hier +hierbei +hiermit +hiesige +hiesigem +hiesigen +hiesiger +hiesiges +hin +hindurch +hinein +hingegen +hinlanglich +hinlaenglich +hinten +hintendran +hinter +hinterher +hinterm +hintern +hinunter +hoch +hoechst +hoechstens +http +hundert +ich +igitt +ihm +ihn +ihnen +ihr +ihre +ihrem +ihren +ihrer +ihres +ihretwegen +ihrige +ihrigen +ihriges +im +immer +immerhin +immerwaehrend +immerwaehrende +immerwaehrendem +immerwaehrenden +immerwaehrender +immerwaehrendes +immerwaehrend +immerwaehrende +immerwaehrendem +immerwaehrenden +immerwaehrender +immerwaehrendes +immerzu +important +in +indem +indessen +inf. +info +infolge +infolgedessen +information +innen +innerhalb +innerlich +ins +insbesondere +insgeheim +insgeheime +insgeheimer +insgesamt +insgesamte +insgesamter +insofern +inzwischen +irgend +irgendein +irgendeine +irgendeinem +irgendeiner +irgendeines +irgendetwas +irgendjemand +irgendjemandem +irgendwann +irgendwas +irgendwelche +irgendwen +irgendwenn +irgendwer +irgendwie +irgendwo +irgendwohin +ist +ja +jaehrig +jaehrige +jaehrigem +jaehrigen +jaehriger +jaehriges +jaehrig +jaehrige +jaehrigem +jaehrigen +jaehriges +je +jede +jedem +jeden +jedenfalls +jeder +jederlei +jedes +jedesmal +jedoch +jeglichem +jeglichen +jeglicher +jegliches +jemals +jemand +jemandem +jemanden +jemandes +jene +jenem +jenen +jener +jenes +jenseitig +jenseitigem +jenseitiger +jenseits +jetzt +jung +junge +jungem +jungen +junger +junges +kaeumlich +kam +kann +kannst +kaum +kaeumlich +kein +keine +keinem +keinen +keiner +keinerlei +keines +keineswegs +klar +klare +klaren +klares +klein +kleinen +kleiner +kleines +koennen +koennt +koennte +koennten +koenntest +koenntet +komme +kommen +kommt +konkret +konkrete +konkreten +konkreter +konkretes +koenn +koennen +koennt +konnte +koennte +konnten +koennten +konntest +koenntest +konntet +koenntet +kuenftig +kuerzlich +kuerzlichst +kuenftig +kuerzlich +kuerzlichst +laengst +lag +lagen +langsam +laengst +laengstens +lassen +laut +lediglich +leer +legen +legte +legten +leicht +leider +lesen +letze +letzte +letzten +letztendlich +letztens +letztere +letzterem +letzterer +letzteres +letztes +letztlich +lichten +liegt +liest +links +mache +machen +machst +macht +machte +machten +mag +magst +mal +man +manch +manche +manchem +manchen +mancher +mancherlei +mancherorts +manches +manchmal +mann +margin +massgebend +massgebende +massgebendem +massgebenden +massgebender +massgebendes +massgeblich +massgebliche +massgeblichem +massgeblichen +massgeblicher +mehr +mehrere +mehrerer +mehrfach +mehrmalig +mehrmaligem +mehrmaliger +mehrmaliges +mein +meine +meinem +meinen +meiner +meines +meinetwegen +meins +meist +meiste +meisten +meistens +meistenteils +meta +mich +mindestens +mir +mit +miteinander +mitgleich +mithin +mitnichten +mittels +mittelst +mitten +mittig +mitunter +mitwohl +mochte +moechte +moechten +moechtest +moechte +moeglich +moeglichst +moeglichste +moeglichstem +moeglichsten +moeglichster +moegen +moeglich +moegliche +moeglichen +moeglicher +moeglicherweise +moeglichst +moeglichste +moeglichstem +moeglichsten +moeglichster +morgen +morgige +muessen +muesst +muesste +muss +muessen +musst +muesst +musste +muesste +mussten +muessten +nach +nachdem +nacher +nachher +nachhinein +naechste +nacht +naechste +naemlich +nahm +naemlich +naturgemaess +naturgemaess +natuerlich +ncht +neben +nebenan +nehmen +nein +neu +neue +neuem +neuen +neuer +neuerdings +neuerlich +neuerliche +neuerlichem +neuerlicher +neuerliches +neues +neulich +neun +nicht +nichts +nichtsdestotrotz +nichtsdestoweniger +nie +niemals +niemand +niemandem +niemanden +niemandes +nimm +nimmer +nimmt +nirgends +nirgendwo +noch +noetigenfalls +noetigenfalls +nun +nur +nutzen +nutzt +nuetzt +nutzung +ob +oben +ober +oberen +oberer +oberhalb +oberste +obersten +oberster +obgleich +obs +obschon +obwohl +oder +oefter +oefters +off +offenkundig +offenkundige +offenkundigem +offenkundigen +offenkundiger +offenkundiges +offensichtlich +offensichtliche +offensichtlichem +offensichtlichen +offensichtlicher +offensichtliches +oft +oefter +oefters +oftmals +ohne +ohnedies +online +paar +partout +per +persoenlich +persoenliche +persoenlichem +persoenlicher +persoenliches +persoenlich +persoenliche +persoenlicher +persoenliches +pfui +ploetzlich +ploetzliche +ploetzlichem +ploetzlicher +ploetzliches +ploetzlich +ploetzliche +ploetzlichem +ploetzlicher +ploetzliches +pro +quasi +reagiere +reagieren +reagiert +reagierte +recht +rechts +regelmaessig +reichlich +reichliche +reichlichem +reichlichen +reichlicher +restlos +restlose +restlosem +restlosen +restloser +restloses +richtiggehend +richtiggehende +richtiggehendem +richtiggehenden +richtiggehender +richtiggehendes +rief +rund +rundheraus +rundum +runter +sage +sagen +sagt +sagte +sagten +sagtest +sagtet +samt +saemtliche +sang +sangen +sattsam +schaetzen +schaetzt +schaetzte +schaetzten +scheinbar +scheinen +schlechter +schlicht +schlichtweg +schliesslich +schlussendlich +schnell +schon +schreibe +schreiben +schreibens +schreiber +schwerlich +schwerliche +schwerlichem +schwerlichen +schwerlicher +schwerliches +schwierig +sechs +sect +sehe +sehen +sehr +sehrwohl +seht +sei +seid +seien +seiest +seiet +sein +seine +seinem +seinen +seiner +seines +seit +seitdem +seite +seiten +seither +selbe +selben +selber +selbst +selbstredend +selbstredende +selbstredendem +selbstredenden +selbstredender +selbstredendes +seltsamerweise +senke +senken +senkt +senkte +senkten +setzen +setzt +setzte +setzten +sich +sicher +sicherlich +sie +sieben +siebte +siehe +sieht +sind +singen +singt +so +sobald +sodass +soeben +sofern +sofort +sog +sogar +sogleich +solange +solc +solc hen +solch +solche +solchem +solchen +solcher +solches +soll +sollen +sollst +sollt +sollte +sollten +solltest +solltet +somit +sondern +sonst +sonstig +sonstige +sonstigem +sonstiger +sonstwo +sooft +soviel +soweit +sowie +sowieso +sowohl +spaeter +spielen +startet +startete +starteten +statt +stattdessen +steht +steige +steigen +steigt +stellenweise +stellenweisem +stellenweisen +stets +stieg +stiegen +such +suchen +tages +tat +taet +tatsaechlich +tatsaechlichen +tatsaechlicher +tatsaechliches +tatsaechlich +tatsaechlichen +tatsaechlicher +tatsaechliches +tausend +teile +teilen +teilte +teilten +tief +titel +toll +total +trage +tragen +traegt +trotzdem +trug +tun +tust +tut +txt +uebel +ueber +ueberall +ueberallhin +ueberaus +ueberdies +ueberhaupt +ueberll +uebermorgen +ueblicherweise +uebrig +uebrigens +ueber +ueberall +ueberallhin +ueberaus +ueberdies +ueberhaupt +uebermorgen +ueblicherweise +uebrig +uebrigens +um +ums +umso +umstaendehalber +umstaendehalber +unbedingt +unbedingte +unbedingter +unbedingtes +und +unerhoert +unerhoerte +unerhoertem +unerhoerten +unerhoerter +unerhoertes +unerhoert +unerhoerte +unerhoertem +unerhoerten +unerhoerter +unerhoertes +ungefaehr +ungemein +ungewoehnlich +ungewoehnliche +ungewoehnlichem +ungewoehnlichen +ungewoehnlicher +ungewoehnliches +ungewoehnlich +ungewoehnliche +ungewoehnlichem +ungewoehnlichen +ungewoehnlicher +ungewoehnliches +ungleich +ungleiche +ungleichem +ungleichen +ungleicher +ungleiches +unmassgeblich +unmassgebliche +unmassgeblichem +unmassgeblichen +unmassgeblicher +unmassgebliches +unmoeglich +unmoegliche +unmoeglichem +unmoeglichen +unmoeglicher +unmoegliches +unmoeglich +unmoegliche +unmoeglichen +unmoeglicher +unnoetig +uns +unsaeglich +unsaegliche +unsaeglichem +unsaeglichen +unsaeglicher +unsaegliches +unsagbar +unsagbare +unsagbarem +unsagbaren +unsagbarer +unsagbares +unsaeglich +unsaegliche +unsaeglichem +unsaeglichen +unsaeglicher +unsaegliches +unse +unsem +unsen +unser +unser +unsere +unserem +unseren +unserer +unseres +unserm +unses +unsre +unsrem +unsren +unsrer +unsres +unstreitig +unstreitige +unstreitigem +unstreitigen +unstreitiger +unstreitiges +unten +unter +unterbrach +unterbrechen +untere +unterem +unteres +unterhalb +unterste +unterster +unterstes +unwichtig +unzweifelhaft +unzweifelhafte +unzweifelhaftem +unzweifelhaften +unzweifelhafter +unzweifelhaftes +usw +usw. +vergangen +vergangene +vergangener +vergangenes +vermag +vermoegen +vermutlich +vermutliche +vermutlichem +vermutlichen +vermutlicher +vermutliches +veroeffentlichen +veroeffentlicher +veroeffentlicht +veroeffentlichte +veroeffentlichten +veroeffentlichtes +verrate +verraten +verriet +verrieten +version +versorge +versorgen +versorgt +versorgte +versorgten +versorgtes +viel +viele +vielen +vieler +vielerlei +vieles +vielleicht +vielmalig +vielmals +vier +voellig +voellige +voelligem +voelligen +voelliger +voelliges +voelligst +vollends +voellig +voellige +voelligem +voelligen +voelliger +voelliges +voelligst +vollstaendig +vollstaendige +vollstaendigem +vollstaendigen +vollstaendiger +vollstaendiges +vollstaendig +vollstaendige +vollstaendigem +vollstaendigen +vollstaendiger +vollstaendiges +vom +von +vor +voran +vorbei +vorgestern +vorher +vorherig +vorherige +vorherigem +vorheriger +vorne +vorueber +vorueber +wachen +waehrend +waehrenddessen +waere +waehrend +waehrenddessen +wann +war +waer +waere +waren +waeren +warst +wart +warum +was +weder +weg +wegen +weil +weiss +weit +weiter +weitere +weiterem +weiteren +weiterer +weiteres +weiterhin +weitestgehend +weitestgehende +weitestgehendem +weitestgehenden +weitestgehender +weitestgehendes +weitgehend +weitgehende +weitgehendem +weitgehenden +weitgehender +weitgehendes +welche +welchem +welchen +welcher +welches +wem +wen +wenig +wenige +weniger +wenigstens +wenn +wenngleich +wer +werde +werden +werdet +weshalb +wessen +weswegen +wichtig +wie +wieder +wiederum +wieso +wieviel +wieviele +wievieler +wiewohl +will +willst +wir +wird +wirklich +wirklichem +wirklicher +wirkliches +wirst +wo +wobei +wodurch +wofuer +wofuer +wogegen +woher +wohin +wohingegen +wohl +wohlgemerkt +wohlweislich +wolle +wollen +wollt +wollte +wollten +wolltest +wolltet +womit +womoeglich +womoegliche +womoeglichem +womoeglichen +womoeglicher +womoegliches +womoeglich +womoegliche +womoeglichem +womoeglichen +womoeglicher +womoegliches +woran +woraufhin +woraus +worden +worin +wuerde +wuerden +wuerdest +wuerdet +wurde +wuerde +wurden +wuerden +wurdest +wuerdest +wurdet +wuerdet +www +x +z.b. +zahlreich +zahlreichem +zahlreicher +zb +zb. +zehn +zeitweise +zeitweisem +zeitweisen +zeitweiser +ziehen +zieht +ziemlich +ziemliche +ziemlichem +ziemlichen +ziemlicher +ziemliches +zirka +zog +zogen +zu +zudem +zuerst +zufolge +zugleich +zuletzt +zum +zumal +zumeist +zumindest +zunaechst +zunaechst +zur +zurueck +zurueck +zusammen +zusehends +zuviel +zuviele +zuvieler +zuweilen +zwanzig +zwar +zwei +zweifelsfrei +zweifelsfreie +zweifelsfreiem +zweifelsfreien +zweifelsfreier +zweifelsfreies +zwischen +zwoelf \ No newline at end of file diff --git a/java_LabledLDA/models/tickets/.others.gz b/java_LabledLDA/models/tickets/.others.gz index d52733e..dfc54ee 100644 Binary files a/java_LabledLDA/models/tickets/.others.gz and b/java_LabledLDA/models/tickets/.others.gz differ diff --git a/java_LabledLDA/models/tickets/.tassign.gz b/java_LabledLDA/models/tickets/.tassign.gz index 92186a2..5be480f 100644 Binary files a/java_LabledLDA/models/tickets/.tassign.gz and b/java_LabledLDA/models/tickets/.tassign.gz differ diff --git a/java_LabledLDA/models/tickets/.theta.gz b/java_LabledLDA/models/tickets/.theta.gz index 3a4ccbe..21cecf7 100644 Binary files a/java_LabledLDA/models/tickets/.theta.gz and b/java_LabledLDA/models/tickets/.theta.gz differ diff --git a/java_LabledLDA/models/tickets/.twords.gz b/java_LabledLDA/models/tickets/.twords.gz index 80d115c..7dfe763 100644 Binary files a/java_LabledLDA/models/tickets/.twords.gz and b/java_LabledLDA/models/tickets/.twords.gz differ diff --git a/java_LabledLDA/models/tickets/.wordmap.gz b/java_LabledLDA/models/tickets/.wordmap.gz index c05f690..0792c8d 100644 Binary files a/java_LabledLDA/models/tickets/.wordmap.gz and b/java_LabledLDA/models/tickets/.wordmap.gz differ diff --git a/java_LabledLDA/models/tickets/tickets.gz b/java_LabledLDA/models/tickets/tickets.gz index 3a08de8..4a252a2 100644 Binary files a/java_LabledLDA/models/tickets/tickets.gz and b/java_LabledLDA/models/tickets/tickets.gz differ diff --git a/main.py b/main.py index d232bd8..fe673c0 100644 --- a/main.py +++ b/main.py @@ -1,5 +1,6 @@ # -*- coding: utf-8 -*- - +import matplotlib +matplotlib.use('Agg') import time import corporization import preprocessing @@ -21,12 +22,17 @@ logprint("") cleaning.main() logprint("") -preprocessing.main() +preprocessing.main() # ~5h logprint("") -topicModeling.main(use_raw=False) +#topicModeling.main(use_raw=False,algorithm="llda") logprint("") -topicModeling.main(use_raw=True) + +#topicModeling.main(use_raw=True) + +topicModeling.main(use_raw=False,algorithm="lda") +logprint("") + logprint("") end = time.time() diff --git a/miscellaneous.py b/miscellaneous.py index ab4357f..d528665 100644 --- a/miscellaneous.py +++ b/miscellaneous.py @@ -201,10 +201,16 @@ def save_corpus(corpus, corpus_path, corpus_name): # save meta metapath = corpus_path + corpus_name + "_meta.json" - textacy.fileio.write_json_lines((doc.metadata for doc in corpus), metapath) - + #meta_gen = (doc.metadata.update({"index": doc.corpus_index}) for doc in corpus) + meta_gen = gen_meta(corpus) + textacy.fileio.write_json_lines(meta_gen, metapath) +def gen_meta(corpus): + for doc in corpus: + meta = doc.metadata + meta.update({"index": doc.corpus_index}) + yield meta @@ -242,7 +248,7 @@ def load_corpus(corpus_path, corpus_name, lang="de"): contentpath = corpus_path + corpus_name + "_content.bin" plainpath = corpus_path + corpus_name + "_content.json" metapath = corpus_path + corpus_name + "_meta.json" - + """ try: spacy_docs = textacy.fileio.read_spacy_docs(corpus.spacy_vocab, contentpath) metadata_stream = textacy.fileio.read_json_lines(metapath) @@ -251,15 +257,18 @@ def load_corpus(corpus_path, corpus_name, lang="de"): corpus.add_doc( textacy.Doc(spacy_doc, lang=corpus.spacy_lang, metadata=metadata)) except: - # neu init!! - corpus = textacy.Corpus(parser) + """ + # neu init!! + #corpus = textacy.Corpus(parser) - plain_stream = textacy.fileio.read_json_lines(plainpath) # yields {int : str} - metadata_stream = textacy.fileio.read_json_lines(metapath) + plain_stream = textacy.fileio.read_json_lines(plainpath) # yields {int : str} + metadata_stream = textacy.fileio.read_json_lines(metapath) - for plain, metadata in zip(plain_stream, metadata_stream): - corpus.add_doc( - textacy.Doc(plain["content"], lang=corpus.spacy_lang, metadata=metadata)) + for plain, metadata in zip(plain_stream, metadata_stream): + if plain["index"] == metadata["index"]: + corpus.add_doc(textacy.Doc(plain["content"], lang=corpus.spacy_lang, metadata=metadata)) + else: + raise IndexError return corpus, corpus.spacy_lang diff --git a/preprocessing.py b/preprocessing.py index 77232ee..c8e7f98 100644 --- a/preprocessing.py +++ b/preprocessing.py @@ -247,7 +247,7 @@ def processContentstream2(textstream, parser, token_filterlist=None): tokens = filterTokens(tokens, token_filterlist) # post parse - tokens = [postparse(tok) for tok in tokens] #todo informationsverlust! + tokens = [postparse(tok) for tok in tokens] #todo informationsverlust von pos,tag etc.! yield " ".join(tokens) @@ -415,7 +415,7 @@ def preprocessCorpus(corpus_path, filter_tokens, clean_in_meta, lang="de", print #save corpus as labled, plain text - plainpath = FILEPATH + config.get("de_corpus", "path") + "labled_lines.txt" + plainpath = FILEPATH + config.get("de_corpus", "path") + "pre_labled_lines.txt" textacy.fileio.write_file_lines(labledCorpiLines(corpus),filepath=plainpath ) return corpus @@ -438,6 +438,8 @@ def main(): NOUNS = load_obj(path2nouns_list) VORNAMEN = load_obj(path2firstnameslist) + custom_words = config.get("preprocessing","custom_words").split(",") + filter_tokens = [ # removeENT(["PERSON"]), @@ -447,8 +449,8 @@ def main(): removePOS(["PUNCT", "SPACE", "NUM"]), - # removeWords(de_stop_words + custom_words), - removeWords(DE_STOP_WORDS), + removeWords(DE_STOP_WORDS + custom_words), + #removeWords(DE_STOP_WORDS), remove_long_words(), remove_short_words(), diff --git a/testra.py b/testra.py index 62007e9..519ca07 100644 --- a/testra.py +++ b/testra.py @@ -22,11 +22,7 @@ from miscellaneous import * # ssh madonna "nohup /usr/bin/python3 -u /home/jannis.grundmann/PycharmProjects/topicModelingTickets/topicModeling.py &> /home/jannis.grundmann/PycharmProjects/topicModelingTickets/printout_topicModeling.log &" -parser = spacy.load("de") - - -""" # load config config_ini = FILEPATH + "config.ini" @@ -71,10 +67,23 @@ corpi.add_texts( makecontent(testcontetn), makemeta(testmetda) ) -corpus_de_path = "/home/jannis.grundmann/PycharmProjects/topicModelingTickets/test/" -rawCorpus_name = "de_test_ticket" -print(corpi) + +save_corpus(corpi,corpus_path="/home/jannis.grundmann/PycharmProjects/topicModelingTickets/test",corpus_name="test") + +bla = "uni mail account adresse woche falsch laufen schicken gerne januar betreff herr nachricht gruesse dezernat liebe datum freitag anfrage dienstag unicard karte abholen defekt bibliothek abholung dezember beantragung status gerne portal email nummer service id vorname prozess dez schauen eg rechner mitarbeiterin benutzerkonto oktober wissenschaftliche projekt fr download hilfskraft verantwortliche link dringend antrag schnelle arbeitsplatz november admin rahmen stand geschickt server outlook ordner bild konto postfach campus hi ueberpruefung sued beste daten freuen semester login benutzer gerne erstellen stelle frage system boss moeglichkeit student schoen spam alias geld vertrag juni ansprechpartner telefon raum einrichtung gebaeude telefonbuch abteilung element eintrag nutzer raum pc gerne lehrstuhl voraus fakultaet verfuegung herzliche drucker erreichen tlaptop kabel problem klaerung url adapter feedback koeln grundsaetzlich kaufmann problem fehler verbindung anhang meldung client netz netzwerk wenden funktionieren liebe mitarbeiter unterstuetzung aktuell herr benoetigt raumplanung gb weber vorab ueckmeldung software lizenz programm kurze urlaub gerne installation dankbar informieren team service problem loesung bestellung verlaengern verteiler alte aendern februar oeffnen update pdf browser notwendig fenster schulung beginn wege nord tkurs frage studierende personen teilnehmer standort gerne herunterladen voraus zusenden ews veranstaltung datei iso text umstellung absender message date html arbeit kaiser erfolgreich thema ablauf art at einfuehrung umfrage cloud zugang zugreifen montag probleme kollegin profil server handy web file ticket drucker einrichten senden nr mittwoch card mitteilen nrw kontakt mail fax universitaet it institut hardware hinweis fakultaet not strasse loeschen liste funktion auftrag zeitraum verwaltung angebot vorgehen entfernen moeglichkeit gefunden benutzername informatik gruppe eingabe nachname chemie dame b. angepasst name schoene abt post zukommen verlaengerung sommersemester fehlen namensaenderung auskunft tu dr prof pruefung herr namen fakultaet bereich lehrstuhl installieren buero ok anschluss maerz theologie notebook herr berechtigung master vorbeikommen passwort anmelden account hilfe helfen uniaccount anmeldung kennwort problem boss zugriff referat screenshot support laufwerk bildschirm super tastatur button auswaehlen" +bla = bla.split() +print(len(bla)) +print(len(set(bla))) +print() + +x = {'a':1, 'b': 2} +y = {'b':10, 'c': 11} +z = x.update(y) + +print(x) + +""" #save_corpusV2(corpi,corpus_path=corpus_de_path,corpus_name=rawCorpus_name) #textacy.fileio.write_file_lines(corpus2Text(corpi), filepath=corpus_de_path+"plain.txt") diff --git a/topicModeling.py b/topicModeling.py index 5c2e01b..7b16ae0 100644 --- a/topicModeling.py +++ b/topicModeling.py @@ -73,12 +73,15 @@ def textacyTopicModeling(ngrams, min_df, max_df, corpus, n_topics, topicModel='l start = time.time() - top_topic_words = 10 + top_topic_words = 7 top_document_labels_per_topic = 5 # http://textacy.readthedocs.io/en/latest/api_reference.html#textacy.tm.topic_model.TopicModel.get_doc_topic_matrix weighting = ('tf' if topicModel == 'lda' else 'tfidf') + + + ####################'#################### @@ -120,16 +123,31 @@ def textacyTopicModeling(ngrams, min_df, max_df, corpus, n_topics, topicModel='l print() print() + + # termite plot + n_terms = int(n_topics*top_topic_words) + sort_terms_by = 'seriation' #'seriation', 'weight', 'index', 'alphabetical' + rank_terms_by = 'corpus' # 'corpus', 'topic' + model.termite_plot(doc_term_matrix, id2term, + + n_terms=n_terms, + sort_terms_by=sort_terms_by, + rank_terms_by=rank_terms_by+'_weight', + + save="/home/jannis.grundmann/PycharmProjects/topicModelingTickets/results/{}_{}_{}_{}_{}.png".format(topicModel,n_topics,n_terms,sort_terms_by,rank_terms_by)) + + + end = time.time() logprint("\n\n\nTime Elapsed Topic Modeling with {1}:{0} min\n\n".format((end - start) / 60, topicModel)) -def jgibbsLLDA(corpus, path2save_results, top_topic_words=15, add_default_topic=False): +def jgibbsLLDA(corpus, path2save_results, top_topic_words=7, add_default_topic=False): ##################### LLDA Topic Modeling via JGibbsLabledLDA ############################################## start = time.time() - # build citionary of ticketcategories + # build dictionary of ticketcategories labelist = [] for texdoc in corpus.get(lambda texdoc: texdoc.metadata["categoryName"] not in labelist): @@ -161,7 +179,7 @@ def jgibbsLLDA(corpus, path2save_results, top_topic_words=15, add_default_topic= # wait for file to exist while not os.path.exists(LLDA_filepath): time.sleep(1) - + #top_topic_words=1 logprint("") logprint("start LLDA:") # run JGibsslda file @@ -208,7 +226,7 @@ def jgibbsLLDA(corpus, path2save_results, top_topic_words=15, add_default_topic= reverse_labeldict = {v: k for k, v in labeldict.items()} result = [] - regex = re.compile(r'Topic [0-9]') + regex = re.compile(r'Topic [0-9]*') for line in output.splitlines(): findall = regex.findall(line) @@ -231,16 +249,22 @@ def jgibbsLLDA(corpus, path2save_results, top_topic_words=15, add_default_topic= logprint("\n\n\nTime Elapsed Topic Modeling JGibbsLLDA:{0} min\n\n".format((end - start) / 60)) -def main(use_raw=False): +def main(use_raw=False, algorithm="llda"): logprint("Topic Modeling: {0}".format(datetime.now())) corpus_de_path = FILEPATH + config.get("de_corpus", "path") corpus_en_path = FILEPATH + config.get("en_corpus", "path") + + if use_raw: + # fehler Unknown document label ( X ) for document 352. preCorpus_name = "de" + "_raw_ticket" + resultspath = FILEPATH + "results/raw" + else: preCorpus_name = "de" + "_pre_ticket" + resultspath = FILEPATH + "results/pre" # load raw corpus and create new one de_corpus, parser = load_corpus(corpus_name=preCorpus_name, corpus_path=corpus_de_path) @@ -252,11 +276,10 @@ def main(use_raw=False): # idee https://gate.ac.uk/family/ # todo gescheites tf(-idf) maß finden - # todo pro model: gelabelten corpus, ergebnisse und labeldict speichern # todo topics zusammenfassen # frage wieviele tickets pro topic? - + """ ngrams = 1 min_df = 1 max_df = 1.0 @@ -264,7 +287,7 @@ def main(use_raw=False): # weighting ='tfidf' named_entities = False - """ + printvecotorization(ngrams=1, min_df=1, max_df=1.0, weighting=weighting) printvecotorization(ngrams=1, min_df=1, max_df=0.5, weighting=weighting) printvecotorization(ngrams=1, min_df=1, max_df=0.8, weighting=weighting) @@ -274,34 +297,30 @@ def main(use_raw=False): printvecotorization(ngrams=(1, 2), min_df=1, max_df=0.8, weighting=weighting) """ - if use_raw: - resultspath = FILEPATH + "results/raw" - else: - resultspath = FILEPATH + "results/pre" + if algorithm == "llda": + top_topic_words = 5 + add_default_topic = False + path2save_results = resultspath + "_{}_{}.txt".format("top"+str(top_topic_words), "wdefault" if add_default_topic else "") + jgibbsLLDA(de_corpus, path2save_results=path2save_results, top_topic_words=top_topic_words, + add_default_topic=add_default_topic) - top_topic_words = 5 - add_default_topic = False - path2save_results = resultspath + "{}_{}.txt".format(top_topic_words, add_default_topic) - jgibbsLLDA(de_corpus, path2save_results=path2save_results, top_topic_words=top_topic_words, - add_default_topic=add_default_topic) + top_topic_words = 5 + add_default_topic = True + path2save_results = resultspath + "_{}_{}.txt".format("top"+str(top_topic_words), "wdefault" if add_default_topic else "") + jgibbsLLDA(de_corpus, path2save_results=path2save_results, top_topic_words=top_topic_words, + add_default_topic=add_default_topic) - top_topic_words = 5 - add_default_topic = True - path2save_results = resultspath + "{}_{}.txt".format(top_topic_words, add_default_topic) - jgibbsLLDA(de_corpus, path2save_results=path2save_results, top_topic_words=top_topic_words, - add_default_topic=add_default_topic) + top_topic_words = 10 + add_default_topic = False + path2save_results = resultspath + "_{}_{}.txt".format("top"+str(top_topic_words), "wdefault" if add_default_topic else "") + jgibbsLLDA(de_corpus, path2save_results=path2save_results, top_topic_words=top_topic_words, + add_default_topic=add_default_topic) - top_topic_words = 10 - add_default_topic = False - path2save_results = resultspath + "{}_{}.txt".format(top_topic_words, add_default_topic) - jgibbsLLDA(de_corpus, path2save_results=path2save_results, top_topic_words=top_topic_words, - add_default_topic=add_default_topic) - - top_topic_words = 10 - add_default_topic = True - path2save_results = resultspath + "{}_{}.txt".format(top_topic_words, add_default_topic) - jgibbsLLDA(de_corpus, path2save_results=path2save_results, top_topic_words=top_topic_words, - add_default_topic=add_default_topic) + top_topic_words = 10 + add_default_topic = True + path2save_results = resultspath + "_{}_{}.txt".format("top"+str(top_topic_words), "wdefault" if add_default_topic else "") + jgibbsLLDA(de_corpus, path2save_results=path2save_results, top_topic_words=top_topic_words, + add_default_topic=add_default_topic) # no_below = 20 # no_above = 0.5 @@ -310,42 +329,70 @@ def main(use_raw=False): # n_topics = len(LABELDICT)#len(set(ticketcorpus[0].metadata.keys()))+1 #+1 wegen einem default-topic + else: - """ - topicModeling(ngrams = 1, - min_df = 1, - max_df = 1.0, - topicModel = 'lda', - n_topics = len(LABELDICT), - corpi=de_corpus) + # build dictionary of ticketcategories + labelist = [] - topicModeling(ngrams = 1, - min_df = 0.1, - max_df = 0.6, - topicModel = 'lda', - n_topics = len(LABELDICT), - corpi=de_corpus) + for texdoc in de_corpus.get(lambda texdoc: texdoc.metadata["categoryName"] not in labelist): + labelist.append(texdoc.metadata["categoryName"]) - topicModeling(ngrams = (1,2), - min_df = 1, - max_df = 1.0, - topicModel = 'lda', - n_topics = len(LABELDICT), - corpi=de_corpus) + labeldict = {k: v for v, k in enumerate(labelist)} - topicModeling(ngrams = (1,2), - min_df = 0.1, - max_df = 0.6, - topicModel = 'lda', - n_topics = len(LABELDICT), - corpi=de_corpus) + n_topics = 15 - topicModeling(ngrams = (1,2), - min_df = 0.2, - max_df = 0.8, - topicModel = 'lda', - n_topics = 20, - corpi=de_corpus) + + textacyTopicModeling(ngrams = 1, + min_df = 1, + max_df = 0.8, + topicModel = algorithm, + n_topics =n_topics, + corpus=de_corpus) + """ + textacyTopicModeling(ngrams = (1,2), + min_df = 1, + max_df = 0.8, + topicModel = algorithm, + n_topics =n_topics, + corpus=de_corpus) + + """ + + """ + textacyTopicModeling(ngrams = 1, + min_df = 0.1, + max_df = 0.6, + topicModel = algorithm, + n_topics =n_topics, + corpus=de_corpus) + + + + + textacyTopicModeling(ngrams = (1,2), + min_df = 1, + max_df = 1.0, + topicModel = algorithm, + n_topics =n_topics, + corpus=de_corpus) + + textacyTopicModeling(ngrams = (1,2), + min_df = 0.1, + max_df = 0.6, + topicModel = algorithm, + n_topics =n_topics, + corpus=de_corpus) + + + + + textacyTopicModeling(ngrams = (1,2), + min_df = 0.2, + max_df = 0.8, + topicModel = algorithm, + n_topics = 20, + corpus=de_corpus) + """ @@ -353,7 +400,6 @@ def main(use_raw=False): - """ if __name__ == "__main__":