From 176a0a492ae529b16e82cdc98eef8b00b2d5d7b0 Mon Sep 17 00:00:00 2001 From: Jonathan Date: Thu, 5 Jan 2023 00:05:02 +0100 Subject: [PATCH] Erste funktionierendes Netz --- ai.py | 105 +++++++++++ converter.py | 14 ++ output.txt | 63 +++++++ output2.txt | 435 ++++++++++++++++++++++++++++++++++++++++++++++ traingsdaten0.txt | 64 +++++++ 5 files changed, 681 insertions(+) create mode 100644 ai.py create mode 100644 converter.py create mode 100644 output.txt create mode 100644 output2.txt create mode 100644 traingsdaten0.txt diff --git a/ai.py b/ai.py new file mode 100644 index 0000000..73af060 --- /dev/null +++ b/ai.py @@ -0,0 +1,105 @@ +import re +import numpy as np +from keras.preprocessing.text import Tokenizer +from keras.utils import pad_sequences +from keras.utils import to_categorical +from keras.layers import Dense, Input, GlobalMaxPooling1D +from keras.layers import Conv1D, MaxPooling1D, Embedding +from keras.models import Model +import codecs + + +print("--- Starte Training ---") + +# Beispieltext mit Terminen, die wir filtern wollen +lines = open('traingsdaten0.txt', 'r', encoding='utf-8').readlines() +text = ''.join(lines) + +print(text) + + +# Filtern der Termine mit dem Regulären Ausdruck +meetings = lines + + +# Erstellen des Trainingsdatensatzes +data = [] +labels = [] +for meeting in meetings: + data.append(text) + labels.append(1) + other_text = text.replace(meeting, "") + data.append(other_text) + labels.append(0) + +# Tokenisierung des Texts und Erstellen von Sequenzen +MAX_SEQUENCE_LENGTH = 1000 +MAX_NUM_WORDS = 200000 +tokenizer = Tokenizer(num_words=MAX_NUM_WORDS) +tokenizer.fit_on_texts(data) +sequences = tokenizer.texts_to_sequences(data) +word_index = tokenizer.word_index +print("Found %s unique tokens." % len(word_index)) +data = pad_sequences(sequences, maxlen=MAX_SEQUENCE_LENGTH) +labels = to_categorical(np.asarray(labels)) + +VALIDATION_SPLIT = 0.2 +indices = np.arange(data.shape[0]) +np.random.shuffle(indices) +data = data[indices] +labels = labels[indices] +num_validation_samples = int(VALIDATION_SPLIT * data.shape[0]) +x_train = data[:-num_validation_samples] +y_train = labels[:-num_validation_samples] +x_val = data[-num_validation_samples:] +y_val = labels[-num_validation_samples:] + +EMBEDDING_DIM = 100 +sequence_input = Input(shape=(MAX_SEQUENCE_LENGTH,), dtype='int32') +embedded_sequences = Embedding(MAX_NUM_WORDS, EMBEDDING_DIM)(sequence_input) +x = Conv1D(128, 5, activation='relu')(embedded_sequences) +x = MaxPooling1D(5)(x) +x = Conv1D(128, 5, activation='relu')(x) +x = MaxPooling1D(5)(x) +x = Conv1D(128, 5, activation='relu')(x) +x = GlobalMaxPooling1D()(x) +x = Dense(128, activation='relu')(x) +preds = Dense(2, activation='softmax')(x) + +model = Model(sequence_input, preds) +model.compile(loss='categorical_crossentropy', +optimizer='rmsprop', +metrics=['acc']) + +model.fit(x_train, y_train, +batch_size=128, +epochs=1000, +validation_data=(x_val, y_val)) + + +print("--- Starte Auswertung ---") + +# Textdaten in lowercase konvertieren +text = open('output.txt', 'r', encoding='utf-8').readlines() + +print(text) + + +predictions = [] + +for line in text: + line_vectors = tokenizer.texts_to_sequences([line]) + line_vectors = pad_sequences(line_vectors, maxlen=MAX_SEQUENCE_LENGTH) + prediction = model.predict(line_vectors) + predictions.append(prediction) + + +print("--- Predictions: "+str(len(predictions))) +for result in predictions: + print(result.tolist()) + + +print("--- Folgende Termine wurden gefunden: ") +for i in range(len(text)): + if(predictions[i][0][0] >= 0.85): + print(text[i]) \ No newline at end of file diff --git a/converter.py b/converter.py new file mode 100644 index 0000000..cd46824 --- /dev/null +++ b/converter.py @@ -0,0 +1,14 @@ +from PyPDF2 import PdfReader +import codecs + +def createTestFile(link): + reader = PdfReader(link) + number_of_pages = len(reader.pages) + page = reader.pages[0] + f = codecs.open('output.txt', 'w', encoding='utf-8') + for page in reader.pages: + text = page.extract_text() + f.write(text) + + +createTestFile("trainingsdata/data1.pdf") \ No newline at end of file diff --git a/output.txt b/output.txt new file mode 100644 index 0000000..399f0b7 --- /dev/null +++ b/output.txt @@ -0,0 +1,63 @@ +So., 14.08. 14:00 Uhr Besuch im Perma kultur park Steyerberg +Mo., 29.08. 20:00 Uhr TA I im neuen Maurerjahr , mit Kugelung MvSt +Mo., 05.09. 20:00 Uhr Gesprächsabend – „V erzicht“ Redner +Mo., 12.09. 20:00 Uhr Buchempfehlung: „Die Freimaurer“ 2. A +Di., 13.09. 20:00 Uhr Beamtenrat MvSt +Mo., 19.09. 20:00 Uhr FM in der Praxis Redner +Mo., 26.09. 20:00 Uhr TA I MvSt +Mo., 03.10. Loge dunkel – Tag der Deutschen Einheit +Mo., 10.10. 20:00 Uhr Infoabend zum Thema „Videomedien“ Redner nur für Brüder dieser Loge +Di., 11.10. 20:00 Uhr Beamtenrat MvSt +Mo., 17.10. 20:00 Uhr V ortrag : „Die Ethik der Freimaurerei“ 2. A +Mo., 24.10. 20:00 Uhr FM in der Praxis Redner +Sa., 29.10. 15:00 Uhr TA I mit Aufnahme, anschl. Tafelloge MvSt +Mo., 31.10. Loge dunkel - Reformationstag +Mo., 07.11. 20:00 Uhr Erklärung des Arbeitsteppichs Redner ZM + 1.+2.Schaffner +Mo., 1 4.11. 20:00 Uhr TA I - Trauerloge MvSt +So., 20.11. 10:00 Uhr Besuch der Brudergräber MvSt +Mo., 21.11. 20:00 Uhr FM in der Praxis Redner Gäste sind willkommen +Mo., 28.11. 20:00 Uhr Buchempfehlung: „Loge und Altar“ 1. A Gäste sind willkommen +Di., 29.11. 20:00 Uhr Beamtenrat MvSt +Mo., 05.12. 20:00 Uhr FM in der Praxis Redner Gäste sind willkommen +Mo., 12.12. 20:00 Uhr TA III mit Erhebung MvSt Loge „Albrecht +Wolfgang“ bei uns +Di., 13,12. 20:00 Uhr Beamtenrat MvSt +Mo., 1 9.12. 20:00 Uhr TA I – Jahresschlu ßarbeit MvSt +Mo., 2 6.12. Loge dunkel – 2. Weihnachtstag +2023 +Mo., 02.01. 20:00 Uhr FM in der Praxis Redner Gäste sind willkommen +Sa., 07.01. 14:30 Uhr „Wir begrüßen das neue Jahr mit unseren Schwestern“ MvSt mit geladenen Gäste n +Mo., 09.01. 20:00 Uhr TA I MvSt +Mo., 16.01. 20:00 Uhr Bruderabend: „Was erwarte ich in der Loge 2023?“ MvSt +Mo., 23.01. 20:00 Uhr V ortrag NN 1. A +Di., 24.01. 20:00 Uhr Beamtenrat MvSt +Mo., 30.01. 20:00 Uhr FM in der Praxis Redner Gäste sind willkommen +Mo., 06.02. 20:00 Uhr TA I – Instruktionsloge mit dem Werkkoffer MvSt ZM + 1.+2. Schaffner +Mo., 13.02. 20:00 Uhr V ortrag NN 2. A +Di., 14.02. 20:00 Uhr Beamtenrat MvSt +Mo., 20.02. 20:00 Uhr FM in der Praxis Redner +Mo., 27.02. 20:00 Uhr V ortrag NN 1. A +Mo., 06.03. 20:00 Uhr TA I MvSt +Mo., 13.03. 20:00 Uhr V ortrag NN 2. A +So., 19.03. 11:15 Uhr Frühjahrsempfang der Loge MvSt mit den Schwestern und geladenen Gästen +Mo., 20.03. 20:00 Uhr FM in der Praxis Redner +Di., 21.03. 20:00 Uhr Beamtenrat MvSt +Mo., 27.03. 20:00 Uhr Buchempfehlung: NN 1. A +Mo., 03.04. 20:00 Uhr TA I MvSt +Di., 04.04. 20:00 Uhr Beamtenrat – V orbereitung Mitgliederversammlung MvSt +Mo., 10.04. Loge dunkel - Ostermontag +Mo., 17.04. 20:00 Uhr FM in der Praxis Redner +Mo., 24.04. 20:00 Uhr Bruderabend: „Konzepte für die Logenarbeit“ MvSt +Mo., 01.05. Loge dunkel - Maifeiertag +Mo., 08.05. 20:00 Uhr FM in der Praxis: „08. Mai 1945“ Redner +Mo., 15.05. 20:00 Uhr Mitgliederversammlung MvSt nur für Brüder dieser Loge +Mo., 22.05. 20:00 Uhr V ortrag NN 2. A +Di., 23.05. 20:00 Uhr Beamtenrat – Nachbereitung der MV MvSt +Mo., 29.05. Loge dunkel - Pfingstmontag +Mo., 05.06. 20:00 Uhr FM in der Praxis Redner +Mo., 12.06. 20:00 Uhr V ortrag NN 1. A +Mo., 19.06. 20:00 Uhr FM in der Praxis Redner +Di., 20.06. 20:00 Uhr Beamtenrat – Übung für das Johannisfest MvSt +Sa., 24.06. 15:00 Uhr TA I – Johannisfest; anschl. Festessen mit den +Schwestern und Gästen MvSt ZM + 1. + 2. Schaffner +Mo., 28.08. 20:00 Uhr TA I im neuen Maurerjahr; anschl. Tafelloge MvSt 1. + 2. Schaffner \ No newline at end of file diff --git a/output2.txt b/output2.txt new file mode 100644 index 0000000..a7c2f46 --- /dev/null +++ b/output2.txt @@ -0,0 +1,435 @@ +________________________________________________________________________________________________________________________ + +Freimaurerloge „Augusta zum goldenen Zirkel“ + +G = Suchende und Interessenten willkommen; T = Anmeldung erforderlich; BR = voraussichtlicher Termin einer Sitzung des Beamtenrats - es gilt +jedoch allein die jeweilige schriftliche Einladung. Anmeldungen sind an unseren Sekretär - Email: sekretaer@azgz.de - zu richten. ZIRKEL + + + + + + +Arbeitsplan August 2022 bis Juni 2023 - Stand 26. Oktober 2022 + + + +August +Freitag, 26.08. + + + +19:00 + + + + + + +geselliger Bruder-Abend + +September +Freitag, 02.09. + +Freitag, 02.09. + +Freitag, 09.09. + + +17:00 + +19:00 + +19:00 + + +BR + +G + + + + +Beamtenratssitzung + +Augusta-Abend + +Bruder-Abend / Instruktionen + +Freitag, 16.09. + +Freitag, 23.09. + +Samstag, 24.09. + +Freitag, 30.09. 19:00 + +19:00 + +10:30 + +19:00 + + + +T + +G + geselliger Bruder-Abend mit Bewirtung durch Br. R. H. + +Bruder-Abend / Vorbereitung des Stiftungsfestes + +TA I - 275. Stiftungsfest mit anschließender Tafelloge, Leitung: MvSt., +Anmeldung bis Montag, 19.09. beim Br. Sekretär +Augusta-Abend + + + +Oktober +Freitag, 07.10. + +Samstag, 08.10. + + +19:00 + +10:30 + + + + +T + + +Bruder-Abend / Instruktionen / Vorbereitung der TA I mit Aufnahme + +TA I mit Aufnahme und anschließender Tafelloge, Leitung: MvSt. +Anmeldung bis Montag, 03.10. beim Br. Sekretär + +Freitag, 14.10. + +Freitag, 21.10. + +Freitag, 28.10. + 19:00 + +19:00 + +19:00 + G + + Augusta-Abend + +geselliger Bruder-Abend + +Bruder-Abend / Instruktionen + +FREIMAURERLOGE „AUGUSTA ZUM GOLDENEN ZIRKEL“ Nr. 22 +in der Großloge der Alten Freien und Angenommenen Maurer von Deutschland +(Großloge A.F.u.A.M.v.D.) +im Orient Göttingen gegründet 1747 +Obere Karspüle 47, 37073 Göttingen +www.azgz.de ________________________________________________________________________________________________________________________ + +Freimaurerloge „Augusta zum goldenen Zirkel“ + +G = Suchende und Interessenten willkommen; T = Anmeldung erforderlich; BR = voraussichtlicher Termin einer Sitzung des Beamtenrats - es gilt +jedoch allein die jeweilige schriftliche Einladung. Anmeldungen sind an unseren Sekretär - Email: sekretaer@azgz.de - zu richten. + +November +Freitag, 04.11. + +Freitag, 04.11. + +Freitag, 11.11. + +Freitag, 18.11. + +Freitag, 25.11. + +17:00 + +19:00 + +19:00 + +19:00 + +19:00 +BR + +G + +T + +T +Beamtenratssitzung + +Augusta-Abend + +TA I - Trauerloge, Leitung: MvSt., + +TA III mit Erhebung, Leitung: MvSt., + +geselliger Bruder-Abend / Feuerzangenbowle mit Schwestern + + +Dezember +Freitag, 02.12. + +Freitag, 09.12. + +Freitag, 16.12. + + +Samstag, 17.12. +19:00 + +10:30 + +19:00 + + +19:00 + +G + +T + + + + +T + +Augusta-Abend + +TA III mit Erhebung, Leitung: MvSt. + +Vortragsabend - Br. T. N.: Populismus / Vorbereitung des +Schwesternfestes + +Schwesternfest, Leitung: MvSt., + + + +Januar +Freitag, 06.01. + +Freitag, 13.01. + +Freitag, 20.01. + +Freitag, 27.01. +19:00 + +19:00 + +19:00 + +19:00 + + +T + + + +G +geselliger Bruder-Abend + +TA I, Leitung: MvSt., + +Bruder-Abend / Instruktionen + +Augusta-Abend + + + +Februar +Freitag, 03.02. + +Samstag, 04.02. + +Freitag, 10.02. + +Freitag, 17.02 + +Freitag, 24.02. + + + + + +19:00 + +10:30 + +19:00 + +19:00 + +19:00 + + + +T + +G + + + +T + +Bruder-Abend / Instruktionen / Vorbereitung der TA I mit Aufnahme + +TA I mit Aufnahme, Leitung: MvSt. + +Augusta-Abend + +Bruder-Abend + +TA II mit Beförderungen, Leitung: MvSt. + ________________________________________________________________________________________________________________________ + +Freimaurerloge „Augusta zum goldenen Zirkel“ + +G = Suchende und Interessenten willkommen; T = Anmeldung erforderlich; BR = voraussichtlicher Termin einer Sitzung des Beamtenrats - es gilt +jedoch allein die jeweilige schriftliche Einladung. Anmeldungen sind an unseren Sekretär - Email: sekretaer@azgz.de - zu richten. März +Freitag, 03.03. + +Freitag, 03.03. + +Freitag, 10.03. + +Freitag, 17.03. + +Freitag, 24.03. + +Freitag, 31.03. +17:00 + +19:00 + +19:00 + +19:00 + +19:00 + +19:00 +BR + + + +T + +G + +T +Beamtenratssitzung + +Bruder-Abend / Instruktionen + +TA I - Gemeinschaftsarbeit, Leitung: MvSt., + +Augusta-Abend + +TA III mit Erhebung, Leitung: MvSt. + +geselliger Bruder-Abend + + +April +Freitag, 07.04. + +Freitag, 14.04. + +Freitag, 21.04. + +Freitag, 28.04. + + + +19:00 + +19:00 + +19:00 + + + +T + +G + +T + + +Loge dunkel + +TA I, Leitung: MvSt., + +Augusta-Abend + +TA III mit Erhebung, Leitung: MvSt. + + +Mai +Freitag, 05.05. + +Freitag, 12.05. + +Freitag, 19.05. + +Freitag, 26.05. 19:00 + +19:00 + +19:00 + +19:00 T + + + + + +G TA I, Leitung: MvSt., + +Mitgliederversammlung + +Bruder-Abend / Instruktionen + +Augusta-Abend + + +Juni +Freitag, 02.06. + +Freitag, 09.06. + +Freitag, 16.06. 19:00 + +19:00 + +19:00 + +G + + geselliger Bruder-Abend + +Augusta-Abend + +Bruder-Abend / Instruktionen / Vorbereitung des Johannisfestes + +Samstag, 17.06. 10:30 T + TA I - Johannisfest mit anschließender Tafelloge, Leitung: MvSt., +Anmeldung beim Br. Sekretär bis Montag, 12.06. + +Freitag, 23.06. + +Freitag, 30.06. 19:00 + +19:00 G Augusta-Abend + +geselliger Bruder-Abend mit Grillfest + + \ No newline at end of file diff --git a/traingsdaten0.txt b/traingsdaten0.txt new file mode 100644 index 0000000..b04d18d --- /dev/null +++ b/traingsdaten0.txt @@ -0,0 +1,64 @@ +So., 14.08. 14:00 Uhr Besuch im Perma kultur park Steyerberg +Mo., 29.08. 20:00 Uhr TA I im neuen Maurerjahr , mit Kugelung MvSt +Mo., 05.09. 20:00 Uhr Gesprächsabend – „V erzicht“ Redner +Mo., 12.09. 20:00 Uhr Buchempfehlung: „Die Freimaurer“ 2. A +Di., 13.09. 20:00 Uhr Beamtenrat MvSt +Mo., 19.09. 20:00 Uhr FM in der Praxis Redner +Mo., 26.09. 20:00 Uhr TA I MvSt +Mo., 03.10. Loge dunkel – Tag der Deutschen Einheit +Mo., 10.10. 20:00 Uhr Infoabend zum Thema „Videomedien“ Redner nur für Brüder dieser Loge +Di., 11.10. 20:00 Uhr Beamtenrat MvSt +Mo., 17.10. 20:00 Uhr V ortrag : „Die Ethik der Freimaurerei“ 2. A +Mo., 24.10. 20:00 Uhr FM in der Praxis Redner +Sa., 29.10. 15:00 Uhr TA I mit Aufnahme, anschl. Tafelloge MvSt +Mo., 31.10. Loge dunkel - Reformationstag +Mo., 07.11. 20:00 Uhr Erklärung des Arbeitsteppichs Redner ZM + 1.+2.Schaffner +Mo., 1 4.11. 20:00 Uhr TA I - Trauerloge MvSt +So., 20.11. 10:00 Uhr Besuch der Brudergräber MvSt +Mo., 21.11. 20:00 Uhr FM in der Praxis Redner Gäste sind willkommen +Mo., 28.11. 20:00 Uhr Buchempfehlung: „Loge und Altar“ 1. A Gäste sind willkommen +Di., 29.11. 20:00 Uhr Beamtenrat MvSt +Mo., 05.12. 20:00 Uhr FM in der Praxis Redner Gäste sind willkommen +Mo., 12.12. 20:00 Uhr TA III mit Erhebung MvSt Loge „Albrecht +Wolfgang“ bei uns +Di., 13,12. 20:00 Uhr Beamtenrat MvSt +Mo., 1 9.12. 20:00 Uhr TA I – Jahresschlu ßarbeit MvSt +Mo., 2 6.12. Loge dunkel – 2. Weihnachtstag +2023 +Mo., 02.01. 20:00 Uhr FM in der Praxis Redner Gäste sind willkommen +Sa., 07.01. 14:30 Uhr „Wir begrüßen das neue Jahr mit unseren Schwestern“ MvSt mit geladenen Gäste n +Mo., 09.01. 20:00 Uhr TA I MvSt +Mo., 16.01. 20:00 Uhr Bruderabend: „Was erwarte ich in der Loge 2023?“ MvSt +Mo., 23.01. 20:00 Uhr V ortrag NN 1. A +Di., 24.01. 20:00 Uhr Beamtenrat MvSt +Mo., 30.01. 20:00 Uhr FM in der Praxis Redner Gäste sind willkommen +Mo., 06.02. 20:00 Uhr TA I – Instruktionsloge mit dem Werkkoffer MvSt ZM + 1.+2. Schaffner +Mo., 13.02. 20:00 Uhr V ortrag NN 2. A +Di., 14.02. 20:00 Uhr Beamtenrat MvSt +Mo., 20.02. 20:00 Uhr FM in der Praxis Redner +Mo., 27.02. 20:00 Uhr V ortrag NN 1. A +Mo., 06.03. 20:00 Uhr TA I MvSt +Mo., 13.03. 20:00 Uhr V ortrag NN 2. A +So., 19.03. 11:15 Uhr Frühjahrsempfang der Loge MvSt mit den Schwestern und geladenen +Gästen +Mo., 20.03. 20:00 Uhr FM in der Praxis Redner +Di., 21.03. 20:00 Uhr Beamtenrat MvSt +Mo., 27.03. 20:00 Uhr Buchempfehlung: NN 1. A +Mo., 03.04. 20:00 Uhr TA I MvSt +Di., 04.04. 20:00 Uhr Beamtenrat – V orbereitung Mitgliederversammlung MvSt +Mo., 10.04. Loge dunkel - Ostermontag +Mo., 17.04. 20:00 Uhr FM in der Praxis Redner +Mo., 24.04. 20:00 Uhr Bruderabend: „Konzepte für die Logenarbeit“ MvSt +Mo., 01.05. Loge dunkel - Maifeiertag +Mo., 08.05. 20:00 Uhr FM in der Praxis: „08. Mai 1945“ Redner +Mo., 15.05. 20:00 Uhr Mitgliederversammlung MvSt nur für Brüder dieser Loge +Mo., 22.05. 20:00 Uhr V ortrag NN 2. A +Di., 23.05. 20:00 Uhr Beamtenrat – Nachbereitung der MV MvSt +Mo., 29.05. Loge dunkel - Pfingstmontag +Mo., 05.06. 20:00 Uhr FM in der Praxis Redner +Mo., 12.06. 20:00 Uhr V ortrag NN 1. A +Mo., 19.06. 20:00 Uhr FM in der Praxis Redner +Di., 20.06. 20:00 Uhr Beamtenrat – Übung für das Johannisfest MvSt +Sa., 24.06. 15:00 Uhr TA I – Johannisfest; anschl. Festessen mit den +Schwestern und Gästen MvSt ZM + 1. + 2. Schaffner +Mo., 28.08. 20:00 Uhr TA I im neuen Maurerjahr; anschl. Tafelloge MvSt 1. + 2. Schaffner \ No newline at end of file