Upload app.py

app.py

@@ -24,6 +24,9 @@ from matplotlib.colors import LightSource
 from tensorflow import keras
 import pandas as pd
 
+from transformers import pipeline
+import transformers
+
 
 # Farben definieren
 cb = [15/255, 25/255, 35/255]
@@ -32,7 +35,13 @@ w = [242/255, 242/255, 242/255]
 blue = [68/255, 114/255, 196/255]
 orange = [197/255, 90/255, 17/255]
 
-tab1, tab2, tab3 = st.tabs(["Künstliche Neuronale Netze", "Wörter Maskieren", "Demos"])
+
+# Pipelines definieren
+en_de_translator = pipeline("translation_de_to_en", model='google/bert2bert_L-24_wmt_de_en')
+
+
+tab1, tab2, tab3, tab4 = st.tabs(
+    ["Künstliche Neuronale Netze", "Wortvektoren Stimmung", "Wörter Maskieren", "Demos"])
 
 
 with tab1:
@@ -60,7 +69,7 @@ with tab1:
     price = edited_data[:, 2]
 
     string = col2.text_area(
-        'Architektur des neuronalen Netzes. Anzahl der Neuronen in den einzelnen Schichten', value='4', height=275)
+        'Architektur des neuronalen Netzes. Anzahl der Neuronen in den verdeckten Schichten', value='4', height=275)
     layers = string.split('\n')
 
     if st.button('Modell trainieren und Fit-Kurve darstellen'):
@@ -140,6 +149,111 @@ with tab1:
 
 # %%
 with tab2:
+    text_input_2 = '1: Das schöne Allgäu\n' + \
+        '1: So toll hier im Allgäu\n' + \
+        '1: Uns gefallen die Berge und Seen\n' + \
+        '1: Wir mögen die Landschaft und die Berge\n' + \
+        '1: Ganz toll im Allgäu\n' + \
+        '1: Wir mögen das Allgäu\n' + \
+        '0: Uns gefiel es leider nicht\n' + \
+        '0: Bei Regen ist es total langweilig\n' + \
+        '0: Ganz langweilig!\n' + \
+        '0: So schade, dass es oft Regen gibt\n' + \
+        '0: Sehr schade, wir konnten gar nicht skifahren\n' + \
+        '0: Das gefiel uns überhaupt nicht'
+
+    string_2 = st.text_area('', value=text_input_2, height=275)
+    texts_2 = string_2.split('\n')
+
+    text = []
+    labels = []
+    for element in texts_2:
+        if element != '':
+            label_element, text_element = element.split(':')
+            text.append(text_element)
+            labels.append(float(label_element))
+
+    if st.button('Modell trainieren und Wort-Vektoren darstellen', key=1):
+        with st.spinner('Der Fit-Prozess kann einige Sekunden dauern ...'):
+
+            vectorizer = tf.keras.layers.TextVectorization(
+                max_tokens=1000, output_sequence_length=7)
+
+            vectorizer.adapt(text)
+
+            model = tf.keras.models.Sequential()
+            model.add(vectorizer)
+
+            model.add(tf.keras.layers.Embedding(vectorizer.vocabulary_size(), 2))
+            # model.add(tf.keras.layers.Dropout(0.6))
+            model.add(tf.keras.layers.LSTM(1, return_sequences=False, activation='sigmoid'))
+            # model.add(tf.keras.layers.Flatten())
+            #model.add(tf.keras.layers.Dense(1, activation='sigmoid', use_bias=False, trainable=True))
+
+            model.summary()
+
+            model.compile(optimizer='adam', loss='binary_crossentropy',
+                          metrics=['accuracy'])
+
+            model.fit(text, labels, epochs=2000, verbose=2)
+
+            # Word Vektoren grafisch darstellen
+            cb = [15/255, 25/255, 35/255]
+            cf = [25/255*2, 35/255*2, 45/255*2]
+            w = [242/255, 242/255, 242/255]
+            blue = [68/255, 114/255, 196/255]
+            orange = [197/255, 90/255, 17/255]
+
+            fig = plt.figure(facecolor=cb, figsize=(7, 7))
+            ax = fig.add_subplot()
+            ax.tick_params(color=w, labelcolor=w, labelsize=12)
+            ax.set_facecolor(cb)
+
+            y_pred = model.predict(np.array(vectorizer.get_vocabulary(
+                include_special_tokens=False)).reshape(-1, 1))
+
+            embed_model = tf.keras.models.Model(model.input, model.layers[1].output)
+            X_embed = embed_model(np.array(vectorizer.get_vocabulary(
+                include_special_tokens=False)).reshape(-1, 1))[:, 0, :]
+
+            # 1. Dimension der Wort-Vektoren auf X-Achse,
+            # 2. Dimension auf y-Achse, 3. auf die Z-Achse abbilden
+            ax.scatter(X_embed[:, 0], X_embed[:, 1],
+                       c=y_pred, cmap='coolwarm')
+            for i in range(vectorizer.vocabulary_size()-2):
+                ax.text(X_embed[i, 0], X_embed[i, 1],
+                        vectorizer.get_vocabulary(include_special_tokens=False)[i],
+                        color=w)
+
+            ax.set_ylim(-2, 2)
+            ax.set_xlim(-2, 2)
+
+            ax.set_xticks([-2, -1, 0, 1, 2])
+            ax.set_yticks([-2, -1, 0, 1, 2])
+
+            ax.spines['bottom'].set_color(w)
+            ax.spines['top'].set_color(w)
+            ax.spines['right'].set_color(w)
+            ax.spines['left'].set_color(w)
+
+            ax.set_xlabel('Dimension 1', color=w, fontsize=15, labelpad=10)
+            ax.set_ylabel('Dimension 2', color=w, fontsize=15, labelpad=10)
+
+            # get the mappable, the 1st and the 2nd are the x and y axes
+
+            PCM = ax.get_children()[0]
+            cbar = plt.colorbar(PCM, ax=ax, fraction=0.036, pad=0.090)
+            cbar.set_ticks([])
+
+            cbar.set_label(
+                '<- positiv           Stimmung           negativ ->', fontsize=12, color=w, rotation=270, labelpad=12)
+
+            ax.set_title('Epoche 2000', color=w, fontsize=15)
+            st.pyplot(fig)
+
+
+# %%
+with tab3:
 
     text_input = 'Das schöne Allgäu\n' + \
         'Das wunderbare Allgäu\n' + \
@@ -157,7 +271,7 @@ with tab2:
     string = st.text_area('', value=text_input, height=275)
     text = string.split('\n')
 
-    if st.button('Modell trainieren und Wort-Vektoren darstellen'):
+    if st.button('Modell trainieren und Wort-Vektoren darstellen', key=2):
         with st.spinner('Der Fit-Prozess kann einige Sekunden dauern ...'):
 
             vectorizer = tf.keras.layers.TextVectorization(
@@ -239,5 +353,16 @@ with tab2:
 
 
 # %%
-with tab3:
-    st.header("An owl")
+with tab4:
+    # st.header("Übersetzung: Deutsch --> Englisch")
+    #st.text("Übersetzung: Deutsch --> Englisch")
+
+    text_input_3 = 'Wir ünterstützen Unternehmen bei der Datenanalyse durch individuelle Beratung und Projekte mit besonderem Fokus auf maschinelles Lernen und Deep Learning.'
+
+    string_3 = st.text_area('Übersetzung: Deutsch --> Englisch', value=text_input_3, height=75)
+
+    if st.button('Ein fertig trainiertes Transformer-Modell von HuggingFace anwenden', key=3):
+        with st.spinner('Die Übersetzung kann einige Sekunden dauern ...'):
+
+            a5 = en_de_translator(string_3)
+            st.text(a5)