Wie ich eine KI-App entwickelt habe, die vielbeschäftigten (faulen) Menschen hilft, ihre Englischkenntnisse zu verbessern

Hallo Hacker 👋 Ich bin der Gründer von Fluently und möchte Sie an meinem Projekt teilhaben lassen, bei dem ich ein Tool entwickelt habe, das nicht-muttersprachlichen Berufstätigen hilft, ihre Englischkenntnisse mithilfe von KI zu verbessern. Denken Sie an Grammarly, aber für Videokonferenzen.

Wie die Idee entstand

Ich habe über ein Jahr in den USA gelebt und dort mein Englisch auf ein fortgeschrittenes Niveau gebracht. Ich konsumiere fast alle Informationen, auch Bücher auf Englisch.

Aber trotzdem fiel mir in den letzten vier Monaten, die ich in London lebte und am Entrepreneur First Accelerator teilnahm, auf, dass die Leute mich manchmal baten, das Gesagte zu wiederholen. Ich sah an ihren Gesichtern, dass sie nichts verstanden. Das lässt sich nur schwer verbergen.

Die lustigste Situation ereignete sich, als mir ein Typ aus Lettland leise sagte: „Sie sprechen ‚vage‘ als ‚wagyu‘ aus.“ Das erste Wort bedeutet unklar oder undeutlich, während das zweite japanisches Rindfleisch ist 😅

Kurz gesagt, ich verspürte wieder einmal den Wunsch, mein Englisch zu verbessern. Die Option „na ja, sie werden mich sowieso verstehen, ich bin nicht von hier“ passt mir überhaupt nicht. Allerdings ist es schwierig, zu Nachhilfelehrern zu gehen. Erstens muss man Zeit für den Unterricht einplanen. Zweitens sind gute Nachhilfelehrer teuer. Drittens ist die Menge an Feedback nach einer einstündigen Unterrichtsstunde für eine Woche nicht groß.

Die Lösung: Fließend

Mein Hintergrund als ML-Ingenieur brachte mich zum Nachdenken: Was wäre, wenn KI meine häufigsten Fehler verfolgen und hervorheben und mir bei der Korrektur helfen könnte? Wie ein virtueller Tutor, der sich organisch in meinen Alltag einfügt und mein Englisch auf ein neues Niveau bringt. So begann Fluently.

Zunächst beschloss ich, eine Woche lang zu warten, um zu sehen, ob noch jemand Interesse hat. Also erstellte ich eine Landingpage, auf der man sich für die Warteliste anmelden kann, und auf der Site selbst skizzierte ich lediglich die wichtigsten Vorteile des Produkts. Die Site hat sich bisher nicht geändert.

Dann habe ich meinen Freunden diese Landingpage mit dem Ansatz „Hey, schaut mal, was ich gefunden habe“ gezeigt, um zu sehen, wie sie reagieren würden. Überraschenderweise zeigten 2/3 Interesse an der App und trugen sich auf der Website in die Warteliste ein. Der Rest verfügt entweder über gute Englischkenntnisse oder es ist ihm egal.

Außerdem habe ich ein kurzes Demo-Video von Fluently in meinem Telegram-Kanal geteilt und ein paar Freunde haben es erneut gepostet. Daraufhin haben sich mehr als 200 Leute auf die Warteliste gesetzt. Das war für mich ein großes Zeichen, mit dem Aufbau zu beginnen!

Was ist jetzt Fluently?

Fluently ist eine Mac-App, die nicht-muttersprachlichen Berufstätigen dabei helfen soll, ihr Englisch zu verbessern, indem sie nach Online-Anrufen, wie denen bei Google Meet oder Zoom, sofortiges Feedback gibt. Stellen Sie sich vor, Sie hätten einen persönlichen Coach, der Ihnen direkt nach jedem Anruf Tipps gibt.

Um Fluently auszuprobieren, laden Sie eine App herunter und befolgen Sie diese einfachen Schritte:

1. Starten Sie die App: Fluently wird aktiviert, wenn Sie bei Online-Meetings Englisch sprechen.
2. Erhalten Sie Feedback: Nach jedem Anruf gibt Ihnen Fluently ein auf Ihre sprachlichen Herausforderungen zugeschnittenes Feedback, weist Sie auf Fehler hin und schlägt Verbesserungen vor.
3. Verfolgen Sie Ihren Fortschritt: Mit der Zeit können Sie sehen, wo Sie Fortschritte machen und wo noch Übung nötig ist.

Hier ist ein Beispiel für das Fluently-Feedback:

Einige der wichtigsten Vorteile und Funktionen von Fluently:

• Feedback aus dem echten Leben: Hilft bei der Behebung von Fehlern aus echten Anrufen, nicht nur im Klassenzimmer.
• Müheloses Lernen: Kein zusätzlicher Zeitaufwand nötig – lernen Sie einfach aus Ihren üblichen Meetings.
• Beurteilung des Englischniveaus: Bewertet Ihr Englischniveau und identifiziert Ihre stärksten und schwächsten Bereiche.
• KI-Tutor: Ermöglicht das Üben Ihrer Englischkenntnisse, auch wenn Sie gerade nicht telefonieren.

Die technische Seite

Da die App für MacOS ist, habe ich beschlossen, den Client in Swift zu schreiben. Wir hätten uns Electron ansehen können, aber native Apps fühlen sich immer besser an. Und wenn wir uns in etwas Low-Level-Bereich vertiefen müssen, können wir Probleme in Swift schneller lösen.

Derzeit erkennt die App den Beginn eines Anrufs und beginnt, die Audiodaten des Benutzers in kleinen Abschnitten zu analysieren und auf dem Server zu verarbeiten. Nur die Sprache des Benutzers wird analysiert, die Sprache des Gesprächspartners wird von der App nicht einmal gehört (außer in einigen Fällen bei lauten Gesprächen ohne Kopfhörer).

Das Backend ist in Python geschrieben und die ML-Modelle befinden sich auf PyTorch. Der Server empfängt das Audio und erkennt Aussprachefehler, die an die App zurückgesendet werden.

Ich werde nicht auf die Implementierungsdetails der Pipeline selbst eingehen, da dies ein Thema für einen separaten Beitrag ist. Der Einfachheit halber ist alles wie folgt angeordnet: Das Audio wird als Text erkannt, der Text wird in Phoneme übersetzt und ein separates Modell prüft, wie gut sie mit den in der Audioaufnahme gesprochenen Lauten übereinstimmen.

Datenschutz: Natürlich sammeln wir die Aufnahmen selbst nicht, sondern führen nur Statistiken über Fehler. Außerdem brauchen wir keine englische Sprache mit starkem Akzent. Das kann ich stundenlang selbst aufnehmen 😅

Nächste Schritte

Ich arbeite kontinuierlich daran, Fluently zu verbessern. Zunächst entwickeln wir Web- und mobile Apps, um das potenzielle Publikum von Fluently deutlich zu vergrößern. Und wir erstellen tägliche Übungen wie Duolingo, basierend auf Ihren häufigsten Fehlern. Es geht darum, das Lernen unterhaltsam und für den Alltag nützlich zu machen.

Haben Sie Fragen oder Feedback? Ich freue mich auf Ihre Nachricht!