Wie kann ich ein Youtube Video methodisch erarbeiten und die für mich passenden Informationen erschliessen?

Seitdem ich Youtube Premium abonniert habe, geniesse ich Youtube Videos ohne Unterbrechung. Oft möchte ich die Inhalte des Videos verdichten, vertiefen, eine Presentation davon erstellen... und das Wissen in dem Video in meine lokale Datenbank aufnehmen. Wie mache ich das?

Vorab ein paar Gedanken:

Mir geht es auch immer so, was gibt es für neue KI-Tools und wie schön sind diese? Aus meiner Erfahrung sind das aber nicht die Produktivitäts- oder Kreativitätsgewinne für mich, sondern die eigene Promptbibliothek, die Prompts/Patterns auf meine Bedürfnisse ausführen lassen kann. Dort steckt der Gewinn.

Ich nutze Adhoc Prompts und lokale Workflows (wie dieser hier) und dann Cloud Umgebungen wenn die Inhalte weiter verdichtet werden können.

Der Blogpost zeigt einen lokalen KI-Workflow mit Ollama oder anderen LLMs um diese Herausforderung mit meiner Pattern/Promptbibliothek zu lösen.

Wie kann ich das umsetzen?

1. Laden des Youtube Videos
2. Installation und Ausführen von OLLAMA
3. Automatische Ausführung der Wissens Patterns (Summarize, uvm) mit Keyboard Maestro auf dem Mac
4. Extraction von Bildern aus dem Video
5. Erstellen einer Summary Datei

Laden des Youtube Videos

Idealerweise schaue ich das Video, spreche parallel in Audio Pen um mir meine mündlichen Notizen zu erstellen. Während dessen mit einem Klick:

Laden des Youtube Videos mit passender Transcription (SRT File). Ich nutze das Tool Downie. Downie hat eine Browser-Extension, die brauche ich nur anzuklicken und das Video mit SRT File wird automatisch auf die lokale Festplatte geladen.

Was sind meine bevorzugten Wissens Patterns für eine Video Analyse?

Diese Wissens Pattern möchte ich automatisch ablaufen lassen um Youtube Videos zu analysieren, die meisten Pattern nutze ich auch für generelle Text Analysen. Wenn ich das Youtube Video als wertvoll erachte, laufen die nachfolgenden Patterns/Prompts automatisch ab nachdem das Video geladen worde!

Die meisten allgemeinen Pattern habe ich aus dem Fabric System von Daniel Miessler entnommen. Hier habe ich das Fabric System schon einmal vorgestellt:

#105 Wie baut man eine Content-Engine für Schulung, Training, Marketing? Teil 1

Der Blogpost zeigt ein System, was einfach Research-Fragen an Autoren (Bücher) sendet und das Ergebnis über eine schnelle Auswahl von Arbeits-Prompts weiter verarbeitet

KI-InsightsHolger Gelhausen

Wenn wir uns aus einer Auswahl von ca. 50 wirkungsvollen Prompts den Prompt Extract Wisdom anschauen, bekommen wir ein Gefühl von der Mächtigkeit der Prompts. Das sehr gute an Fabric ist, das ich meine Prompts dort einbauen und lokale LLM Modelle nutzen kann. Hier eine Übersicht über die Patters von Daniel Miessler Link.

Daniel zeigt hier in dem Video wie man die Fabric Engine um eigene Pattern/Prompts erweitern kann.

Extract Wisdom

IDENTITY and PURPOSE

You extract surprising, insightful, and interesting information from text content. You are interested in insights related to the purpose and meaning of life, human flourishing, the role of technology in the future of humanity, artificial intelligence and its affect on humans, memes, learning, reading, books, continuous improvement, and similar topics.

Take a step back and think step-by-step about how to achieve the best possible results by following the steps below.

STEPS

Extract a summary of the content in 25 words, including who is presenting and the content being discussed into a section called SUMMARY.

Extract 20 to 50 of the most surprising, insightful, and/or interesting ideas from the input in a section called IDEAS:. If there are less than 50 then collect all of them. Make sure you extract at least 20.

Extract 10 to 20 of the best insights from the input and from a combination of the raw input and the IDEAS above into a section called INSIGHTS. These INSIGHTS should be fewer, more refined, more insightful, and more abstracted versions of the best ideas in the content.

Extract 15 to 30 of the most surprising, insightful, and/or interesting quotes from the input into a section called QUOTES:. Use the exact quote text from the input.

Extract 15 to 30 of the most practical and useful personal habits of the speakers, or mentioned by the speakers, in the content into a section called HABITS. Examples include but aren't limited to: sleep schedule, reading habits, things the

Extract 15 to 30 of the most surprising, insightful, and/or interesting valid facts about the greater world that were mentioned in the content into a section called FACTS:.

Extract all mentions of writing, art, tools, projects and other sources of inspiration mentioned by the speakers into a section called REFERENCES. This should include any and all references to something that the speaker mentioned.

Extract the 15 to 30 of the most surprising, insightful, and/or interesting recommendations that can be collected from the content into a section called RECOMMENDATIONS.

OUTPUT INSTRUCTIONS

Only output Markdown.

Write the IDEAS bullets as exactly 15 words.

Write the RECOMMENDATIONS bullets as exactly 15 words.

Write the HABITS bullets as exactly 15 words.

Write the FACTS bullets as exactly 15 words.

Write the INSIGHTS bullets as exactly 15 words.

Extract at least 25 IDEAS from the content.

Extract at least 10 INSIGHTS from the content.

Extract at least 20 items for the other output sections.

Do not give warnings or notes; only output the requested sections.

You use bulleted lists for output, not numbered lists.

Do not repeat ideas, quotes, facts, or resources.

Do not start items with the same opening words.

Ensure you follow ALL these instructions when creating your output.

INPUT

INPUT:

Installation und Ausführen von OLLAMA

Ollama ist ein Programm das lokale KI-Modelle sehr einfach auf dem Rechner laufen lassen kann.

Man gibt auf der Shell Ollama run "Name des Modells" ein und das passende Modell ist lokal ansprechbar.

Llama3 Einsatz

Llama3 ist ein super Modell, das funktioniert hervorragend für kleinere Texte die unter 8k sind. Wenn ich z.B. mir eine Präsentation erstellen lassen möchte, hört Llama3 bei 10-11 Slides auf, während dessen die Mixtral Modelle mir oft bis zu 19 Slides liefern. Meistens gehe ich auf Nummer sicher und nutze gpt-4-turbo-preview wenn die Texte länger sein sollen. Das ist auch ein Grund (für längere Slides Entwürfe) mir einen Zugriff auf die Claude-3 Modelle zu besorgen.

Automatisches Ablaufen der Pattern mit Keyboard Maestro

Keyboard Maestro ist ein Automatisierung Tool auf dem Mac. Eines der schönen Vorteile von Keyboard Maestro es kann einen Folder überwachen. Wenn eine SRT Datei aus einem Youtube Download neu in dem Verzeichnis ist, startet das Script automatisch.

Die Zahlen auf dem Bild:

1. Der überwachte Ordner
2. Hier wird überprüft ob das eine SRT Datei ist
3. Der Text der Datei wird als Variable gelesen und an Fabric übergeben
4. Hier kann ich verschiedene Open Source Modelle einbauen
5. Der Pattern. Für jeden Pattern gibt es einen eigenen Shell Befehl.
6. Am Ende werden alle Variablen der Ausgabe in eine Variable übertragen und ich kann aus der Variable eine Markdown Datei erstellen.

So wird mit dem Download des Videos der Workflow automatisch gestartet und ich kann die Texte lokal auf dem PC verdichten.

Bilder erzeugen von Videos

Dieser ffmpeg Befehl erstell automatisch von dem Video einzelne Bilder, so das ich diese weiter nutzen kann.

/opt/homebrew/Cellar/ffmpeg/5.1/bin/ffmpeg -i "$KMVAR_VideoZuBildern" -r 1/2 -qscale:v 2 -s "$KMVAR_Aufloesung" ~/Dropbox/Apps/logseq/assets/"$KMVAR_VideoZuBildernName"/"$KMVAR_VideoZuBildernName""$KMVAR_Aufloesung"%4d.jpg

Summary Datei erstellen.

Das funktioniert ganz einfach in Keyboard Maestro

Fazit

So ein KI-Workflow reduziert die Zeit für die Bearbeitung eines Videos auf einen Bruchteil. Im Schnitt laufen die Prompts fünf Minuten und dann wird mir das Ergebnis gezeigt.

Ich habe solche Workflows Adhoc mit einem Short-Cut oder auch in der Überwachung von Foldern. Auch bin ich in der Lage diese Patterns zu kombinieren, d.h. hintereinander zu schalten.