LLM/KI

[silbaer]

Es geht doch auch nicht darum ob ich ein Model lokal laufen lassen kann oder nicht. Es geht hier darum, dass KIs von der Kette gelassen werden und selbständig Dinge tun und dabei sich selbst verbessern / lernen / and den Benutzer anpassen.
Was hat Morpheus gesagt? Sein 200 USB Budget hat vier Wochen gereicht. Sagen wir 250 USD/Monat und ich kann mit den 15k 5 Jahre lang Opus 4.5 nutzen. Bei den heutigen Preisen. Und dann mal überlegen was vor 5 Jahren bzw. einfach vor nur 1-2 Jahren an KI vorhanden und was es gekostet hat. Da kommt man mit 15k sicher länger als 5 Jahre aus....

Ein großes Model lokal laufen zu lassen hat eigentlich nur einen Usecase: Man möchte sich unabhängig von einem Anbieter machen. Weil z.B. der eigene Businesscase oder Workflow abhängig von der/einer KI ist. Da kann es dann durchaus sinnvoll sein mal einige 10k oder 100k in die Hand zu nehmen.

 

[FPV]

Gut zusammenfasst und ja, Datenschutz geht lokal nun mal am besten.

Die Skillz der Zukunft liegen auch mit im effektiven Nutzen der teuren Modelle, merkt man schnell, wenn ein paar Projekte „bezahlt“ sind. Ich möchte in der heutigen Zeit kein durchschnittlicher ITler mehr sein, das wird schwierig bzw. „sehr dynamisch“ werde …

 

[sunny]

Wo hier der Morpheus genannt wurde.....
Habt ihr das aktuellste Video schon gesehen?
Ich für mich kann nur sagen: Von all dem was er dort berichtet hatte ich noch nie etwas gehört.
Und nun frage ich mich, worin wird das alles noch gipfeln?
Das Zusammenspiel von KI und Überwachung hat nicht nur Skynet-Vibes und erzeugt ein gewisses Gefühl im Magen

 

[FPV]

Es geht auch alles Zack auf Zack…
Das neuste State of the Art OpenSource Modell:

 

[FPV]

Jo, was soll man zu sowas sagen…

 

[der wildflieger]

Ein sehr interessanter, und bewegender Artikel im ersten Post!
Welche KI Modelle genau eignen sich denn am Besten fürs rumspielen zu Hause für 20€?
Und was für Hardware bräuchte man?

 

[MrPeak]

Ein sehr interessanter, und bewegender Artikel im ersten Post!
Welche KI Modelle genau eignen sich denn am Besten fürs rumspielen zu Hause für 20€?
Und was für Hardware bräuchte man?

Im einfachsten Fall nutzt du eine public AI mit API Key, das reicht für den Anfang vollkommen aus (sofern man nicht zu viele tokens verbrät).
Eigenes lokales processing ist aufwändig, große Modelle brauchen viel Speicher und das ist teuer. Falls lokales rumspielen die Priorität hat benötigst du eine ensprechende "Grafikkarte", schau dir die Hardware Liste vom Ollama Interpreter an (mit diesem kannst du ein LLM "laufen" lassen).

Hardware support - Ollama

Bzgl. der LLM, es gibt unglaublich viele, in verschiedenen Größen und Schwerpunkten, um Übersicht zu behalten gibt es wiederum zahlreiche Tools wie den hier verlinkten "LLM Explorer".

LLM Explorer: A Curated Large Language Model Directory. LLM List. 51605 Open-Source Language Models.

 

[Onkel Ho]

Für 20 Eur / Monat kannst du quasi eine subscription für die gängigen Modelle bekommen und erstmal so damit rumspielen.

Empfehlen würde ich dir Claude https://claude.ai/ da datenschutzrechtlich besser. Du brauchst für diese subscriptions eigentlich nur einen Browser.

----
Aber wenn du zb für die API Schnittstellen tokens bei Anthropic (die firma hinter Claude) kaufen willst Zb für openclaw, brauchst du keine subscription sondern tokens wofür du 1. Eine Kreditkarte und 2. Hier Claude Developer Platform einen Account brauchst.
Da kannst du auch dein gewünschtes limit setzen.

 

[Onkel Ho]

 

[FPV]

Er erklärt immer recht viel und vor allem ganz ruhig und unaufgeregt:

 

[FPV]

Wenn ich 15k zum spielen mit KI übrig haben würde, würde ich mir gleich nen Server mit rtx pros bauen. 4 Blackwell rtx 4500 mit nvlink, haste gleich ganz andere rates.

Wie machsten das eigentlich ohne NVLink? ;-) 4x32 wären schon cool…

Habe jetzt einiges über die kommenden neuen Macs gelesen. Bin gespannt, das wird eventuell ne heiße Kiste…

 

[Onkel Ho]

Wie machsten das eigentlich ohne NVLink? ;-)

Kann die das nicht mehr? Bei der RTX A6000 pro ging's noch, musste wohl dann die 6000pro nehmen ...

Aber selbst damit bist du noch Meilenweit davon entfernt was die aktuellen kommerziellen llms leisten können. Zudem sind die ganzen lokalen Modelle im besten Fall auf dem Stand von vor einem Jahr, eher älter. Gpt-oss-120b zb. hat nen cutoff date von Juni 2024.

 

[FPV]

Aber selbst damit bist du noch Meilenweit davon entfernt was die aktuellen kommerziellen llms leisten können. Zudem sind die ganzen lokalen Modelle im besten Fall auf dem Stand von vor einem Jahr, eher älter. Gpt-oss-120b zb. hat nen cutoff date von Juni 2024.

Total irrelevant, den mit den aktuellen Modelle lassen sich lokal schon super Daten verarbeiten und das auch Produktiv. Rein mit OpenSource Tools und „lizensfrei“. Damit verdient man schon Geld, nicht nur in Sachen klassischer Datenverarbeitung.

U.a diverse Modelle und finetunes von Qwen oder auch Modelle von Mistral sind dafür super geeignet, sogar ganz ohne 5 stellige Investsummen in Sachen Hardware, wenn man weiß wie. Nicht auf klassicher Chatbotebene denken…

BTW die 6000er haben auch kein NVLINK mehr, jaja Nvidia ;-) (ein stückweit relativ)

In 2-3 Jahren lassen wir sowas mächtiges hier „easy“ lokal laufen, sofern es der RAM Gott möchte und es wird dann schon ein „Steinzeitmodell“ sein, in Anbetracht der rasenden Entwicklung …

moonshotai/Kimi-K2.5 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

 

[silbaer]

Er erklärt immer recht viel und vor allem ganz ruhig und unaufgeregt:

Naja, ich habe das Video und das in dem er OpenClaw ausprobiert überflogen. Vielleicht ist mir deshalb was entgangen. Und sein Beispiel wie er da mit ChatGPT eine Mail beantwortet... Ehrlich, das fand ich wild. Wer ernsthaft KI in seine Workflows einbau benutzt seit langem schon Agenten. Hat er später ja auch erklärt. Aber die Konsequenzen des proaktiven gepart mit selbst anpassen und konfigurieren ist da glaube ich nicht angekommen. Was sagt Morpheus:

Was ein Agent tun kann, wurde neu definiert. Alles was eine Programmierschnittstelle hat kann von der KI bedient werden und wird es auch. Diese ganzen Tools, die wir nutzen, Kalender, Maps, Brave Search, mein Gott, selbst unser Partner Hostinger kann über eine API gesteuert werden. Und das heißt, ihr könnt eurem KI Agenten sagen, dass er ein Projekt nicht nur erstellen soll, sondern einfach eure Kreditkarte zücken und ihn machen lassen. Und das ist exponentielles Wachstum. Und ich bin ehrlich, wem das nicht den Boden unter den Füßen wegzieht, der hat's nicht ganz
verstanden.

 

[FPV]

Das Video zeigt viel auf:

 

[FPV]

Apple adressiert mit den neuen Macs direkt die LLMs und macht erste Verbesserung in entscheidende Richtungen… ;-)

 

[FPV]

Wer 8GB VRAM hat… Hier IMO von der Quali besser als Ace Step…

GitHub - Saganaki22/ComfyUI-Foundation-1: ComfyUI custom nodes for Foundation-1 | Structured Text-to-Sample Diffusion for Music Production

ComfyUI custom nodes for Foundation-1 | Structured Text-to-Sample Diffusion for Music Production - Saganaki22/ComfyUI-Foundation-1

github.com

Um das zum Laufen zu kriegen z.B:
Allgemeine Software zum Spielen mit Bild, Video und Audio auf lokaler Hardware.

ComfyUI | Generate video, images, 3D, audio with AI

The most powerful and modular visual AI application and engine

www.comfy.org

oder

Pinokio

1-click launch any open-source app.

pinokio.co

Viel Spaß beim Spielen.

 

[FPV]

Das ist ein sehr gutes Video…

 

[razupaltuff]

Bei den Zahlen fliegen mir gerade die Ohren wech.

Krass, der wirtschaftliche Einsatz Vergleich China zu USA.

 

[FPV]

Irgendwie kann man sagen, wir sind straight at „the Anfang“. Bei 19:30 wird erst mal klar, wie viel „Potenzial“ in diversen Entwicklungen steckt. Schon verrückt…

…dann muss man sich noch anderen Entwicklungen anschauen, wie zum Beispiel sowas und die Geschäftchen und Konstrukte dahinter:

IonQ: Trapped Ion Quantum Computing Company

IonQ delivers trapped ion quantum computing systems, cloud access, and enterprise solutions for real-world quantum applications.

www.ionq.com

…wer weiß, was in zehn Jahren Phase ist.

…und auf einmal besorgt sich Anthropic Rechenpower beim Musk ( 300 Megawatt Leistung und den Zugriff auf über 220.000 Nvidia-GPUs), der Xai in SpaceX „abgehen“ lässt, freundlich ausgedrückt und das Handelsblatt macht die Boomer schuckelig…

KI: „Makrofinanzieller Schock“ – IWF warnt vor Anthropics „Mythos“

Könnte eine Cyberattacke eine globale Finanzpanik auslösen? Der Internationale Währungsfonds hält das angesichts der KI-Evolution für ein Szenario. Die Experten fürchten eine Kettenreaktion.

www.handelsblatt.com

… welche nebenbei gegen Stable Coins fronten und den Bitcoin am liebsten verbieten oder besteuern möchten. Das gibt auch en crazy Generationsshift…