Lumen, ein Blick in die Zukunft?

Über das SLInfo Forum erfuhr ich über Lumen und zwar durch einen von Nofu Nagy eröffnen Thread namens: Viewer mit KI - Bald kriegt ihr endlich euer Inventory aufgeräumt 

Dort wird auch schon fleißig diskutiert und sich ausgetauscht, denn einige testen das aus. Ihr seid da herzlich willkommen, wenn ihr Fragen habt oder euer Wissen dazu teilen möchtet.

Persönlich sehe ich dem Ganzen skeptisch entgegen und, ich muss gestehen, auch mit etwas Angst. Benötigt man KI wirklich, um sein Second Life zu händeln? Dennoch habe ich mich etwas damit beschäftigt und Informationen zusammengesucht. Selber habe ich Lumen nicht ausgetestet, da ich da große Bedenken wegen der Sicherheit und, um ehrlich zu sein, auch wegen der Sinnhaftigkeit. Es wird langsam unheimlich mit dem Ganzen ... Ich bin in Second Life, um mit anderen Nutzern zu kommunizieren, herumzuwerkeln, selber was zu erforschen und so weiter ... Benötigt man da wirklich eine KI dafür? Wo endet das alles ...  

Aber es gibt sicherlich viele, die neugierig sind und mit austesten möchten. Gleich vorweg:

WICHTIGER SICHERHEITSHINWEIS: Lumen ist ein experimenteller Proof-of-Concept-Viewer eines einzelnen Entwicklers und kein von Linden Lab zugelassener Standard-Viewer. Die Nutzung erfolgt auf eigene Gefahr. Nutzt für solche Tests niemals den Haupt-Account und passt besonders auf eure Zugangsdaten und wertvollen Inventargegenstände auf.

Gyazo von Cattens Blog

VON WEM STAMMT LUMEN

Der Lumen Viewer stammt von Catten Carter. Das Projekt wurde als experimentellen Proof-of-Concept-Viewer auf Basis des Firestorm-Quellcodes entwickelt, um die Integration von KI-Assistenten in Second Life zu erproben. Der Quellcode und die Veröffentlichungen des Projekts werden über Cattens GitHub-Repository bereitgestellt. Der Entwickler Catten stellt selbst klar, dass Lumen als privates Experiment entstand und er nicht plant, das Projekt langfristig als vollwertigen Viewer-Ersatz weiterzuführen.

WAS IST LUMEN

Im Kontext von Second Life und Firestorm ist Lumen ein experimentelles Projekt für einen modifizierten Viewer, in den ein KI-Assistent direkt integriert ist. Es dient aktuell als Proof of Concept (Machbarkeitsnachweis), um zu testen, wie nützlich eine KI-Unterstützung innerhalb eines Second-Life-Viewers sein kann.

DIE WICHTIGSTEN FAKTEN ZU LUMEN

Basis: Es baut direkt auf dem Quellcode des Firestorm Viewers auf. Der Entwickler hat Firestorm gewählt, weil der Code gut strukturiert ist und sich damit auf einer vertrauten Plattform testen lässt.
Zweck: Es ist ein reines Experiment und nicht als Ersatz für den alltäglichen Viewer oder für den regulären Gebrauch gedacht.
Status: Das Projekt ist in einem frühen Stadium. Es können Fehler enthalten sein, und die KI führt unter Umständen Aktionen aus, die vom Nutzer nicht beabsichtigt waren (Nutzung auf eigene Gefahr).

KANN MAN LUMEN OHNE BEDENKEN RUNTERLADEN

Nein, man sollte Lumen nicht völlig ohne Bedenken herunterladen und nutzen.

ES HANDELT SICH NICHT UM EINEN SCHADSOFTWARE-VIRUS IM KLASSISCHEN SINNE, ABER AUS SICHERHEITS- UND STABILITÄTSGRÜNDEN IST VORSICHT GEBOTEN. DER ENTWICKLER (CATTEN CARTER) WEIST IM TEXT SELBST AUSDRÜCKLICH DARAUF HIN: „USE IT AT YOUR OWN RISK“ (NUTZUNG AUF EIGENE GEFAHR).  

Hier findet ihr die Downloads für Windows (Windows 10 oder 11, 64-Bit) und für Mac (macOS 12 oder neuer, Apple Silicon)

DIE WICHTIGSTEN RISIKO- UND BEDENKENPUNKTE

Kein Viewer für den Alltag: Lumen ist ein Proof of Concept / Experiment. Es ist ausdrücklich nicht als Ersatz für den normalen Viewer gedacht und befindet sich in einer frühen Testphase (Vorab-Release). 
Automatisierte Handlungen durch die KI: Da die KI Aktionen im Viewer ausführen kann (Objekte bewegen, rezzen, verlinken, Skripte ausführen), besteht das Risiko, dass sie unbeabsichtigte Aktionen durchführt. Auch wenn Sicherheitsabfragen eingebaut sind (wie das Bestätigen vor der Ausführung von Skills), können Fehler im Code zu unerwünschten Änderungen an deinen In-World-Objekten führen. 
Inoffizieller Drittanbieter-Viewer: Lumen stammt nicht von Linden Lab und wird von diesen weder unterstützt noch geprüft. 
Fehlende Erfahrungswerte & ungetestete Plattformen: Besonders die Windows-Version und komplexe Aufgaben (wie das Einrichten ganzer Häuser) sind laut Entwickler noch nicht ausreichend auf verschiedenen Computern getestet worden. Es kann zu Abstürzen oder Logikfehlern kommen.
Datenschutz & API-Schlüssel: Je nachdem, welchen Anbieter man wähle (OpenAI/ChatGPT, Anthropic/Claude, Mistral), werden Konversationen und Umgebungsscreenshots an externe Server gesendet. Zudem muss man bei einigen Modellen eigene API-Schlüssel eingeben.
Für den normalen Haupt-Avatar / Alltagsgebrauch: Nicht empfohlen.
Für Neugierige & Tester: Wenn man das Projekt ausprobieren möchte, testet man es am besten in einer sicheren Umgebung (z. B. auf einer eigenen Sandbox-Region) und man muss sich bewusst, dass Fehler auftreten können.

KAN MAN MIT LUMEN DURCH DIE KI FREMDE ITEMS BEWEGEN ODER LÖSCHEN

Nein, prinzipiell nicht. Die KI in Lumen unterliegt streng den normalen Rechtesystemen von Second Life sowie integrierten.

Sicherheitsbarrieren des Viewers
Second Life Rechtesystem (Build-Rechte): Lumen kann – genau wie wir als Nutzer – nur Objekte bewegen oder bearbeiten, für die man entsprechenden Rechte besitzt. Wenn ein Objekt einem anderen Second Life Nutzer gehört und auf dem Land keine Baurechte/Modifikationsrechte dafür hat, kann auch die KI das Objekt weder verschieben, drehen noch in der Größe verändern.

Lumen-Sicherheitsregeln
Bilder & Ausmessen: Die KI nutzt ihre visuelle Wahrnehmung (Vision), um Objekte im Raum zu erkennen, Wände zu vermessen und Platz zu prüfen (wobei Avatare ausgeblendet werden).
Vorbefugnis & Bestätigung: Bevor Lumen Bewegungen durchführt, zeigt der Viewer an, was er vorhat. Eine Anfrage, die ein viertes Objekt verändern würde, fordert einen explizit um Erlaubnis auf.
Einschränkung bei Skills: Automatisch erstellte Routinen (Skills) dürfen niemals fremde Gegenstände löschen, bezahlen oder weggeben. Die einzige Ausnahme ist das Aufräumen (Löschen) von Objekten, die die KI während des Ablaufs selbst gerezzt hat.

Auf Fremdbesitz ohne deine entsprechenden Bau- und Bearbeitungsrechte hat die KI somit keinen Zugriff.

WIE BRINGT MAN DER KI BEI, WAS MAN MÖCHTE

Die KI in Lumen versteht normale Alltagssprache, schaut sich die Welt über Bilder an und führt Befehle direkt im Viewer aus.

So bring man der KI etwas bei:
Einfache Aufgaben: Man sagt einfach auf Deutsch oder Englisch, was man möchte – zum Beispiel: „Zieh mir den kurzen Rock an.“ Die KI sucht das passende Teil im Inventar und zieht es euch an. 
Komplexe Abläufe (Skills): Man sagt der KI, dass man etwas vortanzen oder vormachen möchte. Dann klickt man die Buttons oder Menüs einmal selbst an. Die KI merkt sich jeden Klick. 
Speichern: Die KI speichert diesen Ablauf als Notecard in eurem Inventar ab.
Abrufen: Beim nächsten Mal reicht ein kurzer Befehl, und die KI wiederholt den gelernten Ablauf automatisch.
Sicherheit: Bevor die KI etwas verändert oder ausführt, fragt sie euch immer erst um Erlaubnis.

ALLES, WAS LUMEN KANN

Inventar:

• Inventar durchsuchen
• Den Inhalt eines Ordners auflisten
• Einen neuen Ordner erstellen
• Objekte in einen anderen Ordner verschieben
• Ein Objekt oder einen Ordner umbenennen
• Ein Objekt im Inventarfenster anzeigen
• Eine Notecard lesen
• Eine Notecard schreiben
• Inhaltlich innerhalb einer Notecard suchen
• Etwas anziehen / anlegen
• Etwas ausziehen / ablegen
• Ein gespeichertes Outfit anziehen
• Das aktuelle Outfit als neues Outfit speichern
• Etwas löschen – es wird in den Papierkorb verschoben
• Etwas wieder aus dem Papierkorb herstellen
• Mehrere Dinge auf einmal ändern: Verschieben, umbenennen, löschen oder leere Ordner entfernen (falls man die Funktion aktiviert)
• Den Papierkorb leeren (falls man die Funktion aktiviert)
• Die neueste Inventar-Änderung rückgängig machen oder wiederherstellen
• Anzeigen, was rückgängig gemacht werden kann
• Eine Notecard, ein Skript oder ein Bild in einem eigenen Fenster öffnen
• Ein Bild aus deinem Inventar auf eurem Computer speichern

Chat und Personen: 

• Den lokalen Chat lesen
• Sofortnachrichten (IMs) lesen
• Etwas im lokalen Chat sagen
• Eine Sofortnachricht senden oder das Gespräch öffnen
• Eine Person nach Namen suchen und herausfinden, wo sie sich befindet
• Das Profil von jemandem lesen
• Den Primfeed oder den Marketplace-Shop von jemandem finden
• Nachholen, was in deiner Abwesenheit eingegangen ist
• Eingegangene Nachrichten als Karte für jede Person oder Gruppe anzeigen
• Gruppen auflisten
• Auswählen, welchen Gruppentag man anzeigen möchte, oder ihn verbergen
• Eine Gruppenmitteilung veröffentlichen
• Im Gruppenchat schreiben
• Freunde auflisten
• Jemandem die Freundschaft anbieten
• Jemandem einen Teleport zu eurem Standort anbieten
• Jemanden bitten, euch zu sich zu teleportieren
• Jemandem einen Gegenstand geben
• Gespeicherten Gespräche lesen
• Gespeicherten Gesprächen suchen

Unterwegs sein:

• Zu einer Region, einem Landmark, einer Person oder einem Ort aus der Suche teleportieren
• Irgendwohin gehen oder laufen
• Stehen bleiben
• Zurück an den Ort gehen, an dem man vorher war 
• Fliegen oder landen
• In eine bestimmte Richtung drehen
• Auf etwas oder zu jemandem setzen
• Aufstehen
• Jemandem folgen
• Sagen, wo man sich gerade befindet
• Einen Landmark vom aktuellen Standort erstellen
• Homepunkt am aktuellen Standort setzen
• Umgebung betrachten und Gegenstände sowie Personen nach Namen finden
• Ein Objekt berühren – eine Tür, einen Tanzball, das Menü eines Vendors
• Ansehen, was jemand anderes trägt und wer es hergestellt hat
• Second Life nach Orten durchsuchen
• Second Life nach Veranstaltungen durchsuchen
• Einen Kameraausschnitt festlegen
• Ein Foto auf eurem Computer speichern
• Eine Animation abspielen
• Eine Animation stoppen
• Eine Geste abspielen

Der Viewer:

• Sagen, was gerade passiert: Wer und wo man is und was geladen wurde
• Sagen, was der Assistent bisher getan hat
• Die Pop-up-Meldungen des Viewers lesen
• Ein Pop-up beantworten – niemals ein Skript, das nach Berechtigungen fragt
• Nachrichten beantworten, während man abwesend ist
• Das Skript lesen, das geöffnet wurde
• Das geöffnete Skript ändern – auf speichern muss man selber drücken
• Ein von der KI geschriebenes Skript speichern – falls die Funktion aktiviert ist
• Die Beleuchtung ändern
• Die Musik am Standort abspielen oder stoppen oder den Stream des Landes ändern, sofern man die Rechte dazu hat
• Eine Einstellung ändern
• Anzeigen, wo sich eine Einstellung befindet
• Ein Fenster öffnen
• Ein Fenster schließen
• Ein Objekt genau betrachten: Wem es gehört und wer es hergestellt hat
• Eine LSL-Funktion nachschlagen
• Ein Skript innerhalb eines Objekts öffnen
• Ein neues Skript in ein Objekt einfügen
• Sich etwas merken, wenn man darum bittet
• Es wieder vergessen
• Sagen, woran sie sich erinnert

Bauen:

• Ein neues Objekt erstellen – aus dem Nichts oder aus deinem Inventar
• Ein Objekt auswählen
• Ein Objekt verändern: Seine Größe, Farbe, Position und mehr
• Ein Objekt löschen
• Ein Objekt zurück in das Inventar nehmen
• Sehen, was sich innerhalb eines Objekts befindet
• Objekte miteinander verlinken
• Die Verlinkung von Objekten aufheben

BEVOR DIE KI FÜR EINEM SPRICHT, EINE NACHRICHT ODER EIN ANGEBOT SENDET, ETWAS WIEDERGIBT ODER LÖSCHT, BAUT, EINE GESTE ABSPIELT, DIE MUSIK DES LANDES ÄNDERT, EINEM AN EINEN GEFUNDENEN ORT BRINGT, VIELE DINGE AUF EINMAL ÄNDERT, DEN PAPIERKORB LEERT, EIN SKRIPT SPEICHERT ODER ETWAS RÜCKGÄNGIG MACHT, FRAGT EINEN DER VIEWER ZUERST UM ERLAUBNIS.

Mehr Informaionen und auch Hilfe bekommt ihr hier:
Ein experimenteller Second-Life-Viewer mit einem integrierten KI-Assistenten (Proof of Concept)
SLinfo Forum - Viewer mit KI - Bald kriegt ihr endlich euer Inventory aufgeräumt