Flutter-Erweiterungen für die Interaktion mit KI-Agenten über MCP – ermöglicht es Claude, Copilot und Cursor, auf Ihrer App zu tippen, zu scrollen, zu tippen und Screenshots zu erstellen.
Aus öffentlichen Paketdaten erstellte Orientierung.
Marionette Flutter ermöglicht es KI-Agenten, über das MCP-Protokoll mit Flutter-Anwendungen zu interagieren, wodurch Tools wie Claude, Copilot und Cursor Aktionen wie Tippen, Scrollen, Eingeben von Text und Aufnahme von Bildschirmfotos ausführen können. Es erweitert Flutter-Anwendungen um Funktionen für automatisiertes Testen und künstliche Intelligenz-gesteuerte UI-Interaktion, was die Entwicklungstools verbessert. Das Paket lässt sich nahtlos auf mehreren Plattformen wie Android, iOS, Web, macOS, Windows und Linux integrieren. Für Entwickler konzipiert, die große Sprachmodelle (LLMs) bei der Anwendungstestung oder Automatisierung einsetzen, bridgt es die Lücke zwischen KI-Agenten und nativen App-Verhalten.
Anwendungsfälle
Automatisierte UI-Tests mit KI-Agenten
KI-gestützte App-Exploration und -Debugging
Integration mit Copilot und Claude für App-Interaktion
Echtzeit-Screenshot-Aufnahme während des Testens
Plattformübergreifende App-Interaktion über MCP
Hauptmerkmale
MCP-Protokollunterstützung für die Kommunikation von KI-Agenten
Unterstützung für Tippen, Scrollen, Eingabe und Bildschirmfoto-Aktionen
Nahtlose Integration mit LLM-gesteuerten Entwicklungs-Tools
Leichte Flutter-Erweiterungen für Agenteninteraktion
Geeignet für
Entwickler, die KI-Agenten für Tests verwenden
Teams, die AI-getriebene UI-Automatisierung umsetzen
Flutter-Projekte, die eine erweiterte Testorchestrierung erfordern
Integrierer, die mit Copilot, Claude oder Cursor arbeiten
Projekte, die sich auf generative KI im App-Entwicklung fokussieren
Hinweise
Erfordert kompatible KI-Agenten mit MCP-Unterstützung
Möglicherweise ist zusätzliche Einrichtung für sicheren Agentenzugriff erforderlich
Beschränkt auf Plattformen, die MCP unterstützen
Abhängig von externer KI-Tooling für volle Funktionalität
Nicht für Produktionsbenutzerinteraktionen vorgesehen
Original-README
Originaler README-Schnappschuss aus dem verknüpften Quell-Repository. Aktuelle Inhalte finden Sie im Repository.
Marionette MCP
"Playwright MCP/Cursor Browser, but for Flutter apps"
Marionette MCP enables AI agents (Claude Code, Copilot, Cursor, Gemini CLI, and more) to inspect and interact with running Flutter applications. It connects your AI agent directly to a running app via the Model Context Protocol (MCP), so it can see the widget tree, tap elements, enter text, scroll, and capture screenshots for automated AI-driven smoke testing and interaction.
Marionette MCP keeps the surface area intentionally small. It exposes only a handful of high-signal actions and returns the minimum actionable data, which helps keep prompts focused and context sizes under control.
The official Dart & Flutter MCP server focuses on development-time tasks: searching pub.dev, managing dependencies, analyzing code, and inspecting runtime errors. It can also drive the UI, but it does so through Flutter Driver, which introduces extra instrumentation in your app. Marionette MCP focuses solely (and in an opinionated way) on runtime interaction: tapping buttons, entering text, scrolling, and taking screenshots, while requiring minimal changes to your app. Use Flutter MCP to build your app, use Marionette MCP to test and interact with it with minimal code changes.
Quick Start
[!NOTE]
Your Flutter app must be prepared to be compatible with Marionette. The steps below are the short version — the Getting Started guide walks through each one.
Prepare your app — add marionette_flutter and initialize MarionetteBinding in main.dart:
Run your app in debug mode — flutter run, then copy the VM service URI from the console (e.g. ws://127.0.0.1:9101/ws).
Connect and interact — ask your agent to connect using that URI and start driving the app.
[!IMPORTANT]
Standard Material widgets work out of the box. If your app uses a custom design system, configuration is required — otherwise the agent can't see or tap your custom buttons and fields. Start with the Production Setup Checklist.
What you can do
Once connected, an agent can drive your app with a small, focused toolset: inspect the widget tree (get_interactive_elements), tap / secondary_tap / double_tap / long_press / swipe / pinch_zoom / scroll_to, enter_text, press_back_button, take_screenshots, read get_logs, and hot_reload. Full list: MCP Tools.
Your app can also expose its own actions to the agent via Custom Extensions — navigate by route name, seed test data, toggle feature flags, and more.
Some real-world prompts:
"I implemented the Forgot Password screen — connect, navigate to login, tap 'Forgot Password', enter a valid email, submit, and check the logs that the API call fired."
"I refactored the routing. Run a smoke test: cycle through all bottom-nav tabs and verify each screen loads without exceptions in the logs."
"Investigate the unresponsive 'Clear Cache' button on Settings — find it via get_interactive_elements, tap it, and analyze the logs."