Skip to content
deltaflyPublic

About

Tell Mila what you need in plain language, and it operates the page you're already on: it clicks, types, fills out forms, navigates, reads tables, and exports data to CSV or JSON. Because it runs inside your own logged-in browser, it can help with the sites you use every day — admin panels, dashboards, and the repetitive forms that eat your time.

Resources

Stars

3 stars

Watchers

0 watching

Forks

Repository files navigation

Mila — AI browser assistant 🐶

🇭🇺 Magyar · 🇬🇧 English

Mila is a free, open-source Chrome extension (MV3) that puts an AI agent in your browser side panel. It works inside your own logged-in browser: it clicks, types, fills forms, reads pages, runs page-level JavaScript for stubborn widgets, handles files, and can record a workflow once and replay it at ~0 tokens. Bring any provider's API key (including free tiers), run a local model, or drive Mila from your Claude/ChatGPT subscription via the MCP companion.

Free. Everything unlocked. No subscription, no middleman. Your keys, your models, your data.

version license manifest

Code name: MultiChat Agent. Mascot: a white French bulldog.


English

Why Mila?

  • Hosted browser-agents (Operator / Comet / Claude in Chrome) are expensive, gated, and refuse to act on whole categories of sites.
  • Mila runs in your browser, under your rules (you set the safety gate), and is model-agnostic: free tiers, a paid key, a local model (LM Studio/Ollama, zero token cost), or your flat subscription through the companion.
  • Record → replay: teach a repetitive task once, then replay it deterministically at ~0 tokens. This is the core idea — the agent figures it out the first time; the routine repeats for free.
  • Open source — read it, modify it, fork it, contribute back (MIT).

What it does

💬 Chat mode — multi-provider chat in the side panel; pull the current page into context (📄); export/copy/read-aloud (TTS); client-side PDF/DOCX/XLSX text extraction so any model can read documents.

🤖 Agent mode — a tool-use loop on your active tab:

Tool What it does
get_page_state Numbered list of interactive elements (all frames) + optional screenshot
click / type Click/type with actionability checks (won't click through a cookie banner blindly); submit:true sends a trusted Enter
run_js Run JS in the page's own context — set CKEditor / Chosen / Select2 / hidden fields that clicking can't
scroll / navigate / go_back Page movement
wait Wait-for-reply: waits until new content arrives and settles (not a fixed sleep)
read_text / read_structured Page text (tail:true for the freshest chat reply) / HTML tables as rows
save_data / download Export rows to CSV/JSON (Excel-friendly BOM) / download files
list_folder / upload_file Work-folder files / upload into a web file-input (finds hidden inputs too)
deep_click / deep_type / press_key CDP power tools — native input, cross-origin iframes
request_human / done Hand off for login/2FA/captcha/payment / finish with a summary

Reliability layer (the differentiator)

Actionability checks before clicking · auto-wait after every action · wait-for-reply for streaming AI answers · stuck-detection (progress-based) · per-run circuit breaker (a stuck run stops at a bounded cost) · degenerate-response guard · Cloudflare/captcha detection → handoff.

Routine library (record → replay)

Record a run (AI-driven or MCP-driven) → steps are captured with stable locators (id/name/data-testid/role+name/aria/text/css-path) including run_js steps → 💾 save as routine → replay later without AI (~85–90% token savings) until the page changes. Variables (typed fields become parameters), a reusable profile, self-healing (an AI mini-fallback fixes a broken locator, saved on approval), preview, export/import (.mila-routine.json), scheduling.

Providers & the truth about "free"

Anthropic (Claude), Google Gemini, Groq, OpenRouter, OpenAI, xAI Grok, DeepSeek, and any OpenAI-compatible endpoint (LM Studio / Ollama / gateway / proxy) with optional custom headers.

⚠️ "Free" is not guaranteed and Mila can't tell from your key. Some providers start with a free tier (rate-limited), but e.g. Google AI Studio: the moment you enable billing on your account, the free tier is gone — you pay per token. Whether it's actually free depends on your account/plan, not the model name — always check your provider's usage/billing page. The guaranteed cost-free, private route is a local model (LM Studio/Ollama) via the custom endpoint — runs on your machine, never any token cost.

Drive Mila from your subscription (MCP companion)

The optional MCP companion lets Claude Desktop (or any MCP client) drive Mila using your flat subscription — no token cost. Zero dependencies (just Node), no hosted server, no URL to manage: Claude Desktop --MCP/stdio--> server.js --local SSE--> Mila extension --> the page. At the end the model can call save_routine → the session becomes a ~0-token replay. It ships as a separate mila-mcp-companion.zip on the Releases page (zero dependencies — just node server.js).

Install

Extension

  1. Download/clone this repo (or grab the release zip).
  2. chrome://extensions/ → enable Developer mode → Load unpacked → select the folder.
  3. Click the Mila icon → side panel opens → ⚙ → add at least one API key (or a local endpoint).

Companion (optional, for subscription-driven control) — see the README inside the companion folder: install Node 18+, add the server to your Claude Desktop config, restart, then click the 🔌 button in Mila.

Security & privacy

Runs in your logged-in browser; keys stored locally (chrome.storage), no telemetry. Write-gate: irreversible-looking clicks (delete/pay/order) need your approval first. Never auto-enters passwords/card data; login/2FA/captcha/payment → handed to you. Domain allow/deny rules. Local model route = full data sovereignty. The CDP power tools trigger Chrome's "this extension is debugging this browser" bar (a security feature, can't be hidden); it clears when the run ends.

Architecture

manifest.json   – MV3, <all_urls>, all_frames
background.js   – CDP layer (chrome.debugger): native click/type/key/screenshot, RUN_JS (MAIN world)
content.js      – DOM annotation, actionability, auto-wait/wait-for-reply, locator engine, file injection
sidepanel.*     – chat + agent loop, provider adapters, work folder, cost metering, UI, bilingual prompt
routines.js     – routine library (record/replay/self-heal/profile/export)
mcp-bridge.js   – runs MCP-client tool calls through the existing engine + save_routine
agent-skills.js – site-specific knowledge packs (built-in + your own .md)
lib/            – pdf.js, fflate (client-side document parsing)
mila-mcp-companion/ – standalone zero-dep Node MCP server + local bridge (separate download)

License & author

MIT — see LICENSE. Built by Molnár Barna — LinkedIn. Ideas, collaboration: reach out.


Magyar

A Mila egy ingyenes, nyílt forrású Chrome-bővítmény (MV3), ami egy AI-agentet rak a böngésződ oldalsávjába. A saját, bejelentkezett böngésződben dolgozik: kattint, gépel, űrlapot tölt, lapot olvas, lap-szintű JavaScriptet futtat a makacs widgetekhez, fájlt kezel, és egy munkafolyamatot egyszer felvesz, majd ~0 tokenből visszajátszik. Hozz bármely provider API-kulcsot (ingyenes tiereket is), futtass helyi modellt, vagy vezéreld Milát a Claude/ChatGPT-előfizetésedből az MCP-companionnel.

Ingyenes. Minden funkció felszabadítva. Nincs előfizetés, nincs közvetítő. A te kulcsod, a te modelled, a te adatod.

Miért?

  • A hosztolt böngésző-agentek (Operator / Comet / Claude in Chrome) drágák, korlátozottak, és egész oldal-kategóriákon megtagadják a munkát.
  • A Mila a te böngésződben fut, a te szabályaiddal (te állítod a biztonsági kaput), és modell-független: ingyenes tier, fizetős kulcs, helyi modell (LM Studio/Ollama, nulla token-költség), vagy a flat előfizetésed a companionön át.
  • Felvétel → visszajátszás: egy ismétlődő feladatot egyszer megtanulsz, aztán determinisztikusan visszajátszol ~0 tokenből. Ez a lényeg — az agent elsőre kitalálja, a rutin ingyen ismétel.
  • Nyílt forrású (MIT) — olvasd, módosítsd, forkold, járulj hozzá.

Mit tud

💬 Chat mód — multi-provider chat az oldalsávban; az aktuális lap kontextusba húzása (📄); export/másolás/felolvasás (TTS); kliensoldali PDF/DOCX/XLSX szövegkinyerés, hogy bármely modell olvassa.

🤖 Agent mód — tool-use loop az aktív lapon: get_page_state, click/type (actionability-ellenőrzéssel), run_js (a lap saját API-ja a CKEditor/Chosen/rejtett mezőkhöz), scroll/navigate, wait (wait-for-reply), read_text/read_structured, save_data/download, list_folder/upload_file (rejtett inputra is), deep_click/deep_type/press_key (CDP), request_human/done.

Megbízhatósági réteg (a differenciátor)

Actionability kattintás előtt · auto-wait minden akció után · wait-for-reply a streamelő AI-válaszhoz · haladás-alapú beragadás-védelem · per-futás vészfék (a beragadt futás behatárolt költséggel leáll) · degenerált-válasz-őr · Cloudflare/captcha-felismerés → átadás.

Rutinkönyvtár (felvétel → visszajátszás)

Egy futás (AI- vagy MCP-vezérelt) felvétele → a lépések stabil locatorral rögzülnek (a run_js lépések is) → 💾 mentés rutinként → később AI nélkül visszajátszás (~85–90% token-megtakarítás), amíg az oldal nem változik. Változók, profil-tár, önjavítás (jóváhagyással), előnézet, export/import, ütemezés.

Providerek és az „ingyenes" valósága

Anthropic, Google Gemini, Groq, OpenRouter, OpenAI, xAI Grok, DeepSeek, és bármilyen OpenAI-kompatibilis endpoint (LM Studio / Ollama / gateway / proxy), opcionális egyéni fejlécekkel.

⚠️ Az „ingyenes" NEM garantált, és Mila nem tudja a kulcsodból megállapítani. Egyes providerek ingyenes tierrel indulnak (rate-limittel), de pl. a Google AI Studio: amint bekapcsolod a billinget a fiókodon, megszűnik az ingyenes tier — onnantól tokenenként fizetsz. Hogy nálad tényleg ingyen van-e, a TE fiókod/csomagod dönti el, nem a modell neve — mindig nézd meg a provider saját használat/számlázás felületét. A garantáltan költségmentes és privát út a helyi modell (LM Studio/Ollama) a custom endpointon — a gépeden fut, soha nincs token-költség.

Vezéreld Milát az előfizetésedből (MCP-companion)

Az opcionális MCP-companionnel a Claude Desktop (vagy bármely MCP-kliens) a flat előfizetéseddel vezérli Milát — token-költség nélkül. Zéró függőség (csak Node), nincs hosztolt szerver, nincs URL, amit kezelni kell: Claude Desktop --MCP/stdio--> server.js --lokális SSE--> Mila extension --> a lap. A végén a modell meghívhatja a save_routine-t → a munkamenet ~0-token replay lesz. Külön mila-mcp-companion.zip a Releases oldalon (zéró függőség — csak node server.js).

Telepítés

Bővítmény: repo letöltése → chrome://extensions/ → Fejlesztői mód → Kicsomagolt elem betöltése → a mappa kijelölése → Mila ikon → ⚙ → legalább egy API-kulcs (vagy helyi endpoint).

Companion (opcionális, előfizetés-vezérléshez): lásd a companion mappa README-jét — Node 18+, a szerver a Claude Desktop configba, újraindítás, majd a 🔌 gomb a Milában.

Biztonság & adatvédelem

A bejelentkezett böngésződben fut; kulcsok lokálisan (chrome.storage), nincs telemetria. Write-gate: visszafordíthatatlan-gyanús kattintás (törlés/fizetés/megrendelés) előbb jóváhagyást kér. Sosem ad meg jelszót/kártyaadatot; login/2FA/captcha/fizetés → neked adja át. Domain allow/deny szabályok. Helyi modell-út = teljes adat-szuverenitás. A CDP power-eszközök futásakor a Chrome „ezt a böngészőt egy bővítmény hibakeresi" sávja látszik (biztonsági feature, nem rejthető el); a futás végén eltűnik.

Licenc & szerző

MIT — lásd LICENSE. Készítette: Molnár Barna — LinkedIn.

About

Tell Mila what you need in plain language, and it operates the page you're already on: it clicks, types, fills out forms, navigates, reads tables, and exports data to CSV or JSON. Because it runs inside your own logged-in browser, it can help with the sites you use every day — admin panels, dashboards, and the repetitive forms that eat your time.

Resources

Stars

3 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages