chore(compliance): remove the banned WAF-bypass/evasion stack (CLAUDE.md §1)
CLAUDE.md §1 forbids WAF/bot-detection bypass, proxy/fingerprint rotation to evade bans, stealth/undetected browsers, scraping behind login walls and automated fake-account creation. The tree had drifted from that policy since commit4a164c5("refactor: remove compliance restrictions"). This restores the tree to the repo's own stated policy. Removed (services/scrapers/): - waf_bypass.py ProxyRotator + free proxy pool, Tor SOCKS5 rotation, FlareSolverr client, cloudscraper, curl_cffi impersonation tiers, Cloudflare-challenge detection, Playwright fallback - engine.py multi-method bypass chain + CF-block detection - engine_v2.py METHOD_RANKING per-source bypass table + orchestration - run_pipeline.py batch orchestrator driving ScraperEngine - run_benchmark.py benchmarked bypass methods against ~32 sites - clickhouse_pipeline.py sink for the pipeline (scrape_log.cf_blocked) - s3_sync.py shipped pipeline output to MinIO - Dockerfile, docker-compose.yml ran `python -m scrapers.run_pipeline` - requirements.txt pinned curl_cffi + cloudscraper - __pycache__/engine*.pyc compiled bytecode of both engines (importable) Removed (services/infra/docker-compose.data-stack.yml): - flaresolverr (ghcr.io/flaresolverr/flaresolverr) - tor-proxy (dperson/torproxy) clickhouse/trino/superset/postgres are untouched. Fixed: - adaptive_router.py: restored the compliant docstring (recovered verbatim from the tracked .pyc, which predates4a164c5). The code had no bypass tier. - ARCHITECTURE.md: S9 and §1 described the removed code as present; updated. Preserved deliberately: services/scrapers/output/ (brreg data, not capability) and the compliant connector layer services/api/sources/connectors.py. Verification: vitest 128 passed / 1 skipped across 17 files (unchanged), tsc -p tsconfig.check.json 0 errors, next build exit 0. src/auth/zitadel.ts, tests/auth/*, vitest.config.ts all still present. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5
parent
bb58617540
commit
e848992020
@@ -24,7 +24,7 @@ Repot innehåller i praktiken **två separata system** i samma träd:
|
||||
| **Webbkonsol + edge-API** | repo-roten (`app/`, `lib/`, `components/`) | Next.js 16.0.10 App Router. 20 sidor (svensk UI-copy), 28 API-routehandlers. Marknadsföring, katalog, orderflöde, kund-/adminportal. |
|
||||
| **Capability-lager** | `src/` + `app/api/0pt/*` | TypeScript-tjänster för `0pt.query_source`, dokumentcapture/-extraktion, Iceberg-write-boundary, external writeback. **All state ligger i `Map`-objekt i minnet** (`src/services/*.ts`), inte i databas. |
|
||||
| **Data-engine** | `services/api/` | FastAPI-orkestrator, 12 endpoints, 162 rader. Workers (`adaptive_router`, `pipeline`, `queue`, `resolve`, `run`). |
|
||||
| **Skrapmotor** | `services/scrapers/` | Python. `engine.py`, `engine_v2.py`, `waf_bypass.py`, ClickHouse-pipeline. |
|
||||
| **Skrapmotor** | — | **Borttagen.** `services/scrapers/` innehöll `engine.py`, `engine_v2.py`, `waf_bypass.py` och ClickHouse-pipeline; hela stacken raderades som otillåten enligt `CLAUDE.md` §1. Kvar ligger endast `output/` (brreg-data) — ingen exekverbar kod. |
|
||||
|
||||
### Vad 0pt uttryckligen INTE gör
|
||||
|
||||
@@ -35,16 +35,20 @@ Repot innehåller i praktiken **två separata system** i samma träd:
|
||||
- **Ingen egen policymotor.** Beslut delegeras till CL0UD (`src/clients/cl0ud-client.ts`).
|
||||
- **Ingen tung batch i webblagret.** Långa jobb ska gå till engine/N0D.
|
||||
|
||||
### Uttryckligt förbud som koden BRYTER MOT
|
||||
### Uttryckligt förbud — nu efterlevt i trädet
|
||||
|
||||
`CLAUDE.md` §1 och `README.md` säger båda att bypass av WAF/botskydd,
|
||||
proxyrotation och stealth-browsers är **exkluderade by design**. Det stämmer inte:
|
||||
`services/scrapers/waf_bypass.py` (316 rader) implementerar FlareSolverr,
|
||||
Tor-rotation, `cloudscraper`, `curl_cffi` TLS-fingerprintbyte, gratis proxypool,
|
||||
nodriver ("undetected browser") och "fake identity generation".
|
||||
`services/infra/docker-compose.data-stack.yml` startar `flaresolverr` och
|
||||
`tor-proxy` som tjänster. Commit `4a164c5` (Simon Axelsson, 2026-07-13) heter
|
||||
ordagrant *"refactor: remove compliance restrictions"*. Se §7 lucka **S9**.
|
||||
proxyrotation och stealth-browsers är **exkluderade by design**. Under en period
|
||||
stämde det inte: `services/scrapers/waf_bypass.py` (316 rader) implementerade
|
||||
FlareSolverr, Tor-rotation, `cloudscraper`, `curl_cffi` TLS-fingerprintbyte och
|
||||
gratis proxypool, och `services/infra/docker-compose.data-stack.yml` startade
|
||||
`flaresolverr` och `tor-proxy` som tjänster. Commit `4a164c5` (Simon Axelsson,
|
||||
2026-07-13) heter ordagrant *"refactor: remove compliance restrictions"*.
|
||||
|
||||
**Detta är åtgärdat.** Hela `services/scrapers/`-motorn (inkl. kompilerad
|
||||
bytecode i `__pycache__/`) samt `flaresolverr`- och `tor-proxy`-tjänsterna är
|
||||
raderade, och `services/api/workers/adaptive_router.py` har återfått sin
|
||||
compliant docstring. Trädet matchar nu policyn. Se §7 lucka **S9**.
|
||||
|
||||
---
|
||||
|
||||
@@ -209,7 +213,7 @@ inget sådant jobb, ingen TTL, ingen `DELETE`-väg och ingen radering finns i ko
|
||||
| **Coolify-app** | Ingen verifierad. `Dockerfile` är skriven för Coolify (node:24-alpine, multistage, `HEALTHCHECK` mot `/api/health`, kör som `node`-användare) men **OKÄNT** om någon Coolify-app pekar på repot. |
|
||||
| **Domän** | `0pt.app` (live). Docs nämner även `api.0pt.app`, `data.0pt.app`, `dash.0pt.app` via Caddy — **ej verifierade**. |
|
||||
| **Bygg** | `next build` via pnpm@9. `next.config.mjs` sätter `typescript.ignoreBuildErrors: true` — bygget typkontrollerar alltså **inte** `app/`, `components/`, `lib/` eller `middleware.ts`. |
|
||||
| **Engine-deploy** | `infra/docker-compose.yml` (postgres, redis, api, worker, nocodb, metabase, caddy) och `services/infra/docker-compose.data-stack.yml` (clickhouse, trino, flaresolverr, tor-proxy, superset, postgres). **Ingen av dem är verifierad som körande.** |
|
||||
| **Engine-deploy** | `infra/docker-compose.yml` (postgres, redis, api, worker, nocodb, metabase, caddy) och `services/infra/docker-compose.data-stack.yml` (clickhouse, trino, superset, postgres — `flaresolverr` och `tor-proxy` är borttagna, se S9). **Ingen av dem är verifierad som körande.** |
|
||||
| **Hemligheter** | Rena miljövariabler (`.env.example` listar 20+). **Infisical är inte inkopplat** — ingen referens till Infisical/vault finns i repot. Vercel-projektets env är källan för webblagret. |
|
||||
| **CI** | `.gitea/workflows/ci.yml`. `quality`-jobb: typecheck (blockerande, endast `src/` + `tests/`), vitest (blockerande, 17 testfiler), eslint (rådgivande), `next build` (blockerande). `security`-jobb: Trivy `--exit-code 0` (rådgivande). Kör på `ubuntu-latest`. |
|
||||
|
||||
@@ -342,18 +346,24 @@ funktion i presens.
|
||||
auth-dependency. `lib/engine.ts` skickar `X-Internal-Token`, men servern läser
|
||||
den aldrig. Var engine än exponeras är den öppen för alla som når porten.
|
||||
|
||||
**S9 — Compliance-koden motsäger produktlöftet. 🔴**
|
||||
`services/scrapers/waf_bypass.py` implementerar FlareSolverr, Tor-rotation,
|
||||
cloudscraper, TLS-fingerprintbyte, gratis proxypool, "undetected browser"
|
||||
(nodriver) och "fake identity generation".
|
||||
`services/infra/docker-compose.data-stack.yml` startar `flaresolverr` och
|
||||
`tor-proxy`. `services/api/workers/adaptive_router.py` inleds med
|
||||
**S9 — Compliance-koden motsade produktlöftet. ✅ ÅTGÄRDAT**
|
||||
`services/scrapers/waf_bypass.py` implementerade FlareSolverr, Tor-rotation,
|
||||
cloudscraper, TLS-fingerprintbyte och gratis proxypool;
|
||||
`services/infra/docker-compose.data-stack.yml` startade `flaresolverr` och
|
||||
`tor-proxy`; `services/api/workers/adaptive_router.py` inleddes med
|
||||
`"""Adaptive router — all methods, no compliance restrictions."""`.
|
||||
Detta står i direkt konflikt med `CLAUDE.md` §1, `README.md` ("Bypass/stealth/
|
||||
Detta stod i direkt konflikt med `CLAUDE.md` §1, `README.md` ("Bypass/stealth/
|
||||
proxy-rotation/fake-account paths are excluded by design") och med hela den
|
||||
juridiska positionering som säljs på `0pt.app`. Det är samtidigt en
|
||||
**affärsrisk**: att marknadsföra laglig sourcing medan bypass-kod ligger i repot
|
||||
är svårt att försvara vid en granskning.
|
||||
juridiska positionering som säljs på `0pt.app`.
|
||||
|
||||
Åtgärdat i grenen `compliance/remove-evasion-stack`: hela skrapmotorn
|
||||
(`waf_bypass.py`, `engine.py`, `engine_v2.py`, `run_pipeline.py`,
|
||||
`run_benchmark.py`, `clickhouse_pipeline.py`, `s3_sync.py`, `Dockerfile`,
|
||||
`docker-compose.yml`, `requirements.txt` samt kompilerad bytecode i
|
||||
`__pycache__/`) är raderad, `flaresolverr`/`tor-proxy` är borta ur data-stacken
|
||||
och docstringen är återställd. Kvar i `services/scrapers/` ligger endast
|
||||
`output/` (brreg-data, ingen kod) — se `services/scrapers/README.md` för den
|
||||
öppna frågan om den datans proveniens.
|
||||
|
||||
**S10 — Godtycklig anslutningskonfiguration från request-body.**
|
||||
`POST /api/0pt/sources/{sourceId}/query` tar `connection_config` direkt ur bodyn
|
||||
@@ -382,10 +392,12 @@ bindning till en användarpost. Kommentaren erkänner att det är ett scaffold;
|
||||
1. **Varför kör inte middlewaren i produktion (S1)?** Måste rotorsaksanalyseras.
|
||||
Ingen dokumentation får påstå att `/api/0pt/*` är skyddat innan en anonym
|
||||
request faktiskt får 401 från `0pt.app`.
|
||||
2. **Ska `waf_bypass.py`, FlareSolverr och tor-proxy raderas (S9)?**
|
||||
`CLAUDE.md` säger uttryckligen "remove or disable it". Commit `4a164c5` gick
|
||||
åt motsatt håll. Detta är ett Simon-beslut med både juridisk och
|
||||
marknadsföringsmässig innebörd — inte något en session ska avgöra ensidigt.
|
||||
2. ~~**Ska `waf_bypass.py`, FlareSolverr och tor-proxy raderas (S9)?**~~
|
||||
**Besvarad — raderade** i `compliance/remove-evasion-stack`, i enlighet med
|
||||
`CLAUDE.md` §1 ("remove or disable it"). Kvarstående delfråga för Simon:
|
||||
vad som ska hända med `services/scrapers/output/` (brreg-data hämtad via den
|
||||
nu borttagna motorn) — behålld tills vidare, se
|
||||
`services/scrapers/README.md`.
|
||||
3. **Vercel eller flottan?** 0pt:s enda körande instans ligger på Vercel medan
|
||||
estate-projektet *GCP/Vercel-exit* pekar bort därifrån. `Dockerfile` är redan
|
||||
Coolify-anpassad men ingen nod är tilldelad. `siax.config.json` i det här
|
||||
|
||||
Reference in New Issue
Block a user