vehiq v3 FINAL: 37 648 fordonsbransch-bolag (45xx-fraser), vehiq-db marknadsintegration (10 511 prisposter + bestånd)
This commit is contained in:
@@ -19,3 +19,14 @@ Två pass över korpuset:
|
||||
|
||||
## Efterlevnad
|
||||
Företagskopplade personposter endast (styrelse/undertecknare ur iXBRL, revisorer exkluderade). Inga privatpersonregister.
|
||||
|
||||
## v3 (FINAL) — 37 648 fordonsbransch-bolag
|
||||
|
||||
`vehiq_v3.py` ersätter v2: expanderade 45xx-fraser (handel med personbilar, åkerier,
|
||||
entreprenadmaskiner, bildäck, begagnade personbilar ...) → **bilhandlare 5 526 · verkstäder 4 625 ·
|
||||
transportörer 17 530 · entreprenad 3 465 · uthyrning/leasing 3 033 · reservdelar/däck 728**.
|
||||
|
||||
VehIQ-marknadsdata från vehiq-db (server10, 98M-fordonstabellen):
|
||||
- `market_value_se.jsonl` — 10 511 märke×modell×år-prisposter (median/p10-p90/annonser) → `vehiq_market_context.json`
|
||||
- `fleet_composition_se.jsonl` — bestånd per märke (Volvo 1,62M) och topp 1 500 modeller
|
||||
- Fordonsägare per bolag kräver fortfarande Transportstyrelsen-prenumeration (ägaruppgifter ingår inte i registerkällan)
|
||||
|
||||
@@ -0,0 +1,216 @@
|
||||
#!/usr/bin/env python3
|
||||
"""VehIQ Company Analysis v3 FINAL: expanderade 45xx-fraser + VehIQ-marknadsdata."""
|
||||
import json
|
||||
from collections import defaultdict
|
||||
|
||||
IN = "/data/0pt/output/marketmute_intelligence.jsonl"
|
||||
SCB = "/data/0pt/output/scb_fdb.jsonl"
|
||||
KP = "/data/0pt/output/kontaktpersoner_v2.jsonl"
|
||||
LEI = "/data/0pt/output/gleif_se.jsonl"
|
||||
MKT = "/data/0pt/output/vehiq_market_summary.json"
|
||||
MV = "/data/0pt/landing/vehiq/market_value_se.jsonl"
|
||||
FLEET = "/data/0pt/landing/vehiq/fleet_composition_se.jsonl"
|
||||
OUT = "/data/0pt/output/vehiq_company_analysis.jsonl"
|
||||
OUT_SEG = "/data/0pt/output/vehiq_bilbransch.jsonl"
|
||||
|
||||
SNI_VEH = {
|
||||
"77110": "Biluthyrning", "77120": "Billeasing personbilar", "77190": "Övrig fordonsummering",
|
||||
"49310": "Busstransport", "49320": "Taxi", "49390": "Övrig personbefordran",
|
||||
"49410": "Godstransport väg", "49420": "Flyttgods", "52100": "Lager", "52210": "Terminaler",
|
||||
"96010": "Biltvätt", "33120": "ReparationMaskiner",
|
||||
}
|
||||
|
||||
def mangle(w):
|
||||
try: return w.encode("utf-8").decode("latin-1")
|
||||
except Exception: return w
|
||||
|
||||
KW_STRONG = [
|
||||
# verkstad (hint: bilverkstad)
|
||||
"bilverkstadsrörelse", "bilverkstad", "bilverkstadsverksamhet", "fordonsverkstad",
|
||||
"fordonsreparation", "reparation av bilar", "reparation av personbilar",
|
||||
"reparation av personbilar", "service av bilar", "service av fordon", "service av fordon",
|
||||
"billackering", "bilplåt", "bilglass", "bilglas", "besiktning av fordon",
|
||||
"bensinstation och bilverkstad", "reparation av lastbilar", "reparation av lastbilar",
|
||||
# handel (hint: bilhandlare)
|
||||
"bilhandlare", "bilhandel", "personbilshandel", "fordonshandel",
|
||||
"handel med begagnade bilar", "handel med nya och begagnade bilar",
|
||||
"handel med bilar", "handel med personbilar", "försäljning av begagnade bilar",
|
||||
"försäljning av nya och begagnade bilar", "försäljning av bilar",
|
||||
"försäljning av personbilar", "försäljning av nya och begagnade personbilar",
|
||||
"begagnade personbilar", "nya personbilar", "begagnade bilar", "begagnade bilar.",
|
||||
"import av bilar", "export av bilar",
|
||||
# reservdelar (hint: reservdelar_dack)
|
||||
"handel med bildelar", "handel med bildelar", "bildelar", "biltillbehör",
|
||||
"import och export av bildelar", "import och försäljning av bildelar",
|
||||
"handel med begagnade bildelar", "bilar och bildelar", "bildelar och tillbehör",
|
||||
"handel med däck", "försäljning av däck", "däckverkstad", "däckhotell",
|
||||
"däck och fälgar", "handel med bildäck", "försäljning och montering av däck",
|
||||
"bilverkstad och bilförsäljning", "bilverkstad samt handel med bilar",
|
||||
# uthyrning (hint: uthyrning_leasing)
|
||||
"biluthyrning", "billeasing", "uthyrning av personbilar", "uthyrning av bilar",
|
||||
"leasing av personbilar", "uthyrning av lastbilar", "uthyrning av lastbilar",
|
||||
"uthyrning av släpvagnar", "uthyrning av släpvagnar",
|
||||
# transportör (hint: transportor)
|
||||
"taxiverksamhet", "taxiförmedling", "taxi", "bussverksamhet", "busslinjer",
|
||||
"åkeri", "lastbilsåkeri", "lastbilsåkeri och", "godstransporter", "godstransporter med lastbil",
|
||||
"transporter med lastbil", "personbefordran", "personbilstrafik",
|
||||
# entreprenad (hint: entreprenad)
|
||||
"uthyrning av entreprenadmaskiner", "handel med entreprenadmaskiner",
|
||||
"reparation av entreprenadmaskiner", "service av entreprenadmaskiner",
|
||||
"entreprenadmaskiner", "entreprenadmaskiner",
|
||||
# motorcykel
|
||||
"motorcykelhandel", "motorcykelverkstad", "handelsbod med motorcyklar", "motorcyklar",
|
||||
]
|
||||
KW_MED = ["personbilar", "personbilar", "personbilar.", "lastbilar", "bussar", "släpvagn",
|
||||
"fordon", "transportbilar", "verkstadsverksamhet", "maskinreparation"]
|
||||
KW_STRONG += [mangle(w) for w in list(KW_STRONG)]
|
||||
KW_MED += [mangle(w) for w in list(KW_MED)]
|
||||
|
||||
def fix_enc(t):
|
||||
if not t or "Ã" not in t: return t
|
||||
try: return t.encode("latin-1").decode("utf-8")
|
||||
except Exception: return t
|
||||
|
||||
print("[1/4] Sidotabeller...", flush=True)
|
||||
scb_map = {}
|
||||
for line in open(SCB):
|
||||
r = json.loads(line)
|
||||
scb_map[r["orgnr_digits"]] = r
|
||||
contacts = {}
|
||||
for line in open(KP):
|
||||
r = json.loads(line)
|
||||
contacts[r["orgnr_digits"]] = r
|
||||
lei_map = {}
|
||||
for line in open(LEI):
|
||||
r = json.loads(line)
|
||||
o = (r.get("orgnr") or "").replace("-", "").strip()
|
||||
if o: lei_map[o] = r
|
||||
vies = {}
|
||||
for path in ("/data/0pt/output/vies_targets.jsonl", "/data/0pt/output/vies_extra.jsonl"):
|
||||
try:
|
||||
for line in open(path):
|
||||
r = json.loads(line)
|
||||
vies[r["orgnr_fmt"]] = r
|
||||
except FileNotFoundError: pass
|
||||
mkt_summary = json.load(open(MKT))
|
||||
print(f" SCB {len(scb_map):,} · KP {len(contacts):,} · LEI {len(lei_map):,} · VIES {len(vies):,}", flush=True)
|
||||
|
||||
print("[2/4] VehIQ-marknadsdata (priser + bestånd)...", flush=True)
|
||||
market_value = []
|
||||
for line in open(MV):
|
||||
market_value.append(json.loads(line))
|
||||
fleet = []
|
||||
for line in open(FLEET):
|
||||
fleet.append(json.loads(line))
|
||||
mv_summary = {
|
||||
"antal_makemodell_ar": len(market_value),
|
||||
"top_prisade": sorted(market_value, key=lambda x: -(x.get("ad_count") or 0))[:25],
|
||||
}
|
||||
fleet_summary = {
|
||||
"antal_marke": sum(1 for f in fleet if "modeller" in f),
|
||||
"top_marke": sorted([f for f in fleet if "modeller" in f], key=lambda x: -x["antal"])[:15],
|
||||
"top_modell": sorted([f for f in fleet if "modeller" not in f], key=lambda x: -x["antal"])[:50],
|
||||
}
|
||||
print(f" {len(market_value):,} prisposter · {len(fleet):,} beståndsposter", flush=True)
|
||||
|
||||
def classify(scb, verksamhet_l, r):
|
||||
score = 0; reasons = []; seg = "ovrig"
|
||||
sni1 = (scb.get("sni1") or "") if scb else ""
|
||||
sni_all = (scb.get("sni") or []) if scb else []
|
||||
if sni1 in SNI_VEH:
|
||||
score += 60; reasons.append(f"SNI {sni1}: {SNI_VEH[sni1]}")
|
||||
seg = "transportor" if sni1.startswith("49") else ("uthyrning_leasing" if sni1.startswith("77") else ("bilverkstad" if sni1 == "96010" else seg))
|
||||
for s in sni_all:
|
||||
if s[:3] in ("451", "452", "453", "454"):
|
||||
score += 60; reasons.append(f"SNI {s} (sekundär): bilbransch")
|
||||
seg = seg if seg != "ovrig" else "bilhandlare"
|
||||
break
|
||||
for w in KW_STRONG:
|
||||
if w in verksamhet_l:
|
||||
score += 40; reasons.append(f"Nyckelord: '{fix_enc(w)}'")
|
||||
if seg == "ovrig":
|
||||
if any(x in w for x in ("verkstad", "reparation", "lackering", "plåt", "glass", "glas", "besiktning", "service av")):
|
||||
seg = "bilverkstad"
|
||||
elif any(x in w for x in ("bildelar", "biltillbehör", "däck", "bildäck")):
|
||||
seg = "reservdelar_dack"
|
||||
elif any(x in w for x in ("uthyrning", "leasing")):
|
||||
seg = "uthyrning_leasing"
|
||||
elif any(x in w for x in ("taxi", "buss", "åkeri", "godstransport", "transporter med lastbil", "befordran")):
|
||||
seg = "transportor"
|
||||
elif any(x in w for x in ("entreprenadmaskin",)):
|
||||
seg = "entreprenad"
|
||||
elif any(x in w for x in ("motorcykel",)):
|
||||
seg = "motorcykel"
|
||||
else:
|
||||
seg = "bilhandlare"
|
||||
break
|
||||
if seg == "ovrig":
|
||||
for w in KW_MED:
|
||||
if w in verksamhet_l:
|
||||
score += 20; reasons.append(f"Nyckelord: '{fix_enc(w)}'"); break
|
||||
if r.get("fordon_bokfort"):
|
||||
score += 10; reasons.append("Fordonsbokföring i balansräkningen")
|
||||
return min(score, 100), sni1, reasons, seg
|
||||
|
||||
print("[3/4] Per-bolagsanalys...", flush=True)
|
||||
n = 0; core_n = 0; vd_n = 0
|
||||
seg_count = defaultdict(int)
|
||||
out = open(OUT, "w")
|
||||
out_seg = open(OUT_SEG, "w")
|
||||
for line in open(IN):
|
||||
rec = json.loads(line)
|
||||
n += 1
|
||||
orgnr = rec.get("orgnr")
|
||||
if not orgnr: continue
|
||||
digits = orgnr.replace("-", "")
|
||||
scb = scb_map.get(digits)
|
||||
r = rec.get("finansiella_ratios", {})
|
||||
mm = rec.get("marketmute", {})
|
||||
verksamhet_raw = (rec.get("bolagsverket") or {}).get("verksamhet") or mm.get("verksamhet") or ""
|
||||
verksamhet_l = (verksamhet_raw or "").lower()
|
||||
v_score, sni1, v_reasons, seg = classify(scb, verksamhet_l, r)
|
||||
seg_count[seg] += 1
|
||||
kommun = (scb.get("postort") or "").strip().upper() if scb else None
|
||||
oms = r.get("omsattning")
|
||||
mkt = mkt_summary.get(kommun) if kommun else None
|
||||
position = round(oms / mkt["oms_median"], 2) if (mkt and oms and mkt.get("oms_median") and mkt["n"] > 3) else None
|
||||
contact = contacts.get(digits)
|
||||
lei = lei_map.get(digits)
|
||||
vies_rec = vies.get(orgnr)
|
||||
rec_out = {
|
||||
"orgnr": orgnr,
|
||||
"namn": fix_enc((scb or {}).get("namn") or mm.get("namn", "")),
|
||||
"fordonssrelevans_score": v_score,
|
||||
"fordonssrelevans_reasons": v_reasons,
|
||||
"segment": seg,
|
||||
"sni": (scb or {}).get("sni"), "sni1": sni1,
|
||||
"jurform": (scb or {}).get("jurform"),
|
||||
"gatuadress": (scb or {}).get("gatuadress"),
|
||||
"postnr": (scb or {}).get("postnr"), "postort": (scb or {}).get("postort"),
|
||||
"marknad": {"kommun": kommun, "n_bolag": (mkt or {}).get("n"),
|
||||
"oms_sum": (mkt or {}).get("oms_sum"),
|
||||
"oms_median": (mkt or {}).get("oms_median"),
|
||||
"oms_vs_median": position},
|
||||
"finansiella_ratios": r,
|
||||
"kreditrisk_klass": r.get("kreditrisk_klass"),
|
||||
"kreditrisk_score": r.get("kreditrisk_score"),
|
||||
"kontaktpersoner": (contact or {}).get("personer", []),
|
||||
"har_vd": bool(contact and contact.get("har_vd")),
|
||||
"lei": (lei or {}).get("lei"),
|
||||
"moms_valid": (vies_rec or {}).get("moms_valid"),
|
||||
"momsnr": f"SE{digits}01",
|
||||
"cold_call_score": mm.get("cold_call_score"),
|
||||
"verksamhet": fix_enc(verksamhet_raw or ""),
|
||||
}
|
||||
out.write(json.dumps(rec_out, ensure_ascii=False) + "\n")
|
||||
if seg != "ovrig" or v_score >= 60:
|
||||
core_n += 1
|
||||
if rec_out["har_vd"]: vd_n += 1
|
||||
out_seg.write(json.dumps(rec_out, ensure_ascii=False) + "\n")
|
||||
if n % 200000 == 0: print(f" {n:,} (fordonsbransch: {core_n:,})", flush=True)
|
||||
out.close(); out_seg.close()
|
||||
json.dump({"market_value_summary": mv_summary, "fleet_summary": fleet_summary},
|
||||
open("/data/0pt/output/vehiq_market_context.json", "w"), ensure_ascii=False, indent=1)
|
||||
print(f"[KLAR] {n:,} analyserade -> {OUT}")
|
||||
print(f" Fordonsbransch: {core_n:,} (med VD: {vd_n:,}) -> {OUT_SEG}")
|
||||
print(" Segment:", dict(sorted(seg_count.items(), key=lambda x: -x[1])))
|
||||
Reference in New Issue
Block a user