Dagelijkse sync via SRU-interface #9

New issue

Closed

opened 2026-03-29 08:41:51 +02:00 by coornhert · 2 comments

coornhert commented

2026-03-29 08:41:51 +02:00

Owner

Beschrijving

Geautomatiseerde pipeline die dagelijks via de SRU-interface van KOOP delta-updates ophaalt en commit naar de wetgit/rijk repo.

Werkwijze

Query SRU-interface voor wijzigingen sinds laatste sync
Download gewijzigde toestanden als XML
Parse naar Markdown via bestaande parser
Commit met gestandaardiseerd commit-formaat
Push naar Forgejo

Operationeel

Celery-taak, dagelijks om 03:00
Monitoring: alert bij falen (via AgentMail)
Fallback: lokale BWB-mirror als SRU offline is
Logging naar /opt/wetgit/logs/

Afhankelijkheid

#4 (BWB XML-parser)
#6 (Historie-reconstructie — moet eerst voltooid zijn)

## Beschrijving Geautomatiseerde pipeline die dagelijks via de SRU-interface van KOOP delta-updates ophaalt en commit naar de wetgit/rijk repo. ## Werkwijze 1. Query SRU-interface voor wijzigingen sinds laatste sync 2. Download gewijzigde toestanden als XML 3. Parse naar Markdown via bestaande parser 4. Commit met gestandaardiseerd commit-formaat 5. Push naar Forgejo ## Operationeel - Celery-taak, dagelijks om 03:00 - Monitoring: alert bij falen (via AgentMail) - Fallback: lokale BWB-mirror als SRU offline is - Logging naar /opt/wetgit/logs/ ## Afhankelijkheid - #4 (BWB XML-parser) - #6 (Historie-reconstructie — moet eerst voltooid zijn)

coornhert added this to the Fase 1 — Data Foundation milestone 2026-03-29 08:41:51 +02:00

coornhert added the

type:feature

component:pipeline

labels 2026-03-29 08:41:51 +02:00

~~coornhert referenced this issue 2026-03-29 09:06:52 +02:00~~

BWB basisset aanvragen bij KOOP #3

coornhert commented

2026-03-29 09:41:15 +02:00

Author

Owner

Update: Niet langer geblokkeerd door #3. BWB data is publiek beschikbaar via de repository () en SRU-interface. Kan direct gestart worden.

**Update:** Niet langer geblokkeerd door #3. BWB data is publiek beschikbaar via de repository () en SRU-interface. Kan direct gestart worden.

coornhert referenced this issue

2026-03-29 21:28:03 +02:00

BWB XML-parser: formele wetten #6

coornhert referenced this issue from a commit

2026-03-30 06:42:07 +02:00

feat: dagelijkse sync pipeline + cron job

coornhert commented

2026-03-30 06:43:52 +02:00

Author

Owner

Done. Dagelijkse sync is operationeel:

sync.py: vergelijkt SRU catalogus met lokale staat, downloadt + parsed delta's, commit + push
daily-sync.sh: wrapper met lockfile, auto-clone bij eerste run
Cron: dagelijks 03:00 op dt-prod-01
Logs: /opt/wetgit/logs/sync.log

**Done.** Dagelijkse sync is operationeel: - `sync.py`: vergelijkt SRU catalogus met lokale staat, downloadt + parsed delta's, commit + push - `daily-sync.sh`: wrapper met lockfile, auto-clone bij eerste run - Cron: dagelijks 03:00 op dt-prod-01 - Logs: `/opt/wetgit/logs/sync.log`

coornhert closed this issue

2026-03-30 06:43:52 +02:00