The ongoing proliferation of intelligent systems, driven by artificial intelligence (AI) and 6G, is leading to a surge in closed-loop inference tasks performed on distributed compute nodes.These systems operate under strict latency and energy constraints, extending the challenge beyond achieving high accuracy to enabling timely and energy-efficient inference.This thesis examines how distributed inference can be optimised through two key decisions: when to sample the environment and when to offload computation to a more accurate remote model.These decisions are guided by the semantics of the underlying environment and its associated costs.The semantics are kept abstract, and pre-trained inference models are employed, ensuring a platform-independent formulation adaptable to the rapid evolution of distributed intelligence and wireless technologies.

Regarding sampling, we studied the trade-off between sampling cost and detection delay in event-detection systems without sufficient local inference capabilities. The problem was posed as an optimisation over sampling instants under a stochastic event sequence and analysed at different levels of modelling complexity, ranging from periodic to aperiodic sampling. Closed-form, algorithmic, and approximate solutions were developed, with some results of independent mathematical interest.Simulations in realistic settings showed marked gains in efficiency over systems that neglect event semantics. In particular, aperiodic sampling achieved a stable improvement of ~10% over optimised periodic policies across parameter variations.

Regarding offloading, we introduced a novel Hierarchical Inference (HI) framework, which makes sequential offload decisions between a low-latency, energy-efficient local model and a high-accuracy remote model using locally available confidence measures. We proposed HI algorithms based on thresholds and ambiguity regions learned online by suitably extending the Prediction with Expert Advice (PEA) approaches to continuous expert spaces and partial feedback. HI algorithms minimise the expected cost across inference rounds, combining offloading and misclassification costs, and are shown to achieve a uniformly sublinear regret of O(T^2/3).The proposed algorithms are agnostic to model architecture and communication systems, do not alter model training, and support model updates during operation. Benchmarks on standard classification tasks using the softmax output as a confidence measure showed that HI adaptively distributes inference based on offloading costs, achieving results close to the offline optimum. HI is shown to add resilience to distribution changes and model mismatches, especially when asymmetric misclassification costs are present.

In summary, this thesis presents efficient approaches for sampling and offloading of inference tasks, where various performance metrics are combined into a single cost structure. The work extends beyond conventional inference problems to areas with similar trade-offs, advancing toward efficient distributed intelligence that infers at the right time and in the right place. Future work includes conceptual extensions like joint sampling-offloading design, and integration with collaborative model-training architectures.

Den pågående spridningen av intelligenta system, drivna av artificiell intelligens (AI) och 6G, leder till en ökning av återkopplade inferensuppgifter som utförs på distribuerade beräkningsnoder. Dessa system verkar under strikta krav på latens och energiförbrukning, vilket gör att utmaningen inte enbart handlar om att uppnå hög noggrannhet utan också om att möjliggöra snabb och energieffektiv inferens. Denna avhandling undersöker hur distribuerad inferens kan optimeras genom två centrala beslut: när miljön ska samplas och när beräkningar ska avlastas till en mer exakt, fjärrbelägen modell. Dessa beslut styrs av miljöns semantiska egenskaper och de kostnader som är förknippade med dessa. Semantiken hålls på en abstrakt nivå, och förtränade inferensmodeller används, vilket möjliggör en plattformsoberoende formulering som är anpassningsbar till den snabba utvecklingen inom distribuerad intelligens och trådlös kommunikation.

Angående sampling studerades avvägningen mellan samplingskostnad och detektionsfördröjning i händelsedetekteringssystem som saknar tillräcklig lokal inferenskapacitet. Ett optimeringsproblem över samplingstidpunkter formuleras för stokastiska händelser och analyserades på olika nivåer av modelleringskomplexitet, från periodisk till aperiodisk sampling. Slutna, algoritmiska, och approximativa lösningar utvecklades, varav vissa resultat även är av allmänt matematiskt intresse. Simuleringar i realistiska system visade tydliga effektivitetsvinster jämfört med system som bortser från händelsernas semantik. Särskilt aperiodisk sampling uppnådde en stabil förbättring på cirka 10% jämfört med periodiska strategier över olika systemparametrar.

Angående avlastning introducerades ett nytt ramverk för hierarkisk inferens (HI), som fattar sekventiella avlastningsbeslut mellan en lokal modell med låg fördröjning och energiförbrukning, och en fjärrmodell med högre noggrannhet, baserat på lokala konfidensmått. Vi föreslog HI-algoritmer baserade på tröskelvärden och ambiguitetsregioner som lärs in online genom att utvidga metoder för expertbaserad prediktion (Prediction with Expert Advice, PEA) till kontinuerliga expertrum med partiell återkoppling. HI-algoritmerna minimerar den förväntade kostnaden över flera inferensomgångar genom att kombinera kostnader för avlastning och felklassificering, och uppnår O(T^2/3) sublinjär ånger. De föreslagna algoritmerna är oberoende av modellarkitektur och kommunikationssystem, kräver ingen ändring av modellträningen, och stödjer modelluppdateringar under drift. Jämförelser på standardiserade klassificeringsuppgifter med softmax-värde som konfidensmått visade att HI fördelar inferens adaptivt beroende på avlastningskostnader och når resultat nära det offline-optimum som beräknats i efterhand. HI visade sig dessutom öka robustheten mot distributionsförändringar och modellavvikelser, särskilt i fall med asymmetriska felklassificeringskostnader.

Sammanfattningsvis presenterar avhandlingen effektiva metoder för sampling och avlastning av inferensuppgifter där olika prestandamått kombineras i en gemensam kostnadsstruktur. Arbetet sträcker sig bortom konventionella inferensproblem till områden med liknande avvägningar, och bidrar till utvecklingen av effektiv distribuerad intelligens som tar beslut vid rätt tidpunkt och på rätt plats. Framtida arbete inkluderar konceptuella utvidgningar såsom gemensam design av sampling och avlastning, samt integration med kollaborativa modellträningsarkitekturer.