Repositorio
Institucional

Munoz-Poblete, Carlos

Energy Manager Based on Reinforcement Learning for a Low-Power IoT Collar Worn by Dairy Cows

IEEE-INST ELECTRICAL ELECTRONICS ENGINEERS INC

IEEE INTERNET OF THINGS JOURNAL

en

This study presents an energy manager (EM) based on reinforcement learning (RL) for low-power wearable IoT devices with solar energy harvesting used in precision livestock farming (PLF). The system utilizes battery level, device orientation, weather forecasts, and time of day to dynamically adjust the device's energy consumption by modifying the monitoring duty cycle, the number of transmissions, and GPS executions to balance the energy harvested from flexible solar panels with energy consumption. Using the twin delayed deep deterministic policy gradient (TD3) algorithm, the EM learns how to perform these adjustments. Model-based simulations over extended periods, along with real-world deployments, demonstrate the system's ability to achieve energy neutral operation (ENO), outperforming state-of-the-art algorithm in terms of harvested energy utilization. Additionally, a statistical equivalence test (TOST) is also applied to formally validate that the system maintains energy neutrality. The lightweight neural network design ensures compatibility with resource-constrained devices. This work addresses the scarcity of RL-based EM implementations in real-world wearables and PLF applications and demonstrates their potential for use in such scenarios.Este estudio presenta un gestor de energía (GE) basado en aprendizaje por refuerzo (AR) para dispositivos IoT portátiles de bajo consumo con captación de energía solar utilizados en la ganadería de precisión (GPP). El sistema utiliza el nivel de batería, la orientación del dispositivo, las previsiones meteorológicas y la hora del día para ajustar dinámicamente el consumo energético del dispositivo modificando el ciclo de trabajo de monitorización, el número de transmisiones y las ejecuciones de GPS para equilibrar la energía captada de los paneles solares flexibles con el consumo energético. Mediante el algoritmo de gradiente de política determinista profundo retardado doble (TD3), el GE aprende a realizar estos ajustes. Simulaciones basadas en modelos durante periodos prolongados, junto con implementaciones en el mundo real, demuestran la capacidad del sistema para lograr una operación energéticamente neutra (OEN), superando a los algoritmos de última generación en términos de utilización de la energía captada. Además, se aplica una prueba de equivalencia estadística (TOST) para validar formalmente que el sistema mantiene la neutralidad energética. El diseño ligero de la red neuronal garantiza la compatibilidad con dispositivos con recursos limitados. Este trabajo aborda la escasez de implementaciones EM basadas en RL en dispositivos portátiles y aplicaciones PLF del mundo real, y demuestra su potencial de uso en tales escenarios.

artículo original

Batteries

Internet of Things

Wearable devices

Energy harvesting

Wireless communication

Reinforcement learning

Body area networks

Sensors

Energy consumption

Biomedical monitoring

Energy harvesting (EH)

energy manager (EM)

Internet of Things (IoT)

precision livestock farming (PLF)

reinforcement learning (RL)

twin delayed deep deterministic policy gradient (TD3)

wearable

10.1109/JIOT.2025.3577898

pdf

WEARABLE DEVICES

TESTS

WEARABLE DEVICES

TESTS

Ciencias de la Computación

Robótica y Sistemas de Control Automático

Ganadería

versión publicada

hibrida

verde

metadato

metadato

WOS:001546984500019

Energy Manager Based on Reinforcement Learning for a Low-Power IoT Collar Worn by Dairy Cows

artículo original

IEEE-INST ELECTRICAL ELECTRONICS ENGINEERS INC

IEEE INTERNET OF THINGS JOURNAL

Computer Science, Information Systems

Engineering, Electrical & Electronic

Telecommunications

en

2327-4662

ANID-Fondecyt Regular Project#Basal funding for Scientific and Technological Center of Excellence, IMPACT#ANID-Subdireccion de Capital Humano/Magister Nacional

ANID-Fondecyt Regular Project [1220178]

Basal funding for Scientific and Technological Center of Excellence, IMPACT [FB210024]

ANID-Subdireccion de Capital Humano/Magister Nacional [2024-22241455]

pdf