Publicación de Manuel Núñez

El camino de la ciencia de datos es largo, pero con metas alcanzables. Mientras tanto, la formación continua y avanzamos en adquirir otros conocimientos para desarrollar análisis en este ambiente #SHELL introductoria pero esencial para poder ejecutar los comandos de este ambiente.

🔧 eBPF: La clave para una observabilidad avanzada y eficiente en Linux 🔍 En este artículo, se detalla cómo eBPF (Extended Berkeley Packet Filter) permite instrumentar el kernel de Linux de manera segura y eficiente sin necesidad de modificar su código ni recargar módulos. 🔎 ¿Por qué eBPF está transformando la observabilidad? 🔹 Observación sin fricción: Inserta sondas dinámicas en cualquier punto del sistema, capturando eventos a nivel kernel y usuarios sin impacto significativo en el rendimiento. 🔹 ⚡ Menor overhead: A diferencia de enfoques tradicionales, eBPF ejecuta programas directamente en el contexto del kernel, reduciendo la latencia y el consumo de recursos. 🔹 🌐 Casos de uso extensivos: Desde monitoreo granular de procesos y redes hasta detección de anomalías y trazabilidad completa de las aplicaciones. ⚙️ Profundizando en eBPF: Cómo funciona y sus componentes clave eBPF es una tecnología diseñada para ejecutar programas de manera segura dentro del kernel de Linux. A continuación, se detallan algunos componentes esenciales que lo hacen tan potente: 🧩 Probes (kprobes y uprobes): Instrumentan funciones del kernel y del espacio de usuario respectivamente, permitiendo capturar eventos específicos de cualquier aplicación o sistema operativo. 📍 Tracepoints: Puntos de rastreo ya integrados en el kernel que ofrecen una manera eficiente de recolectar datos sobre eventos clave del sistema. 🔥 Perf Events: Usados para monitorear eventos de rendimiento del hardware como ciclos de CPU o fallos de caché. 🗃️ Maps: Estructuras de datos compartidas entre programas eBPF y el espacio de usuario, donde se almacena el estado y las métricas recopiladas. 🚀 Casos de uso destacados de eBPF 🌐 Network Performance Monitoring (NPM) eBPF se integra directamente con interfaces de red y TCP/IP, permitiendo un monitoreo detallado de latencia, pérdidas de paquetes y retransmisiones sin afectar el rendimiento del sistema. 🔒 Runtime Security Enforcement Gracias a su capacidad para inspeccionar llamadas al sistema (syscalls), eBPF permite implementar políticas de seguridad en tiempo de ejecución, detectando y bloqueando comportamientos maliciosos. 📊 Tracing y Profiling de Aplicaciones eBPF permite trazar el flujo de ejecución de aplicaciones en entornos de producción, identificando cuellos de botella y analizando el uso de recursos. bcc y bpftrace son dos herramientas clave en este ámbito. 🔧 Beneficios de adoptar eBPF ✅ Instrumentación dinámica: No requiere reiniciar servicios ni sistemas para añadir o quitar sondas. ✅ ⚡ Alto rendimiento: Diseñado para ejecutarse en entornos de misión crítica sin introducir overhead significativo. ✅ 🔐 Seguridad: Los programas eBPF se validan antes de ejecutarse, garantizando que no comprometan la estabilidad del kernel. 👉 Enlace al artículo completo #LinuxKernel #eBPF #Observability #Monitoring #SysAdmin #DevOps #PerformanceOptimization

🔧 Pipelines en Bash: La magia detrás de la línea de comandos Los pipelines son una de las características más poderosas y versátiles de Bash. ¿Qué es un pipeline? Un pipeline (|) conecta la salida de un comando con la entrada de otro, permitiendo procesar datos en secuencia. Funcionamiento básico: comando1 | comando2 | comando3 Ejemplo práctico: cat /var/log/auth.log | grep "session opened" | wc -l Este pipeline cuenta las líneas que contienen "session opened" en /var/log/auth.log. Casos de uso cotidianos: a) Filtrar logs: tail -f /var/log/syslog | grep "error" b) Ordenar y eliminar duplicados: cat nombres.txt | sort | uniq c) Comprimir archivos sobre la marcha: tar -cf - directorio | gzip > archivo.tar.gz Dato curioso: ¿Sabías que puedes crear pipelines infinitos? Usa el comando 'yes' para enviar un flujo constante de datos: yes "Hola mundo" Truco avanzado: Usa 'tee' para bifurcar la salida: echo "Texto" | tee archivo.txt | tr '[:lower:]' '[:upper:]' Este comando guarda "Texto" en archivo.txt y muestra "TEXTO" en pantalla. Los pipelines son la columna vertebral de la automatización en #Unix. Dominarlos te convertirá en un verdadero mago de la línea de comandos. 🧙♂️ ¿Qué otros trucos con pipelines conoces? ¡Comparte en los comentarios! #Bash #Linux #ProgramacionShell #Automatizacion ¿Te gustaría que explique o detalle alguna parte específica del artículo?

El proyecto de GitHub "TotalRecall" es una herramienta diseñada para extraer y mostrar datos del sistema de "Recall" en Windows 11, que captura instantáneas de la actividad del PC. TotalRecall copia las bases de datos y capturas de pantalla generadas por esta función y luego analiza la base de datos para encontrar artefactos potencialmente interesantes. Los usuarios pueden definir fechas específicas para limitar la extracción y buscar términos específicos que hayan sido reconocidos mediante OCR (reconocimiento óptico de caracteres). El objetivo principal de TotalRecall es facilitar el acceso a la información sobre la actividad del PC, permitiendo a los usuarios generar informes detallados que resumen las ventanas capturadas, las imágenes tomadas y los resultados de las búsquedas. Esta herramienta es útil para quienes necesitan revisar y analizar la actividad de su computadora de manera sencilla y eficiente, sin necesidad de conocimientos avanzados en bases de datos. El proyecto a continuación:

Un día como hoy (08/05/2012): El proyecto Apache OpenOffice anunciaba la liberación de Apache OpenOffice 3.4, la primera versión de OpenOffice desarrollada por la Apache Software Foundation (ASF). Ver más Efemérides de TI: http://bit.ly/36bRu8b Síguenos en nuestras redes sociales Facebook | Twitter | LinkedIn | Instagram: @techsolmx #SomosSoluciones #EfeméridesTI #Apache #OpenOffice #ASF #Tecnologías #Tecnología #TIC #Technologies #Technology #Tech #ICT #InformationTechnology #IT #Digital #México #Chiapas

¡El código libre experimenta un hito importante hoy! Microsoft publica el código núcleo del que nacieron las versiones de Windows. Desde mi punto de vista, la operativa y funcionamiento de Windows tiene más sentido una vez conoces los lenguajes en el que es programado su kernel. Por otra parte, este hito presenta un desarrollo sumamente distinto a su contrincante: el kernel de Unix/Linux, conocido por su principio en el lenguaje C. Abajo un resumen de los lenguajes en los cuales se programó el kernel MS-DOS según la publicación en GitHub. - Assembly: 84.9% - C: 13.2% - Pascal: 0.6% - SourcePawn: 0.6% - C++: 0.4% - POV-Ray SDL: 0.1% - Otros: 0.2% Vínculo de MS-DOS en GitHub: https://lnkd.in/e-Y-635x #microsoft #kernel #msdos #unix #linux

Ya que acabo de terminar con el módulo de Network Automation, posterior al de Network Virtualization, aprovecho para compartir mi humilde GeekHub... 🤖 🕹 https://lnkd.in/dci7EBEr Entre los pocos programas, completamente desarrollados por mí, que a día de hoy conservo. Con el único apoyo de un manual de EasyUO (https://lnkd.in/d2Jcvw-V), sus versiones finales fueron implementadas en el año 2019. EasyUO es un software gratuito que permite escribir scripts que hagan que los personajes en Ultima Online (https://lnkd.in/dfS7aXV9) hagan prácticamente cualquier cosa posible. Los siguientes scripts son compatibles con un servidor español gratuito llamado Ultima Alianza.

Comparto que he terminado el curso "Introduction to Bash Scripting" de DataCamp, que cubre aspectos esenciales en la elaboración de scripts de Bash: desde la estructura de un script, la entrada de argumentos y salida de resultados, hasta el uso de estructuras de datos y de controladores. También pude practicar la creación de funciones en Bash y el cómo automatizar la ejecución de scripts usando Cron, fundamental para construir pipelines de datos en la nube. Si trabajas con datos repartidos en múltiples archivos o buscas optimizar tareas repetitivas, este curso es una excelente manera de empezar. #BashScripting #Automation #DataEngineering #CloudComputing #Linux #DataAnalysis #DataCamp #TechSkills #Programming #LearningAndDevelopment

🔵 Cómo crear un volcado de procesos en GNU/Linux y buscar "leaks" de información Hacía tiempo que no pasaba por aquí para poder escribir sobre inquietudes tecnológicas o pequeñas pruebas de concepto que pueden surgir en el día a día. Todos conocemos diferentes herramientas de volcado de procesos de memoria. Por ejemplo, Volatility, que es una de mis favoritas por todo lo que ofrece y aporta en el análisis de un volcado de memoria. Volatility no es la única herramienta que se tiene, se tienen otras muchas que aportan en mayor o menor medida diferentes posibilidades, otra opción es gcore. Revisando un poco lo que ofrece /proc en los sistemas GNU/Linux se pueden sacar muchas cosas interesantes. Entre ellas, se puede leer directamente de la memoria de un proceso. Casi como si fuera un fichero. No exactamente como en un fichero, pero le estuve dando vueltas. Al final es una forma sencilla de poder leer qué información hay dentro de un proceso. Se sabe que, en un proceso, hay elementos que están compartidos con otros procesos. Se sabe que hay páginas de memoria que tienen ciertos permisos y otras otros. Aquí es donde hablamos de lectura, escritura, ejecución. Decidí revisar más sobre este tema y preparar una pequeña prueba de concepto con Bash (un ejemplo de lo que se puede hacer con este lenguaje en GNU/Linux). Gestión del memoria en sistemas GNU/Linux Antes de hablar de la prueba de concepto, vamos a pararos a estudiar un poco sobre /proc y lo que ofrece en términos de información sobre los procesos. Sabemos que /proc es un directorio especial, ya que almacena información sobre elementos volátiles (como es la memoria). Lo primero que nos puede llamar la atención es que si hago un ls sobre el directorio podremos visualizar un montón de “carpetas” con números. Estas carpetas son el ID de los procesos que hay en ejecución en la máquina. ¿Qué información se puede sacar de la memoria de un proceso? Cualquier cosa que esté ahí y no esté protegida (y mucha no lo estará). Para esta pequeña prueba de concepto vamos a abrir un mousepad (el bloc de notas al uso en GNU/Linux) y vamos a introducir algo de texto. Todo lo que se escribe debe estar en memoria. De eso no hay duda. Hay que recordar que la memoria es un elemento volátil, por lo que puede pasar que esté, pero con el tiempo no lo esté. En este caso, el proceso del mousepad recibe el PID 2477 por parte del sistema operativo. Vamos a acceder al directorio de /proc/2477, que es el que corresponde al proceso que hemos ejecutado. Aquí encontramos bastante información interesante sobre el proceso, que nos daría para otro artículo, pero vamos a centrarnos en mem y en maps. El fichero mem nos dará acceso directo a la lectura del proceso en memoria, en crudo. 👇 https://lnkd.in/dhWvgnHk

🌟 Instalar Spark y Jupyter en Ubuntu🌟 Estoy emocionado de compartir con ustedes un tutorial paso a paso para instalar Apache Spark y Jupyter Notebook en una máquina virtual con Linux. 💻✨ Si estás interesado en Big Data, análisis de datos o simplemente quieres explorar estas herramientas en un entorno controlado, este repositorio es perfecto para ti. Incluye: ✔️ Instrucciones claras para configurar tu máquina virtual. ✔️ Instalación de Spark y Jupyter Notebook desde cero. ✔️ Consejos para optimizar el entorno y empezar a trabajar con Spark de inmediato. 👉 ¡Dale un vistazo y dime qué te parece! También estaré encantado de responder a cualquier duda o sugerencia. 💡 ¡Espero que este tutorial sea útil para quienes quieren dar sus primeros pasos con estas potentes herramientas! 🚀 #BigData #Spark #Jupyter #Linux #DataScience #Tutorial