Hola y bienvenido al foro.
Para mostrar un mensaje nada más conectar un USB debes tener el autorun activado para unidades extraibles en windows, que por defecto y salvo que algún antivirus te lo bloquee, está activado.
Luego puedes hacer saltar un fichero de texto o una aplicación que te muestre lo que deseas.
Pero no creo que puedas hacer que se muestre lo último que se ha escrito, salvo que escribas en un fichero un historial (de forma manual) y salte como fichero de texto nada más conectar, con el autorun.
En caso de pérdida no es viable rastrear un pendrive, salvo que este pendrive tenga algún tipo de geolocalizador (GPS) integrado. Si es por software se requiere acceder a internet. Claro, se podría usar algo tipo sendmail anónimo como pasa con los troyanos, y que te lance el programa con el autorun una vez que se conecta, pero no conozco ningún programa así y sinceramente, sería fácil que no funcionará para una persona experimentada en seguridad.