发行 1.7版本

fix:callback url request fail error deal

.gitignore

@@ -2,3 +2,7 @@
 fileboy
 fileboy.exe
 filegirl.yaml
+fileboy-darwin-amd64.bin
+fileboy-linux-amd64.bin
+fileboy-windows-amd64.exe
+

CHANGELOG.md

@@ -1,3 +1,50 @@
+### Release v1.7
+
+2019.01.24  
+
+- 修复 time 内存  
+- 修复 某些情况下cmd异常导致进程挂掉的问题  
+
+
+
+### Release v1.6
+
+2019.01.19  
+
+- 修复 http 通知失败导致进程崩溃  
+- 增加 includeDirs 参数规则验证  
+- 修改 delayMillSecond 默认值,2000  
+- 增加 贡献者 @jason-gao  
+- 优化 log  
+
+
+
+### Release v1.5
+
+2019.01.03  
+
+- 增加 http 通知  
+- 增加 callUrl 参数  
+- 优化 command 稳定性  
+
+
+
+2019.01.02  
+
+- 增加 command -> delayMillSecond 参数  
+- 优化 文案  
+
+
+
+2018.12.30  
+
+- 增加 在指定时间内堆叠的任务自动丢弃  
+- 增加 version 信息  
+- 优化 代码逻辑  
+- 优化 提示文案  
+
+
+
 ### Release v1.2
 
 2018.09.30  

README.md

@@ -4,6 +4,17 @@ fileboy，文件变更监听通知系统，使用 Go 编写。
 
 适用于 Hot Reload （典型的如开发go项目，无需每次手动执行 go build；又比如前端 node 打包） 或者 系统监控的场景。  
 
+## 特性  
+
+- 极简的用法和配置  
+- 支持多平台，Windows/Linux/MacOS  
+- 支持自定义文件监听范围，监听指定文件夹/不监听指定文件夹/指定后缀文件  
+- 支持设置多条命令  
+- 命令支持变量占位符  
+- 支持冗余任务丢弃，自定义冗余任务范围  
+- 支持 http 通知  
+- 更多...  
+
 ## 编译环境    
 
 go version >=1.10，推荐 1.11   
@@ -17,8 +28,8 @@ go version >=1.10，推荐 1.11
 
 ### 下载二进制文件   
 
-Github: [正式版 v1.2](https://github.com/dengsgo/fileboy/releases)  
-Gitee:  [正式版 v1.2](https://gitee.com/dengsgo/fileboy/releases)  
+Github: [正式版 v1.7](https://github.com/dengsgo/fileboy/releases)  
+Gitee:  [正式版 v1.7](https://gitee.com/dengsgo/fileboy/releases)  
 
 下载已经编译好的对应平台二进制文件，重命名为`fileboy`, 加入系统 Path 中即可。 
 
@@ -99,7 +110,26 @@ command:
     exec:
         - go version
         - go env
-        - echo {{file}}
+
+    # 文件变更后命令在xx毫秒后才会执行，单位为毫秒
+    # 一个变更事件(A)如果在定义的延迟时间(t)内，又有新的文件变更事件(B)，那么A会取消执行。
+    # B及以后的事件均依次类推，直到事件Z在t内没有新事件产生，Z 会执行
+    # 合理设置延迟时间，将有效减少冗余和重复任务的执行
+    # 如果不需要该特性，设置为 0
+    delayMillSecond: 2000
+
+# 通知器
+notifier:
+    # 文件更改会向该 url 发送请求（POST 一段 json 文本数据）
+    # 触发请求的时机和执行 command 命令是一致的
+    # 请求超时 15 秒
+    # POST 格式:
+    #    Content-Type: application/json;charset=UTF-8
+    #    User-Agent: FileBoy Net Notifier v1.7
+    #    Body: {"project_folder":"/watcher-dirs","file":"test.go","changed":1546421173070433800,"ext":".go"}
+    # 例: http://example.com/notifier/fileboy-listener
+    # 不启用通知，请留空 ""
+    callUrl: ""
 ```
 
 ### TODO
@@ -109,8 +139,9 @@ command:
 - [x] 支持监听指定文件夹  
 - [x] 支持不监听指定文件夹  
 - [x] 支持监听指定后缀文件  
-- [ ] 支持 http 通知  
-- [ ] 支持冗余任务丢弃
+- [x] 支持 http 通知  
+- [x] 支持冗余任务丢弃  
+- [ ] 支持 http 合并任务的通知  
 
 
 
@@ -126,9 +157,13 @@ command:
 
 对于一些需要监控文件日志或者配置变动的场景， fileboy 同样适合。你可以事先编写好相应的通知报警脚本，然后定义`filegirl.yaml`中的`command`命令，交由 fileboy 自动运行监控报警。  
 
+#### 通知器在什么时候会发送 http 请求 ?
+
+通知器发送 http 通知的前提是在配置文件中设置了 `callUrl` 参数（不为空即为已设置）。触发请求的时机和执行 command 命令是一致的，`command -> delayMillSecond` 参数对于触发器同样有效。请求超时默认15秒.  
+
 #### idea 下更改文件，为什么会执行两次或者多次 command ?
 
-由于 idea 系列软件特殊的文件保存策略，他会自动创建一些临时文件，并且在需要时多次重写文件，所以有时反映在文件上就是有多次的更改，所以会出现这种情况。这个后续会做优化.  
+由于 idea 系列软件特殊的文件保存策略，他会自动创建一些临时文件，并且在需要时多次重写文件，所以有时反映在文件上就是有多次的更改，所以会出现这种情况。1.5之后的版本增加了 `delayMillSecond` 参数，可以解决这个问题。  
 
 #### filegirl.yaml 里面的 command 不支持复杂的命令吗？  
 
@@ -148,11 +183,7 @@ fileboy 目前支持 `命令 + 参数`这种形式的 command，而且 参数中
 
 #### 为什么起名为 fileboy，又把配置名叫做 filegirl ？
 
-因为爱情~~
-
-#### 听说有彩蛋？
-
-(◡ᴗ◡✿)
+因为爱情~~ (◡ᴗ◡✿)  
 
 
 
@@ -160,7 +191,9 @@ fileboy 目前支持 `命令 + 参数`这种形式的 command，而且 参数中
 
 > 排名不分先后
 
-[@dengsgo](https://www.yoytang.com)  <dengsgo@yoytang.com>  
+[@dengsgo](https://www.yoytang.com)  <dengsgo@gmail.com>  
 
 [@itwesley](https://github.com/itwesley)  <wcshen1126@gmail.com>  
 
+[@jason-gao](https://github.com/jason-gao)  <3048789891@qq.com>  
+

fileboy.go

@@ -1,39 +1,36 @@
 package main
 
 import (
-	"bufio"
 	"fmt"
 	"gopkg.in/fsnotify/fsnotify.v1"
 	"gopkg.in/yaml.v2"
-	"io"
 	"io/ioutil"
 	"log"
 	"math/rand"
 	"os"
-	"os/exec"
 	"path"
-	"strconv"
-	"sync"
+	"strings"
 	"time"
 )
 
 const (
 	Version = 1
+
+	PreError = "ERROR:"
+	PreWarn  = "Warn:"
 )
 
 var (
-	projectFolder string = "."
+	projectFolder = "."
 
 	cfg *FileGirl
 
 	watcher *fsnotify.Watcher
 
-	cmd *exec.Cmd
-
-	runLock sync.Mutex
+	taskMan *TaskMan
 )
 
-type changeFile struct {
+type changedFile struct {
 	Name    string
 	Changed int64
 	Ext     string
@@ -43,14 +40,14 @@ func parseConfig() {
 	cfg = new(FileGirl)
 	fc, err := ioutil.ReadFile(projectFolder + "/filegirl.yaml")
 	if err != nil {
-		log.Panicln("read filegirl.yaml file err: ", err)
+		log.Panicln(PreError, "read filegirl.yaml file err: ", err)
 	}
 	err = yaml.Unmarshal(fc, cfg)
 	if err != nil {
-		log.Panicln("parsed filegirl.yaml failed: ", err)
+		log.Panicln(PreError, "parsed filegirl.yaml failed: ", err)
 	}
 	if cfg.Core.Version > Version {
-		log.Panicln("current fileboy support max version : ", Version)
+		log.Panicln(PreError, "current fileboy support max version : ", Version)
 	}
 	log.Println(cfg)
 }
@@ -64,73 +61,30 @@ func eventDispatcher(event fsnotify.Event) {
 		return
 	}
 	switch event.Op {
-	case fsnotify.Create:
-	case fsnotify.Write:
-		log.Println("event write : ", event.Name)
-		if cmd != nil {
-			err := cmd.Process.Kill()
-			if err != nil {
-				log.Println("err: ", err)
-			}
-			log.Println("stop old process ")
-		}
-		go run(&changeFile{
+	case
+		fsnotify.Write,
+		fsnotify.Rename:
+		log.Println("EVENT", event.Op.String(), ":", event.Name)
+		taskMan.Put(&changedFile{
 			Name:    relativePath(projectFolder, event.Name),
 			Changed: time.Now().UnixNano(),
 			Ext:     ext,
 		})
 	case fsnotify.Remove:
-	case fsnotify.Rename:
+	case fsnotify.Create:
 	}
 }
 
-func run(cf *changeFile) {
-	runLock.Lock()
-	defer runLock.Unlock()
-	for i := 0; i < len(cfg.Command.Exec); i++ {
-		carr := cmdParse2Array(cfg.Command.Exec[i], cf)
-		cmd = exec.Command(carr[0], carr[1:]...)
-		//cmd.SysProcAttr = &syscall.SysProcAttr{CreationFlags: syscall.CREATE_UNICODE_ENVIRONMENT}
-		cmd.Stdin = os.Stdin
-		//cmd.Stdout = os.Stdout
-		cmd.Stderr = os.Stderr
-		cmd.Dir = projectFolder
-		cmd.Env = os.Environ()
-		stdout, err := cmd.StdoutPipe()
-		if err != nil {
-			log.Println("error=>", err.Error())
-			return
-		}
-		cmd.Start()
-		reader := bufio.NewReader(stdout)
-		for {
-			line, err2 := reader.ReadString('\n')
-			if err2 != nil || io.EOF == err2 {
-				break
-			}
-			log.Print(line)
-		}
-		err = cmd.Wait()
-		if err != nil {
-			log.Println("cmd wait err ", err)
-			break
-		}
-		err = cmd.Process.Kill()
-		if err != nil {
-			log.Println("cmd cannot kill ", err)
-		}
-	}
-
-	log.Println("end ")
-}
-
 func addWatcher() {
 	log.Println("collecting directory information...")
 	dirs := make([]string, 0)
 	for i := 0; i < len(cfg.Monitor.IncludeDirs); i++ {
 		darr := dirParse2Array(cfg.Monitor.IncludeDirs[i])
 		if len(darr) < 1 || len(darr) > 2 {
-			log.Fatalln("filegirl section monitor dirs is error. ", cfg.Monitor.IncludeDirs[i])
+			log.Fatalln(PreError, "filegirl section monitor dirs is error. ", cfg.Monitor.IncludeDirs[i])
+		}
+		if strings.HasPrefix(darr[0], "/") {
+			log.Fatalln(PreError, "dirs must be relative paths ! err path:", cfg.Monitor.IncludeDirs[i])
 		}
 		if darr[0] == "." {
 			if len(darr) == 2 && darr[1] == "*" {
@@ -183,6 +137,7 @@ func initWatcher() {
 	defer watcher.Close()
 
 	done := make(chan bool)
+	taskMan = newTaskMan(cfg.Command.DelayMillSecond, cfg.Notifier.CallUrl)
 	go func() {
 		for {
 			select {
@@ -195,7 +150,7 @@ func initWatcher() {
 				if !ok {
 					return
 				}
-				log.Println("error:", err)
+				log.Println(PreError, err)
 			}
 		}
 	}()
@@ -208,9 +163,8 @@ func parseArgs() {
 	if l == 1 {
 		_, err := ioutil.ReadFile(projectFolder + "/filegirl.yaml")
 		if err != nil {
-			log.Println("the filegirl.yaml file does not exist! ", err)
+			log.Println(PreError, "the filegirl.yaml file does not exist! ", err)
 			fmt.Print(firstRunHelp)
-			fmt.Print(helpStr)
 			return
 		}
 		initWatcher()
@@ -222,19 +176,17 @@ func parseArgs() {
 		case "init":
 			err := ioutil.WriteFile(projectFolder+"/filegirl.yaml", []byte(exampleFileGirl), 0644)
 			if err != nil {
-				log.Println("error create filegirl.yaml config! ", err)
+				log.Println(PreError, "error create filegirl.yaml config! ", err)
 				return
 			}
 			log.Println("create filegirl.yaml ok")
 			return
 		case "exec":
 			parseConfig()
-			run(new(changeFile))
+			newTaskMan(0, cfg.Notifier.CallUrl).run(new(changedFile))
 			return
-		case "version":
-			fallthrough
-		case "v":
-			fmt.Println("[VERSION] Release: v1.2   filegirl: " + strconv.Itoa(Version))
+		case "version", "v", "-v", "--version":
+			fmt.Println(versionDesc)
 		default:
 			fmt.Print(helpStr)
 		}
@@ -245,8 +197,9 @@ func parseArgs() {
 func show() {
 	fmt.Print(logo)
 	rand.Seed(time.Now().UnixNano())
-	fmt.Println(englishSay[rand.Intn(len(englishSay))], "\r\n")
-	fmt.Println("Version: ", Version, "   Author: dengsgo@yoytang.com")
+	fmt.Println(englishSay[rand.Intn(len(englishSay))])
+	fmt.Println("")
+	fmt.Println(statement)
 }
 
 func main() {

filegirl.go

@@ -10,8 +10,10 @@ type FileGirl struct {
 		ExceptDirs  []string `yaml:"exceptDirs"`
 	}
 	Command struct {
-		//BeforeExec string   `yaml:"beforeExec"`
-		Exec []string `yaml:"exec"`
-		//AfterExec  string   `yaml:"afterExec"`
+		Exec            []string `yaml:"exec"`
+		DelayMillSecond int      `yaml:"delayMillSecond"`
+	}
+	Notifier struct {
+		CallUrl string `yaml:"callUrl"`
 	}
 }

notifer.go

@@ -0,0 +1,78 @@
+package main
+
+import (
+	"bytes"
+	"encoding/json"
+	"log"
+	"net/http"
+	"strings"
+	"time"
+)
+
+type postParams struct {
+	ProjectFolder string `json:"project_folder"`
+	File          string `json:"file"`
+	Changed       int64  `json:"changed"`
+	Ext           string `json:"ext"`
+}
+
+type NetNotifier struct {
+	CallUrl string
+	CanPost bool
+}
+
+func newNetNotifier(callUrl string) *NetNotifier {
+	callPost := true
+	if strings.TrimSpace(callUrl) == "" {
+		callPost = false
+	}
+	return &NetNotifier{
+		CallUrl: callUrl,
+		CanPost: callPost,
+	}
+}
+
+func (n *NetNotifier) Put(cf *changedFile) {
+	if !n.CanPost {
+		log.Println(PreWarn, "notifier call url ignore. ", n.CallUrl)
+		return
+	}
+	n.dispatch(&postParams{
+		ProjectFolder: projectFolder,
+		File:          cf.Name,
+		Changed:       cf.Changed,
+		Ext:           cf.Ext,
+	})
+}
+
+func (n *NetNotifier) dispatch(params *postParams) {
+	b, err := json.Marshal(params)
+	if err != nil {
+		log.Println(PreError, "json.Marshal n.params. ", err)
+		return
+	}
+	client := &http.Client{
+		Timeout: time.Second * 15,
+	}
+	req, err := http.NewRequest("POST", n.CallUrl, bytes.NewBuffer(b))
+	if err != nil {
+		log.Println(PreError, "http.NewRequest. ", err)
+		return
+	}
+	req.Header.Set("Content-Type", "application/json;charset=UTF-8")
+	req.Header.Set("User-Agent", "FileBoy Net Notifier v1.7")
+	resp, err := client.Do(req)
+	if err != nil {
+		log.Println(PreError, "notifier call failed. err:", err)
+		return
+	}
+	defer func() {
+		if resp != nil && resp.Body != nil {
+			_ = resp.Body.Close()
+		}
+	}()
+	if resp.StatusCode >= 300 {
+		// todo retry???
+	}
+	log.Println("notifier done .")
+}

raw.go

@@ -1,5 +1,7 @@
 package main
 
+import "strconv"
+
 var exampleFileGirl string = `# 主配置
 core:
     # 配置版本号
@@ -36,7 +38,7 @@ command:
     # 可以有多条命令，会依次执行
     # 如有多条命令，每条命令都会等待上一条命令执行完毕后才会执行
     # 如遇交互式命令，允许外部获取输入
-    # 支持变量占位符：
+    # 支持变量占位符,运行命令时会替换成实际值：
     #    {{file}}    文件名(如 a.txt 、test/test2/a.go)
     #    {{ext}}     文件后缀(如 .go)
     #    {{changed}} 文件更新的本地时间戳(纳秒,如 1537326690523046400)
@@ -44,12 +46,31 @@ command:
     exec:
         - go version
         - go env
-        - echo {{file}}
+
+    # 文件变更后命令在xx毫秒后才会执行，单位为毫秒
+    # 一个变更事件(A)如果在定义的延迟时间(t)内，又有新的文件变更事件(B)，那么A会取消执行。
+    # B及以后的事件均依次类推，直到事件Z在t内没有新事件产生，Z 会执行
+    # 合理设置延迟时间，将有效减少冗余和重复任务的执行
+    # 如果不需要该特性，设置为 0
+    delayMillSecond: 2000
+
+# 通知器
+notifier:
+    # 文件更改会向该 url 发送请求（POST 一段 json 文本数据）
+    # 触发请求的时机和执行 command 命令是一致的
+    # 请求超时 15 秒
+    # POST 格式:
+    #    Content-Type: application/json;charset=UTF-8
+    #    User-Agent: FileBoy Net Notifier v1.7
+    #    Body: {"project_folder":"/watcher-dirs","file":"test.go","changed":1546421173070433800,"ext":".go"}
+    # 例: http://example.com/notifier/fileboy-listener
+    # 不启用通知，请留空 ""
+    callUrl: ""
 `
 
 var firstRunHelp = `第一次运行 fileboy ?
 你可能需要先执行 fileboy init 生成配置。
-更多信息查看帮助:
+更多信息使用 fileboy help 查看帮助
 `
 
 var helpStr = `fileboy [option]
@@ -61,7 +82,7 @@ Usage of fileboy:
     exec 
         尝试运行定义的 command 命令
     version 
-        查看当前版本号
+        查看当前版本信息
 `
 
 var englishSay = []string{
@@ -83,5 +104,15 @@ var logo = `
  _____     _  | |      _____   ____)  ) |   | | |___| |
 |  ___)   | | | |     |  ___) |  __  (| |   | |\_____/ 
 | |      _| |_| |_____| |_____| |__)  ) |___| |  ___   
-|_|     (_____)_______)_______)______/ \_____/  (___)
+|_|     (_____)_______)_______)______/ \_____/  (___)   V1.7
+`
+var statement = `Dengsgo [dengsgo@gmail.com] Open Source with MIT License`
+
+var versionDesc = `
+ Version   fileboy: v1.7    filegirl: v` + strconv.Itoa(Version) + `
+Released   2019.1.24
+ Licence   MIT
+  Author   dengsgo [dengsgo@gmail.com]
+ Website   https://github.com/dengsgo/fileboy
+    Blog   https://www.yoytang.com
 `

taskman.go

@@ -0,0 +1,101 @@
+package main
+
+import (
+	"bufio"
+	"fmt"
+	"io"
+	"log"
+	"os"
+	"os/exec"
+	"sync"
+	"time"
+)
+
+type TaskMan struct {
+	lastTaskId int64
+	delay      int
+	cmd        *exec.Cmd
+	notifier   *NetNotifier
+	putLock    sync.Mutex
+	runLock    sync.Mutex
+}
+
+func newTaskMan(delay int, callUrl string) *TaskMan {
+	return &TaskMan{
+		delay:    delay,
+		notifier: newNetNotifier(callUrl),
+	}
+}
+
+func (t *TaskMan) Put(cf *changedFile) {
+	if t.delay < 1 {
+		t.preRun(cf)
+		return
+	}
+	t.putLock.Lock()
+	defer t.putLock.Unlock()
+	t.lastTaskId = cf.Changed
+	go func() {
+		<-time.After(time.Millisecond * time.Duration(t.delay))
+		if t.lastTaskId > cf.Changed {
+			return
+		}
+		t.preRun(cf)
+	}()
+}
+
+func (t *TaskMan) preRun(cf *changedFile) {
+	if t.cmd != nil && t.cmd.Process != nil && t.cmd.ProcessState != nil && !t.cmd.ProcessState.Exited() {
+		log.Println("stop old process ")
+		if err := t.cmd.Process.Kill(); err != nil {
+			log.Println(PreWarn, "stopped err, reason:", err)
+		}
+	}
+	go t.run(cf)
+}
+
+func (t *TaskMan) run(cf *changedFile) {
+	go t.notifier.Put(cf)
+	t.runLock.Lock()
+	defer t.runLock.Unlock()
+	for i := 0; i < len(cfg.Command.Exec); i++ {
+		carr := cmdParse2Array(cfg.Command.Exec[i], cf)
+		log.Println("EXEC", carr)
+		t.cmd = exec.Command(carr[0], carr[1:]...)
+		//cmd.SysProcAttr = &syscall.SysProcAttr{CreationFlags: syscall.CREATE_UNICODE_ENVIRONMENT}
+		t.cmd.Stdin = os.Stdin
+		//cmd.Stdout = os.Stdout
+		t.cmd.Stderr = os.Stderr
+		t.cmd.Dir = projectFolder
+		t.cmd.Env = os.Environ()
+		stdout, err := t.cmd.StdoutPipe()
+		if err != nil {
+			log.Println(PreError, err.Error())
+			return
+		}
+		err = t.cmd.Start()
+		if err != nil {
+			log.Println(PreError, "run command", carr, "error. ", err)
+		}
+		reader := bufio.NewReader(stdout)
+		for {
+			line, err2 := reader.ReadString('\n')
+			if err2 != nil || io.EOF == err2 {
+				break
+			}
+			fmt.Print(line)
+		}
+		err = t.cmd.Wait()
+		if err != nil {
+			log.Println(PreWarn, "cmd wait err ", err)
+			break
+		}
+		if t.cmd.Process != nil && t.cmd.ProcessState != nil && !t.cmd.ProcessState.Exited() {
+			if err = t.cmd.Process.Kill(); err != nil {
+				log.Println(PreWarn, "cmd cannot kill, reason:", err)
+			}
+		}
+	}
+
+	log.Println("end ")
+}

util.go

@@ -15,7 +15,7 @@ func inStringArray(value string, arr []string) bool {
 	return false
 }
 
-func cmdParse2Array(s string, cf *changeFile) []string {
+func cmdParse2Array(s string, cf *changedFile) []string {
 	a := strings.Split(s, " ")
 	r := make([]string, 0)
 	for i := 0; i < len(a); i++ {
@@ -26,7 +26,7 @@ func cmdParse2Array(s string, cf *changeFile) []string {
 	return r
 }
 
-func strParseRealStr(s string, cf *changeFile) string {
+func strParseRealStr(s string, cf *changedFile) string {
 	return strings.Replace(
 		strings.Replace(
 			strings.Replace(s, "{{file}}", cf.Name, -1),