http://www.01happy.com/golang-tcp-socket-adhere/
在用golang开发人工客服系统的时候碰到了粘包问题，那么什么是粘包呢？例如我们和客户端约定数据交互格式是一个json格式的字符串：
{"Id":1,"Name":"golang","Message":"message"}
当客户端发送数据给服务端的时候，如果服务端没有及时接收，客户端又发送了一条数据上来，这时候服务端才进行接收的话就会收到两个连续的字符串，形如：
{"Id":1,"Name":"golang","Message":"message"}{"Id":1,"Name":"golang","Message":"message"}
如果接收缓冲区满了的话，那么也有可能接收到半截的json字符串，酱紫的话还怎么用json解码呢？真是头疼。以下用golang模拟了下这个粘包的产生。
备注：下面贴的代码均可以运行于golang 1.3.1，如果发现有问题可以联系我。
粘包示例
server.go
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
|
//粘包问题演示服务端package main
import (
"fmt"
"net"
"os"
)func main() {
netListen, err := net.Listen("tcp", ":9988")
CheckError(err)
defer netListen.Close()
Log("Waiting for clients")
for {
conn, err := netListen.Accept()
if err != nil {
continue
}
Log(conn.RemoteAddr().String(), " tcp connect success")
go handleConnection(conn)
}
}func handleConnection(conn net.Conn) {
buffer := make([]byte, 1024)
for {
n, err := conn.Read(buffer)
if err != nil {
Log(conn.RemoteAddr().String(), " connection error: ", err)
return
}
Log(conn.RemoteAddr().String(), "receive data length:", n)
Log(conn.RemoteAddr().String(), "receive data:", buffer[:n])
Log(conn.RemoteAddr().String(), "receive data string:", string(buffer[:n]))
}
}func Log(v ...interface{}) {
fmt.Println(v...)
}func CheckError(err error) {
if err != nil {
fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
os.Exit(1)
}
} |
client.go
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
|
//粘包问题演示客户端package main
import (
"fmt"
"net"
"os"
"time"
)func sender(conn net.Conn) {
for i := 0; i < 100; i++ {
words := "{\"Id\":1,\"Name\":\"golang\",\"Message\":\"message\"}"
conn.Write([]byte(words))
}
}func main() {
server := "127.0.0.1:9988"
tcpAddr, err := net.ResolveTCPAddr("tcp4", server)
if err != nil {
fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
os.Exit(1)
}
conn, err := net.DialTCP("tcp", nil, tcpAddr)
if err != nil {
fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
os.Exit(1)
}
defer conn.Close()
fmt.Println("connect success")
go sender(conn)
for {
time.Sleep(1 * 1e9)
}
} |
运行后查看服务端输出：
golang粘包问题演示
可以看到json格式的字符串都粘到一起了，有种淡淡的忧伤了——头疼的事情又来了。
粘包产生原因
关于粘包的产生原因网上有很多相关的说明，主要原因就是tcp数据传递模式是流模式，在保持长连接的时候可以进行多次的收和发。如果要深入了解可以看看tcp协议方面的内容。这里推荐下鸟哥的私房菜，讲的非常通俗易懂。
粘包解决办法
主要有两种方法：
1、客户端发送一次就断开连接，需要发送数据的时候再次连接，典型如http。下面用golang演示一下这个过程，确实不会出现粘包问题。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
|
//客户端代码，演示了发送一次数据就断开连接的package main
import (
"fmt"
"net"
"os"
"time"
)func main() {
server := "127.0.0.1:9988"
for i := 0; i < 10000; i++ {
tcpAddr, err := net.ResolveTCPAddr("tcp4", server)
if err != nil {
fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
os.Exit(1)
}
conn, err := net.DialTCP("tcp", nil, tcpAddr)
if err != nil {
fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
os.Exit(1)
}
words := "{\"Id\":1,\"Name\":\"golang\",\"Message\":\"message\"}"
conn.Write([]byte(words))
conn.Close()
}
for {
time.Sleep(1 * 1e9)
}
} |
服务端代码参考上面演示粘包产生过程的服务端代码
2、包头+数据的格式，根据包头信息读取到需要分析的数据。形式如下图：
golang粘包问题包头定义
从数据流中读取数据的时候，只要根据包头和数据长度就能取到需要的数据。这个其实就是平时说的协议（protocol），只是这个数据传输协议非常简单，不像tcp、ip等协议有较多的定义。在实际的过程中通常会定义协议类或者协议文件来封装封包和解包的过程。下面代码演示了封包和解包的过程：
protocol.go
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
|
//通讯协议处理，主要处理封包和解包的过程package protocol
import (
"bytes"
"encoding/binary"
)const ( ConstHeader = "www.01happy.com"
ConstHeaderLength = 15
ConstSaveDataLength = 4
)//封包func Packet(message []byte) []byte {
return append(append([]byte(ConstHeader), IntToBytes(len(message))...), message...)
}//解包func Unpack(buffer []byte, readerChannel chan []byte) []byte {
length := len(buffer)
var i int
for i = 0; i < length; i = i + 1 {
if length < i+ConstHeaderLength+ConstSaveDataLength {
break
}
if string(buffer[i:i+ConstHeaderLength]) == ConstHeader {
messageLength := BytesToInt(buffer[i+ConstHeaderLength : i+ConstHeaderLength+ConstSaveDataLength])
if length < i+ConstHeaderLength+ConstSaveDataLength+messageLength {
break
}
data := buffer[i+ConstHeaderLength+ConstSaveDataLength : i+ConstHeaderLength+ConstSaveDataLength+messageLength]
readerChannel <- data
i += ConstHeaderLength + ConstSaveDataLength + messageLength - 1
}
}
if i == length {
return make([]byte, 0)
}
return buffer[i:]
}//整形转换成字节func IntToBytes(n int) []byte {
x := int32(n)
bytesBuffer := bytes.NewBuffer([]byte{})
binary.Write(bytesBuffer, binary.BigEndian, x)
return bytesBuffer.Bytes()
}//字节转换成整形func BytesToInt(b []byte) int {
bytesBuffer := bytes.NewBuffer(b)
var x int32
binary.Read(bytesBuffer, binary.BigEndian, &x)
return int(x)
} |
tips：解包的过程中要注意数组越界的问题；另外包头要注意唯一性。
server.go
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
|
//服务端解包过程package main
import (
"./protocol"
"fmt"
"net"
"os"
)func main() {
netListen, err := net.Listen("tcp", ":9988")
CheckError(err)
defer netListen.Close()
Log("Waiting for clients")
for {
conn, err := netListen.Accept()
if err != nil {
continue
}
Log(conn.RemoteAddr().String(), " tcp connect success")
go handleConnection(conn)
}
}func handleConnection(conn net.Conn) {
//声明一个临时缓冲区，用来存储被截断的数据
tmpBuffer := make([]byte, 0)
//声明一个管道用于接收解包的数据
readerChannel := make(chan []byte, 16)
go reader(readerChannel)
buffer := make([]byte, 1024)
for {
n, err := conn.Read(buffer)
if err != nil {
Log(conn.RemoteAddr().String(), " connection error: ", err)
return
}
tmpBuffer = protocol.Unpack(append(tmpBuffer, buffer[:n]...), readerChannel)
}
}func reader(readerChannel chan []byte) {
for {
select {
case data := <-readerChannel:
Log(string(data))
}
}
}func Log(v ...interface{}) {
fmt.Println(v...)
}func CheckError(err error) {
if err != nil {
fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
os.Exit(1)
}
} |
client.go
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
|
//客户端发送封包package main
import (
"./protocol"
"fmt"
"net"
"os"
"time"
)func sender(conn net.Conn) {
for i := 0; i < 1000; i++ {
words := "{\"Id\":1,\"Name\":\"golang\",\"Message\":\"message\"}"
conn.Write(protocol.Packet([]byte(words)))
}
fmt.Println("send over")
}func main() {
server := "127.0.0.1:9988"
tcpAddr, err := net.ResolveTCPAddr("tcp4", server)
if err != nil {
fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
os.Exit(1)
}
conn, err := net.DialTCP("tcp", nil, tcpAddr)
if err != nil {
fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
os.Exit(1)
}
defer conn.Close()
fmt.Println("connect success")
go sender(conn)
for {
time.Sleep(1 * 1e9)
}
} |
运行这个程序可以看到服务端很好的获取到期望的json格式数据。完整代码演示下载：golang粘包问题解决示例
最后
上面演示的两种方法适用于不同的场景。第一种方法比较适合被动型的场景，例如打开网页，用户有请求才处理交互。第二种方法适合于主动推送的类型，例如即时聊天系统，因为要即时给用户推送消息，保持长连接是不可避免的，这时候就要用这种方法。
<!-- 336x280 --> <iframe id="aswift_1" style="left: 0px; top: 0px; position: absolute;" name="aswift_1" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" width="336" height="280"></iframe>转载请注明：快乐编程 » golang中tcp socket粘包问题和处理
相关推荐
GOLANG语言实现SOCKET通讯粘包问题解决示例，对于TCP传输分段，组合无明显界线，造成传输和接收数据包不完整的解决方法！
主要给大家介绍了Golang TCP粘包拆包问题的解决方法，文中通过示例代码介绍的非常详细，对大家学习或者使用Golang具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
GoLang 实现的TCP Socket 客户端 ,模拟与服务器通信的例子
主要介绍了golang网络socket粘包问题的解决方法,简单讲述了socket粘包的定义并结合实例形式分析了Go语言解决粘包问题的方法,需要的朋友可以参考下
在用golang开发人工客服系统的...下面这篇文章主要给大家介绍了关于如何通过6行代码快速解决golang TCP粘包问题的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴下面随着小编来一起学习学习吧。
golang语言实现socket服务端，解决粘包拆包问题，心跳超时检测. //启动socket func (server *SocketServer) Start() { listener, err := net.Listen(server.Network, server.Address) if err != nil { server.On...
Modbustcp golang ModbusTCP库 持续集成 文件资料
一个简单的golang socket服务框架，使用简单的通信协议解决粘包问题，通过心跳计时的方式能-socket
golang tcp http搭建与通信实例，完全由本人一手编写，相对简单易懂
golang中文手册.chm，学习golang语言的字典，一典在手，天下我有
下面小编就为大家带来一篇golang之tcp自动重连实现方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
smux是一个采用Golang开发的socket多路复用器。 smux将一个连接与一个称为流的虚拟通道复用。 它表现得像一个非常简单的HTTP / 2二进制框架层，但它减少了协议开销。
golang编写的只建立连接，不进行读写数据，以测试socket底层读写缓冲区功能；附带抓包测试代码
golang中文手册.rar
golang 中文离线文档，直接解压，运行pkgdoc.exe后，会跳出本地文档地址，默认127.0.0.1:9999
go-socket.io是socket.io在golang中的一个实现，一个实时应用程序框架
中间件 转发服务 包含： tcp socket基础编程 代理服务器模型，源码，demo。
go_tcp_socket golang tcp 套接字示例。 开始编码。
此程序包允许从相同的TCP或UDP端口进行侦听和拨号。 这意味着可以设置以下sockopts： SO_REUSEADDRSO_REUSEPORT godoc： ：//godoc.org/github.com/libp2p/go-reuseport 这是一个简单的程序包，可帮助地址重用。 这...