推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2828 天前的主题，其中的信息可能已经有所发展或是发生改变。
比如服务端发送 00 01 ； 00 02 两个包 客户端用 python socket.recv()的函数会接收到 00 01 00 02 （粘连在一起） 如何分包？ 服务端我无法控制。 客户端用 python3
之前发在 segmentfault 没人理。。。 https://segmentfault.com/q/1010000008888222
 |
1
wevsty 2017-04-01 22:01:44 +08:00
发一个，等几秒再发第二个
|
 |
2
zyEros 2017-04-01 22:01:49 +08:00 via iPhone
尾部特殊字符，或者头部用 2 字节表明 body 的长度
|
 |
6
dant 2017-04-01 22:16:48 +08:00
TCP 是数据流。
|
 |
8
maemual 2017-04-01 22:24:21 +08:00
tcp 流式数据你是分不了包的。只能加结束符或者发送 content length 之类的东西来判断。
|
 |
9
ifaii 2017-04-01 22:41:50 +08:00 via iPhone
tcp 是流，这种需求不如试试 udp
|
 |
10
lvxudong 2017-04-01 22:49:43 +08:00
socket.recv(num) 可以指定接收字节数
|
|
11
wevsty 2017-04-01 23:06:57 +08:00  1
@just1 抓包工具抓的并不只是 tcp 层面的数据。一个 tcp 包除了发送或者接收的数据还包括了很多内容，比如目标端口，原端口，也有些包不包含应用层的数据。和你理解的接收包不是一回事。解释起来很复杂，但是在应用层的层面上 TCP 应用层的应用是分不清楚包的。如果一定要按照包来处理内容，请使用 UDP 。
当然，使用 UDP 你肯定会遇到更多麻烦。 |
 |
12
mooncakejs 2017-04-01 23:17:20 +08:00 via iPhone
tcp 不需要分包。按照应用层协议解析就好
|
 |
13
jimzhong 2017-04-01 23:18:32 +08:00
如果你是 Linux 的 UNIX Socket ，可以试试 SEQPACKET 协议。
如果是 TCP ，那么建议自己设计一个头，里面包含数据长度，就像 HTTP 的 Content-length 一样 |
|
14
jimzhong 2017-04-01 23:20:21 +08:00 1
@just1 TCP 在传递到 IP 层的时候会分成一个个 Segment ， Segment 的大小由 MSS 决定。每个 Segment 被封装到一个 IP 包里面。但是 Segment 对于应用程序是不可见的，应用程序看到的就是流。
|
 |
15
just1 OP |
 |
16
raiz 2017-04-01 23:26:42 +08:00
既然是ｔｃｐ，本身是流，肯定要有数据协议，就是根据数据包格式，起始标识符，长度域或结束符来判断完整的一包．具体就是逐字节的读取，判断，直到一完整包，给上层，继续读取判断．
|
 |
17
pright 2017-04-02 00:50:50 +08:00 1
如果每个包长度都小于 MSS ，你也可以用 raw socket 自己收 233
|
 |
19
NoAnyLove 2017-04-02 04:26:18 +08:00 1
TCP 是面向数据流的啊，你可以自己定义一个应用层的格式，比如每个包头包含这个包的大小。 recv 的时候先接收包头大小的内容，然后再根据包头接受剩下的数据。当你用直接用 TCP 协议的时候，就不用考虑下面的分包问题了。除非你想用 UDP
|
 |
20
ryd994 2017-04-02 07:39:42 +08:00 via Android
1.每个包以长度开头
2.用库或者自己再实现一层 buffer ，用 deque 实现不难的 3.SCTP |
|
21
ryd994 2017-04-02 07:44:40 +08:00 via Android 1
关了 nagle ，每次 flush ，接收端读取频率够高的话，应该不会粘
但是不保证，毕竟 1.操作系统可以有其他实现 2.拥塞控制 /流控挡了一下，剩下的在发送缓冲合并了 3.接收乱序，等到齐了的时候一起进接收缓冲 4.服务端程序被其他事件打断，睡了一会 |
 |
22
huxh10 2017-04-02 08:26:58 +08:00 1
TCP 确实是一个包一个包发的， wireshark 也能看到。
编程用的 API 是 socket ， socket 是在 TCP 和 UDP 之上又提供了一层抽象。用 socket 处理 SOCK_STREAM ，是流式数据，需要自己再定义包头校验。 |
 |
23
shuax 2017-04-02 09:02:18 +08:00 via Android 1
我们一般用 tlv ， type ， length ， value ，其中 tl 大小固定，叫做包头， value 变长，由 length 决定。先只收包头，收到以后再根据长度收取 value 。
|
 |
24
falseen 2017-04-02 09:04:27 +08:00 via Android 1
用常规方法实现不了，或许可以试试非常规方法。比如用 scapy 抓取 ip 包，然后从中拿到数据。
|
 |
25
magicdawn 2017-04-02 09:47:49 +08:00
什么 content-length, 换行符等特殊字符啊都是简单的应用层协议啊
|
 |
26
aabbccli 2017-04-02 11:18:37 +08:00
就像 HTTP 服务器一样，有三种方式：
一 写完数据， flush 一下缓存 二 用 CONTENT-LENGTH 来标明 PAYLOAD 的大小 三 用类似于 HTTP1.1 的 TRANSFER-ENCODING 的格式来分块 |
 |
27
aploium 2017-04-02 11:22:07 +08:00
1. 最简单的是强制规定每个包都是固定长度, 比如 64bytes 每次 .recv(64) 就是一个包
2. 稍微复杂一点, 用一小段序列作为包之间的分隔两个包,比如 b'\xff\xee\xcc\xaa\xbb\xdd\x00' 收到的东西先存到 buffer 里, 然后根据这段序列自己分隔 优点是很简单, 缺点是可能会误分隔, 以及安全问题. 需要自己处理转义 3. 更复杂的是自己设计一个简单的协议(参考 HTTP) 在协议头部标明内容的长度等一些元信息, 接收端 buffer 后进行分割, 不容易出错 不知道有没有现成的库能做这种事情, 有的话请[at]我 |
 |
29
ihuotui 2017-04-02 14:30:41 +08:00 via iPhone
自己定协议 然后自己分包，实现参考 netty
|
 |
30
sheep3 2017-04-02 18:24:31 +08:00
早在在 segmentfault 看到你的问题了。。。。。 没有做过所以也没法回答 orz
|
 |
31
julyclyde 2017-04-03 15:58:22 +08:00
首先要 坚定 TCP 是流 的信念
然后才能想到如何在流里区分数据的开始和结束 而不是幻想着把应用层的开始结束标志和 TCP segment 对应起来 |
Select Language