Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

使用时间作为offset是否有缺陷? #5

Open
137-rick opened this issue Oct 12, 2017 · 2 comments
Open

使用时间作为offset是否有缺陷? #5

137-rick opened this issue Oct 12, 2017 · 2 comments

Comments

@137-rick
Copy link

当拉取进度和服务器时间相同时,某条日志在时间1秒内。

如 xxx0.001秒内写入两条日志,第一条在a分区,第二条也在a分区。
拉取同分区日志时的时间为xxx0.331秒,这时第一条日志刚能拉取到,第二条还未写入,这时提示日志到底。

再次拉取时间为xxx0.631秒 还在一秒范围内,这时会返回第一条第二条日志。日志有重复。如果+1秒获取则会丢失第二条日志。

@sandbeach
Copy link
Contributor

你好,我是日志服务工程师。我想了解下你具体的场景是拖数据,还是查询数据?

在拖数据(拉日志)场景下,GetCursor时间范围都是秒级,还不能精确到一秒内

您如果需要精确查询日志,并保持有序。可以对日志打开查询分析,对时间字段建索引。在查询后对结果做一次排序

@137-rick
Copy link
Author

目前每条日志是否自动会加uuid?,如果有日志生成的uuid我可以通过这个uuid进行去重,如果没有暂时没有更好的方法做去重,可否提供这个功能?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants