Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

taos 3.3.2.0 集群三节点,主节点的taosadpter 的内存 飙高一直不减。 #28717

Open
xuyinghao opened this issue Nov 11, 2024 · 33 comments
Assignees
Labels
help wanted Extra attention is needed

Comments

@xuyinghao
Copy link

xuyinghao commented Nov 11, 2024

16g 的主机,主节点,taosadpter 内存占用过大
image

16g 的主机,备节点,taosadpter内存占用正常

image

@xuyinghao xuyinghao added the bug Something isn't working label Nov 11, 2024
@yu285
Copy link
Contributor

yu285 commented Nov 11, 2024

你们的请求是不是只打其中一个taosadapter,没有做负载均衡

@xuyinghao
Copy link
Author

你们的请求是不是只打其中一个taosadapter,没有做负载均衡

是的

@yu285
Copy link
Contributor

yu285 commented Nov 11, 2024

有没有这个taosadapter的内存增长曲线图

@xuyinghao
Copy link
Author

有没有这个taosadapter的内存增长曲线图

没有,看板只有taosd, 和free 的, free 的 剩余,应该就是对应taosadpter 的
image

@yu285
Copy link
Contributor

yu285 commented Nov 11, 2024

9G还在持续上升对吗

@xuyinghao
Copy link
Author

9G还在持续上升对吗

是的

@yu285
Copy link
Contributor

yu285 commented Nov 11, 2024

使用连接池了吗?

@xuyinghao
Copy link
Author

使用连接池了吗?

用了的

@xuyinghao
Copy link
Author

使用连接池了吗?

意思如果创了连接,没关闭,就会导致服务端连接持续开启占用内存是吧

@yu285
Copy link
Contributor

yu285 commented Nov 11, 2024

如果你没关闭还持续新增连接,就会呗。

但你用了连接池,就不存在上述情况了。

@yu285
Copy link
Contributor

yu285 commented Nov 11, 2024

你们做查询的时候,有释放结果集吗。

@yu285 yu285 added help wanted Extra attention is needed and removed bug Something isn't working labels Nov 11, 2024
@yu285 yu285 self-assigned this Nov 11, 2024
@xuyinghao
Copy link
Author

你们做查询的时候,有释放结果集吗。

这个没有,有相关文档说明吗

@xuyinghao
Copy link
Author

如果你没关闭还持续新增连接,就会呗。

但你用了连接池,就不存在上述情况了。

比如我一个应用创了个链接,但没有主动close, 应用退出了,这个链接会被系统自动释放吗

@xuyinghao
Copy link
Author

如果你没关闭还持续新增连接,就会呗。

但你用了连接池,就不存在上述情况了。

我看当前的链接也不多,总共100多个,感觉不是连接没释放造成
image

@yu285
Copy link
Contributor

yu285 commented Nov 11, 2024

jiu

你们做查询的时候,有释放结果集吗。

这个没有,有相关文档说明吗

就是你查询取回的结果集,需要释放一下。

比如 resultset.close

@xuyinghao
Copy link
Author

jiu

你们做查询的时候,有释放结果集吗。

这个没有,有相关文档说明吗

就是你查询取回的结果集,需要释放一下。

比如 resultset.close

我们是使用spring 的 JdbcTemplate 进行的数据查询操作,我看底层是会自动对结果集进行close的

@yu285
Copy link
Contributor

yu285 commented Nov 11, 2024

麻烦截图看下吧

jiu

你们做查询的时候,有释放结果集吗。

这个没有,有相关文档说明吗

就是你查询取回的结果集,需要释放一下。
比如 resultset.close

我们是使用spring 的 JdbcTemplate 进行的数据查询操作,我看底层是会自动对结果集进行close的

@xuyinghao
Copy link
Author

麻烦截图看下吧

jiu

你们做查询的时候,有释放结果集吗。

这个没有,有相关文档说明吗

就是你查询取回的结果集,需要释放一下。
比如 resultset.close

我们是使用spring 的 JdbcTemplate 进行的数据查询操作,我看底层是会自动对结果集进行close的
image

@xuyinghao
Copy link
Author

image

@yu285
Copy link
Contributor

yu285 commented Nov 11, 2024

目前taosadapter内存是多少了?

@yu285
Copy link
Contributor

yu285 commented Nov 11, 2024

我们的查询的具体细节,量级可以具体描述下

@xuyinghao
Copy link
Author

我们的查询的具体细节,量级可以具体描述下

当前还是占用9个多G, 查询细节就是有10个Java 应用微服务,会去插入或查询数据,数据库是三节点三副本, 查询的数据子表有最多上亿的数据,少的有几十万,多数是百万级数据,查询做了限流,单次前端查询最多应该就1-2M的数据。

@yu285
Copy link
Contributor

yu285 commented Nov 12, 2024

目前taosadapter内存是多少了? 是这样:如果持续在9G左右,至少可以说明不是泄漏。先确认一下这一点,再继续排查

@xuyinghao
Copy link
Author

目前taosadapter内存是多少了? 是这样:如果持续在9G左右,至少可以说明不是泄漏。先确认一下这一点,再继续排查

因把服务器内存占完了,影响其他进程了,我们重启taosadpter, 启动开始看内存是2百M左右, 跑了两天内存就到 1个多G了
image

@yu285
Copy link
Contributor

yu285 commented Nov 13, 2024

可能需要我们远程看下,不过远程之前,可以先升级到近期马上发版的 3.3.4.3 吗?

升级完可以联系我。

@yu285
Copy link
Contributor

yu285 commented Nov 13, 2024

另外,咱们服务端是多少表?表结构可以发下,我们看是不是因为元数据量过大导致。

@yu285
Copy link
Contributor

yu285 commented Nov 18, 2024

新版本上周已经发布 3.3.4.0

@nikolawarren
Copy link

请问该问题得到解决了吗? 我这边也遇到了该问题,想看看新版本是否能够解决

@yu285
Copy link
Contributor

yu285 commented Nov 18, 2024

请问该问题得到解决了吗? 我这边也遇到了该问题,想看看新版本是否能够解决

暂时联系不到,您可以升级一下,新版本各方面都更好,也注意使用的时候释放链接,statement,结果集等内存对象。

@springbootyp
Copy link

另外,咱们服务端是多少表?表结构可以发下,我们看是不是因为元数据量过大导致。

你好,我也遇到此问题,如上通过超级表创建子表数量越多,但是子表无数据。这会导致查询消化更多的内存或CPU嘛? 请问有办法进行判断该子表是否存在数据,来定期删除?

@xuyinghao
Copy link
Author

请问该问题得到解决了吗? 我这边也遇到了该问题,想看看新版本是否能够解决

还没有去升级,你们有尝试升级了吗

@xuyinghao
Copy link
Author

另外,咱们服务端是多少表?表结构可以发下,我们看是不是因为元数据量过大导致。

有两万张超级表。

@xuyinghao
Copy link
Author

请问该问题得到解决了吗? 我这边也遇到了该问题,想看看新版本是否能够解决

暂时联系不到,您可以升级一下,新版本各方面都更好,也注意使用的时候释放链接,statement,结果集等内存对象。

请问用 客户端 java com.taosdata.jdbc
taos-jdbcdriver
3.2.7 可以使用新版本的服务端的3.3.4.0吗

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
help wanted Extra attention is needed
Projects
None yet
Development

No branches or pull requests

4 participants