[CBRD-25749] Add [NOT DETERMINISTIC | DETERMINISTIC] Keywords to the CREATE FUNCTION Statement #5725

jongmin-won · 2024-12-17T07:10:08Z

http://jira.cubrid.org/browse/CBRD-25749

Purpose

Stored Procedure Function의 SubQuery Cache를 구분하기 위해 [NOT DETERMINISTIC | DETERMINISTIC] 키워드를 추가합니다.

NOT DETERMINISTIC: 동일한 입력값이어도 외부 상태나 내부 로직에 따라 결과가 달라질 수 있음을 나타냅니다.
- 기본값은 NOT DETERMINISTIC입니다.
DETERMINISTIC: 동일한 입력값에 대해 항상 동일한 결과를 반환하는 함수를 명시합니다.
- 외부 상태(예: 시스템 시간, 데이터베이스의 다른 테이블 상태 등)에 의존하지 않습니다.

Implementation

1. CREATE FUNCTION 구문에 [NOT DETERMINISTIC | DETERMINISTIC] 키워드가 추가됩니다.

기본값은 NOT DETERMINISTIC입니다.

CREATE [OR REPLACE] FUNCTION function_name [(<parameter_definition> [, <parameter_definition>] ...)] RETURN sql_type
[<opt_authid>] [<opt_deterministic>] {IS | AS} LANGUAGE JAVA <java_call_specification>
COMMENT 'sp_comment_string';

    <parameter_definition> ::= parameter_name [IN|OUT|IN OUT|INOUT] sql_type [COMMENT 'param_comment_string']
    <java_call_specification> ::= NAME 'java_method_name (java_type [,java_type]...) [return java_type]'
    <opt_authid> ::= [AUTHID DEFINER|AUTHID OWNER|AUTHID CALLER|AUTHID CURRENT_USER]
    <opt_deterministic> ::= [NOT DETERMINISTIC|DETERMINISTIC]

2. Unload Schema 파일의 CREATE FUNCTION 구문에 [NOT DETERMINISTIC | DETERMINISTIC] 키워드가 추가됩니다.

cubrid unloaddb -s -C demodb
cat demodb_schema | grep -E 'CREATE PROCEDURE'

CREATE PROCEDURE [dba].[test_sp] () AUTHID OWNER AS LANGUAGE PLCSQL BEGIN RAISE_APPLICATION_ERROR(1000, '[dba].[test_sp]: incomplete during loaddb'); /* __CUBRID_NO_BODY__ */ END;
CREATE PROCEDURE [dba].[phone_info] ([name] IN character varying, [phoneno] IN character varying) AUTHID OWNER AS LANGUAGE JAVA NAME 'PhoneNumber.Phone(java.lang.String, java.lang.String)';

cat demodb_schema | grep -E 'CREATE FUNCTION'

CREATE FUNCTION [dba].[fibonacci] ([n] IN integer) RETURN integer AUTHID OWNER NOT DETERMINISTIC AS LANGUAGE PLCSQL BEGIN RAISE_APPLICATION_ERROR(1000, '[dba].[fibonacci]: incomplete during loaddb'); /* __CUBRID_NO_BODY__ */ END;
CREATE FUNCTION [dba].[sp_int2] ([i] IN integer) RETURN integer AUTHID OWNER NOT DETERMINISTIC AS LANGUAGE JAVA NAME 'SpCubrid.SpInt(int) return int';
CREATE FUNCTION [dba].[sp_int] ([i] IN integer) RETURN integer AUTHID OWNER NOT DETERMINISTIC AS LANGUAGE JAVA NAME 'SpCubrid.SpInt(int) return int';
CREATE FUNCTION [dba].[sp_int3] ([i] IN integer) RETURN integer AUTHID OWNER DETERMINISTIC AS LANGUAGE JAVA NAME 'SpCubrid.SpInt(int) return int';

3. _db_stored_procedure 카탈로그의 directive 컬럼 값에 따른 의미

0: PT_AUTHID_OWNER + PT_NOT_DETERMINISTIC
1: PT_AUTHID_CALLER + PT_NOT_DETERMINISTIC
2: PT_AUTHID_OWNER + PT_DETERMINISTIC
3: PT_AUTHID_CALLER + PT_DETERMINISTIC

4. db_stored_procedure 카탈로그 가상 클래스에 dtrm_type 컬럼을 추가합니다.

select sp_name, owner, sp_type, authid, dtrm_type from db_stored_procedure;

  sp_name               owner                 sp_type               authid                dtrm_type           
==============================================================================================================
  'pl_csql_int'         'DBA'                 'FUNCTION'            'DEFINER'             'NOT DETERMINISTIC' 
  'pl_csql_int2'        'DBA'                 'FUNCTION'            'DEFINER'             'DETERMINISTIC'     
  'test_proc1'          'DBA'                 'PROCEDURE'           'DEFINER'             'NOT DETERMINISTIC'

5. SubQuery에 Stored Procedure Function을 사용하는 경우(correlated), SubQuery Cache가 동작합니다.

Trace의 SUBQUERY_CACHE (hit: 2, miss: 2, size: 150808, status: enabled) 항목이 추가됨

create table tbl (col1 int);
insert into tbl values(1), (2), (1), (2);

CREATE FUNCTION Sp_int3(i int) RETURN int
DETERMINISTIC AS LANGUAGE JAVA
NAME 'SpCubrid.SpInt(int) return int';

;trace on
select (select sp_int3(tbl.col1) from dual) from tbl;

...
Trace Statistics:
  SELECT (time: 2, fetch: 28, fetch_time: 0, ioread: 0)
    SCAN (table: dba.tbl), (heap time: 0, fetch: 20, ioread: 0, readrows: 4, rows: 4)
    SUBQUERY (correlated)
      SELECT (time: 2, fetch: 8, fetch_time: 0, ioread: 0)
        SCAN (table: dual), (heap time: 0, fetch: 8, ioread: 0, readrows: 2, rows: 2)
        SUBQUERY_CACHE (hit: 2, miss: 2, size: 150808, status: enabled)

Remarks

MySQL의 CREATE FUNCTION Statements :
- https://dev.mysql.com/doc/refman/9.1/en/create-procedure.html

…ON Statement

src/sp/pl_signature.hpp

hgryoo · 2024-12-17T07:54:19Z

src/sp/sp_catalog.hpp

@@ -130,6 +130,7 @@ enum sp_directive : int
 {
  SP_DIRECTIVE_RIGHTS_OWNER = 0x00,
  SP_DIRECTIVE_RIGHTS_CALLER = (0x01 << 0),
+  SP_DIRECTIVE_RIGHTS_DETERMINISTIC = (0x02 << 0),


Suggested change

SP_DIRECTIVE_RIGHTS_DETERMINISTIC = (0x02 << 0),

SP_DIRECTIVE_DETERMINISTIC = (0x01 << 1),

코드 리뷰 감사합니다.
말씀하신 부분을 반영하여 수정했습니다.

RIGHTS가 제거되지 않았습니다. RIGHTS는 Execution Rights 관련 문법 (DEFINER, CURRENT_USER) 에 대한 용어입니다.

확인 감사합니다.

다시 수정하여 반영 했습니다.

ctshim · 2024-12-17T08:26:29Z

"NOT DETERMINISTIC" 가 default 라면 unloaddb 할 때 아예 기술하지 않는 것은 어떤가요?

hgryoo · 2024-12-17T08:47:28Z

JIRA 상태를 확인해주세요.

hgryoo · 2024-12-17T08:48:52Z

PL/CSQL의 Lexer 파일 (PlcLexer.g4) 에서 키워드만 추가해서 문법상 통과만 시켜주면 될 것 같습니다.
확인해서 이 PR에서 함께 반영 부탁드립니다.

… | DETERMINISTIC] keywords to the PL/CSQL Lexer and Parser

ctshim · 2024-12-18T01:42:42Z

src/object/schema_system_catalog_install.cpp

@@ -1815,6 +1815,7 @@ namespace cubschema
      {"arg_count", "integer"},
      {"lang", "varchar(16)"},
      {"authid", "varchar(16)"},
+      {"dtrm_type", "varchar(20)"},


"dtrm"을 보고 유추하기 어려울 듯 합니다.
좀 길더라도 "deterministic_" prefix를 사용하는 것이 어떤가요?

is_deterministic varchar(3) 은 어떨까요

varchar(20) 인 이유는 뭔가요?
여기에 문자열로 담아 두나요?
형규님 의견을 받는다면 Y/N 같은 것으로 충분할 듯요

deterministic 혹은 non_deterministic 으로 저장하기 위한 고려인 것 같습니다.

코드 리뷰 감사합니다.
말씀하신 부분을 반영하여 수정했습니다.

kangmin5505 · 2024-12-18T04:15:29Z

src/sp/jsp_cl.cpp

@@ -2086,8 +2106,17 @@ jsp_make_pl_signature (PARSER_CONTEXT *parser, PT_NODE *node, PT_NODE *subquery_
 	  }

 	sig.auth = db_private_strdup (NULL, auth_name);
+	if ((directive & SP_DIRECTIVE_ENUM::SP_DIRECTIVE_RIGHTS_DETERMINISTIC))


Suggested change

if ((directive & SP_DIRECTIVE_ENUM::SP_DIRECTIVE_RIGHTS_DETERMINISTIC))

if (directive & SP_DIRECTIVE_ENUM::SP_DIRECTIVE_RIGHTS_DETERMINISTIC)

코드 리뷰 감사합니다.
말씀하신 부분을 반영하여 수정했습니다.

hyunikn · 2024-12-18T04:53:52Z

src/parser/csql_grammar.y

@@ -3129,14 +3131,15 @@ create_stmt
 	  opt_sp_param_list	                        /* 6 */
 	  RETURN sp_return_type		                /* 7, 8 */
          opt_authid                                    /* 9 */
-	  is_or_as pl_language_spec		        /* 10, 11 */
-	  opt_comment_spec				/* 12 */
+          opt_deterministic                             /* 10 */


deterministic 이 authid 앞에 와도 괜찮도록 문법 구성을 해야 할 것 같습니다.

코드 리뷰 감사합니다.

말씀해 주신 부분은 조금 더 코드 분석을 진행한 후 반영하도록 하겠습니다.

hyunikn · 2024-12-18T05:02:57Z

pl_engine/pl_server/src/main/antlr/PlcParser.g4

@@ -40,7 +40,7 @@ create_routine

 routine_definition
    : (PROCEDURE | FUNCTION) routine_uniq_name ( (LPAREN parameter_list RPAREN)? | LPAREN RPAREN ) (RETURN type_spec)?
-      (authid_spec)? (IS | AS) (LANGUAGE PLCSQL)? seq_of_declare_specs? body (SEMICOLON)?
+      (authid_spec)? (deterministic_spec)? (IS | AS) (LANGUAGE PLCSQL)? seq_of_declare_specs? body (SEMICOLON)?


authid_spec 과 deterministic_spec 이 순서가 바뀌어도 에러가 나지 않도록 문법 구성을 해야 할 것 같습니다.

코드 리뷰 감사합니다.

말씀해 주신 부분은 조금 더 코드 분석을 진행한 후 반영하도록 하겠습니다.

hyunikn · 2024-12-18T05:18:13Z

src/parser/xasl_generation.c

+	   */
+	  if (regu_src->value.sp_ptr->sig->is_deterministic == false)
+	    {
+	      return ER_FAILED;


불필요한 assign 문이 실행되지 않도록
27628 이후 추가된 코드는 27627 라인 앞에 위치하는 것이 좋겠습니다.

코드 리뷰 감사합니다.
말씀하신 부분을 반영하여 수정했습니다.

hyunikn · 2024-12-18T05:22:23Z

src/parser/xasl_generation.c

+	   */
+	  if (regu_src->value.sp_ptr->sig->is_deterministic == false)
+	    {
+	      return ER_FAILED;


[질문] 이 리턴문이 deterministic 하지 않은 function 은 query cache 를 사용하지 못하도록 제약하는 효과가 있는 것인가요.

네, 맞습니다.

deterministic 키워드를 사용한 function만 아래 로직을 수행하여 query cache 사용할 수 있습니다.
반대로, deterministic 키워드가 없는 함수는 아래 로직을 수행하지 않으므로 query cache를 사용할 수 없습니다.

hyunikn · 2024-12-18T05:32:54Z

src/sp/sp_catalog.hpp

@@ -130,6 +130,7 @@ enum sp_directive : int
 {
  SP_DIRECTIVE_RIGHTS_OWNER = 0x00,
  SP_DIRECTIVE_RIGHTS_CALLER = (0x01 << 0),
+  SP_DIRECTIVE_RIGHTS_DETERMINISTIC = (0x01 << 1),


rights 는 owner와 caller 에만 붙는 용어 같습니다.

코드 리뷰 감사합니다.
다시 수정하여 반영 했습니다.

hgryoo · 2024-12-18T05:59:54Z

src/sp/pl_signature.hpp

@@ -92,6 +92,7 @@ namespace cubpl
    int type; // PL_TYPE
    char *name;
    char *auth;
+    bool is_deterministic; // DETERMINISTIC


pl_signature의 pack, unpack, get_packed_size 에 대해서 is_deterministic 값도 추가 반영해야 XASL과 CALL 문에서 해당 값이 전달됩니다.

코드 리뷰 감사합니다.

오프라인으로 주신 피드백을 참고하여 관련된 부분에 아래 조건을 추가했습니다:
#if defined (CS_MODE)

Add [NOT DETERMINISTIC | DETERMINISTIC] Keywords to the CREATE FUNCTI…

2260c0b

…ON Statement

jongmin-won self-assigned this Dec 17, 2024

jongmin-won marked this pull request as ready for review December 17, 2024 07:33

jongmin-won requested a review from beyondykk9 as a code owner December 17, 2024 07:33

jongmin-won requested review from hgryoo, vimkim, hyunikn, ctshim and kangmin5505 December 17, 2024 07:33

hgryoo reviewed Dec 17, 2024

View reviewed changes

src/sp/pl_signature.hpp Outdated Show resolved Hide resolved

hgryoo reviewed Dec 17, 2024

View reviewed changes

jongmin-won added 3 commits December 17, 2024 18:02

Merge remote-tracking branch 'upstream/develop' into CBRD-25749

0542c3f

1. Modify based on code review feedback, 2.Add the [NOT DETERMINISTIC…

cd4e6c3

… | DETERMINISTIC] keywords to the PL/CSQL Lexer and Parser

Add the dtrm_type column to the db_stored_procedure catalog view table.

71ee4cc

ctshim reviewed Dec 18, 2024

View reviewed changes

kangmin5505 reviewed Dec 18, 2024

View reviewed changes

hyunikn reviewed Dec 18, 2024

View reviewed changes

hyunikn approved these changes Dec 18, 2024

View reviewed changes

hgryoo reviewed Dec 18, 2024

View reviewed changes

jongmin-won added 2 commits December 20, 2024 09:15

Merge remote-tracking branch 'upstream/develop' into CBRD-25749

0fcb37d

Reflects some of the code review content.

ca10800

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

[CBRD-25749] Add [NOT DETERMINISTIC | DETERMINISTIC] Keywords to the CREATE FUNCTION Statement #5725

[CBRD-25749] Add [NOT DETERMINISTIC | DETERMINISTIC] Keywords to the CREATE FUNCTION Statement #5725

jongmin-won commented Dec 17, 2024 •

edited

Loading

hgryoo Dec 17, 2024

jongmin-won Dec 17, 2024

hgryoo Dec 18, 2024

jongmin-won Dec 21, 2024

ctshim commented Dec 17, 2024

hgryoo commented Dec 17, 2024

hgryoo commented Dec 17, 2024

ctshim Dec 18, 2024

hgryoo Dec 18, 2024

ctshim Dec 19, 2024

beyondykk9 Dec 19, 2024

jongmin-won Dec 21, 2024

kangmin5505 Dec 18, 2024

jongmin-won Dec 21, 2024

hyunikn Dec 18, 2024

jongmin-won Dec 21, 2024

hyunikn Dec 18, 2024

jongmin-won Dec 21, 2024

hyunikn Dec 18, 2024 •

edited

Loading

jongmin-won Dec 21, 2024

hyunikn Dec 18, 2024

jongmin-won Dec 21, 2024

hyunikn Dec 18, 2024

jongmin-won Dec 21, 2024

hgryoo Dec 18, 2024

jongmin-won Dec 21, 2024

	SP_DIRECTIVE_RIGHTS_DETERMINISTIC = (0x02 << 0),
	SP_DIRECTIVE_DETERMINISTIC = (0x01 << 1),

	if ((directive & SP_DIRECTIVE_ENUM::SP_DIRECTIVE_RIGHTS_DETERMINISTIC))
	if (directive & SP_DIRECTIVE_ENUM::SP_DIRECTIVE_RIGHTS_DETERMINISTIC)

[CBRD-25749] Add [NOT DETERMINISTIC | DETERMINISTIC] Keywords to the CREATE FUNCTION Statement #5725

Are you sure you want to change the base?

[CBRD-25749] Add [NOT DETERMINISTIC | DETERMINISTIC] Keywords to the CREATE FUNCTION Statement #5725

Conversation

jongmin-won commented Dec 17, 2024 • edited Loading

Purpose

Implementation

1. CREATE FUNCTION 구문에 [NOT DETERMINISTIC | DETERMINISTIC] 키워드가 추가됩니다.

2. Unload Schema 파일의 CREATE FUNCTION 구문에 [NOT DETERMINISTIC | DETERMINISTIC] 키워드가 추가됩니다.

3. _db_stored_procedure 카탈로그의 directive 컬럼 값에 따른 의미

4. db_stored_procedure 카탈로그 가상 클래스에 dtrm_type 컬럼을 추가합니다.

5. SubQuery에 Stored Procedure Function을 사용하는 경우(correlated), SubQuery Cache가 동작합니다.

Remarks

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ctshim commented Dec 17, 2024

hgryoo commented Dec 17, 2024

hgryoo commented Dec 17, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

hyunikn Dec 18, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

jongmin-won commented Dec 17, 2024 •

edited

Loading

hyunikn Dec 18, 2024 •

edited

Loading