[SPARK-24537][R] Add array_remove / array_zip / map_from_arrays / array_distinct
[spark.git] / R / pkg / R / generics.R
1 #
2 # Licensed to the Apache Software Foundation (ASF) under one or more
3 # contributor license agreements.  See the NOTICE file distributed with
4 # this work for additional information regarding copyright ownership.
5 # The ASF licenses this file to You under the Apache License, Version 2.0
6 # (the "License"); you may not use this file except in compliance with
7 # the License.  You may obtain a copy of the License at
8 #
9 #    http://www.apache.org/licenses/LICENSE-2.0
10 #
11 # Unless required by applicable law or agreed to in writing, software
12 # distributed under the License is distributed on an "AS IS" BASIS,
13 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
14 # See the License for the specific language governing permissions and
15 # limitations under the License.
16 #
17
18 ############ RDD Actions and Transformations ############
19
20 # @rdname aggregateRDD
21 # @seealso reduce
22 setGeneric("aggregateRDD",
23            function(x, zeroValue, seqOp, combOp) { standardGeneric("aggregateRDD") })
24
25 setGeneric("cacheRDD", function(x) { standardGeneric("cacheRDD") })
26
27 # @rdname coalesce
28 # @seealso repartition
29 setGeneric("coalesceRDD", function(x, numPartitions, ...) { standardGeneric("coalesceRDD") })
30
31 # @rdname checkpoint-methods
32 setGeneric("checkpointRDD", function(x) { standardGeneric("checkpointRDD") })
33
34 setGeneric("collectRDD", function(x, ...) { standardGeneric("collectRDD") })
35
36 # @rdname collect-methods
37 setGeneric("collectAsMap", function(x) { standardGeneric("collectAsMap") })
38
39 # @rdname collect-methods
40 setGeneric("collectPartition",
41            function(x, partitionId) {
42              standardGeneric("collectPartition")
43            })
44
45 setGeneric("countRDD", function(x) { standardGeneric("countRDD") })
46
47 setGeneric("lengthRDD", function(x) { standardGeneric("lengthRDD") })
48
49 # @rdname countByValue
50 setGeneric("countByValue", function(x) { standardGeneric("countByValue") })
51
52 # @rdname crosstab
53 setGeneric("crosstab", function(x, col1, col2) { standardGeneric("crosstab") })
54
55 # @rdname freqItems
56 setGeneric("freqItems", function(x, cols, support = 0.01) { standardGeneric("freqItems") })
57
58 # @rdname approxQuantile
59 setGeneric("approxQuantile",
60            function(x, cols, probabilities, relativeError) {
61              standardGeneric("approxQuantile")
62            })
63
64 setGeneric("distinctRDD", function(x, numPartitions = 1) { standardGeneric("distinctRDD") })
65
66 # @rdname filterRDD
67 setGeneric("filterRDD", function(x, f) { standardGeneric("filterRDD") })
68
69 setGeneric("firstRDD", function(x, ...) { standardGeneric("firstRDD") })
70
71 # @rdname flatMap
72 setGeneric("flatMap", function(X, FUN) { standardGeneric("flatMap") })
73
74 # @rdname fold
75 # @seealso reduce
76 setGeneric("fold", function(x, zeroValue, op) { standardGeneric("fold") })
77
78 setGeneric("foreach", function(x, func) { standardGeneric("foreach") })
79
80 setGeneric("foreachPartition", function(x, func) { standardGeneric("foreachPartition") })
81
82 # The jrdd accessor function.
83 setGeneric("getJRDD", function(rdd, ...) { standardGeneric("getJRDD") })
84
85 # @rdname glom
86 setGeneric("glom", function(x) { standardGeneric("glom") })
87
88 # @rdname histogram
89 setGeneric("histogram", function(df, col, nbins=10) { standardGeneric("histogram") })
90
91 setGeneric("joinRDD", function(x, y, ...) { standardGeneric("joinRDD") })
92
93 # @rdname keyBy
94 setGeneric("keyBy", function(x, func) { standardGeneric("keyBy") })
95
96 setGeneric("lapplyPartition", function(X, FUN) { standardGeneric("lapplyPartition") })
97
98 setGeneric("lapplyPartitionsWithIndex",
99            function(X, FUN) {
100              standardGeneric("lapplyPartitionsWithIndex")
101            })
102
103 setGeneric("map", function(X, FUN) { standardGeneric("map") })
104
105 setGeneric("mapPartitions", function(X, FUN) { standardGeneric("mapPartitions") })
106
107 setGeneric("mapPartitionsWithIndex",
108            function(X, FUN) { standardGeneric("mapPartitionsWithIndex") })
109
110 # @rdname maximum
111 setGeneric("maximum", function(x) { standardGeneric("maximum") })
112
113 # @rdname minimum
114 setGeneric("minimum", function(x) { standardGeneric("minimum") })
115
116 # @rdname sumRDD
117 setGeneric("sumRDD", function(x) { standardGeneric("sumRDD") })
118
119 # @rdname name
120 setGeneric("name", function(x) { standardGeneric("name") })
121
122 # @rdname getNumPartitionsRDD
123 setGeneric("getNumPartitionsRDD", function(x) { standardGeneric("getNumPartitionsRDD") })
124
125 # @rdname getNumPartitions
126 setGeneric("numPartitions", function(x) { standardGeneric("numPartitions") })
127
128 setGeneric("persistRDD", function(x, newLevel) { standardGeneric("persistRDD") })
129
130 # @rdname pipeRDD
131 setGeneric("pipeRDD", function(x, command, env = list()) { standardGeneric("pipeRDD")})
132
133 # @rdname pivot
134 setGeneric("pivot", function(x, colname, values = list()) { standardGeneric("pivot") })
135
136 # @rdname reduce
137 setGeneric("reduce", function(x, func) { standardGeneric("reduce") })
138
139 setGeneric("repartitionRDD", function(x, ...) { standardGeneric("repartitionRDD") })
140
141 # @rdname sampleRDD
142 setGeneric("sampleRDD",
143            function(x, withReplacement, fraction, seed) {
144              standardGeneric("sampleRDD")
145            })
146
147 # @rdname saveAsObjectFile
148 # @seealso objectFile
149 setGeneric("saveAsObjectFile", function(x, path) { standardGeneric("saveAsObjectFile") })
150
151 # @rdname saveAsTextFile
152 setGeneric("saveAsTextFile", function(x, path) { standardGeneric("saveAsTextFile") })
153
154 # @rdname setName
155 setGeneric("setName", function(x, name) { standardGeneric("setName") })
156
157 setGeneric("showRDD", function(object, ...) { standardGeneric("showRDD") })
158
159 # @rdname sortBy
160 setGeneric("sortBy",
161            function(x, func, ascending = TRUE, numPartitions = 1) {
162              standardGeneric("sortBy")
163            })
164
165 setGeneric("takeRDD", function(x, num) { standardGeneric("takeRDD") })
166
167 # @rdname takeOrdered
168 setGeneric("takeOrdered", function(x, num) { standardGeneric("takeOrdered") })
169
170 # @rdname takeSample
171 setGeneric("takeSample",
172            function(x, withReplacement, num, seed) {
173              standardGeneric("takeSample")
174            })
175
176 # @rdname top
177 setGeneric("top", function(x, num) { standardGeneric("top") })
178
179 # @rdname unionRDD
180 setGeneric("unionRDD", function(x, y) { standardGeneric("unionRDD") })
181
182 setGeneric("unpersistRDD", function(x, ...) { standardGeneric("unpersistRDD") })
183
184 # @rdname zipRDD
185 setGeneric("zipRDD", function(x, other) { standardGeneric("zipRDD") })
186
187 # @rdname zipRDD
188 setGeneric("zipPartitions", function(..., func) { standardGeneric("zipPartitions") },
189            signature = "...")
190
191 # @rdname zipWithIndex
192 # @seealso zipWithUniqueId
193 setGeneric("zipWithIndex", function(x) { standardGeneric("zipWithIndex") })
194
195 # @rdname zipWithUniqueId
196 # @seealso zipWithIndex
197 setGeneric("zipWithUniqueId", function(x) { standardGeneric("zipWithUniqueId") })
198
199
200 ############ Binary Functions #############
201
202 # @rdname cartesian
203 setGeneric("cartesian", function(x, other) { standardGeneric("cartesian") })
204
205 # @rdname countByKey
206 setGeneric("countByKey", function(x) { standardGeneric("countByKey") })
207
208 # @rdname flatMapValues
209 setGeneric("flatMapValues", function(X, FUN) { standardGeneric("flatMapValues") })
210
211 # @rdname intersection
212 setGeneric("intersection",
213            function(x, other, numPartitions = 1) {
214              standardGeneric("intersection")
215            })
216
217 # @rdname keys
218 setGeneric("keys", function(x) { standardGeneric("keys") })
219
220 # @rdname lookup
221 setGeneric("lookup", function(x, key) { standardGeneric("lookup") })
222
223 # @rdname mapValues
224 setGeneric("mapValues", function(X, FUN) { standardGeneric("mapValues") })
225
226 # @rdname sampleByKey
227 setGeneric("sampleByKey",
228            function(x, withReplacement, fractions, seed) {
229              standardGeneric("sampleByKey")
230            })
231
232 # @rdname values
233 setGeneric("values", function(x) { standardGeneric("values") })
234
235
236 ############ Shuffle Functions ############
237
238 # @rdname aggregateByKey
239 # @seealso foldByKey, combineByKey
240 setGeneric("aggregateByKey",
241            function(x, zeroValue, seqOp, combOp, numPartitions) {
242              standardGeneric("aggregateByKey")
243            })
244
245 # @rdname cogroup
246 setGeneric("cogroup",
247            function(..., numPartitions) {
248              standardGeneric("cogroup")
249            },
250            signature = "...")
251
252 # @rdname combineByKey
253 # @seealso groupByKey, reduceByKey
254 setGeneric("combineByKey",
255            function(x, createCombiner, mergeValue, mergeCombiners, numPartitions) {
256              standardGeneric("combineByKey")
257            })
258
259 # @rdname foldByKey
260 # @seealso aggregateByKey, combineByKey
261 setGeneric("foldByKey",
262            function(x, zeroValue, func, numPartitions) {
263              standardGeneric("foldByKey")
264            })
265
266 # @rdname join-methods
267 setGeneric("fullOuterJoin", function(x, y, numPartitions) { standardGeneric("fullOuterJoin") })
268
269 # @rdname groupByKey
270 # @seealso reduceByKey
271 setGeneric("groupByKey", function(x, numPartitions) { standardGeneric("groupByKey") })
272
273 # @rdname join-methods
274 setGeneric("join", function(x, y, ...) { standardGeneric("join") })
275
276 # @rdname join-methods
277 setGeneric("leftOuterJoin", function(x, y, numPartitions) { standardGeneric("leftOuterJoin") })
278
279 setGeneric("partitionByRDD", function(x, ...) { standardGeneric("partitionByRDD") })
280
281 # @rdname reduceByKey
282 # @seealso groupByKey
283 setGeneric("reduceByKey", function(x, combineFunc, numPartitions) { standardGeneric("reduceByKey")})
284
285 # @rdname reduceByKeyLocally
286 # @seealso reduceByKey
287 setGeneric("reduceByKeyLocally",
288            function(x, combineFunc) {
289              standardGeneric("reduceByKeyLocally")
290            })
291
292 # @rdname join-methods
293 setGeneric("rightOuterJoin", function(x, y, numPartitions) { standardGeneric("rightOuterJoin") })
294
295 # @rdname sortByKey
296 setGeneric("sortByKey",
297            function(x, ascending = TRUE, numPartitions = 1) {
298              standardGeneric("sortByKey")
299            })
300
301 # @rdname subtract
302 setGeneric("subtract",
303            function(x, other, numPartitions = 1) {
304              standardGeneric("subtract")
305            })
306
307 # @rdname subtractByKey
308 setGeneric("subtractByKey",
309            function(x, other, numPartitions = 1) {
310              standardGeneric("subtractByKey")
311            })
312
313
314 ################### Broadcast Variable Methods #################
315
316 # @rdname broadcast
317 setGeneric("value", function(bcast) { standardGeneric("value") })
318
319
320 ####################  SparkDataFrame Methods ########################
321
322 #' @param x a SparkDataFrame or GroupedData.
323 #' @param ... further arguments to be passed to or from other methods.
324 #' @return A SparkDataFrame.
325 #' @rdname summarize
326 setGeneric("agg", function(x, ...) { standardGeneric("agg") })
327
328 #' alias
329 #'
330 #' Returns a new SparkDataFrame or a Column with an alias set. Equivalent to SQL "AS" keyword.
331 #'
332 #' @name alias
333 #' @rdname alias
334 #' @param object x a SparkDataFrame or a Column
335 #' @param data new name to use
336 #' @return a SparkDataFrame or a Column
337 NULL
338
339 #' @rdname arrange
340 setGeneric("arrange", function(x, col, ...) { standardGeneric("arrange") })
341
342 #' @rdname as.data.frame
343 setGeneric("as.data.frame",
344            function(x, row.names = NULL, optional = FALSE, ...) {
345              standardGeneric("as.data.frame")
346            })
347
348 # Do not document the generic because of signature changes across R versions
349 #' @noRd
350 setGeneric("attach")
351
352 #' @rdname cache
353 setGeneric("cache", function(x) { standardGeneric("cache") })
354
355 #' @rdname checkpoint
356 setGeneric("checkpoint", function(x, eager = TRUE) { standardGeneric("checkpoint") })
357
358 #' @rdname coalesce
359 #' @param x a SparkDataFrame.
360 #' @param ... additional argument(s).
361 setGeneric("coalesce", function(x, ...) { standardGeneric("coalesce") })
362
363 #' @rdname collect
364 setGeneric("collect", function(x, ...) { standardGeneric("collect") })
365
366 #' @param do.NULL currently not used.
367 #' @param prefix currently not used.
368 #' @rdname columns
369 setGeneric("colnames", function(x, do.NULL = TRUE, prefix = "col") { standardGeneric("colnames") })
370
371 #' @rdname columns
372 setGeneric("colnames<-", function(x, value) { standardGeneric("colnames<-") })
373
374 #' @rdname coltypes
375 setGeneric("coltypes", function(x) { standardGeneric("coltypes") })
376
377 #' @rdname coltypes
378 setGeneric("coltypes<-", function(x, value) { standardGeneric("coltypes<-") })
379
380 #' @rdname columns
381 setGeneric("columns", function(x) {standardGeneric("columns") })
382
383 #' @param x a GroupedData or Column.
384 #' @rdname count
385 setGeneric("count", function(x) { standardGeneric("count") })
386
387 #' @rdname cov
388 #' @param x a Column or a SparkDataFrame.
389 #' @param ... additional argument(s). If \code{x} is a Column, a Column
390 #'        should be provided. If \code{x} is a SparkDataFrame, two column names should
391 #'        be provided.
392 setGeneric("cov", function(x, ...) {standardGeneric("cov") })
393
394 #' @rdname corr
395 #' @param x a Column or a SparkDataFrame.
396 #' @param ... additional argument(s). If \code{x} is a Column, a Column
397 #'        should be provided. If \code{x} is a SparkDataFrame, two column names should
398 #'        be provided.
399 setGeneric("corr", function(x, ...) {standardGeneric("corr") })
400
401 #' @rdname cov
402 setGeneric("covar_samp", function(col1, col2) {standardGeneric("covar_samp") })
403
404 #' @rdname cov
405 setGeneric("covar_pop", function(col1, col2) {standardGeneric("covar_pop") })
406
407 #' @rdname createOrReplaceTempView
408 setGeneric("createOrReplaceTempView",
409            function(x, viewName) {
410              standardGeneric("createOrReplaceTempView")
411            })
412
413 # @rdname crossJoin
414 setGeneric("crossJoin", function(x, y) { standardGeneric("crossJoin") })
415
416 #' @rdname cube
417 setGeneric("cube", function(x, ...) { standardGeneric("cube") })
418
419 #' @rdname dapply
420 setGeneric("dapply", function(x, func, schema) { standardGeneric("dapply") })
421
422 #' @rdname dapplyCollect
423 setGeneric("dapplyCollect", function(x, func) { standardGeneric("dapplyCollect") })
424
425 #' @param x a SparkDataFrame or GroupedData.
426 #' @param ... additional argument(s) passed to the method.
427 #' @rdname gapply
428 setGeneric("gapply", function(x, ...) { standardGeneric("gapply") })
429
430 #' @param x a SparkDataFrame or GroupedData.
431 #' @param ... additional argument(s) passed to the method.
432 #' @rdname gapplyCollect
433 setGeneric("gapplyCollect", function(x, ...) { standardGeneric("gapplyCollect") })
434
435 # @rdname getNumPartitions
436 setGeneric("getNumPartitions", function(x) { standardGeneric("getNumPartitions") })
437
438 #' @rdname describe
439 setGeneric("describe", function(x, col, ...) { standardGeneric("describe") })
440
441 #' @rdname distinct
442 setGeneric("distinct", function(x) { standardGeneric("distinct") })
443
444 #' @rdname drop
445 setGeneric("drop", function(x, ...) { standardGeneric("drop") })
446
447 #' @rdname dropDuplicates
448 setGeneric("dropDuplicates", function(x, ...) { standardGeneric("dropDuplicates") })
449
450 #' @rdname nafunctions
451 setGeneric("dropna",
452            function(x, how = c("any", "all"), minNonNulls = NULL, cols = NULL) {
453              standardGeneric("dropna")
454            })
455
456 #' @rdname nafunctions
457 setGeneric("na.omit",
458            function(object, ...) {
459              standardGeneric("na.omit")
460            })
461
462 #' @rdname dtypes
463 setGeneric("dtypes", function(x) { standardGeneric("dtypes") })
464
465 #' @rdname explain
466 #' @param x a SparkDataFrame or a StreamingQuery.
467 #' @param extended Logical. If extended is FALSE, prints only the physical plan.
468 #' @param ... further arguments to be passed to or from other methods.
469 setGeneric("explain", function(x, ...) { standardGeneric("explain") })
470
471 #' @rdname except
472 setGeneric("except", function(x, y) { standardGeneric("except") })
473
474 #' @rdname nafunctions
475 setGeneric("fillna", function(x, value, cols = NULL) { standardGeneric("fillna") })
476
477 #' @rdname filter
478 setGeneric("filter", function(x, condition) { standardGeneric("filter") })
479
480 #' @rdname first
481 setGeneric("first", function(x, ...) { standardGeneric("first") })
482
483 #' @rdname groupBy
484 setGeneric("group_by", function(x, ...) { standardGeneric("group_by") })
485
486 #' @rdname groupBy
487 setGeneric("groupBy", function(x, ...) { standardGeneric("groupBy") })
488
489 #' @rdname hint
490 setGeneric("hint", function(x, name, ...) { standardGeneric("hint") })
491
492 #' @rdname insertInto
493 setGeneric("insertInto", function(x, tableName, ...) { standardGeneric("insertInto") })
494
495 #' @rdname intersect
496 setGeneric("intersect", function(x, y) { standardGeneric("intersect") })
497
498 #' @rdname isLocal
499 setGeneric("isLocal", function(x) { standardGeneric("isLocal") })
500
501 #' @rdname isStreaming
502 setGeneric("isStreaming", function(x) { standardGeneric("isStreaming") })
503
504 #' @rdname limit
505 setGeneric("limit", function(x, num) {standardGeneric("limit") })
506
507 #' @rdname localCheckpoint
508 setGeneric("localCheckpoint", function(x, eager = TRUE) { standardGeneric("localCheckpoint") })
509
510 #' @rdname merge
511 setGeneric("merge")
512
513 #' @rdname mutate
514 setGeneric("mutate", function(.data, ...) {standardGeneric("mutate") })
515
516 #' @rdname orderBy
517 setGeneric("orderBy", function(x, col, ...) { standardGeneric("orderBy") })
518
519 #' @rdname persist
520 setGeneric("persist", function(x, newLevel) { standardGeneric("persist") })
521
522 #' @rdname printSchema
523 setGeneric("printSchema", function(x) { standardGeneric("printSchema") })
524
525 #' @rdname registerTempTable-deprecated
526 setGeneric("registerTempTable", function(x, tableName) { standardGeneric("registerTempTable") })
527
528 #' @rdname rename
529 setGeneric("rename", function(x, ...) { standardGeneric("rename") })
530
531 #' @rdname repartition
532 setGeneric("repartition", function(x, ...) { standardGeneric("repartition") })
533
534 #' @rdname repartitionByRange
535 setGeneric("repartitionByRange", function(x, ...) { standardGeneric("repartitionByRange") })
536
537 #' @rdname sample
538 setGeneric("sample",
539            function(x, withReplacement = FALSE, fraction, seed) {
540              standardGeneric("sample")
541            })
542
543 #' @rdname rollup
544 setGeneric("rollup", function(x, ...) { standardGeneric("rollup") })
545
546 #' @rdname sample
547 setGeneric("sample_frac",
548            function(x, withReplacement = FALSE, fraction, seed) { standardGeneric("sample_frac") })
549
550 #' @rdname sampleBy
551 setGeneric("sampleBy", function(x, col, fractions, seed) { standardGeneric("sampleBy") })
552
553 #' @rdname saveAsTable
554 setGeneric("saveAsTable", function(df, tableName, source = NULL, mode = "error", ...) {
555   standardGeneric("saveAsTable")
556 })
557
558 setGeneric("str")
559
560 #' @rdname take
561 setGeneric("take", function(x, num) { standardGeneric("take") })
562
563 #' @rdname mutate
564 setGeneric("transform", function(`_data`, ...) {standardGeneric("transform") })
565
566 #' @rdname write.df
567 setGeneric("write.df", function(df, path = NULL, source = NULL, mode = "error", ...) {
568   standardGeneric("write.df")
569 })
570
571 #' @rdname write.df
572 setGeneric("saveDF", function(df, path, source = NULL, mode = "error", ...) {
573   standardGeneric("saveDF")
574 })
575
576 #' @rdname write.jdbc
577 setGeneric("write.jdbc", function(x, url, tableName, mode = "error", ...) {
578   standardGeneric("write.jdbc")
579 })
580
581 #' @rdname write.json
582 setGeneric("write.json", function(x, path, ...) { standardGeneric("write.json") })
583
584 #' @rdname write.orc
585 setGeneric("write.orc", function(x, path, ...) { standardGeneric("write.orc") })
586
587 #' @rdname write.parquet
588 setGeneric("write.parquet", function(x, path, ...) {
589   standardGeneric("write.parquet")
590 })
591
592 #' @rdname write.parquet
593 setGeneric("saveAsParquetFile", function(x, path) { standardGeneric("saveAsParquetFile") })
594
595 #' @rdname write.stream
596 setGeneric("write.stream", function(df, source = NULL, outputMode = NULL, ...) {
597   standardGeneric("write.stream")
598 })
599
600 #' @rdname write.text
601 setGeneric("write.text", function(x, path, ...) { standardGeneric("write.text") })
602
603 #' @rdname schema
604 setGeneric("schema", function(x) { standardGeneric("schema") })
605
606 #' @rdname select
607 setGeneric("select", function(x, col, ...) { standardGeneric("select") })
608
609 #' @rdname selectExpr
610 setGeneric("selectExpr", function(x, expr, ...) { standardGeneric("selectExpr") })
611
612 #' @rdname showDF
613 setGeneric("showDF", function(x, ...) { standardGeneric("showDF") })
614
615 # @rdname storageLevel
616 setGeneric("storageLevel", function(x) { standardGeneric("storageLevel") })
617
618 #' @rdname subset
619 setGeneric("subset", function(x, ...) { standardGeneric("subset") })
620
621 #' @rdname summarize
622 setGeneric("summarize", function(x, ...) { standardGeneric("summarize") })
623
624 #' @rdname summary
625 setGeneric("summary", function(object, ...) { standardGeneric("summary") })
626
627 setGeneric("toJSON", function(x, ...) { standardGeneric("toJSON") })
628
629 setGeneric("toRDD", function(x) { standardGeneric("toRDD") })
630
631 #' @rdname union
632 setGeneric("union", function(x, y) { standardGeneric("union") })
633
634 #' @rdname union
635 setGeneric("unionAll", function(x, y) { standardGeneric("unionAll") })
636
637 #' @rdname unionByName
638 setGeneric("unionByName", function(x, y) { standardGeneric("unionByName") })
639
640 #' @rdname unpersist
641 setGeneric("unpersist", function(x, ...) { standardGeneric("unpersist") })
642
643 #' @rdname filter
644 setGeneric("where", function(x, condition) { standardGeneric("where") })
645
646 #' @rdname with
647 setGeneric("with")
648
649 #' @rdname withColumn
650 setGeneric("withColumn", function(x, colName, col) { standardGeneric("withColumn") })
651
652 #' @rdname rename
653 setGeneric("withColumnRenamed",
654            function(x, existingCol, newCol) { standardGeneric("withColumnRenamed") })
655
656 #' @rdname withWatermark
657 setGeneric("withWatermark", function(x, eventTime, delayThreshold) {
658   standardGeneric("withWatermark")
659 })
660
661 #' @rdname write.df
662 setGeneric("write.df", function(df, path = NULL, ...) { standardGeneric("write.df") })
663
664 #' @rdname randomSplit
665 setGeneric("randomSplit", function(x, weights, seed) { standardGeneric("randomSplit") })
666
667 #' @rdname broadcast
668 setGeneric("broadcast", function(x) { standardGeneric("broadcast") })
669
670 ###################### Column Methods ##########################
671
672 #' @rdname columnfunctions
673 setGeneric("asc", function(x) { standardGeneric("asc") })
674
675 #' @rdname between
676 setGeneric("between", function(x, bounds) { standardGeneric("between") })
677
678 #' @rdname cast
679 setGeneric("cast", function(x, dataType) { standardGeneric("cast") })
680
681 #' @rdname columnfunctions
682 #' @param x a Column object.
683 #' @param ... additional argument(s).
684 setGeneric("contains", function(x, ...) { standardGeneric("contains") })
685
686 #' @rdname columnfunctions
687 setGeneric("desc", function(x) { standardGeneric("desc") })
688
689 #' @rdname endsWith
690 setGeneric("endsWith", function(x, suffix) { standardGeneric("endsWith") })
691
692 #' @rdname columnfunctions
693 setGeneric("getField", function(x, ...) { standardGeneric("getField") })
694
695 #' @rdname columnfunctions
696 setGeneric("getItem", function(x, ...) { standardGeneric("getItem") })
697
698 #' @rdname columnfunctions
699 setGeneric("isNaN", function(x) { standardGeneric("isNaN") })
700
701 #' @rdname columnfunctions
702 setGeneric("isNull", function(x) { standardGeneric("isNull") })
703
704 #' @rdname columnfunctions
705 setGeneric("isNotNull", function(x) { standardGeneric("isNotNull") })
706
707 #' @rdname columnfunctions
708 setGeneric("like", function(x, ...) { standardGeneric("like") })
709
710 #' @rdname columnfunctions
711 setGeneric("rlike", function(x, ...) { standardGeneric("rlike") })
712
713 #' @rdname startsWith
714 setGeneric("startsWith", function(x, prefix) { standardGeneric("startsWith") })
715
716 #' @rdname column_nonaggregate_functions
717 #' @name NULL
718 setGeneric("when", function(condition, value) { standardGeneric("when") })
719
720 #' @rdname otherwise
721 setGeneric("otherwise", function(x, value) { standardGeneric("otherwise") })
722
723 #' @rdname over
724 setGeneric("over", function(x, window) { standardGeneric("over") })
725
726 #' @rdname eq_null_safe
727 setGeneric("%<=>%", function(x, value) { standardGeneric("%<=>%") })
728
729 ###################### WindowSpec Methods ##########################
730
731 #' @rdname partitionBy
732 setGeneric("partitionBy", function(x, ...) { standardGeneric("partitionBy") })
733
734 #' @rdname rowsBetween
735 setGeneric("rowsBetween", function(x, start, end) { standardGeneric("rowsBetween") })
736
737 #' @rdname rangeBetween
738 setGeneric("rangeBetween", function(x, start, end) { standardGeneric("rangeBetween") })
739
740 #' @rdname windowPartitionBy
741 setGeneric("windowPartitionBy", function(col, ...) { standardGeneric("windowPartitionBy") })
742
743 #' @rdname windowOrderBy
744 setGeneric("windowOrderBy", function(col, ...) { standardGeneric("windowOrderBy") })
745
746 ###################### Expression Function Methods ##########################
747
748 #' @rdname column_datetime_diff_functions
749 #' @name NULL
750 setGeneric("add_months", function(y, x) { standardGeneric("add_months") })
751
752 #' @rdname column_aggregate_functions
753 #' @name NULL
754 setGeneric("approxCountDistinct", function(x, ...) { standardGeneric("approxCountDistinct") })
755
756 #' @rdname column_collection_functions
757 #' @name NULL
758 setGeneric("array_contains", function(x, value) { standardGeneric("array_contains") })
759
760 #' @rdname column_collection_functions
761 #' @name NULL
762 setGeneric("array_distinct", function(x) { standardGeneric("array_distinct") })
763
764 #' @rdname column_collection_functions
765 #' @name NULL
766 setGeneric("array_join", function(x, delimiter, ...) { standardGeneric("array_join") })
767
768 #' @rdname column_collection_functions
769 #' @name NULL
770 setGeneric("array_max", function(x) { standardGeneric("array_max") })
771
772 #' @rdname column_collection_functions
773 #' @name NULL
774 setGeneric("array_min", function(x) { standardGeneric("array_min") })
775
776 #' @rdname column_collection_functions
777 #' @name NULL
778 setGeneric("array_position", function(x, value) { standardGeneric("array_position") })
779
780 #' @rdname column_collection_functions
781 #' @name NULL
782 setGeneric("array_remove", function(x, value) { standardGeneric("array_remove") })
783
784 #' @rdname column_collection_functions
785 #' @name NULL
786 setGeneric("array_repeat", function(x, count) { standardGeneric("array_repeat") })
787
788 #' @rdname column_collection_functions
789 #' @name NULL
790 setGeneric("array_sort", function(x) { standardGeneric("array_sort") })
791
792 #' @rdname column_collection_functions
793 #' @name NULL
794 setGeneric("arrays_overlap", function(x, y) { standardGeneric("arrays_overlap") })
795
796 #' @rdname column_collection_functions
797 #' @name NULL
798 setGeneric("arrays_zip", function(x, ...) { standardGeneric("arrays_zip") })
799
800 #' @rdname column_string_functions
801 #' @name NULL
802 setGeneric("ascii", function(x) { standardGeneric("ascii") })
803
804 #' @param x Column to compute on or a GroupedData object.
805 #' @param ... additional argument(s) when \code{x} is a GroupedData object.
806 #' @rdname avg
807 setGeneric("avg", function(x, ...) { standardGeneric("avg") })
808
809 #' @rdname column_string_functions
810 #' @name NULL
811 setGeneric("base64", function(x) { standardGeneric("base64") })
812
813 #' @rdname column_math_functions
814 #' @name NULL
815 setGeneric("bin", function(x) { standardGeneric("bin") })
816
817 #' @rdname column_nonaggregate_functions
818 #' @name NULL
819 setGeneric("bitwiseNOT", function(x) { standardGeneric("bitwiseNOT") })
820
821 #' @rdname column_math_functions
822 #' @name NULL
823 setGeneric("bround", function(x, ...) { standardGeneric("bround") })
824
825 #' @rdname column_math_functions
826 #' @name NULL
827 setGeneric("cbrt", function(x) { standardGeneric("cbrt") })
828
829 #' @rdname column_math_functions
830 #' @name NULL
831 setGeneric("ceil", function(x) { standardGeneric("ceil") })
832
833 #' @rdname column_aggregate_functions
834 #' @name NULL
835 setGeneric("collect_list", function(x) { standardGeneric("collect_list") })
836
837 #' @rdname column_aggregate_functions
838 #' @name NULL
839 setGeneric("collect_set", function(x) { standardGeneric("collect_set") })
840
841 #' @rdname column
842 setGeneric("column", function(x) { standardGeneric("column") })
843
844 #' @rdname column_collection_functions
845 #' @name NULL
846 setGeneric("concat", function(x, ...) { standardGeneric("concat") })
847
848 #' @rdname column_string_functions
849 #' @name NULL
850 setGeneric("concat_ws", function(sep, x, ...) { standardGeneric("concat_ws") })
851
852 #' @rdname column_math_functions
853 #' @name NULL
854 setGeneric("conv", function(x, fromBase, toBase) { standardGeneric("conv") })
855
856 #' @rdname column_aggregate_functions
857 #' @name NULL
858 setGeneric("countDistinct", function(x, ...) { standardGeneric("countDistinct") })
859
860 #' @rdname column_misc_functions
861 #' @name NULL
862 setGeneric("crc32", function(x) { standardGeneric("crc32") })
863
864 #' @rdname column_nonaggregate_functions
865 #' @name NULL
866 setGeneric("create_array", function(x, ...) { standardGeneric("create_array") })
867
868 #' @rdname column_nonaggregate_functions
869 #' @name NULL
870 setGeneric("create_map", function(x, ...) { standardGeneric("create_map") })
871
872 #' @rdname column_misc_functions
873 #' @name NULL
874 setGeneric("hash", function(x, ...) { standardGeneric("hash") })
875
876 #' @rdname column_window_functions
877 #' @name NULL
878 setGeneric("cume_dist", function(x = "missing") { standardGeneric("cume_dist") })
879
880 #' @rdname column_datetime_functions
881 #' @name NULL
882 setGeneric("current_date", function(x = "missing") { standardGeneric("current_date") })
883
884 #' @rdname column_datetime_functions
885 #' @name NULL
886 setGeneric("current_timestamp", function(x = "missing") { standardGeneric("current_timestamp") })
887
888
889 #' @rdname column_datetime_diff_functions
890 #' @name NULL
891 setGeneric("datediff", function(y, x) { standardGeneric("datediff") })
892
893 #' @rdname column_datetime_diff_functions
894 #' @name NULL
895 setGeneric("date_add", function(y, x) { standardGeneric("date_add") })
896
897 #' @rdname column_datetime_diff_functions
898 #' @name NULL
899 setGeneric("date_format", function(y, x) { standardGeneric("date_format") })
900
901 #' @rdname column_datetime_diff_functions
902 #' @name NULL
903 setGeneric("date_sub", function(y, x) { standardGeneric("date_sub") })
904
905 #' @rdname column_datetime_functions
906 #' @name NULL
907 setGeneric("date_trunc", function(format, x) { standardGeneric("date_trunc") })
908
909 #' @rdname column_datetime_functions
910 #' @name NULL
911 setGeneric("dayofmonth", function(x) { standardGeneric("dayofmonth") })
912
913 #' @rdname column_datetime_functions
914 #' @name NULL
915 setGeneric("dayofweek", function(x) { standardGeneric("dayofweek") })
916
917 #' @rdname column_datetime_functions
918 #' @name NULL
919 setGeneric("dayofyear", function(x) { standardGeneric("dayofyear") })
920
921 #' @rdname column_string_functions
922 #' @name NULL
923 setGeneric("decode", function(x, charset) { standardGeneric("decode") })
924
925 #' @rdname column_window_functions
926 #' @name NULL
927 setGeneric("dense_rank", function(x = "missing") { standardGeneric("dense_rank") })
928
929 #' @rdname column_collection_functions
930 #' @name NULL
931 setGeneric("element_at", function(x, extraction) { standardGeneric("element_at") })
932
933 #' @rdname column_string_functions
934 #' @name NULL
935 setGeneric("encode", function(x, charset) { standardGeneric("encode") })
936
937 #' @rdname column_collection_functions
938 #' @name NULL
939 setGeneric("explode", function(x) { standardGeneric("explode") })
940
941 #' @rdname column_collection_functions
942 #' @name NULL
943 setGeneric("explode_outer", function(x) { standardGeneric("explode_outer") })
944
945 #' @rdname column_nonaggregate_functions
946 #' @name NULL
947 setGeneric("expr", function(x) { standardGeneric("expr") })
948
949 #' @rdname column_collection_functions
950 #' @name NULL
951 setGeneric("flatten", function(x) { standardGeneric("flatten") })
952
953 #' @rdname column_datetime_diff_functions
954 #' @name NULL
955 setGeneric("from_utc_timestamp", function(y, x) { standardGeneric("from_utc_timestamp") })
956
957 #' @rdname column_string_functions
958 #' @name NULL
959 setGeneric("format_number", function(y, x) { standardGeneric("format_number") })
960
961 #' @rdname column_string_functions
962 #' @name NULL
963 setGeneric("format_string", function(format, x, ...) { standardGeneric("format_string") })
964
965 #' @rdname column_collection_functions
966 #' @name NULL
967 setGeneric("from_json", function(x, schema, ...) { standardGeneric("from_json") })
968
969 #' @rdname column_datetime_functions
970 #' @name NULL
971 setGeneric("from_unixtime", function(x, ...) { standardGeneric("from_unixtime") })
972
973 #' @rdname column_nonaggregate_functions
974 #' @name NULL
975 setGeneric("greatest", function(x, ...) { standardGeneric("greatest") })
976
977 #' @rdname column_aggregate_functions
978 #' @name NULL
979 setGeneric("grouping_bit", function(x) { standardGeneric("grouping_bit") })
980
981 #' @rdname column_aggregate_functions
982 #' @name NULL
983 setGeneric("grouping_id", function(x, ...) { standardGeneric("grouping_id") })
984
985 #' @rdname column_math_functions
986 #' @name NULL
987 setGeneric("hex", function(x) { standardGeneric("hex") })
988
989 #' @rdname column_datetime_functions
990 #' @name NULL
991 setGeneric("hour", function(x) { standardGeneric("hour") })
992
993 #' @rdname column_math_functions
994 #' @name NULL
995 setGeneric("hypot", function(y, x) { standardGeneric("hypot") })
996
997 #' @rdname column_string_functions
998 #' @name NULL
999 setGeneric("initcap", function(x) { standardGeneric("initcap") })
1000
1001 #' @rdname column_nonaggregate_functions
1002 #' @name NULL
1003 setGeneric("input_file_name",
1004            function(x = "missing") { standardGeneric("input_file_name") })
1005
1006 #' @rdname column_string_functions
1007 #' @name NULL
1008 setGeneric("instr", function(y, x) { standardGeneric("instr") })
1009
1010 #' @rdname column_nonaggregate_functions
1011 #' @name NULL
1012 setGeneric("isnan", function(x) { standardGeneric("isnan") })
1013
1014 #' @rdname column_aggregate_functions
1015 #' @name NULL
1016 setGeneric("kurtosis", function(x) { standardGeneric("kurtosis") })
1017
1018 #' @rdname column_window_functions
1019 #' @name NULL
1020 setGeneric("lag", function(x, ...) { standardGeneric("lag") })
1021
1022 #' @rdname last
1023 setGeneric("last", function(x, ...) { standardGeneric("last") })
1024
1025 #' @rdname column_datetime_functions
1026 #' @name NULL
1027 setGeneric("last_day", function(x) { standardGeneric("last_day") })
1028
1029 #' @rdname column_window_functions
1030 #' @name NULL
1031 setGeneric("lead", function(x, offset, defaultValue = NULL) { standardGeneric("lead") })
1032
1033 #' @rdname column_nonaggregate_functions
1034 #' @name NULL
1035 setGeneric("least", function(x, ...) { standardGeneric("least") })
1036
1037 #' @rdname column_string_functions
1038 #' @name NULL
1039 setGeneric("levenshtein", function(y, x) { standardGeneric("levenshtein") })
1040
1041 #' @rdname column_nonaggregate_functions
1042 #' @name NULL
1043 setGeneric("lit", function(x) { standardGeneric("lit") })
1044
1045 #' @rdname column_string_functions
1046 #' @name NULL
1047 setGeneric("locate", function(substr, str, ...) { standardGeneric("locate") })
1048
1049 #' @rdname column_string_functions
1050 #' @name NULL
1051 setGeneric("lower", function(x) { standardGeneric("lower") })
1052
1053 #' @rdname column_string_functions
1054 #' @name NULL
1055 setGeneric("lpad", function(x, len, pad) { standardGeneric("lpad") })
1056
1057 #' @rdname column_string_functions
1058 #' @name NULL
1059 setGeneric("ltrim", function(x, trimString) { standardGeneric("ltrim") })
1060
1061 #' @rdname column_collection_functions
1062 #' @name NULL
1063 setGeneric("map_entries", function(x) { standardGeneric("map_entries") })
1064
1065 #' @rdname column_collection_functions
1066 #' @name NULL
1067 setGeneric("map_from_arrays", function(x, y) { standardGeneric("map_from_arrays") })
1068
1069 #' @rdname column_collection_functions
1070 #' @name NULL
1071 setGeneric("map_keys", function(x) { standardGeneric("map_keys") })
1072
1073 #' @rdname column_collection_functions
1074 #' @name NULL
1075 setGeneric("map_values", function(x) { standardGeneric("map_values") })
1076
1077 #' @rdname column_misc_functions
1078 #' @name NULL
1079 setGeneric("md5", function(x) { standardGeneric("md5") })
1080
1081 #' @rdname column_datetime_functions
1082 #' @name NULL
1083 setGeneric("minute", function(x) { standardGeneric("minute") })
1084
1085 #' @rdname column_nonaggregate_functions
1086 #' @name NULL
1087 setGeneric("monotonically_increasing_id",
1088            function(x = "missing") { standardGeneric("monotonically_increasing_id") })
1089
1090 #' @rdname column_datetime_functions
1091 #' @name NULL
1092 setGeneric("month", function(x) { standardGeneric("month") })
1093
1094 #' @rdname column_datetime_diff_functions
1095 #' @name NULL
1096 setGeneric("months_between", function(y, x) { standardGeneric("months_between") })
1097
1098 #' @rdname count
1099 setGeneric("n", function(x) { standardGeneric("n") })
1100
1101 #' @rdname column_nonaggregate_functions
1102 #' @name NULL
1103 setGeneric("nanvl", function(y, x) { standardGeneric("nanvl") })
1104
1105 #' @rdname column_nonaggregate_functions
1106 #' @name NULL
1107 setGeneric("negate", function(x) { standardGeneric("negate") })
1108
1109 #' @rdname not
1110 setGeneric("not", function(x) { standardGeneric("not") })
1111
1112 #' @rdname column_datetime_diff_functions
1113 #' @name NULL
1114 setGeneric("next_day", function(y, x) { standardGeneric("next_day") })
1115
1116 #' @rdname column_window_functions
1117 #' @name NULL
1118 setGeneric("ntile", function(x) { standardGeneric("ntile") })
1119
1120 #' @rdname column_aggregate_functions
1121 #' @name NULL
1122 setGeneric("n_distinct", function(x, ...) { standardGeneric("n_distinct") })
1123
1124 #' @rdname column_window_functions
1125 #' @name NULL
1126 setGeneric("percent_rank", function(x = "missing") { standardGeneric("percent_rank") })
1127
1128 #' @rdname column_math_functions
1129 #' @name NULL
1130 setGeneric("pmod", function(y, x) { standardGeneric("pmod") })
1131
1132 #' @rdname column_collection_functions
1133 #' @name NULL
1134 setGeneric("posexplode", function(x) { standardGeneric("posexplode") })
1135
1136 #' @rdname column_collection_functions
1137 #' @name NULL
1138 setGeneric("posexplode_outer", function(x) { standardGeneric("posexplode_outer") })
1139
1140 #' @rdname column_datetime_functions
1141 #' @name NULL
1142 setGeneric("quarter", function(x) { standardGeneric("quarter") })
1143
1144 #' @rdname column_nonaggregate_functions
1145 #' @name NULL
1146 setGeneric("rand", function(seed) { standardGeneric("rand") })
1147
1148 #' @rdname column_nonaggregate_functions
1149 #' @name NULL
1150 setGeneric("randn", function(seed) { standardGeneric("randn") })
1151
1152 #' @rdname column_window_functions
1153 #' @name NULL
1154 setGeneric("rank", function(x, ...) { standardGeneric("rank") })
1155
1156 #' @rdname column_string_functions
1157 #' @name NULL
1158 setGeneric("regexp_extract", function(x, pattern, idx) { standardGeneric("regexp_extract") })
1159
1160 #' @rdname column_string_functions
1161 #' @name NULL
1162 setGeneric("regexp_replace",
1163            function(x, pattern, replacement) { standardGeneric("regexp_replace") })
1164
1165 #' @rdname column_string_functions
1166 #' @name NULL
1167 setGeneric("repeat_string", function(x, n) { standardGeneric("repeat_string") })
1168
1169 #' @rdname column_collection_functions
1170 #' @name NULL
1171 setGeneric("reverse", function(x) { standardGeneric("reverse") })
1172
1173 #' @rdname column_math_functions
1174 #' @name NULL
1175 setGeneric("rint", function(x) { standardGeneric("rint") })
1176
1177 #' @rdname column_window_functions
1178 #' @name NULL
1179 setGeneric("row_number", function(x = "missing") { standardGeneric("row_number") })
1180
1181 #' @rdname column_string_functions
1182 #' @name NULL
1183 setGeneric("rpad", function(x, len, pad) { standardGeneric("rpad") })
1184
1185 #' @rdname column_string_functions
1186 #' @name NULL
1187 setGeneric("rtrim", function(x, trimString) { standardGeneric("rtrim") })
1188
1189 #' @rdname column_aggregate_functions
1190 #' @name NULL
1191 setGeneric("sd", function(x, na.rm = FALSE) { standardGeneric("sd") })
1192
1193 #' @rdname column_datetime_functions
1194 #' @name NULL
1195 setGeneric("second", function(x) { standardGeneric("second") })
1196
1197 #' @rdname column_misc_functions
1198 #' @name NULL
1199 setGeneric("sha1", function(x) { standardGeneric("sha1") })
1200
1201 #' @rdname column_misc_functions
1202 #' @name NULL
1203 setGeneric("sha2", function(y, x) { standardGeneric("sha2") })
1204
1205 #' @rdname column_math_functions
1206 #' @name NULL
1207 setGeneric("shiftLeft", function(y, x) { standardGeneric("shiftLeft") })
1208
1209 #' @rdname column_math_functions
1210 #' @name NULL
1211 setGeneric("shiftRight", function(y, x) { standardGeneric("shiftRight") })
1212
1213 #' @rdname column_math_functions
1214 #' @name NULL
1215 setGeneric("shiftRightUnsigned", function(y, x) { standardGeneric("shiftRightUnsigned") })
1216
1217 #' @rdname column_math_functions
1218 #' @name NULL
1219 setGeneric("signum", function(x) { standardGeneric("signum") })
1220
1221 #' @rdname column_collection_functions
1222 #' @name NULL
1223 setGeneric("size", function(x) { standardGeneric("size") })
1224
1225 #' @rdname column_aggregate_functions
1226 #' @name NULL
1227 setGeneric("skewness", function(x) { standardGeneric("skewness") })
1228
1229 #' @rdname column_collection_functions
1230 #' @name NULL
1231 setGeneric("slice", function(x, start, length) { standardGeneric("slice") })
1232
1233 #' @rdname column_collection_functions
1234 #' @name NULL
1235 setGeneric("sort_array", function(x, asc = TRUE) { standardGeneric("sort_array") })
1236
1237 #' @rdname column_string_functions
1238 #' @name NULL
1239 setGeneric("split_string", function(x, pattern) { standardGeneric("split_string") })
1240
1241 #' @rdname column_string_functions
1242 #' @name NULL
1243 setGeneric("soundex", function(x) { standardGeneric("soundex") })
1244
1245 #' @rdname column_nonaggregate_functions
1246 #' @name NULL
1247 setGeneric("spark_partition_id", function(x = "missing") { standardGeneric("spark_partition_id") })
1248
1249 #' @rdname column_aggregate_functions
1250 #' @name NULL
1251 setGeneric("stddev", function(x) { standardGeneric("stddev") })
1252
1253 #' @rdname column_aggregate_functions
1254 #' @name NULL
1255 setGeneric("stddev_pop", function(x) { standardGeneric("stddev_pop") })
1256
1257 #' @rdname column_aggregate_functions
1258 #' @name NULL
1259 setGeneric("stddev_samp", function(x) { standardGeneric("stddev_samp") })
1260
1261 #' @rdname column_nonaggregate_functions
1262 #' @name NULL
1263 setGeneric("struct", function(x, ...) { standardGeneric("struct") })
1264
1265 #' @rdname column_string_functions
1266 #' @name NULL
1267 setGeneric("substring_index", function(x, delim, count) { standardGeneric("substring_index") })
1268
1269 #' @rdname column_aggregate_functions
1270 #' @name NULL
1271 setGeneric("sumDistinct", function(x) { standardGeneric("sumDistinct") })
1272
1273 #' @rdname column_math_functions
1274 #' @name NULL
1275 setGeneric("toDegrees", function(x) { standardGeneric("toDegrees") })
1276
1277 #' @rdname column_math_functions
1278 #' @name NULL
1279 setGeneric("toRadians", function(x) { standardGeneric("toRadians") })
1280
1281 #' @rdname column_datetime_functions
1282 #' @name NULL
1283 setGeneric("to_date", function(x, format) { standardGeneric("to_date") })
1284
1285 #' @rdname column_collection_functions
1286 #' @name NULL
1287 setGeneric("to_json", function(x, ...) { standardGeneric("to_json") })
1288
1289 #' @rdname column_datetime_functions
1290 #' @name NULL
1291 setGeneric("to_timestamp", function(x, format) { standardGeneric("to_timestamp") })
1292
1293 #' @rdname column_datetime_diff_functions
1294 #' @name NULL
1295 setGeneric("to_utc_timestamp", function(y, x) { standardGeneric("to_utc_timestamp") })
1296
1297 #' @rdname column_string_functions
1298 #' @name NULL
1299 setGeneric("translate", function(x, matchingString, replaceString) { standardGeneric("translate") })
1300
1301 #' @rdname column_string_functions
1302 #' @name NULL
1303 setGeneric("trim", function(x, trimString) { standardGeneric("trim") })
1304
1305 #' @rdname column_string_functions
1306 #' @name NULL
1307 setGeneric("unbase64", function(x) { standardGeneric("unbase64") })
1308
1309 #' @rdname column_math_functions
1310 #' @name NULL
1311 setGeneric("unhex", function(x) { standardGeneric("unhex") })
1312
1313 #' @rdname column_datetime_functions
1314 #' @name NULL
1315 setGeneric("unix_timestamp", function(x, format) { standardGeneric("unix_timestamp") })
1316
1317 #' @rdname column_string_functions
1318 #' @name NULL
1319 setGeneric("upper", function(x) { standardGeneric("upper") })
1320
1321 #' @rdname column_aggregate_functions
1322 #' @name NULL
1323 setGeneric("var", function(x, y = NULL, na.rm = FALSE, use) { standardGeneric("var") })
1324
1325 #' @rdname column_aggregate_functions
1326 #' @name NULL
1327 setGeneric("variance", function(x) { standardGeneric("variance") })
1328
1329 #' @rdname column_aggregate_functions
1330 #' @name NULL
1331 setGeneric("var_pop", function(x) { standardGeneric("var_pop") })
1332
1333 #' @rdname column_aggregate_functions
1334 #' @name NULL
1335 setGeneric("var_samp", function(x) { standardGeneric("var_samp") })
1336
1337 #' @rdname column_datetime_functions
1338 #' @name NULL
1339 setGeneric("weekofyear", function(x) { standardGeneric("weekofyear") })
1340
1341 #' @rdname column_datetime_functions
1342 #' @name NULL
1343 setGeneric("window", function(x, ...) { standardGeneric("window") })
1344
1345 #' @rdname column_datetime_functions
1346 #' @name NULL
1347 setGeneric("year", function(x) { standardGeneric("year") })
1348
1349
1350 ###################### Spark.ML Methods ##########################
1351
1352 #' @rdname fitted
1353 setGeneric("fitted")
1354
1355 # Do not carry stats::glm usage and param here, and do not document the generic
1356 #' @noRd
1357 setGeneric("glm")
1358
1359 #' @param object a fitted ML model object.
1360 #' @param ... additional argument(s) passed to the method.
1361 #' @rdname predict
1362 setGeneric("predict", function(object, ...) { standardGeneric("predict") })
1363
1364 #' @rdname rbind
1365 setGeneric("rbind", signature = "...")
1366
1367 #' @rdname spark.als
1368 setGeneric("spark.als", function(data, ...) { standardGeneric("spark.als") })
1369
1370 #' @rdname spark.bisectingKmeans
1371 setGeneric("spark.bisectingKmeans",
1372            function(data, formula, ...) { standardGeneric("spark.bisectingKmeans") })
1373
1374 #' @rdname spark.gaussianMixture
1375 setGeneric("spark.gaussianMixture",
1376            function(data, formula, ...) { standardGeneric("spark.gaussianMixture") })
1377
1378 #' @rdname spark.gbt
1379 setGeneric("spark.gbt", function(data, formula, ...) { standardGeneric("spark.gbt") })
1380
1381 #' @rdname spark.glm
1382 setGeneric("spark.glm", function(data, formula, ...) { standardGeneric("spark.glm") })
1383
1384 #' @rdname spark.isoreg
1385 setGeneric("spark.isoreg", function(data, formula, ...) { standardGeneric("spark.isoreg") })
1386
1387 #' @rdname spark.kmeans
1388 setGeneric("spark.kmeans", function(data, formula, ...) { standardGeneric("spark.kmeans") })
1389
1390 #' @rdname spark.kstest
1391 setGeneric("spark.kstest", function(data, ...) { standardGeneric("spark.kstest") })
1392
1393 #' @rdname spark.lda
1394 setGeneric("spark.lda", function(data, ...) { standardGeneric("spark.lda") })
1395
1396 #' @rdname spark.logit
1397 setGeneric("spark.logit", function(data, formula, ...) { standardGeneric("spark.logit") })
1398
1399 #' @rdname spark.mlp
1400 setGeneric("spark.mlp", function(data, formula, ...) { standardGeneric("spark.mlp") })
1401
1402 #' @rdname spark.naiveBayes
1403 setGeneric("spark.naiveBayes", function(data, formula, ...) { standardGeneric("spark.naiveBayes") })
1404
1405 #' @rdname spark.decisionTree
1406 setGeneric("spark.decisionTree",
1407            function(data, formula, ...) { standardGeneric("spark.decisionTree") })
1408
1409 #' @rdname spark.randomForest
1410 setGeneric("spark.randomForest",
1411            function(data, formula, ...) { standardGeneric("spark.randomForest") })
1412
1413 #' @rdname spark.survreg
1414 setGeneric("spark.survreg", function(data, formula, ...) { standardGeneric("spark.survreg") })
1415
1416 #' @rdname spark.svmLinear
1417 setGeneric("spark.svmLinear", function(data, formula, ...) { standardGeneric("spark.svmLinear") })
1418
1419 #' @rdname spark.lda
1420 setGeneric("spark.posterior", function(object, newData) { standardGeneric("spark.posterior") })
1421
1422 #' @rdname spark.lda
1423 setGeneric("spark.perplexity", function(object, data) { standardGeneric("spark.perplexity") })
1424
1425 #' @rdname spark.fpGrowth
1426 setGeneric("spark.fpGrowth", function(data, ...) { standardGeneric("spark.fpGrowth") })
1427
1428 #' @rdname spark.fpGrowth
1429 setGeneric("spark.freqItemsets", function(object) { standardGeneric("spark.freqItemsets") })
1430
1431 #' @rdname spark.fpGrowth
1432 setGeneric("spark.associationRules", function(object) { standardGeneric("spark.associationRules") })
1433
1434 #' @param object a fitted ML model object.
1435 #' @param path the directory where the model is saved.
1436 #' @param ... additional argument(s) passed to the method.
1437 #' @rdname write.ml
1438 setGeneric("write.ml", function(object, path, ...) { standardGeneric("write.ml") })
1439
1440
1441 ###################### Streaming Methods ##########################
1442
1443 #' @rdname awaitTermination
1444 setGeneric("awaitTermination", function(x, timeout = NULL) { standardGeneric("awaitTermination") })
1445
1446 #' @rdname isActive
1447 setGeneric("isActive", function(x) { standardGeneric("isActive") })
1448
1449 #' @rdname lastProgress
1450 setGeneric("lastProgress", function(x) { standardGeneric("lastProgress") })
1451
1452 #' @rdname queryName
1453 setGeneric("queryName", function(x) { standardGeneric("queryName") })
1454
1455 #' @rdname status
1456 setGeneric("status", function(x) { standardGeneric("status") })
1457
1458 #' @rdname stopQuery
1459 setGeneric("stopQuery", function(x) { standardGeneric("stopQuery") })