; Merge from origin/emacs-27

The following commit was skipped:

cc7f971485 Fix out-of-source ‘make check’ emacs-module-tests

Merge from origin/emacs-27

f31c6792ab Fix support for Zip64 zip files
ba635a19fb * lisp/hi-lock.el (hi-lock-auto-select-face): Doc fix.  (B...
cc8fef2bdd Avoid infinite recursion with 'relative' line numbers display
395f10cb98 ; Fix more trivial typos
bf4accb65e ; Fix some trivial typos

# Conflicts:
# etc/NEWS
# lisp/arc-mode.el

Fix more single-byte accesses caused by bytepos/charpos confusion

* src/cmds.c (internal_self_insert): Use FETCH_BYTE, not
FETCH_CHAR, for a decremented byte position (bug#41520).

* src/xdisp.c (Fwindow_text_pixel_size, trailing_whitespace_p): Ditto.

Handle single-argument `apply' consistently (bug#40968)

* src/eval.c (Fapply): Handle (apply nil) without crashing.
Document single-argument form.
* lisp/emacs-lisp/byte-opt.el (byte-optimize-apply): Don't attempt
to optimize single-argument apply.
* doc/lispref/functions.texi (Calling Functions): Document
single-argument apply.  Provide example (bug#40968).

Avoid 1s sleep-for before sending the startfile to a comint process

* lisp/comint.el (comint-exec): Simplify startup file code.
(Bug#41640).

; * doc/emacs/building.texi (Grep Searching): Fix a typo.

Add a new grep-match-regexp variable

* doc/emacs/building.texi (Grep Searching): Document it.

* lisp/progmodes/grep.el (grep-match-regexp): New variable (bug#41766).
(grep-filter): Use it.

Minor string-search optimisations (bug#43598)

* src/fns.c (Fstring_search): Perform cheap all-ASCII checks before more
expensive ones.  Use a faster loop when searching for non-ASCII
non-raw bytes.
* test/src/fns-tests.el (string-search): Add more test cases.

Improve accuracy in string-replace description (bug#43598)

* doc/lispref/searching.texi (Search and Replace): More careful
description; string-replace does not necessarily return a copy.

; * test/lisp/subr-tests.el (string-replace): Add more test cases

Improve documentation of the 'abbrev-suggest' feature

* lisp/abbrev.el (abbrev-suggest, abbrev-suggest-hint-threshold)
(abbrev-suggest-show-report): Improve wording of the doc strings.

* doc/emacs/abbrevs.texi (Abbrevs Suggestions): Fix the typo in
the node name.  Improve wording.
* doc/emacs/emacs.texi (Top): Add the new node in the @detailmenu
section.

* etc/NEWS: Improve wording of the NEWS entry for
'abbrev-suggest'.

Improve display of raw bytes in the echo-area

* src/print.c (print_object): When printing a unibyte string,
convert non-ASCII bytes to their character code, before sending
them to 'printchar'.  (Bug#43632)

Fix searching for multibyte needles in unibyte haystacks

* src/fns.c (Fstring_search): Make this work better when searching
unibyte haystacks for multibyte needles (bug#43598).

Make dired-replace-in-string obsolete

* lisp/dired.el (dired-insert-directory):
* lisp/dired-aux.el (dired-rename-subdir, dired-rename-subdir-2)
(dired-insert-subdir): Adjust callers.

* lisp/dired.el (dired-replace-in-string): Make obsolete.

Add tiny optimization for string-search

* src/fns.c (Fstring_search): Add tiny optimization for needles
that are longer than the haystack (bug#43598).

Rename replace-in-string to string-replace

* doc/lispref/searching.texi (Search and Replace): Update.
* lisp/bindings.el (mode-line-position): Update callers.

* lisp/subr.el (string-replace): Rename from replace-in-string
since that clashes with XEmacs' replace-in-string which is
equivalent to the Emacs replace-regexp-in-string (bug#43598).

Fix gnus-faq example

* doc/misc/gnus-faq.texi (FAQ 6-2): replace-in-string was the XEmacs
name for the function.

Slight replace-in-string optimization

* lisp/subr.el (replace-in-string): Optimize to return the
original string if nothing was replaced (bug#43598).

Abbrev suggestions helps users remember to use defined abbrevs

    * lisp/abbrev.el (abbrev-suggest): New defcustom.
    (abbrev-suggest-hint-threshold): New defcustom.
    (abbrev--suggest-get-active-tables-including-parents): New defun.
    (abbrev--suggest-get-active-abbrev-expansions): New defun.
    (abbrev--suggest-count-words): New defun.
    (abbrev--suggest-get-previous-words): New defun.
    (abbrev--suggest-above-threshold): New defun.
    (abbrev--suggest-saved-recommendations): New defvar.
    (abbrev--suggest-inform-user): New defun.
    (abbrev--suggest-shortest-abbrev): New defun.
    (abbrev--suggest-maybe-suggest): New defun.
    (abbrev--suggest-get-totals): New defun.
    (abbrev-suggest-show-report): New defun.
    (expand-abbrev): If the previous word was not an abbrev, maybe
    suggest an abbrev to the user.
    * doc/emacs/abbrevs.texi (Abbrev suggestions): New section.
    * etc/NEWS: Announce abbrev suggestions.

Fix the patch tagging in submit-emacs-patch

* lisp/mail/emacsbug.el (submit-emacs-patch): Put the tags in the
debbugs pseudo-headers because X-Debbugs-Tags is not a thing that
exists.

message-add-action doc string fix

* lisp/gnus/message.el (message-add-action): Document types.

Display some character widget values in a more user-friendly way

* lisp/wid-edit.el (widget-character--escape-sequences-alist): New
variable.
(widget-character--change-character-display): New function.  Use the new
variable.
(widget-character-notify): New function, to keep track of the changes
in the character widget, and display characters like tab,
newline and spaces better.
(character widget): Use widget-character-notify as the notify
function.  Use widget-character--change-character-display for the
internal representation of value (bug#15925).

Make macroexpand of `push' slightly less confusing

* lisp/subr.el (push): Use a symbol with a different name to make
macroexpand look slightly less confusing (bug#43601).

Fix defcustom types of some variables defined in C

* lisp/cus-start.el (standard): Fix the defcustom type of a number
of variables defined in C (bug#43611).

Fix mouse highlighting in Customize buffers

* lisp/wid-edit.el (widget-button-click): Remove a
newly-introduced check that made mouse highlights no longer work
(bug#43612).  It's unclear what the check was trying to fix.

cperl-mode: Delete conditional code where conditions evaluate to nil

* lisp/progmodes/cperl-mode.el (cperl-force-face): This
macro's single effect is now inlined, and the macro is gone.
(cperl-problems): The reference to choose-color.el, which
is no longer available for download, is deleted.
(no function): A list of unnecessary empty variable
definitions is gone.  They were needed for Emacs v19 and
below.
(cperl-init-faces-weak): This function does no longer do
anything and is therefore deleted.
(cperl-init-faces): Some bodies of conditional code is deleted
because as of today the conditions evaluate to constants.  The
face cperl-nonoverridable-face is no longer available as
variable and needs to be doubly-quoted in one place (bug#43622).

Silence some byte-compiler warnings

* test/lisp/arc-mode-tests.el (arc-mode-test-archive-int-to-mode):
* test/lisp/custom-tests.el (cus-test-opts):
* test/lisp/help-fns-tests.el (foo-test-map)
(help-fns-test--describe-keymap-foo):
* test/src/fns-tests.el (w32-collate-ignore-punctuation)
(fns-tests-func-arity): Silence byte-compiler warnings.

Repurpose libxml test for obsolete argument

* test/src/xml-tests.el (libxml-tests): Move half this test for the
recently obsoleted fourth argument to libxml-parse-xml-region...
* test/lisp/xml-tests.el (xml-tests--remove-comments): ...to a new
test here for xml-remove-comments.

* test/src/xml-tests.el (libxml-tests--data-comments-discarded):
Move test data from here...
* test/lisp/xml-tests.el (xml-tests--data-with-comments): ...to here.

* etc/NEWS: Add new D-Bus monitor functionality.  Fix typos.

Add D-Bus monitor

* lisp/net/dbus.el (dbus-interface-monitoring): New defconst.
(dbus-call-method, dbus-call-method-asynchronously)
(dbus-send-signal, dbus-method-return-internal)
(dbus-method-error-internal, dbus-check-arguments): Accept also
:system-private and :session-private.
(dbus-check-event, dbus-event-path-name)
(dbus-event-interface-name)
(dbus-event-member-name, dbus-property-handler)
(dbus-handle-bus-disconnect): Adapt according to new structure.
(dbus-handle-event): Handle also monitor events.
(dbus-event-destination-name, dbus-event-handler)
(dbus-event-arguments, dbus-register-monitor, dbus-monitor-handler):
New defuns.

* src/dbusbind.c (XD_DBUS_VALIDATE_BUS_ADDRESS, xd_remove_watch)
(Fdbus__init_bus): Accept also :system-private and :session-private.
(xd_read_message_1): Add destination and error_name to
dbus-event.  Handle monitor events.
(syms_of_dbusbind): Declare QCsystem_private, QCsession_private
and QCmonitor.
(dbus-registered-objects-table): Fix docstring.

Fix byte-compiler warning in CEDET

* lisp/cedet/semantic/lex.el (semantic-lex-catch-errors): Fix
byte-compiler warning by removing obsolete variable.

soap-client.el: Prevent some invalid encoding warnings

* lisp/net/soap-client.el (soap-encode-xs-complex-type): Do not
warn about missing non-nillable slot if type iself is optional.

Fix out-of-tree make check

* test/lisp/custom-tests.el (custom-test-admin-cus-test): New const.
(check-for-wrong-custom-types): Use it.

Fix out-of-source ‘make check’ emacs-module-tests

Problem reported by Koki Fukuda in:
https://lists.gnu.org/r/emacs-devel/2020-07/msg00169.html
* test/Makefile.in (MODULE_CFLAGS):
Include from the same directories included from in ../src.
* test/src/emacs-module-tests.el (module/describe-function-1):
Strip path to source directory.

(cherry picked from commit c86f3fe0d023cdd25edbbce91c5b32654f2b734e)

Tidy up NS color handling

* src/nsimage.m (COLORSPACE_NAME): New macro to find the current
colorspace.
([EmacsImage initFromXBM:width:height:fg:bg:reverseBytes:]):
([EmacsImage initForXPMWithDepth:width:height:]): Use the current
colorspace.
* src/nsterm.h (NSAppKitVersionNumber10_7):
(NSAppKitVersionNumber10_10): Define for macOS version checks.
* src/nsterm.m ([NSColor colorForEmacsRed:green:blue:alpha:]): Tidy up
the version checking.
([NSColor colorUsingDefaultColorSpace]): Tidy the version checking and
use [NSColor colorUsingColorSpace:] with GNUstep.

Remove obsolete macOS support for NS font backend

The ns font backend is has been disabled on macOS for a long time and
doesn't work correctly even if re-enabled.

* src/nsfont.m:
(ns_char_width):
(ns_ascii_average_width):
(ns_get_covering_families):
(nsfont_open):
(nsfont_close):
(nsfont_draw):
(ns_uni_to_glyphs):
(ns_glyph_metrics):
(EmacsGlyphStorage): Remove all Cocoa only code.
* src/nsterm.h (EmacsGlyphStorage): Remove.
(struct nsfont_info): Make GNUstep only.
* src/nsterm.m (ns_compute_glyph_string_overhangs): Remove GNUstep
only code from Cocoa builds.

Implement internal border colors on NS (bug#41071)

* src/nsterm.m (ns_clear_under_internal_border): New function.
(ns_after_update_window_line): Use the correct background color.
(ns_redisplay_interface): Add ns_clear_under_internal_border.

string-search robustness and documentation improvement (bug#43598)

* src/fns.c (Fstring_search): Check START-POS argument range.
Simplify logic.  Improve doc string.
* test/src/fns-tests.el (string-search): Add test cases.
* doc/lispref/strings.texi (Text Comparison): Elaborate.
* lisp/emacs-lisp/byte-opt.el (pure-fns): Mark string-search as pure.

Fix support for Zip64 zip files

* lisp/arc-mode.el (archive-zip-summarize): Fix detection of Zip64
central directory.  Support 64-bit file size field used by Zip64.
(Bug#43597)

* CONTRIBUTE: Don't recommend action stamps

* CONTRIBUTE: Remove mention of the "action stamp" thing (bug#20609).

Partially revert previous prolog.el cleanup

* lisp/progmodes/prolog.el (prolog-font-lock-keywords): Partially
revert previous patch -- we want the prolog-warning-face symbol,
not its value.

Fix defcustom type in sql.el for sql-postgres-login-params

* lisp/progmodes/sql.el (sql-login-params): Fix defcustom type to
match sql-postgres-login-params value.

Fix a defcustom type in gdb-mi.el

* lisp/progmodes/gdb-mi.el (gdb-display-source-buffer-action): Fix
defcustom type to match the value.

Fix defcustom type in whitespace.el

* lisp/whitespace.el (whitespace-space-after-tab-regexp)
(whitespace-indentation-regexp): The first string here isn't a
regexp, it's a string (that's expanded with format to be a regexp).

Fix the defcustom type fix in python.el

* lisp/progmodes/python.el (python-pdbtrack-exit-command): Fix
defcustom type (bug#30990).

Fix some defcustom types

* lisp/whitespace.el (whitespace-style):
* lisp/gnus/message.el (message-screenshot-command):
* lisp/progmodes/compile.el (compilation-transform-file-match-alist):
* lisp/progmodes/gdb-mi.el (gdb-default-window-configuration-file):
* lisp/progmodes/python.el (python-pdbtrack-exit-command): Fix the
defcustom types.
* lisp/progmodes/sql.el (sql-password-wallet): Fix the value.

Add an expensive test for defcustom types

* admin/cus-test.el (cus-test-opts): Return the tests.

* test/lisp/custom-tests.el (check-for-wrong-custom-types): Test
custom types (bug#30990).

Mark string-search as being side effect free

* lisp/emacs-lisp/byte-opt.el (side-effect-free-fns): Add
string-search.

Make the Man completion code work better if man -k fails

* lisp/man.el (Man-completion-table): Check the return code for
"man -k" and assume it failed if there's a non-zero exit code
(bug#16722).

Use the char history in zap-up-to-char

* lisp/misc.el (zap-up-to-char): Use read-char-from-minibuffer
(bug#39154).

Fix replace-in-string infloop with empty pattern string (bug#43598)

* lisp/subr.el (replace-in-string): Raise an error if FROMSTRING is
empty.
* test/lisp/subr-tests.el (replace-in-string): Add test case.

Tweak updating the process mark in set-process-buffer

* src/process.c (Fset_process_buffer): Only update the process
mark if we actually change the buffer.

* lisp/hi-lock.el (hi-lock-auto-select-face): Doc fix.  (Bug#43600)

Remove more compat code from prolog.el

* lisp/progmodes/prolog.el (prolog-font-lock-keywords): Remove
compat test for a face that's always defined.

Avoid infinite recursion with 'relative' line numbers display

* src/xdisp.c (display_count_lines_visually): Bind
'display-line-numbers' to 'relative' around 'start_display' as
well, since that can invoke 'move_it_to' internally, thus
causing infinite recursion.  (Bug#43589)

* lisp/progmodes/ruby-mode.el (ruby-use-smie): Declare obsolete

(ruby-mode-map, ruby-mode-menu): Don't use ruby-for/backward-sexp any more.
(ruby-mode-variables): Always setup SMIE navigation.
Still obey `ruby-use-smie` for indentation.
(ruby-forward-sexp, ruby-backward-sexp): Mark as obsolete.

Remove some XEmacs compat code from prolog.el

* lisp/progmodes/prolog.el (prolog-replace-in-string): Remove XEmacs
compat code and make obsolete.
(prolog-guess-fill-prefix): Adjust callers.
(prolog-uncomment-region): Make obsolete.
(prolog-mode-syntax-table): syntax-propertize-rules is always defined.
(prolog-syntax-propertize-function): Ditto.
(prolog-face-name-p): Make into obsolete alias.
(prolog-font-lock-keywords): Adjust callers.

Clean up replace-in-string slightly

* lisp/subr.el (replace-in-string): Clean up previous fix slightly.

Fix previous replace-in-string rewrite

* lisp/subr.el (replace-in-string): Fix logic errors in previous
patch.

Fix replace-in-string multibyteness problems with string-search

* lisp/subr.el (replace-in-string): Simplify by using the new
string-search function (bug#43598).

Add a new function 'string-search'

* doc/lispref/strings.texi (Text Comparison): Document it.
* src/fns.c (Fstring_search): New function.

* lisp/help-fns.el (help-fns--first-release): Use etc/NEWS as well

Update a failing lisp test

* test/lisp/emacs-lisp/lisp-tests.el (up-list-no-cross-string):
Update for recent "Don't signal scan-error" change.

Horizontal scrolling for mouse wheel with Shift modifier (bug#43568)

* lisp/mwheel.el (mouse-wheel-scroll-amount): Change 'shift' default value
from 5 to 'hscroll'.  Add new option "Scroll horizontally" for 'hscroll'.
(mwheel-scroll): Handle value 'hscroll' and call mwheel-scroll-left-function
or mwheel-scroll-right-function.

* doc/emacs/frames.texi (Mouse Commands): Update for horizontal scrolling
with Shift modifier.

Set mwheel default scroll value to 1 (bug#43380)

* lisp/mwheel.el (mouse-wheel-scroll-amount): Change default value 5 to 1
and shift default value from 1 to 5.
Default value is changed as discussed in etc/TODO.

* lisp/simple.el (goto-line-read-args): More relevant default line number.

Add skip condition for some dbus tests

* test/lisp/net/dbus-tests.el (dbus-test01-type-conversion)
(dbus-test01-basic-types): Add skip for hydra.nixos.org failures.
; Standardize license notice

Make set-process-buffer also update the process mark

* src/process.c (Fset_process_buffer): Update the process mark
(bug#43573).

Refactor process mark setting

* src/process.c (update_process_mark): Make into its own function.
(Fmake_process, Fmake_pipe_process, Fmake_serial_process)
(connect_network_socket): Use it.

Add sanity check for Gnus groups that belong to no topic

* lisp/gnus/gnus-topic.el (gnus-topic-change-level): Do not change
gnus-topic-alist when group is outside "topology" (bug#43582).

Fix last change in resize_mini_window

* src/xdisp.c (resize_mini_window): Prevent recentering the
mini-window once its start position is computed.  (Bug#43572)

Fix recent simple.el compilation warning

* lisp/simple.el (goto-line-relative): Suppress byte compilation
warning about goto-line.

Minor Tramp cleanup

* doc/misc/tramp.texi: Some stylistic changes.
(Frequently Asked Questions): Mention ProxyCommand and ProxyJump.

* lisp/net/tramp-sh.el (tramp-use-ssh-controlmaster-options):
Fix docstring.

Write Gnus active files with quotes around group names

* lisp/gnus/gnus-util.el (gnus-write-active-file): In case of group
names with spaces in them (see Bug#42823). Names are later read with
`read', so this should be quite robust.

New command goto-line-relative (bug#5042, bug#9917)

* lisp/simple.el (goto-line-read-args): New function with code from goto-line.
(goto-line): New arg RELATIVE.  Also use 'widen-automatically' to
leave all lines accessible in the narrowed buffer.
(goto-line-relative): New command.

* lisp/info.el (Info-mode-map): Remap 'goto-line' to 'goto-line-relative'.

* doc/emacs/basic.texi (Moving Point):
* doc/emacs/display.texi (Optional Mode Line): Mention goto-line-relative.

Remove TODO to convert files to unit tests

* test/lisp/textmodes/css-mode-tests.el:
* test/lisp/progmodes/ruby-mode-tests.el: Remove TODO to convert test
files into unit tests.  The files are still useful for debugging.
Ref: https://lists.gnu.org/r/emacs-devel/2020-09/msg01906.html

Convert some completion.el tests to ERT

* test/lisp/completion-tests.el: New file.
* lisp/completion.el: Move commented out tests to completion-tests.el.

Convert allout unit tests to ERT

* test/lisp/allout-tests.el: New file.
* lisp/allout.el (allout-run-unit-tests-on-load)
(allout-run-unit-tests): Remove.
(allout-tests-obliterate-variable)
(allout-tests-globally-unbound, allout-tests-globally-true)
(allout-tests-locally-true, allout-test-resumptions): Move to
allout-tests.el

* test/lisp/allout-widgets-tests.el: New file.
* lisp/allout-widgets.el (allout-widgets-run-unit-tests-on-load)
(allout-widgets-run-unit-tests): Remove.
(allout-test-range-overlaps): Move to allout-widgets-tests.el.

* lisp/repeat.el: Remove obsolete comment.

* test/lisp/net/dbus-tests.el (dbus-test01-basic-types): Adapt test.

; * lisp/emacs-lisp/lisp.el: rename parameter in last change

Don't signal scan-error when moving by sexp interactively

* lisp/emacs-lisp/lisp.el (forward-sexp, backward-sexp, forward-list)
(backward-list, down-list, up-list, mark-sexp, kill-sexp)
(backward-kill-sexp): Remove unsightly scan-error when running
interactively and no further movement by sexp can be made (bug#43489).

Allow the newline character in the character widget (Bug#15925)

* lisp/wid-edit.el (widget-specify-field): Extend check for adding the
boundary overlay.  Plus, a minor comment indentation fix.
(character widget): Tweak the valid-regexp to allow the newline
character.

* test/lisp/wid-edit-tests.el (widget-test-character-widget-value)
(widget-test-editable-field-widget-value): New tests (bug#15925).

Improve mark handling in gnus nnselect

* lisp/gnus/nnselect.el (numbers-by-group,
nnselect-request-update-info, nnselect-push-info): Handle all three
mark types ('tuple, 'range, 'list) and general speedups.

Handle escaped comment enders correctly in syntax.c, fixing bug #43558

This fixes forward-comment, scan-lists, and parse-partial-sexp.

* src/syntax.c (forw_comment): Detect and skip an escaped comment ender
(e.g. \*/ in C) when comment-end-can-be-escaped is non-nil.

Run gnus-parse-headers-hook when retrieving nnselect headers

* lisp/gnus/nnselect.el (nnselect-retrieve-headers): Run the
gnus-parse-headers-hook when retrieving headers in nnselect, just like
in a real group.

test/src/xdisp-tests.el: New file

Use gnus-extra-headers in nnselect header parsing

* lisp/gnus/nnselect.el (nnselect-retrieve-headers): Bind
nnmail-extra-headers to gnus-extra-headers before parsing retrieved
headers.

Ensure that the game directory exists before trying to write to it

* lisp/play/gamegrid.el (gamegrid-add-score-insecure): Make the
directory if it doesn't exist (bug#37836).

Make delete-pair only delete pairs that are part of insert-pair-alist

* lisp/emacs-lisp/lisp.el (delete-pair): Only delete pairs that
are part of `insert-pair-alist' (bug#4136).

Fix off-by-one error in eldoc--handle-docs

* lisp/emacs-lisp/eldoc.el (eldoc--handle-docs): We have one extra
line to use if we don't show the truncation message (bug#43543).

Speed up shr-insert slightly

* lisp/net/shr.el (shr-insert): Speed up regularising spaces --
the vast majority of the spaces are already OK, so transforming
" " to " " just takes time.

Fix filling problem in shr due to zero-width id tagging

* lisp/net/shr.el (shr-descend): Fix problem with filling lines
that have a zero-width ID tag at the start.

Fix cursor display in mini-window under icomplete-mode

* src/xdisp.c (resize_mini_window): When we show only part of the
mini-window's contents, make sure the window-start position is at
the beginning of a screen line.  (Bug#43519)

Fix font-panel on NS (bug#43480)

* lisp/term/ns-win.el (ns-respond-to-change-font): Set the font using
customize.

Remove broken compat code from EDE

* lisp/cedet/ede/detect.el: Remove broken Emacs 24.1 compat code.
This would never have worked, since the fallback library is missing.

; * test/lisp/progmodes/ps-mode-tests.el: Add missing backslash

Fix shellcheck warning

* build-aux/update-subdirs: Fix issue indicated by the shellcheck
linter (warning SC2046).

Support shellcheck in compilation-mode

* lisp/progmodes/compile.el
(compilation-error-regexp-alist-alist): Add shellcheck regexp.
* test/lisp/progmodes/compile-tests.el
(compile-tests--test-regexps-data):
(compile-test-error-regexps): Add test for shellcheck.
* etc/compilation.txt: Add shellcheck example.
* etc/NEWS: Announce the change.

foo

Remove Emacs 23 compat code from cedet

* lisp/cedet/ede/proj-elisp.el (project-compile-target):
* lisp/cedet/semantic/bovine/grammar.el (bovine-grammar-expand-form):
* lisp/cedet/semantic/ede-grammar.el (project-compile-target):
Remove Emacs 23 compat code.