; Merge from origin/emacs-27

The following commits were skipped:

eb77572257 Fix replace-region-contents performance bug
a142bbd288 * admin/admin.el (reminder-for-release-blocking-bugs): New...
4657f08b7e Sync with Tramp 2.4.5-pre

Make quoted-printable-encode-region work in multibyte buffers

* lisp/mail/qp.el (quoted-printable-encode-region): If we're in a
multibyte buffer (that has been encoded with some coding system),
then get-byte will get the correct byte value.

Add a new function dom-print

* doc/lispref/text.texi (Document Object Model): Document it.

* lisp/dom.el (dom-print): New function.

* lisp/dired-x.el (dired-omit-mode): Add autoload cookie.

* .gitlab-ci.yml (test-all): Add lib/*.{h,c}.

Fix minibuffer default of ephemeral debbugs group

* lisp/gnus/gnus-group.el (gnus-group--read-bug-ids): Don't read
number in "bug-123" as a negative bug ID; they are always positive.

* .gitlab-ci.yml (test-all): Change .m to .c for standard C files.

* src/alloc.c (live_symbol_holding): Pacify gcc -Wlogical-op.

* src/lisp.h (lisp_h_XPL, XPL): Remove; unused.

Use mark_objects elsewhere too

* src/alloc.c (mark_vectorlike, mark_face_cache):
* src/eval.c (mark_specpdl):
* src/fringe.c (mark_fringe_data):
* src/keyboard.c (mark_kboards):
Use mark_objects instead of doing it by hand.

Remove mark_maybe_object

* src/alloc.c (mark_maybe_object, mark_maybe_objects): Remove.
(mark_objects): New function.
* src/eval.c (mark_specpdl): Use mark_objects instead of
mark_maybe_objects, since the array now has only valid Lisp objects.
* src/lisp.h (SAFE_ALLOCA_LISP_EXTRA): When allocating a large
array, clear it so that it contains only valid Lisp objects.  This
is simpler and safer, and does not hurt performance significantly
on my usual benchmark as the code is executed so rarely.

Avoid some false matches in mark_maybe_pointer

This lets Emacs avoid marking some garbage as if it were in use.
On one test platform (RHEL 7.8, Intel Xeon Silver 4116) it
sped up ‘cd lisp; make compile-always’ by a bit over 1%.
* src/alloc.c (live_string_holding, live_cons_holding)
(live_symbol_holding, live_large_vector_holding)
(live_small_vector_holding):
Count only pointers that point to a struct component,
or are a tagged pointer to the start of the struct.
Exception: for non-bool-vector pseudovectors,
count any pointer past the header, since it’s too much
of a pain to write code for every pseudovector.
(live_vector_pointer): New function.

Omit no-longer-needed stack mark_maybe_object

* src/alloc.c (mark_memory): Do not bother using mark_maybe_object
on the stack, since mark_maybe_pointer now marks everything that
mark_maybe_object would.

Fix GC bug with Lisp floats and --with-wide-int

On --with-wide-int platforms where Lisp_Object can be
put into non-adjacent registers, mark_maybe_pointer failed
to mark a float whose only reference was as a tagged pointer.
* src/alloc.c (live_float_holding): New function,
a generalization of the old live_float_p.
(live_float_p): Use it.
(mark_maybe_pointer): Use live_float_holding, not live_float_p.

Bind 'n' and 'p' in compilation-mode-map

* lisp/progmodes/compile.el (compilation-mode-map): Bind
'(next|previous)-error-no-select' to 'n' and 'p'.  (Bug#41844)

Use lexical-binding in life.el and add tests

* lisp/play/life.el: Use lexical-binding.
(life--tick): Extract from...
(life): ...here.
(life--max-width, life--max-height): New variables.
(life-mode, life-setup): Use above variables.

* test/lisp/play/life-tests.el: New file.

Various life.el improvements

* lisp/play/life.el (life): New defgroup.
(life-step-time): New defcustom (lower default from 1 to 0.5).
(life): Use above new variable.  Make prefix arguments set step time
in tenths of a second instead of whole seconds.
(life-expand-plane-if-needed): Rename argument to step-time.

(life-setup): Fix running `M-x life' with existing buffer.

(life-patterns): Add three more classic patterns.

Remove some XEmacs compat code from gamegrid.el

* lisp/play/gamegrid.el (gamegrid-setup-face): Remove XEmacs
compat code.

* lisp/play/tetris.el: Use lexical-binding.

Tweak background colours in shr when there's indentation

* lisp/net/shr.el (shr-fill-line): Get the background colour right
for the indentation, too.

Respect :must-match for file types in customization buffers

* lisp/wid-edit.el (file widget): Add a :match and a :validate
function to the 'file widget, to be able to check if the widget
value is an existent file, when required (bug#25678).

Place flymake-eldoc-function at the end of eldoc-documentation-functions

Having it placed in the beginning of that hook meant it was mostly
impossible to track the args to a function call while writing it from
scratch, since most compilers issue a diagnostic about incorrect
number of arguments.

See bug#43103.

* lisp/progmodes/flymake.el (flymake-mode): Lower priority of
flymake-eldoc-function.

; tiny indentation fix to lisp/progmodes/elisp-mode.el

* lisp/progmodes/elisp-mode.el (elisp-eldoc-var-docstring): Fix
indentation.

Make format-prompt interpret a nil default value as "no default"

* doc/lispref/minibuf.texi (Text from Minibuffer): Document it.

* lisp/help-fns.el (describe-function): Adjust the caller.

* lisp/minibuffer.el (format-prompt): Interpret a nil default
value as "no default".

Fix compilation warning in snake.el

* lisp/play/snake.el (snake-reset-game): Avoid warning about
unused variable.

* .gitlab-ci.yml (test-all): Run only when needed.

Convert manual rmailmm tests to ert

* test/manual/rmailmm.el: Move from here...
* test/lisp/mail/rmailmm-tests.el: ...to here, and convert to ert.

Convert unsafep tests to ert

* lisp/emacs-lisp/tcover-unsafep.el: Move from here...
* test/lisp/emacs-lisp/unsafep-tests.el: ...to here, and convert to
use ert instead of tcover.

* lisp/play/snake.el: Use lexical-binding.

Use lexical-binding in more tests

* test/lib-src/emacsclient-tests.el:
* test/lisp/emacs-lisp/hierarchy-tests.el:
* test/lisp/eshell/eshell-tests.el:
* test/lisp/gnus/gnus-util-tests.el:
* test/lisp/progmodes/js-tests.el:
* test/lisp/textmodes/bibtex-tests.el:
* test/src/editfns-tests.el:
* test/src/fns-tests.el: Use lexical-binding.

* test/lisp/emacs-lisp/hierarchy-tests.el
(hierarchy-leafs-includes-lonely-roots):
* test/src/editfns-tests.el (transpose-test-get-byte-positions):
* test/src/fns-tests.el (fns-tests-func-arity):
Adjust for lexical-binding.

Mark failing fileio test on MS-Windows

* test/src/fileio-tests.el (fileio-tests--HOME-trailing-slash):
Expect failure on MS-Windows.

Run GNUstep build test more often

* .gitlab-ci.yml (test-gnustep): Include more files that may affect
the GNUstep build.

* lisp/mail/mspools.el: Remove redundant :group args.

Prevent ElDoc blinking when eldoc-documentation-enthusiast is used

This eldoc-documentation-strategy function didn't always obey protocol
since it returned nil sometimes, which the eldoc engine took it as a
hint for the "old" protocol to clear the echo area.

* lisp/emacs-lisp/eldoc.el (eldoc-documentation-enthusiast):
Return t.
(Version): Bump to 1.9.0

Delete duplicate definition for koi8-u coding system

* lisp/language/cyrillic.el (koi8-u): Delete duplicate definition.

* test/lisp/emacs-lisp/rx-tests.el: Improve test coverage.

Revert recent expand-file-name changes if DOS_NT

* src/fileio.c (Fexpand_file_name): Restore pre-August-26
behavior, if DOS_NT.  This should fix the recently-introduced
expand-file-name bugs on DOS_NT (Bug#26911).

* src/fileio.c (Fexpand_file_name): Omit unnecessary assignment.

Allow direct choice of smtp authentication method

* lisp/mail/smtpmail.el (smtpmail-try-auth-methods): Let the
authorization credentials have an entry with key :smtp-auth containing
a preferred authentication mechanism.

; Bump seq version to 2.22

Fix Objective-C C99 build problem

* configure.ac (NS_IMPL_GNUSTEP): GCC appears to need to be told to
use C99 when compiling Objective-C.

Add GNUstep build to Gitlab CI/CD

* .gitlab-ci.yml (test-gnustep): New test target.

Add support for parsing column numbers in Visual Studio messages

* lisp/progmodes/compile.el (compilation-error-regexp-alist-alist):
Extend regular expression to match optional column numbers.
*
test/lisp/progmodes/compile-tests.el (compile-tests--test-regexps-data):
Add a test.
* test/lisp/progmodes/compile-tests.el (compile-test-error-regexps):
Update the total number of compilation errors in a test.
* etc/compilation.txt: Update compilation.txt with the newly supported
message format.
* etc/NEWS: Advertise the feature.

Fix Bug#43052

* test/lisp/net/tramp-tests.el (tramp-test04-substitute-in-file-name):
Make user name unique.  (Bug#43052)

Add commands to run shell commands in project root

* lisp/progmodes/project.el (project-async-shell-command)
(project-shell-command): New commands to run 'async-shell-command'
and 'shell-command' in project's root directory.
(project-prefix-map): Bind commands to '!' and '&'.
* doc/emacs/maintaining.texi (Project File Commands): Document the
new commands.
* etc/NEWS: Announce the new commands.

Make XEmacs compat aliases obsolete in warnings.el

* lisp/emacs-lisp/warnings.el (display-warning-minimum-level)
(log-warning-minimum-level): Make XEmacs compat aliases into obsolete
aliases for 'warning-minimum-level' and 'warning-minimum-log-level'.

Use lexical-binding in warnings.el and add tests

* lisp/warnings.el: Use lexical-binding.
Remove redundant :group args.

* test/lisp/warnings-tests.el: New file.

New eieio-persistent-make-instance generic function

This allows override of the read process for eieio-persistent objects,
providing the possibility of matching read/write customization for
eieio-persistent subclasses.

* lisp/emacs-lisp/eieio-base.el (eieio-persistent-make-instance): New
generic function for constructing instances from object data written
to disk. Previously known as eieio-persistent-convert-list-to-object.

Remove redundant slot validation in eieio-persistent-read

Actual object creation (in `make-instance') will later run all slot
values through cl-typep, which does a better job of validation. This
validation is redundant, and slows the read process down.

* lisp/emacs-lisp/eieio-base.el (eieio-persistent-fix-value): Rename
from `eieio-persistent-validate/fix-slot-value', as we no longer
validate, and we don't care about the slot definition.
(eieio-persistent-slot-type-is-class-p): Delete function.
(eieio-persistent-convert-list-to-object): Still call
`eieio--full-class-object', to trigger an autoload if necessary, but
discard the return value.

Fix indent-region for identifiers with underscores in cperl-mode

 * lisp/progmodes/cperl-mode.el (cperl-fix-line-spacing): Fix Bug#18985.
 Hash keys or function names starting with a Perl keyword followed
 by an underscore (as in "for_me" are no longer split into two words
 by M-x indent-region.

* lisp/mwheel.el: Improve package description.

* test/src/fileio-tests.el: Preserve HOME when a test fails

Fix most of fileio-tests on MS-Windows

* test/src/fileio-tests.el (fileio-tests--HOME-trailing-slash)
(fileio-tests--expand-file-name-trailing-slash): Account for drive
letters in MS-Windows/MS-DOS file names.  (Bug#26911)

Fix recently-introduced expand-file-name bug

The bug was that (expand-file-name "~") returned something
like "/home/eggert/" instead of "/home/eggert".
Problem reported by Mattias Engdegård (Bug#26911#27).
* src/fileio.c (Fexpand_file_name): When concatenating NEWDIR to
NM, instead of stripping trailing slashes from NEWDIR (which can
turn non-symlinks into symlinks), strip leading slashes from NM.
This also simplifies the code by removing no-longer-needed DOS_NT
special-casing.  Also, remove an unnecessary ‘target[length] = 0;’
as that byte will be overwritten by the next memcpy anyway.
* test/src/fileio-tests.el (fileio-tests--HOME-trailing-slash):
New test.

Set Gnus server 'closed status in gnus-close-server

* lisp/gnus/gnus-int.el (gnus-close-server): Set 'closed status here.
* lisp/gnus/gnus-group.el (gnus-group-suspend): Not here.

Switch Gnus D-Bus signal from :session to :system

* lisp/gnus/gnus-dbus.el (gnus-dbus-register-sleep-signal): Apparently
this needs to be :system -- perhaps because PrepareForSleep is a
system-level event?

Adapt tramp-tests

* test/lisp/net/tramp-tests.el (tramp-test05-expand-file-name)
(tramp-test05-expand-file-name-relative): Adapt tests.

; * etc/NEWS: Fix formatting of a recently-added entry.

Keep the user theme in sync when marking a variable as set

* lisp/custom.el (customize-mark-as-set): Keep the user theme in sync
even if the new value of the variable is the saved-value or the
standard-value.  If we don't do this, custom themes might end up
stepping over the user preferences in a session (bug#28904).

Make minibuf-eldef respect minibuffer-default-prompt-format

* lisp/minibuf-eldef.el (minibuffer-default--in-prompt-regexps):
Take minibuffer-default-prompt-format into account.

Substitute command keys in display-local-help

* lisp/help-at-pt.el (display-local-help): Pass 'help-echo' property
through 'substitute-command-keys' before displaying to be consistent
with tooltips.  (Bug#37628)

This was discussed in:
https://lists.gnu.org/archive/html/emacs-devel/2019-10/msg00090.html

Prevent spurious tabs by RET in todo-edit-mode (bug#43068)

* lisp/calendar/todo-mode.el (todo-key-bindings-t)
(todo-edit-mode-map): Remove remapping of `newline' to
`newline-and-indent'.
(todo-modes-set-1): Remove local setting of `indent-line-function'.
(todo-edit-mode): Locally set `indent-line-function' to `todo-indent'.

* test/lisp/calendar/todo-mode-tests.el (todo-test-move-item05):
Prevent interactive test failure.  (Until the addition of testcat4
to todo-test-1.todo, the test passed by chance, since testcat3 is
empty and has no archived items.)
(todo-test-edit-item-date-month): Refer to bug number.
(todo-test-multiline-item-indentation-1)
(todo-test-multiline-item-indentation-2)
(todo-test-multiline-item-indentation-3): New tests.

* test/lisp/calendar/todo-mode-resources/todo-test-1.todo: Remove
spurious tabs from testcat1.

Minor clean up in flyspell.el

* lisp/textmodes/flyspell.el (flyspell-buffers): Declare obsolete.
(flyspell--prev-meta-tab-binding): Doc fix.

dired: Show broken/circular links w/ different face

* lisp/dired.el (dired-broken-symlink): New face.
(dired-font-lock-keywords):
Use it for broken/circular links (Bug#39145).

* etc/NEWS (Changes in Specialized Modes and Packages in Emacs 28.1):
Announce this change.

Only show flyspell welcome message interactively

* lisp/textmodes/flyspell.el (flyspell-mode): Only show welcome
message when called interactively.  (Bug#43065)

Add ASTEC-X issue to PROBLEMS

* etc/PROBLEMS: Mention problem with multiple monitors on proprietary
X Server ASTEC-X.  (Bug#36779)

Fix flyspell welcome message

* lisp/textmodes/flyspell.el (flyspell-mode, flyspell-mode-on):
Fix showing welcome message when `flyspell-issue-welcome-flag' and
`flyspell-issue-message-flag' are both non-nil.  (Bug#43065)

; Add the necessary argument (bug#42967)

Allow a function for the :secret in a plstore

* lisp/auth-source.el (auth-source-plstore-search): If the :secret
value is a function, call it on plist to obtain the real password.

; * lisp/textmodes/flyspell.el (flyspell-mode-on): Fix typo.

Refer to correct mouse button in flyspell message

* lisp/textmodes/flyspell.el (make-flyspell-overlay)
(flyspell-mode-on): Refer to mouse-3 in help messages when the
variable 'flyspell-use-mouse-3-for-menu' is non-nil.  (Bug#11680)

Signal error on Hunspell installation problem

* lisp/textmodes/ispell.el (ispell-find-hunspell-dictionaries):
Signal user-error when Hunspell warns that it "Can't open affix or
dictionary files", and propagate this message.  (Bug#25825)

; Fix license statements.

; * lisp/info.el (Info-complete-menu-item): Fix wording of comment.

Add themes modus-operandi and modus-vivendi

* etc/themes/modus-operandi-theme.el:
* etc/themes/modus-vivendi-theme.el: New themes.  (Bug#43019)

Sort Info index completions alphabetically

* lisp/info.el (Info-complete-menu-item): Sort the list of completions
alphabetically using 'nreverse'.  This makes no difference for Emacs
but helps third-party completion frameworks such as Ivy.  (Bug#38614)

Suggested by Howard Melman <hmelman@gmail.com>.

; Bump xref version

Unbreak dired-do-find-regexp in Emacs 26

* lisp/progmodes/xref.el (xref--show-xrefs):
Support the old convention (bug#42967).

Unbreak xref-goto-xref in Emacs 26

* lisp/progmodes/xref.el (xref-goto-xref):
Call next-error-found only if it's defined (bug#42981).

Fix expand-file-name symlink-to-dir bug

Problem reported by Yegor Timoshenko (Bug#26911),
and I ran into it myself recently in normal-top-level.
* doc/lispref/files.texi (File Name Expansion), etc/NEWS: Mention this.
* src/fileio.c (Fexpand_file_name): Expand "/a/b/." to "/a/b/" not
"/a/b", to avoid misinterpreting a symlink "/a/b".  Similarly,
expand "/a/b/c/.." to "/a/b/" not "/a/b".
* test/lisp/net/tramp-tests.el (tramp-test05-expand-file-name):
Adjust to match new behavior.
(tramp-test05-expand-file-name-relative): This test now succeeds,
at least on Fedora 31.
* test/src/fileio-tests.el:
(fileio-tests--expand-file-name-trailing-slash) New test.

Fix PWD startup checking with symlinks

* lisp/startup.el (normal-top-level): Do not put "." after "/";
it’s not needed and with current file-name-as-directory it does
the wrong thing if PWD is a symlink.

* lisp/files.el (insert-directory): Simplify (if ... X X) to X.

Sync latest SKK-JISYO.L

* leim/SKK-DIC/SKK-JISYO.L: Sync to current upstream version.

Allow disabling double buffering at build time

* configure.ac: Allow disabling double buffering (bug#32032).

Copyright-paperwork-exempt: yes

Allow directories to be called .el in -add-subdirs-to-load-path

* lisp/startup.el (normal-top-level-add-subdirs-to-load-path):
Allow the directories to be called "<foo>.el" (bug#32266).

Fix doc-view problem with file names with spaces in them

* lisp/doc-view.el (doc-view-get-bounding-box): Don't bug out on
file names with spaces in them (bug#33344).

Use format-prompt a couple of places

* lisp/ps-print.el (ps-print-preprint):
* lisp/help-fns.el (describe-function): Use `format-prompt'
(bug#12443).

Implement a way to customize "default" values

* doc/lispref/minibuf.texi (Text from Minibuffer): Document them.

* lisp/minibuffer.el (format-prompt): New function (bug#12443).
(minibuffer-default-prompt-format): New variable.

Make the epa key display slightly more informative

* lisp/epa.el (epa--button-key-text): Say what the validity
characters output by GPG mean (bug#34726).

Document ispell comment/string checking commands in the user manual

* doc/emacs/fixit.texi (Spelling): Mention
'ispell-comments-and-strings' and 'ispell-comment-or-string-at-point'.
(bug#6411)

ispell: Commands to check comments or strings at point or in region

* lisp/textmodes/ispell.el (ispell-comments-and-strings): Accept START
and END arguments, defaulting to active region in interactive calls.
(ispell-comment-or-string-at-point): New command. (bug#6411)

; * doc/lispref/backups.texi (Auto-Saving): Fix wording of last change.

Don't recommend redefining auto-save filename functions

* doc/lispref/backups.texi (Auto-Saving): Document
auto-save-file-name-transforms.
* lisp/files.el (make-auto-save-file-name)
(auto-save-file-name-p): Remove suggestion to redefine for
customization (bug#34911).

term.el: Use correct exit status in suggested dir-tracking functions

* lisp/term.el: Make some of the examples better (bug#43055).

eshell: Remove unnecessary check in em-hist

* lisp/eshell/em-hist.el
(eshell-previous-matching-input-string-position): Both before and
within the while loop, n is always smaller than n (bug#43056).

Copyright-paperwork-exempt: yes

Remove side-effect-free markup for assoc-default

* lisp/subr.el (assoc-default): assoc-default isn't
side-effect-free, because it takes a :test parameter that can do
anything (bug#37943).

Fix lexical misunderstandings in gnus-icalendar-tests.el (bug#39782)

* test/lisp/gnus/gnus-icalendar-tests.el:
(icalendar-tests--get-ical-event): Remove unused function accidentally
copy-pasted from icalendar-tests.el.
(gnus-icalendar-parse, gnus-icalendary-byday):
Remove unintended initial newlines.
Duplicate comma-escaping backslashes so that they have intended
effects, conforming to RFC 5545.
Remove ineffective comma-escaping backslashes where not intended.

regex-emacs: copy less when reallocating

* src/regex-emacs.c (GROW_FAIL_STACK): Copy just the
occupied stack slots, as the rest are garbage.

regex-emacs: fix leak on memory allocation failure

* src/regex-emacs.c (ENSURE_FAIL_STACK): If the failure
stack cannot be grown, free locally-allocated storage
before returning.

regex-emacs: subscript-check register numbers

* src/regex-emacs.c (PUSH_FAILURE_REG, POP_FAILURE_REG_OR_COUNT)
(re_match_2_internal): Add some easserts for subscript checking.