Fix ediff message parsing in non-English locales

* lisp/vc/ediff-diff.el (ediff-exec-process): Run diff in the C
locale to enable parsing the messages (bug#21387).

* lisp/vc/diff-mode.el (diff-hunk-text): Test-driven fix for newlines.

* lisp/vc/diff-mode.el (diff-hunk-text): Fix handling of newlines
to cover all test cases according to new test.

* test/lisp/vc/diff-mode-tests.el (diff-mode-test-hunk-text-no-newline):
New test to cover cases with no newline at end of file.

Remove the base64 Face header repadding in Gnus

* lisp/gnus/gnus-fun.el (gnus-convert-face-to-png): Remove call.

* lisp/gnus/gnus-util.el (gnus-base64-repad): Remove.

Improve some doc strings in bookmark.el

* lisp/bookmark.el (bookmark-bmenu-load): Describe prefix argument
  behavior.  Refer to related functions for more information.
  (bookmark-bmenu-save): Likewise refer to related functions.

As discussed in this thread:

  https://lists.gnu.org/archive/html/emacs-devel/2021-05/msg00389.html

  From: Karl Fogel
  To: Eli Zaretskii
Cc: Matthias Meulien, Drew Adams, Lars Ingebrigtsen,
      Stefan Monnier, Emacs Devel
  Subject: Re: [External] : Re: [PATCH] When deleting in bookmark menu,
           prompt for confirmation.
  Date: Sun, 09 May 2021 13:37:52 -0500
  Message-ID: <87h7jboirj.fsf@red-bean.com>

Make 'string-width' auto-composition aware

* src/composite.c (find_automatic_composition): Now extern.
(char_composable_p): Don't assume 'unicode-category-table' is
always available.
* src/composite.h (find_automatic_composition): Add prototype.
* src/character.c (lisp_string_width): Support automatic
compositions; call 'find_automatic_composition' when
'auto-composition-mode' is ON.

* src/sysdep.c (system_process_attributes): Fix misspelled Qttname for FreeBSD

Improve system_process_attributes on macOS (Bug#48548)

* src/sysdep.c (system_process_attributes): Fix misprint in 'tty' attr
- should be 'ttname' instead.  Change 'utime', 'stime', 'time',
'majflt' attrs to obtain them from proc_pid_rusage, as sysctl call
used before doesn't give correct values; remove 'minflt' because it's
not available.  Obtain 'vsize' / 'rss' / 'thcount' from proc_pidinfo.
Use sysctl with KERN_PROCARGS2 to obtain args: value contains both
argc and argv, so argv can be reliably cut out.

Remove modus-themes.org build date (bug#48661)

* modus-themes.org: Delete Org macro of the current export date.

This makes the manual reproducible between Emacs builds.

* lisp/international/mule-cmds.el (mule--ucs-names-group): Better char check.

Make the Alacritty terminal an alias of xterm-256color

* lisp/faces.el (term-file-aliases): Make the Alacritty terminal
an alias of xterm-256color (bug#48439).

Make hs-set-up-overlay into user option

* lisp/progmodes/hideshow.el (hs-set-up-overlay): Make into
defcustom (bug#48513).

Restore `ff-find-other-file' buffer selection logic

* lisp/find-file.el (ff-find-other-file): Restore selection of
buffer changed by previous change (bug#48535).

Fix font and indentation of call-with-port in scheme-mode

* lisp/progmodes/scheme.el (scheme-font-lock-keywords-2): Add
call-with-port (bug#48544).
(call-with-port): Indent correctly.

Handle syntactically invalid .dir-locals.el files better

* lisp/files.el (dir-locals-read-from-dir): Handle syntactically
invalid .dir-locals.el files more gently (bug#48568).  Give a
message instead of bugging out later.

Update modus-themes to version 1.4.0

* doc/misc/modus-themes.org:
(Overview): Document good support for cases with red-green color
deficiency (deuteranopia).
(Customization Options): Add code block with sample configuration.
(Option for mode line presentation): Document new values.
(Option for completion framework aesthetics): Reword statements.
(Option for mail citations): Include new customization.
(Option for line highlighting (hl-line-mode)): Change description
of possible value.
(Option for diff buffer looks): Update the meaning of 'fg-only',
which now is an alias for 'fg-only-deuteranopia'.
(Option for org-mode block styles): Rename possible values.
(Cycle through arbitrary colors (DIY)): Include code samples for
demo case.
(Override colors (DIY)): Use correct symbol.
(Override color saturation (DIY)): Show how to combine manual and
automatic color overrides.
(Update Org block delimiter fontification (DIY)): Provide example.
(Load theme depending on time of day): Include missing "DIY" label.
(Full support for packages or face groups): Update list with
additions, removals.
(Indirectly covered packages): Update list.
(Notes for individual packages)
(Note on dimmer.el)
(Note on display-fill-column-indicator-mode)
(Note on mmm-mode.el background colors)
(Note on prism.el)
(Note on ERC escaped color sequences)
(Note on powerline or spaceline)
(Note on Helm grep)
(Note on EWW and Elfeed fonts (SHR fonts)): Stylistic change to
the heading.
(Note on inline Latex in Org buffers)
(Note on god-mode.el): Add note.
(Frequently Asked Questions (FAQ)): Include new section.
(Acknowledgements): Update list of contributors (bug#48647).
* etc/themes/modus-operandi-theme.el: Bump version number.

* etc/themes/modus-themes.el: Add new defcustom forms and update
existing ones, edit doc strings, remove old obsolete aliases,
tweak internal functions, refine face specifications.

* etc/themes/modus-vivendi-theme.el: Bump version number.

Do not switch to other window when minibuffer is selected

* lisp/window.el (handle-select-window): Do not silently switch to
other window when minibuffer is selected and
mouse-autoselect-window is t (Bug#47969).

Merge branch 'master' of git.savannah.gnu.org:/srv/git/emacs

Restore `dired-do-create-files' return value

* lisp/dired-aux.el (dired-do-create-files): Preserve the return
value from `dired-create-files', which is apparently an
undocumented feature used by dired-aux-tests.el (dired-test-bug30624).

Fix documentation of a recent change

* src/process.c (syms_of_process) <process-prioritize-lower-fds>:
Doc fix.

* etc/NEWS: Reword the entry for 'process-prioritize-lower-fds'.

Update help-tests.el after minibuffer map change

Try to not prioritise reading from lower file descriptors

* src/process.c (wait_reading_process_output): When looping through
fds, continue from where we left off.
(syms_of_process): Vprocess_prioritize_lower_fds: New variable
(bug#48118).

* doc/misc/cc-mode.texi: Remove hand-written node pointers (bug#48402).

* lisp/emacs-lisp/byte-opt.el: Make the build more reproducible

(byte-compile-inline-expand): When inlining code from another file,
always inline the byte-code version of the function.
(byte-optimize--pcase): Simplify edebug spec.

Allow years in a copyright range to be separated by en dashes.

* lisp/emacs-lisp/copyright.el (copyright-regexp)
(copyright-years-regexp, copyright-update-year)
(copyright-fix-years): Also include en dash.

* test/lisp/emacs-lisp/copyright-tests.el (copyright-tests--data): New
test cases.

* lisp/transient.el: Update to package version 0.3.4.

Further improvements to completion-list-mode-map

* doc/emacs/mini.texi (Completion Commands): Mention the change,
and mention the 'n' and 'p' keys bound to 'next-completion' and
'previous-completion'. (bug#47699).
* lisp/minibuffer.el (minibuffer-local-completion-map): Change the
M-g key to M-g M-c.

* lisp/simple.el (completion-list-mode-map): Change the M-g key to
M-g M-c.
(read-expression-map): Bind M-g M-c to
read-expression-switch-to-completions.
(read-expression-switch-to-completions): New function.

Improve completion-list-mode-map

* doc/emacs/mini.texi (Completion Commands): Mention it.

* lisp/minibuffer.el (minibuffer-local-completion-map): Add the M-g key
for switch-to-completion (bug#47699).

* lisp/simple.el (completion-list-mode-map): Make special-mode-map its
parent, unbind the 'g' revert key, add the 'n' and 'p' keys for
next-completion and previous-completion, and the M-g key for
switch-to-minibuffer.
(switch-to-minibuffer): New function.

Use correct face when pulsing in CEDET

* lisp/cedet/pulse.el (pulse-momentary-highlight-overlay): Use
pulse-highlight-face, not pulse-highlight-start-face (bug#47810).

Consider all user-defined bitmaps in gui_init_fringe()

* src/fringe.c (gui_init_fringe): Consider user-defined bitmaps
that override default ones (bug#47832).

Fix infloop in Modula-2 mode

* lisp/progmodes/modula2.el (m2-smie-refine-colon): Stop looping
when point does not move with forward-sexp (Bug#48011).

* lisp/erc/erc-services.el: Fix newly-added Libera.Chat entry (bug#48529).

Fix bug when moving directories to trash

* lisp/files.el (move-file-to-trash): Pass the correct dir-flag to
make-temp-file so that a directory is created when a directory is
being trashed (Bug#47960).

Add Libera.chat to `erc-nickserv-alist'

* lisp/erc/erc-services.el (erc-nickserv-alist): Add support for
the Libera chat.

Copyright-paperwork-exempt: yes

Tweak c-mode bug reporting address

* lisp/progmodes/cc-mode.el (c-mode-help-address):
Switch to bug-gnu-emacs.  This is an alias for the previous
submit@debbugs address, except that if no Package header can be found,
as often seems to happen for cc-mode reports, debbugs will assign
the report to the "emacs" package rather than to "debbugs.gnu.org".

Fix find invocation for macOS (Bug#48471).

* lisp/progmodes/project.el (project--files-in-directory): Instead of
appending a slash (which doesn't work well with macOS find), remove
trailing slash and pass -H instead.

Adapt tramp-archive-autoload-file-name-handler

* lisp/net/tramp-archive.el (tramp-archive-autoload-file-name-handler):
Bind `default-directory' to safe value.

* src/editfns.c (Finsert_char): Add docstring reference to read-char-by-name.

Document bug-reference setup for 3rd-party packages

* doc/emacs/maintaining.texi (Bug Reference): Add section explaining
adding support for third-party packages.
* lisp/progmodes/bug-reference.el (bug-reference-maybe-setup-from-vc)
(bug-reference-maybe-setup-from-mail)
(bug-reference-maybe-setup-from-irc): Rename from
bug-reference--maybe-setup-from-*, i.e., un-privatize them because
they are advertised in the docs now.

Merge from origin/emacs-27

30e5d93ee1 (origin/emacs-27) Improve documentation of display tables
8804ac857b * src/buffer.c (syms_of_buffer) <ctl-arrow>: Doc fix.  (Bu...

* doc/emacs/maintaining.texi (Bug Reference): Fix cross refs.

"First argument to cross-reference may not be empty." (makeinfo 4).

Fix bug#48476

* lisp/net/tramp-archive.el (tramp-archive-autoload-file-name-handler):
Add implementation.

* lisp/net/tramp-integration.el (tramp-rename-files)
(tramp-rename-these-files): Declare them.

* lisp/net/tramp.el (tramp-autoload-file-name-handler):
Load tramp-archive.el if needed.  (Bug#48476)

* test/lisp/net/tramp-archive-tests.el (tramp-archive-test45-auto-load):
Extend test.

Use #' syntax for function symbols.

* lisp/emacs-lisp/subr-x.el (if-let*, if-let): Use looser Edebug spec

This makes the same spec work both for `if-let` and `when-let`.

(when-let*, and-let*, when-let): Simplify accordingly.

Fix native-comp-async-report-warnings-errors :type

* doc/lispref/compile.texi (Native-Compilation Variables): Document
'silent' alternative of native-comp-async-report-warnings-errors.
* lisp/emacs-lisp/comp.el
(native-comp-async-report-warnings-errors): Fix quoting in
:type expression (bug#48586).

Give 'when-let' and 'when-let*' their own Edebug specification.

The Edebug specification of 'if-let' and 'if-let*' doesn't work if the
body is empty.  While that's a pathological case, it's not wrong per
se, and could arguably happen due to macro expansion.

* lisp/emacs-lisp/subr-x.el (when-let*, when-let): Don't reuse Edebug
specification from 'if-let*' and 'if-let'.

* lisp/emacs-lisp/cl-macs.el (cl-loop): Add missing 'when' to spec

Add documentation about bug-reference auto-setup.

* doc/emacs/maintaining.texi (Bug Reference): Add documentation about
the automatic setup.
* lisp/progmodes/bug-reference.el
(bug-reference-setup-from-irc-alist): Remove doubling in docstring.

Robustify parsing of gnus-search search results

* lisp/gnus/gnus-search.el (gnus-search-indexed-parse-output): Look
for a "process finished" tag, and don't choke on mis-parsed lines.

; * etc/NEWS: Fix typo in last change.

* lisp/dired-aux.el (dired-do-revert-buffer): New defcustom (bug#48456).

(dired-do-create-files): Use it.

* lisp/simple.el (yank-from-kill-ring): Fix kill-ring-yank-pointer (bug#48478)

; * test/infra/gitlab-ci.yml: Fix it, again.

; * test/infra/gitlab-ci.yml: Fix previous commit

Adapt native-comp entries in gitlab-ci.yml

* test/infra/gitlab-ci.yml (stages): New stages native-comp-images
and native-comp.
(build-native-bootstrap-speed0): Simplify.
(build-native-bootstrap-speed1, build-native-bootstrap-speed2):
Deactivate temporarily.

* test/infra/gitlab-ci.yml (.build-template): Add 'needs:' clause.
(.native-comp-template): New template.
(build-native-bootstrap-speed0): Use it.

Avoid byte-compiler warning during bootstrap

* lisp/isearch.el (multi-isearch-switch-buffer): Avoid
byte-compiler warning.

Rearrange nativecomp tests for EMBA

* test/infra/Dockerfile.emba (emacs-native-comp-speed0):
Add recipe.

* test/infra/gitlab-ci.yml (stages): New stages native-comp-images
and native-comp.
(build-native-bootstrap-speed0): Simplify.
(build-native-bootstrap-speed1, build-native-bootstrap-speed2):
Deactivate temporarily.

Improve documentation of display tables

* doc/lispref/display.texi (Display Tables): Add a cross-reference
to the next section.

* Fix ahead-of-time native compilation for out-of-tree builds (bug#48497)

* src/comp.c (Fcomp_el_to_eln_rel_filename): Expand
'PATH_DUMPLOADSEARCH' while computing 'loadsearch_re_list'.

* src/buffer.c (syms_of_buffer) <ctl-arrow>: Doc fix.  (Bug#48539)

; Improve new bug-reference manual section

* lisp/help.el (describe-bindings-outline): New defcustom (bug#45147).

(describe-bindings): Use describe-bindings-outline.
(describe-bindings-internal): Remove function obsolete since 24.4.

* lisp/vc/diff-mode.el (diff-hunk-text): Handle better "\ No newline at end".

Fix off-by-one inconsistency of 'M-y C-y' (bug#48478).

* lisp/simple.el (read-from-kill-ring): Increment kill-ring-yank-pointer by 1.
(yank-from-kill-ring): Don't increment kill-ring-yank-pointer by 1.

* lisp/international/mule-cmds.el: Use group-function in read-char-by-name.

(mule--ucs-names-group): Simplify for using by group-function.
(read-char-by-name-group): Remove defcustom
obsoleted by completions-group.
(read-char-by-name): Mention completions-group and
completions-group-sort in docstring.  Use group-function when
completions-group is non-nil.
https://lists.gnu.org/archive/html/emacs-devel/2021-05/msg00791.html

(minibuffer-completion-help): Add group sorting

Sort the groups as returned by the `group-function` of the completion
table depending on the value of the customizable variable
`completions-group-sort`.  By default `completions-group-sort` is set
to nil.  The variable can be set to the symbol `alphabetical` in order
to configure alphabetical sorting.  Furthermore, a custom sorting
function can be used as value of `completions-group-sort`.

* lisp/minibuffer.el (completions-group-sort): New variable.
(minibuffer--group-by): Add SORT-FUN argument.
(minibuffer-completion-help): Pass `completions-group-sort` to
`minibuffer--group-by`.

(completion--insert-vertical): Separate groups completely

Insert the candidates vertically within the groups, but keep the
groups separate using the full width group separators.

* minibuffer.el (completion--insert-vertical): Adjust grouping.

(minibuffer-completion-help): Do not check `completions-group` centrally

The guard variable `completions-group` should be checked in each
completion table individually.  The guard variable
`completions-detailed` variable is used in the same way.

* minibuffer.el (minibuffer-completion-help): Remove check of
  `completions-group`.

(completion--insert-strings): Split function; Full group title support

Split `completion--insert-strings` into a function per completions
format in order to increase readability and extensibility.  This
change eases the addition of more formats.  Add support for group
titles to the vertical and horizontal formatting functions.

* minibuffer.el (completion--insert): Add new function.
(completion--insert-vertical, completion--insert-horizontal,
completion--insert-one-column): Extract function from
`completion--insert-strings`.  Use new function `completion--insert`.
(completion--insert-strings): Use new insertion functions.

(completing-read): Add `group-function` to the completion metadata

A completion table can specify a `group-function` in its metadata.
The group function takes two arguments, a completion candidate and a
transform argument.  The group function is used to group the
candidates after sorting and to enhance the completion UI with group
titles.

If the transform argument is nil, the function must return the title
of the group to which the completion candidate belongs.  The function
may also return nil if the candidate does not belong to a group.

If the transform argument is non-nil, the function must return the
transformed candidate.  For example, the transformation allows to
remove a redundant part of the candidate, which is then displayed in
the title.

The grouping functionality is guarded by the customizable variable
`completions-group` and turned off by default for the *Completions*
buffer.

The specific form of the `group-function` has been chosen in order to
allow allocation-free grouping.  This is important for completion UIs,
which continously update the displayed set of candidates (Icomplete,
Vertico, Ivy, etc.).  Only when the transform argument is non-nil the
candidate transformation is performed, which may involve a string
allocation as done in the function `xref--completing-read-group`.

The function `xref-show-definitions-completing-read` makes use of the
`group-function`, by moving the file name prefix to the title.  If
grouping is enabled, the *Completions* are displayed as
"linenum:summary" instead of "file:linenum:summary".  This way the
*Completions* buffer resembles the *Occur* buffer.

* doc/lispref/minibuf.texi: Add documentation.

* lisp/minibuffer.el (completion-metadata): Describe the
`group-function` in the docstring.
(completions-group): Add guard variable, off by default.
(completions-group-format): Add variable defining the format string
for the group titles.
(completions-group-title): Add face used by `completions-group-format`
for the group titles.
(completions-group-separator): Add face used by
`completions-group-format` for the group separator lines.
(minibuffer--group-by): New grouping function.
(minibuffer-completion-help): Use it.
(display-completion-list): Add optional GROUP-FUN argument.
(completion--insert-strings): Add optional GROUP-FUN argument.  Insert
group titles if `completions-format` is `one-column`.  Transform each
candidate with the GROUP-FUN.  Attach the untransformed candidate to
the property `completion--string`.

* lisp/simple.el (choose-completion): Retrieve the untransformed
completion candidate from the property `completion--string`.

* lisp/progmodes/xref.el:
(xref--completing-read-group): New grouping function.
(xref-show-definitions-completing-read): Use it.

* doc/emacs/maintaining.texi (Bug Reference): Add debbugs-browse-mode.

Improve documentation of 'etags' tests

* test/manual/etags/README: New file.  (Bug#46055)

* test/README: Mention separate README files for tests in the
'manual' subdirectory

Fix arg-out-of-range errors in 'line-number-at-pos'

* src/fns.c (Fline_number_at_pos): Pass character position to
args_out_of_range.  Suggested by Andreas Schwab
<schwab@linux-m68k.org>.  Call args_out_of_range_3 to show both
ends of the accessible portion.

Make sure gmalloc's hybrid_free preserves errno

* src/gmalloc.c (hybrid_free_1): New function, with the body of
the previous 'hybrid_free'.
(hybrid_free): Call 'hybrid_free_1' while preserving the value of
'errno'.  Suggested by Paul Eggert <eggert@cs.ucla.edu>.

Clean up the fix for unexec build on GNU/Linux

* src/conf_post.h [HYBRID_MALLOC || DARWIN_OS && HAVE_UNEXEC]:
Include <stdlib.h> here, before redirecting 'malloc' and friends
to their hybrid_* and unexec_* equivalents.  #undef malloc and
friends before redefining.  Provide prototypes for the
replacements.  Suggested by Paul Eggert <eggert@cs.ucla.edu>.
* src/gmalloc.c [HYBRID_MALLOC]: Remove declarations of 'malloc'
and friends, as they are now redundant: we include <stdlib.h> in
conf_post.h before redefining 'malloc' etc., and that provides
prototypes from system headers.

* configure.ac (HYBRID_MALLOC): Remove kludge to avoid replacement
of 'free' by Gnulib.  (Bug#36649)

; * src/fns.c (Fline_number_at_pos): Fix doc string and comments.

Add a section about bug-reference-mode.

* doc/emacs/maintaining.texi (Maintaining): Add a section about
bug-reference-mode.
* doc/emacs/emacs.texi (Top): Link to the new section about
bug-reference-mode.

* lisp/simple.el (yank-from-kill-ring-rotate): New defcustom (bug#48478).

(read-from-kill-ring, yank-from-kill-ring): Use it.

Fix rare failures in 'window-default-font-height'

* lisp/window.el (window-default-font-height): Avoid signaling an
error when a client TTY frame happens to have an X-style 'display'
parameter.  (Bug#48408)

* lisp/startup.el (command-line-1): Avoid byte-compiler warning.

Fix custom type of recent dired-aux additions

* lisp/dired-aux.el (dired-compress-file-default-suffix)
(dired-compress-directory-default-suffix): Fix :type.

* lisp/kmacro.el (kmacro-lambda-form): Fix bug#48523

Re-add `counter` and `format` arguments, since they are used in
`insert-kbd-macro`.

Fix the unexec build on GNU/Linux

The unexec build on GNU/Linux must use HYBRID_MALLOC (gmalloc.c) and
sheap.c.  This was inadvertently disabled because a configure-time
test for 'sbrk' was moved as side effect of an unrelated change.

* configure.ac: Test for 'sbrk' before using the result in the
decision about SYSTEM_MALLOC and HYBRID_MALLOC.
(HYBRID_MALLOC): Prevent Gnulib from redirecting 'free' to its
replacement 'rpl_free'.

* lib/Makefile.in (not_emacs_OBJECTS): Add mallooc/%.o and free.o.

* lisp/progmodes/sql.el: `sql-postgres-statement-starters' defcustom

Recognize common table expression as statement start in Postgres.

Lift restriction for finding theme summary line

* lisp/cus-theme.el (custom-theme-summary): Don't limit the file to
having the deftheme form as the very first form, rather look for the
deftheme form explicitly.

Fix recently introduced misbehavior of `quit-restore-window' (Bug#48493)

* lisp/window.el (quit-restore-window): Unconditionally call
`switch-to-prev-buffer' (Bug#48493).

* lisp/progmodes/js.el (js--make-framework-matcher): Use a closure

* lisp/progmodes/gud.el (gud-tooltip-tips): Use proper closures

Also prefer #' to quote function names.

(jdb): Fix $ => \'.

* lisp/org/org-timer.el (org-timer--run-countdown-timer): Use closures

* lisp/org/org-mouse.el: Make use of lexical scoping

(org-mouse-todo-menu): Simplify by eta-reduction.
(org-mouse-popup-global-menu): Remove redundant `eval`.
(org-mouse-keyword-menu, org-mouse-keyword-replace-menu)
(org-mouse-tag-menu, org-mouse-match-closure): Use proper closures.

* lisp/org/org-colview.el (org-columns-map): Use proper closures

Also prefer #' to quote function names.

(org-columns-map): Use derived-mode-p.

* lisp/org/org-clock.el (org-clock-get-table-data): Use proper closures

Also, prefer #' to quote function names

* lisp/net/sieve-manage.el (sieve-sasl-auth): Use proper closures

* lisp/net/shr.el (shr-image-displayer): Use proper closures

* lisp/net/imap.el (imap-mailbox-close): Use proper closures

Also, remove redundant `:group` args, and prefer #' to quote function names

* lisp/net/eudc.el (eudc-menu): Use proper closures

* lisp/net/browse-url.el: Avoid `(lambda ..)

(browse-url-netscape, browse-url-mozilla, browse-url-galeon)
(browse-url-epiphany, browse-url-elinks): Use proper closures.

* lisp/misearch.el (multi-isearch-push-state): Use proper closures

* lisp/menu-bar.el: Avoid `(lambda

(menu-bar-buffer-vector, menu-bar-update-buffers): Use proper closures.

* lisp/info.el (Info-isearch-push-state): Use proper closures

* lisp/imenu.el (imenu--create-keymap): Use proper closures

* lisp/find-dired.el (find-dired): Use a proper closure